무학습 근전도 패턴 인식 알고리즘: 부분 수부 절단 환자 사례 연구

1. 서 론

근육에 전달되는 신경 신호와 자극을 전달 받은 근원섬유 에서 발화하는 활동 전위로부터 유래된 생체 전기 신호의 일 종인 근전도 신호(surface electromyogram, sEMG)는 사용자의 부가적인 조작 없이 동작을 자연스럽게 의도하는 것만으로도 발생하게 된다^[1,2]. 그렇기 때문에 수부 절단 환자를 위한 전동 의수와 이 장치의 구동을 위한 근전도 동작 인식은 대표적인 지능형 바이오 메카트로닉스의 어플리케이션으로 자리매김 하였다^[3-6]. 절단 환자의 수부를 대체하는 전동 의수를 구동하 기 위해 동작 의도로부터 발생한 근전도 신호를 분석하여 실 제 사용자가 의도한 동작이 무엇인지 역으로 추론하는 알고리 즘이 활발하게 연구^[7-9]되어 왔으며, 이를 실현하기 위해 최신 의 기계 학습(machine learning) 혹은 패턴 인식(pattern recognition) 방법들이 적용되어 왔다.

그러나 수부 절단 환자의 경우 정상인의 근전도 동작 의도 데이터 수집과는 달리 절단 환자가 절단 부위에 실제 동작을 수행할 수 없다는 점이 그 한계로 작용한다. 그렇기 때문에 근 전도 데이터에 대해 실제 수행한 동작 레이블(label)을 함께 필 요로 하는 교시 학습(supervised learning) 기반의 패턴 인식 알 고리즘을 적용하기에는 교시 학습을 위한 동작 레이블을 얻기 어렵다는 문제가 존재한다. 이를 해결하기 위해 절단된 부위 와 대칭되는 절단되지 않은 부위를 함께 움직이는 거울 행동 기법을 통해 데이터를 수집할 수 있다고 하지만, 절단된 부위 에서도 상상으로 그 동작의 재현이 가능한지 의문이 남기 때 문에 절단된 부위에서 수집된 근전도 데이터에서 그 동작이 실제로 구분 가능한지 평가 및 분석하는 것이 필수적이다.

근전도 신호나 뇌파 신호(electroencephalography, EEG)의 필터(filter)나 특징(feature)이 동작의 분류 가능 정도를 비교하 기 위해 여러 특징 간의 분류 가능 정도를 최적화 문제를 통해 분석할 수 있는 Fisher-Markov selector^[10]가 적용된 연구들^[11,12] 이 발표된 바 있으나 이는 동작에 대한 분석이 아닌 특징에 대 한 분석이었으며 그 대상 역시 절단 환자가 아닌 정상인이었 다. 정상인의 근전도 신호를 이용하여 분류 가능한 동작을 분 석하고자 한 연구가 있으나^[13] 교시 학습을 통해 동작의 인식 정확도를 평가하는데 그쳤다는 한계가 있었다.

동작 레이블 없이 근전도 데이터만으로 구분 가능한 패턴 을 추출하는 비교시 학습(unsupervised learning) 기반의 패턴 인식 알고리즘을 적용하는 방법도 적용되어 왔다^[14-16]. 그러나 근전도 신호의 패턴은 근육의 피로도 등으로 인하여 그 특성 이 시간에 따라 점진적으로 변화^[17,18]하기 때문에 기존의 일반 적인 비교시 학습 기반의 클러스터링으로 구분 가능할 정도의 경계가 나타나는지는 여전히 의문이 남는다. 또한 비교시 학 습이라고 하더라도 실제로 하나의 동작에서 여러 가지의 근전 도 패턴이 나타나는 경우에 다대일 대응(many-to-one mapping) 을 구축하기 어렵다는 것도 또다른 한계점으로 작용한다.

본 논문에서 제안하는 무학습 근전도 패턴 인식 알고리즘 은 사용 전에 교시 학습이나 비교시 학습의 구분 없이 어떤 학 습도 필요치 않고 사용자에게 바로 적용이 가능한 것을 목적 으로 개발된 근전도 패턴 인식 알고리즘이다. 이를 구현하기 위해서 별도의 외부 감독 없이 전송 받은 근전도 데이터에 따 라서 매 샘플링(sampling)마다 계산을 점진적으로 반복하여 관측된 새로운 근전도 패턴을 추가(registering)하거나 기존에 추가된 패턴을 갱신(updating)하는 과정을 베이즈 확률론 (Bayesian probability)를 기반으로 실현하였다. 특히 새로운 근 전도 패턴의 추가는 현재 샘플링에서 가지고 있는 근전도 확 률 모델 하에 새 데이터가 관측될 기대 확률을 계산해 그 확률 값을 정해진 문턱 확률값(threshold probability value)과 비교함 으로써 새 패턴의 추가 여부를 결정한다. 또한 이 알고리즘은 근전도 데이터만을 관찰하여 그 특징적인 패턴들을 추출해내 기 때문에 동일한 동작을 수행하는 중에 나타나는 여러가지 근전도 패턴도 추출할 수 있기 때문에 다대일 대응도 자연스 럽게 분석이 가능하다.

본 논문에서는 정상인이나 절단 환자에 구분 없이 근전도 패턴 인식을 위해 개발된 무학습 근전도 패턴 인식 알고리즘 이 근전도 신호로부터 새로운 패턴의 신호를 자동적으로 등록 하여 근전도 데이터 내에 근전도 패턴을 추출해내는 점에 착 안하여, 제안된 알고리즘을 절단 환자의 근전도 패턴을 분석 하는 방법으로 사용하는 것을 제안하고자 한다. 무학습 근전 도 패턴 인식 알고리즘의 문턱 확률값을 제어 변수(control parameter)로 이용하여, 주어진 근전도 데이터셋에 대해 추출 하는 패턴의 숫자를 조절할 수 있는 민감도로써 사용해 구분 가능한 패턴이나 동작을 분석하고 분류 가능성을 측정 및 평 가하는 방법으로 사용한다.

특히 엄지와 검지가 절단되고 나머지 손가락과 손목의 관 절운동 제한이 있는 부분 수부 절단 환자를 대상으로 한 사례 연구(case study)를 진행하였다. 여기에는 부분 수부 절단 환자 를 위한 맞춤형 전동 의수의 개발^[19]과 더불어 근전도를 이용 한 전동 의수의 제어를 목표로 하고 있다. 대상 환자에 맞추어 개발된 전동 의수와 더불어 제한적인 움직임이 가능한 절단되 지 않은 수부가 서로 협응을 이루어 일상 생활에 필요한 여러 가지 작업을 하기 위해서는 전동 의수의 자연스러우면서도 정 확한 제어가 필수적이다. 그렇기 때문에 근전도 신호로부터 분류 가능한 동작을 분석하고 구분해내는 작업은 전체 절단 환자의 경우보다도 더 중요하다고 할 수 있다.

본 논문은 다음과 같이 구성되어 있다. 2장에서는 무학습 근전도 패턴 인식 알고리즘을 설명하고, 이어서 문턱 확률값 을 변화시키며 얻어진 혼동 행렬로부터 각 동작의 분류 가능 성을 평가하는 방법을 보여준다. 3장에서는 사례 연구의 대상 인 부분 수부 절단 환자에 대한 정보와 실험 절차 및 실험 결과 를 설명하며 이어지는 마지막 4장에서 논문의 결론을 맺는다.

2. 방 법

2.1 무학습 근전도 패턴 인식 알고리즘

무학습 근전도 패턴 인식 알고리즘은 패턴의 클러스터링과 인식을 온라인으로 동시에 구현한 확률 기반의 알고리즘이다. 이 알고리즘은 기본적으로 베이즈 확률론에 기반하여, 근전도 신호를 숨은 패턴에 따른 조건부 확률로 모델링하며 근전도 패 턴의 인식은 최대우도법(maximum likelihood estimate, MLE)을 따 르고 있다. 여기에 패턴에 따른 조건부 확률로 표현된 근전도 신 호의 확률 분포 함수를 매 샘플링마다 수집된 근전도 신호에 대 해 관측 기대 확률을 평가하여 기존의 패턴 정보를 갱신하거나 새로운 패턴을 등록하는 방식으로 알고리즘을 구현하였다. 알 고리즘이 동작하는 자세한 과정은 [Fig. 1]에 표현하였다.

[Fig. 1]

Block diagram of training-free algorithm with detailed mathematical description

먼저 이 모델은 근전도 신호(x)의 확률 분포를 각각의 패턴 (θ)에 대한 조건부 확률로 가정한다. 매 샘플링(sampling)마 다 한 번의 iteration을 거치게 되는데 이는 다음과 같은 과정을 따른다. 먼저 MLE로 현재 sEMG 입력에 대한 패턴을 추론하 고 그 때의 기대 확률을 계산한다. 이 때, 이 기대 확률이 미리 정의된 문턱 확률값보다 큰 경우에는 현재 입력된 sEMG 신호 가 현재 패턴들 하에서 충분히 관측 가능하기 때문에 이 신호 를 추론된 패턴의 확률 분포를 갱신하는데 사용한다. 반대로 기대 확률이 문턱 확률값보다 작은 경우는 현재 패턴들로 새 로 들어온 sEMG 신호를 표현하기 충분하지 않다는 뜻이기 때 문에 새로운 패턴으로 이 값을 평균으로 하는 확률 분포를 등록하게 된다. 그리고 시간이 지남에 따라 반복적으로 갱신 을 하는 경우 확률 분포가 점점 좁아져 분산이 지속적으로 감 소하는 효과가 있기 때문에 이를 상쇄하여 지속적인 추론을 가능하게 하는 확산 과정을 추가로 적용하였다.

2.2 혼동 행렬을 이용한 분류 가능 동작 분석

혼동 행렬(confusion matrix)은 히트맵(heat map)의 일종으 로 무학습 근전도 패턴 인식 알고리즘에서 추론한 근전도 패 턴과 거울 행동 기법을 통해 얻어진 동작 레이블 사이의 상관 관계를 직관적으로 이해하고 표현할 수 있는 행렬이다. 이 행 렬의 (m, n)번째 항은 추론된 근전도 패턴이 m번째 패턴이고 그 중에서 동작 레이블이 n번째 동작인 모든 경우의 수를 m번째 근전도 패턴으로 추론된 전체 숫자로 정상화(normalization)된 값이다. 이는 수학적으로 [Fig. 2]에 함께 표현되어 있다. 이 혼 동 행렬은 행별로 정상화되어 있기 때문에, 이 행렬의 m번째 행의 합은 항상 1로 일정하다.

[Fig. 2]

Evaluation of analysis of classifiability using trainingfree algorithm varying threshold probability

혼동 행렬의 m번째 행은 m번째 근전도 패턴으로 추론된 샘 플(sample)이 실제로 어떤 동작 레이블을 가지고 있는지를 나 타내는 값이다. 예를 들어, 5번째 열이 1에 가까운 값을 갖고 나머지 열은 0에 가까운 값을 갖는다고 할 때, 이 행에 해당하 는 근전도 패턴은 주로 5번째 동작에서 관찰되었다고 할 수 있 다. 그렇기 때문에 이 전체 행렬의 값을 색상의 진하기를 이용 해 히트맵으로 나타내고 그 이미지를 행별로 살펴보았을 때, 각각의 근전도 패턴이 어떤 동작과 강한 상관관계를 맺는지 알 수 있게 된다. 이 상관관계가 강하면 강할수록 해당 패턴으 로 그 동작을 더 잘 구분할 수 있다는 의미가 된다.

이렇게 계산된 혼동 행렬을 바탕으로 각각의 동작이 얼마나 구분 가능한지(classifiable) 측정할 수 있는 방법을 고안하였다. 먼저 혼동 행렬을 행별로 조사하여 그 최대값을 하나의 벡터에 모은다. 이 행벡터는 근전도 패턴에 상관없이 전체 근전도 패 턴에서 각각의 동작이 맺은 가장 높은 상관관계만을 추려낸 값 이 된다. 즉, 이 값이 작은 동작의 경우 어떤 근전도 패턴으로도 구분이 어려웠던 동작이라는 것을 대변하게 되는 것이다.

우리는 이 과정을 패턴을 등록하는 민감도로써 작용하는 문턱 확률값을 아주 작은 값에서 큰 값까지 변화시켜가며 반 복적으로 수행하였다. 자세한 과정은 [Fig. 2]에서 확인할 수 있다. 문턱 확률값이 작을 때에는 패턴을 추가하는 문턱이 매 우 낮으므로 아주 의외의 신호가 관측되었을 경우에만 패턴을 추가한다는 뜻이다. 즉, 이 때는 패턴 추가의 민감도가 매우 낮 다는 의미이며 패턴의 추가를 보수적으로 가져간다고 생각할 수 있다. 경험적으로, 문턱 확률값은 정상인의 경우 sEMG의 채널이 N개라고 할 때 log p^*의 값을 [-5N, -3N]의 범위에서 선 택이 가능하지만, 절단 환자의 경우이기 때문에 이보다 좀 더 보수적인 범위 [-7N, -4N]로 선택하였다. 이렇게 문턱 확률값 을 변화시켜가며, 각각의 동작을 구분할 수 있는 최대 구분 가 능도(classifiability)는 얼마이며, 반대로 해당 동작에 대해 주 어진 구분 가능도는 만족하는 근전도 패턴은 전체 패턴 중 얼 마를 차지하는지 계산해낼 수 있다. 이러한 방법을 통해 우리 는 전체 동작에 대해 무학습 근전도 패턴 인식 알고리즘으로 동작이 구분 가능한 정도를 평가하고 분석하게 된다.

3. 실 험

이 장은 크게 두 부분으로 나뉘어져 있다. 첫째는 실험 구성 및 절차를 설명하는 부분이다. 여기서는 사례 연구의 대상이 된 부분 절단 환자에 대한 정보, 거울 행동 기법을 통해 수집된 동작의 종류, 그리고 데이터의 수집 및 신호 처리 과정에 대해 설명한다. 이어지는 두번째 부분은 실험 결과를 보여주게 된 다. 거울 행동에서 수집된 근전도 데이터 및 비교를 위해 수행 된 가우시안 혼합 모델의 결과와 더불어 최종적으로 계산된 혼동 행렬 결과와 분석된 동작의 분류 가능성을 보여준다. 이 어서 계산된 분류 가능성을 바탕으로 부가적으로 동작을 순차 적으로 선택하는 경우에 동작 인식 정확도가 어떻게 변화하는 지를 보여주고자 한다.

3.1 실험 구성 및 절차

3.1.1 실험 참가자 정보

실험 참가자는 49세의 남성으로 2012년에 사고로 [Fig. 3] 과 같이 오른손 엄지와 검지 및 손바닥의 일부를 잃었다. 또한 남은 3, 4, 5 수지의 중수지간관절 및 지간관절의 수동적 관절 운동제한이 있어서 자의로 움직이는 것이 거의 불가능한 상황 이다. 손목은 골절의 후유증으로 약간 굴곡 구축이 있는 상태이 다. 골절 등으로 인한 피부 손상으로 피부 이식 및 재건 수술을 수 차례 진행하였으며 이는 [Fig. 3(a)]에서 정상 피부에 비해 짙은 색으로 보이는 구역으로 [Fig. 3(b)]에서 별도의 경계선으로 나누 어 표현하였다. 이 부위에서는 피부 감각이 정상 피부에 비해 덜 예민하였으나 근전도 신호에는 큰 영향이 없는 것으로 확인되었 다. 이 연구는 한국 과학기술연구원(Korea Institute Science and Technology, KIST)의 기관 심사위원회(institutional review board, IRB)의 인체 실험 승인(KIST IRB 2018-012)을 받았다.

[Fig. 3]

Partially amputated hand and location of sEMG electrodes. (a) Actual appearance of hand with electrodes attached. (b) Locations and muscles where wireless sEMG electrodes were attached. 1: flexor carpi ulnaris, 2: flexor digitorum, 3: flexor pollicis, 4: extensor carpi group, 5: extensor digitorum, and 6: extensor pollicis

3.1.2 수집된 동작의 종류 및 거울 행동 기법

실험 참가자가 수행한 동작은 총 13가지 동작에 아무것도 하지 않는 휴식 상태를 하나 추가하여 총 14가지 상태를 구성 하였으며 각각의 동작에 대한 설명과 동작에 부여한 레이블을 [Table 1]에 정리하였다. 각 동작에 대해 한번씩 데이터 수집을 하였으며 해당 동작과 휴식을 5회씩 반복 수행하여 근전도 데 이터를 수집하였다. 휴식 상태를 제외한 13가지 서로 다른 동 작에 대해 각각 데이터를 수집하였으므로 데이터 수집은 총 13회가 되었다. 수행된 동작의 순서는 [Table 1]에 정리된 순서 와 동일하다.

[Table 1]

Movements conducted for classifiable analysis

동작은 모두 거울 행동 기법을 통해 수집되었다. 절단되지 않은 왼쪽 손으로 실제 동작을 수행함과 동시에 오른 손으로 왼손의 동작을 실제로 따라하거나 따라하도록 상상하여 움직 이기를 요청하였다. 즉, 절단으로 인해 실제 존재하지 않는 부 위의 동작이라고 하더라도 최대한 동일한 동작을 의도하도록 요청하였다. 그러나 실제로 절단되지 않은 반대 손이 한 동작 을 절단된 손이 상상으로라도 이를 따라서 수행할 수 있었는 지는 알 수 없기 때문에 여기서 제안하는 방법을 통해 어떤 동 작들이 구분 가능한지 분석하고자 한다.

3.1.3 실험 데이터의 수집 및 신호 처리 과정

실험 데이터 수집을 위해 근전도 센서는 Delsys 사의 무선 근전도 센서 및 신호 수집 시스템인 Trigno를 사용하였다. 수 집된 데이터의 모든 처리는 MATLAB에서 이루어졌다. 총 6 개의 전극을 [Fig. 3]과 같이 부분 절단된 수부에 부착하였다. 앞서 제안한 구분 가능도 분석 방법을 적용하기 이전에, 수집 한 13개의 데이터셋을 순서대로 모두 하나로 합친 후 설명한 방법들을 적용하였다.

각각의 센서는 2 kHz로 샘플링 되었으며 200 샘플 크기의 이동 평균(moving average, MAV)을 취하였다. 수집한 근전도 신호의 발화 지점은 베이스라인 노이즈에서 MAV를 취하기 이전의 근전도 신호의 표준편차를 기준으로, 이 기준 크기보 다 일정한 배수 이상으로 신호의 크기가 커지는 경우를 발화 지점으로 삼았다. 이렇게 생성된 발화 지점을 그래프에서 직 접 확인하여 수동으로 동작 레이블을 생성하였다. 이동 평균 의 윈도우 크기(window size)는 무학습 근전도 패턴 인식 알고 리즘에서 경험적으로 10에서 100 ms 사이로 선택하였다. 절단 환자를 위한 해당 사례에서는 좁은 윈도우 크기에서 얻어지는 빠른 응답성보다 넓은 윈도우 크기에서 얻어지는 강한 정류가 필요하기에 200 샘플의 MAV를 선택하였다.

3.2 실험 결과 및 논의

3.2.1 전체 수집 데이터 및 가우시안 혼합 모델 결과

전체 13회에 걸쳐 수집한 근전도 데이터 중 네 개의 동작을 선정하여 [Fig. 4]에 그래프로 표현하였다. 여기에서 예를 들어 [Fig. 4(a)]와 [Fig. 4(c)] 사이에는 구분 가능한 근전도 패턴의 차이를 육안으로 확인할 수 있기에 두 동작에 대해서 구분이 가능할 것으로 기대할 수 있지만, [Fig. 4(b)]와 [Fig. 4(d)]의 경 우 그 패턴이 매우 유사하기 때문에 구분 가능한 정도를 정량 적으로 평가하는 방법이 필요하다는 것을 알 수 있다. 뿐만 아 니라 많은 경우의 동작이나 그 반복에 있어서 볼 수 있듯이 휴 지 상태에서 동작을 수행하는 전이 과정이나 초반에 동작을 유지하는 상태, 그리고 동작이 어느정도 수렴해서 유지되는 상태에 따라 근전도 패턴이나 신호의 크기가 빈번하게 달라지 는 것을 확인할 수 있다. 그렇기 때문에 하나의 패턴으로 하나 의 동작을 대표하는 것은 한계가 있다는 점도 확인이 가능하다.

앞서 설명한 가우시안 혼합 모델을 14가지 상태를 포함한 전체 데이터셋에 적용한 결과는 [Fig. 5]에서 확인이 가능하다. 두 가지 종류의 정보 기준(Akaike and Bayesian information criterions)^[8]를 계산하였으며 모두 낮을수록 학습된 모델이 데 이터를 더 잘 설명하는 것을 의미한다. 가우시안 분포의 숫자 를 한 개에서 30개까지 차례대로 증가시키며 학습시킨 결과를 [Fig. 5]에 나타내었다. 이 두 정보 기준의 변화 경향에서 대체 로 가우시안 분포의 수가 증가함에 따라서 정보 기준이 지속 적으로 감소하다가 결국에는 어느정도 수렴하는 모습을 보여 주었다. 그러나 특정 가우시안 분포 수를 기준으로 급격하게 감소하다가 그 이후 수렴하거나 증가하는 양상으로 변화하는 특정한 변이점을 보이지 않았다. 이는 곧 대표적인 비교시 학 습 클러스터링 방법인 가우시안 혼합 모델로는 우리가 수집한 근전도 데이터셋 내에 해당 모델로 구분할 수 있는 패턴의 숫 자를 특정하기 어렵다는 것을 입증하는 결과로 볼 수 있다.

[Fig. 4]

Collected sEMG data. (a) Motion 3: wrist extension, (b) motion 9: index flexion, (c) motion 12: little flexion, and (d) motion 13: thumb extension

[Fig. 5]

Information criterion to investigate number of sEMG patterns of experimental dataset using Gaussian mixture model

3.2.2 혼동 행렬 및 동작 구분 가능도

앞서 [Fig. 2]에서 설명한 바와 같이 무학습 근전도 패턴 인 식 알고리즘을 통해 얻어진 추론된 근전도 패턴과 더불어 거 울 행동 기법을 통해 얻어진 실제 동작 레이블을 이용하여 계 산한 혼동 행렬을 [Fig. 6]와 같이 얻을 수 있다. 여기에서는 두 가지 문턱 확률값을 선정하여 그 때 얻어진 혼동 행렬만을 보 여주었다. 문턱 확률값이 일종의 근전도 패턴 등록의 민감도 를 결정할 수 있다고 설명한 바와 같이, 여기에서도 문턱 확률 값이 높을 때 동일한 근전도 데이터셋에서 더 많은 수의 근전 도 패턴이 등록된 것을 알 수 있다. 각각 [Fig. 6(a)]에서 19개, [Fig. 6(b)]에서 29개의 근전도 패턴이 추출되었다.

[Fig. 6]

Confusion matrices for two cases: p* = (a) -30.0 and (b) -26.0

여기에서 혼동 행렬은 각 행마다 정상화 되어있기 때문에 각 행의 합은 1로 일정하다. 즉, 앞서 설명한 바와 같이 하나의 근전도 패턴이 단 하나의 동작과 강하게 상관관계를 맺는다면 [Fig. 6]의 히트맵에서 해당 행에 짙은 검은색이 단 하나만 존 재하게 된다. 예를 들어 [Fig. 6(a)]에서 16번째 근전도 패턴으 로 추론된 신호들은 10번째 동작(middle flexion)인 경우가 대 다수였음을 알 수 있다. 반대로 동일한 히트맵에서 12번 동작 (little flexion)과 강한 상관관계를 갖는 패턴은 총 2개로 17, 18 번째 근전도 패턴임을 알 수 있다. 이러한 분석 방법을 통해서 우리는 근전도 패턴과 동작 사이에 일대일 대응 또는 다대일 대응을 찾아낼 수 있다.

그러면 각각의 혼동 행렬을 열마다 조사하였을 때, 즉 혼동 행렬을 동작별로 분석하게 되면 어떠한 근전도 패턴과도 상관 관계를 맺지 못하는 동작들이 존재함을 알 수 있다. 예를 들어 [Fig. 6(b)]에서 6번 동작의 경우 수직으로 내려오며 모든 근전 도 패턴과의 상관관계를 조사하였을 때 뚜렷하게 나타나는 근 전도 패턴이 없음을 알 수 있을 것이다. 이렇게 뚜렷하게 구분 되지 못하는 동작이 여러가지 문턱 확률값에서 공통적으로 나 타나는 경우, 우리는 해당 동작에서 뚜렷한 근전도 패턴이 추 출되기 어렵다는 것을 알 수 있다.

혼동 행렬 [Fig. 6]로부터 우리는 [Fig. 7]과 같은 구분 가능 도의 히스토그램(histogram)을 그릴 수 있다. 그림 [Fig. 7]을 해석하는 방법은 다음과 같다. 이 결과에서 12번 동작의 경우 [Fig. 2]에서 정의한 구분 가능도가 최대값인 1인 경우에 해당 하는 근전도 패턴이 전체 패턴의 약 9%를 차지한다는 것이다. 이보다 구분 가능도를 낮추어 약 0.6이라고 할 때, 거의 전체 패턴의 10% 이상이 12번 동작을 구분해내고 있음을 말한다. 그렇기 때문에 [Fig. 7]에서 12번 동작을 보았을 때 다른 동작 에 비해 노란색이 아주 확연하게 높이 떠올라 있기 때문에, 이 동작이 다른 동작들에 비해 높은 구분 가능도를 가지며 그 때 의 근전도 패턴은 비교적 많은 수의 패턴이 참여하여 다대일 대응을 구성할 수 있음을 알 수 있다.

[Fig. 7]

Classifiability histogram

또다른 예로 [Fig. 7]에서 3번 동작을 살펴보면 중간 정도의 구분 가능도(약 0.4 이상)에서 근전도 패턴들이 서서히 등장하 기 시작하는 것을 알 수 있으며, 아주 높은 정도로 구분 가능도 를 설정하는 경우(약 0.8 이상) 구분 가능한 근전도 패턴의 비율이 2% 미만으로 떨어지는 것을 알 수 있다. 전체 패턴의 수 가 수십개에 불과하므로 이는 많아야 두 개 정도의 근전도 패 턴에 해당하는 것을 간접적으로 알 수 있다. 전혀 다른 양상으 로는 [Fig. 7]의 9번 동작을 들 수 있다. 이 동작의 경우 낮은 구 분 가능도에서 많은 근전도 패턴들이 참여하기 시작하지만, 어느정도 이상의 구분 가능도를 보이지는 못하고 있음을 알 수 있다. 이는 앞서 언급한 3번 동작과의 비교에서 더 뚜렷하 다. 왜냐하면 3번 동작의 경우 구분 가능도가 올라가도 어느 정도 비율의 근전도 패턴이 꾸준히 등장했으나, 9번 동작의 경 우 구분 가능도를 한참 높여도 근전도 패턴의 비율이 좀처럼 높 게 나타나지 않기 때문이다. 이러한 방법으로 우리는 [Fig. 7]을 통해 복합적으로 동작의 구분 가능도를 분석할 수 있게 된다.

3.2.3 동작 선택에 따른 동작 인식률

구분 가능도에서 한 발 더 나아가서 [Fig. 7]을 토대로 구분 이 잘되는 동작의 순서를 정할 수 있다. 기준이 되는 구분 가능 도를 0.8이라고 가정하면, 각 동작별로 이를 만족하는 근전도 패턴의 비율이 자동적으로 결정되게 된다. 이를 바탕으로 휴 지 상태인 1번 동작을 가장 처음으로 두고 나머지 동작들에 대 해 많은 수의 근전도 패턴이 해당 구분 가능도를 충족하는 순 서, 즉 근전도 패턴의 비율이 높은 순서로 동작을 선택하게 되 면 [Fig. 8]의 x축에 나열한 것과 같은 순서를 얻을 수 있다. 그 래서 이 축에 나열한 순서대로 왼쪽부터 동작을 하나씩 추가 해 나감에 따라서 전체 동작 인식률(classification accuracy)이 어떻게 변화해 나가는지를 그래프로 표현한 것이 [Fig. 8]이 된 다. 예상한 것과 같이 동작을 추가할수록 동작 인식률이 하락 하는 것을 확인할 수 있으며, 우리가 원하는 수준의 동작 인식 률이 있을 경우 몇 가지 동작을 선택할 수 있는지도 이를 통해 결정지을 수 있게 된다.

[Fig. 8]

Classification accuracy for selected motions

또한 이 동작 인식률은 무학습 근전도 패턴 인식 알고리즘 의 문턱 확률값에도 영향을 받기 때문에 이를 상단에 표현한 것과 같이 색상으로 구분하였다. 문턱 확률값을 더 예민하게 설정할수록 조금이라도 구분되는 패턴을 새로운 패턴으로 등 록하기 때문에 더 많은 수의 근전도 패턴이 고용이 될 것이고 평균적으로 같은 동작당 등록되는 근전도 패턴의 수도 증가하 기 때문에 동작 인식률도 더 높은 경향을 갖게 된다. 이로부터 우리는 종합적으로 동작의 구분 가능도 뿐만 아니라 이를 기 반으로 한 동작 인식률까지도 포괄적으로 다룰 수 있게 되었 음을 알 수 있다.

이어서 무학습 근전도 패턴 인식 알고리즘의 동작 인식률 을 교시 학습을 이용하는 SVM-RBF와 BLSTM과 비교하였 다. 이 두 알고리즘은 학습을 위한 동작 레이블을 필요로 할 뿐만 아니라 한번 학습하는데 수분의 학습 시간을 필요로 하 는 알고리즘인 반면에, 제안한 무학습 근전도 패턴 인식 알고 리즘은 학습 없이 바로 사용 가능하다는 점을 염두해야 한다. 두 교시 학습 알고리즘을 제안한 알고리즘과 비교하였을 때, BLSTM은 전반적으로 문턱 확률의 로그값이 약 -36 정도에 해당하는 수준의 인식률을 보인 반면에 SVM-RBF의 경우에 는 후보가 된 문턱 확률의 로그값 중 가장 민감한 경우인 -24 와 유사한 수준의 인식률을 보였다. 특히 이 경우에 주목할 만 한 점은 제안한 방법을 통해 동작을 높은 순서대로 선정하는 경우에 14개 중 9개의 동작을 선택할 때까지 제안한 무학습 근전도 패턴 인식 알고리즘이 가장 높은 인식률을 보였다는 점이며(문턱 확률 로그값이 -24인 경우), 이 때 7개의 동작을 선택할 때까지 약 100%의 인식률을 보였다는 점 역시 함께 주목해야 한다. 이 비교 결과를 통해 궁극적으로 제안하는 방 법이 동작의 구분 가능도를 제공할 뿐 아니라 높은 수준의 동 작 인식까지 가능한 통합된 방법을 제공하며, 최신의 교시 학 습과 비교하여 우수한 결과를 보여준다는 점을 확인할 수 있 었다.

4. 결 론

근전도 신호는 수부 절단 환자를 위해 개발된 전동 의수를 직관적으로 제어할 수 있는 대표적인 생체 신호임에도 불구하 고, 절단 환자의 근육에서 발생하는 신호로부터 얼마나 많은 수의 동작이 구분 가능하며 그 때 구분 가능한 동작으로는 어 떤 것들이 있는지 체계적으로 분석하고 평가하는 방법은 크게 다루어 지지 않았다. 이는 대다수의 근전도를 이용한 동작 의 도 인식 연구가 기존에 존재하는 기계 학습이나 패턴 인식 알 고리즘에만 단순하게 의존하고 있었기 때문이다.

무학습 근전도 패턴 인식 알고리즘은 학습 없이 근전도 데 이터만을 가지고 새로이 관측되는 패턴을 생성하고 구성된 근 전도 패턴으로 현재 신호를 추론할 수 있는 능력을 가지고 있 을 뿐 아니라, 새로운 근전도 패턴 등록의 민감도를 문턱 확률 값으로 조절이 가능하다는 특징을 갖는다. 이를 바탕으로 우 리는 문턱 확률값을 달리함에 따라 얻어진 근전도 패턴과 실 제 동작 레이블 간의 상관관계를 혼동 행렬로 정리할 수 있고, 이를 바탕으로 각 동작의 구분 가능도를 정량적으로 분석 및 평가할 수 있음을 제안하였다.

사례 연구를 통해 우리는 부분 수부 절단 환자로부터 거울 행동 기법을 통해 여러 동작에 대한 근전도 데이터를 수집하 였고 이 데이터에 제안하는 방법을 적용하였다. 이로부터 각 각의 동작에 대해 무학습 근전도 패턴 인식 알고리즘으로 구 분 가능한 정도를 평가하였으며, 높은 수준의 구분 가능도를 갖는 순서로 동작을 선택할 때 최종적으로 얻을 수 있는 동작 인식률까지 얻는데 성공하였다. 특히 이렇게 얻어진 동작 인 식률은 교시 학습을 필요로 하는 최신의 패턴 인식 알고리즘 과 비교하여 우수한 수준을 달성하였다.

이 연구는 결국 부분 수부 절단 환자를 위해 맞춤형으로 개 발된 전동 의수뿐 아니라, 환자의 근전도 신호 획득 조건이나 환경에 따라 달라질 수 있는 구분 가능한 동작에 대해 체계적 으로 분석하고 평가할 수 있는 통합된 방법론을 제시하는 연 구가 될 것이다. 이로부터 무학습 근전도 패턴 인식 알고리즘 과 더불어 근전도를 이용한 동작 의도 인식을 필요로 하는 실 제 사례에 적용할 때 필요한 근전도 해석 방법이 될 것으로 기대된다.

Acknowledgments

This work was supported by the Global Frontier R&D Program on <Humancentered Interaction for Coexistence> funded by the National Research Foundation of Korea, a grant funded by the Ministry of Science and ICT (NRF-M1AXA003-2010-0029748), and the Convergence Technology Development Program for Bionic Arm through the NRF funded by the Ministry of Science and ICT (2014M3C1B2048419).

References

• M. A. Oskoei and H. Hu, “Myoelectric control systems—a survey,” Biomedical Signal Processing and Control, vol. 2, no. 4, pp. 275-294, Oct., 2007. [https://doi.org/10.1016/j.bspc.2007.07.009]
• M. Hakonen, H. Piitulainen, and A. Visala, “Current state of digital signal processing in myoelectric interfaces and related applications,” Biomedical Signal Processing and Control, vol. 18, pp. 334-359, Apr., 2015. [https://doi.org/10.1016/j.bspc.2015.02.009]
• Y.-J. Kim, D.-H. Lee, H. Park, J.-H. Park, and J.-H. Bae, “A Novel Input Device for Robotic Prosthetic Hand: Design and Preliminary Results,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, 2018.
• C. Potluri, M. Anugolu, D. S. Naidu, M. P. Schoen, and S. C. Chiu, “Real-time embedded frame work for sEMG skeletal muscle force estimation and LQG control algorithms for smart upper extremity prostheses,” Engineering Applications of A.jpgicial Intelligence, vol. 46, pp. 67-81, Nov., 2015. [https://doi.org/10.1016/j.engappai.2015.08.007]
• J. He, D. Zhang, N. Jiang, X. Sheng, D. Farina, and X. Zhu, “User adaptation in long-term, open-loop myoelectric training: implications for EMG pattern recognition in prosthesis control,” Journal of Neural Engineering, vol. 12, Jun., 2015. [https://doi.org/10.1088/1741-2560/12/4/046005]
• H.-J. Hwang, J. M. Hahne, and K.-R. Müller, “Channel selection for simultaneous and proportional myoelectric prosthesis control of multiple degrees-of-freedom,” Journal of Neural Engineering, vol. 11, no. 5, Aug., 2014. [https://doi.org/10.1088/1741-2560/11/5/056008]
• F. Clemente, M. D’Alonzo, M. Controzzi, B. B. Edin, and C. Cipriani, “Non-Invasive, Temporally Discrete Feedback of Object Contact and Release Improves Grasp Control of Closed-Loop Myoelectric Transradial Prostheses,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 24, no. 12, pp. 1314-1322, Dec., 2016. [https://doi.org/10.1109/TNSRE.2015.2500586]
• G. R. Naik, A. H. Al-Timemy, and H. T. Nguyen, “Transradial Amputee Gesture Classification Using an Optimal Number of sEMG Sensors: An Approach Using ICA Clustering,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 24, no. 8, pp. 837-846, Aug., 2016. [https://doi.org/10.1109/TNSRE.2015.2478138]
• Y.-J. Kim, D.-H. Lee, H. Park, J.-H. Park, J.-H. Bae, and M.-H. Baeg, “Wrist and Grasping Forces Estimation using Electromyography for Robotic Prosthesis,” Journal of Korea Robotics Society, vol. 12, no. 2, pp. 206-216, Jun., 2017. [https://doi.org/10.7746/jkros.2017.12.2.206]
• Q. Cheng, H. Zhou, and J. Cheng, “The Fisher-Markov Selector: Fast Selecting Maximally Separable Feature Subset for Multiclass Classification with Applications to High-Dimensional Data,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 33, no. 6, pp. 1217-1233, Jun., 2011. [https://doi.org/10.1109/TPAMI.2010.195]
• Y. Su, S. Shan, X. Chen, and W. Gao, “Classifiability-Based Discriminatory Projection Pursuit,” IEEE Transactions on Neural Networks, vol. 22, no. 12, pp. 2050-2061, Dec., 2011. [https://doi.org/10.1109/TNN.2011.2170220]
• S. Soman and Jayadeva, “High performance EEG signal classification using classifiability and the Twin SVM,” Applied Soft Computing, vol. 30, pp. 305-318, May, 2015. [https://doi.org/10.1016/j.asoc.2015.01.018]
• Y. Kamei and S. Okada, “Classification of forearm and finger motions using electromyogram and arm-shape-changes,” 2016 38^th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), Orlando, FL, USA, 2016, DOI: 10.1109/EMBC.2016.7592016. [https://doi.org/10.1109/EMBC.2016.7592016]
• F. Riillo, L.R. Quitadamo, F. Cavrini, E. Gruppioni, C.A. Pinto, N. Cosimo Pastò, L. Sbernini, L. Albero, and G. Saggio, “Optimization of EMG-based hand gesture recognition: Supervised vs. unsupervised data preprocessing on healthy subjects and transradial amputees,” Biomedical Signal Processing and Control, vol. 14, pp. 117-125, Nov., 2014. [https://doi.org/10.1016/j.bspc.2014.07.007]
• A. Xiong, X. Zhao, J. Han, G. Liu, and Q. Ding, “An userindependent gesture recognition method based on sEMG decomposition,” 2015 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Hamburg, Germany, 2015, DOI: 10.1109/IROS.2015.7353969. [https://doi.org/10.1109/IROS.2015.7353969]
• D. Ge, E. Le Carpentier, and D. Farina, “Unsupervised Bayesian Decomposition of Multiunit EMG Recordings Using Tabu Search,” IEEE Transactions on Biomedical Engineering, vol. 57, no. 3, pp. 561-571, Mar., 2010. [https://doi.org/10.1109/TBME.2009.2022277]
• M. Karg, G. Venture, J. Hoey, and D. Kulic, “Human Movement Analysis as a Measure for Fatigue: A Hidden Markov-Based Approach,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 22, no. 3, pp. 470-481, May, 2014. [https://doi.org/10.1109/TNSRE.2013.2291327]
• Q. Zhang, M. Hayashibe, P. Fraisse, and D. Guiraud, “FES-Induced Torque Prediction With Evoked EMG Sensing for Muscle Fatigue Tracking,” IEEE/ASME Transactions on Mechatronics, vol. 16, no. 5, pp. 816-826, Oct., 2011. [https://doi.org/10.1109/TMECH.2011.2160809]
• G.-C. Jeong, Y. Kim, W. Choi, G. Gu, H.-J. Lee, M. B. Hong, and K. Kim, “On the Design of a Novel Underactuated Robotic Finger Prosthesis for Partial Hand Amputation,” IEEE RAS-EMBS International Conference on Rehabilitation Robotics (ICORR), Toronto, Canada, 2019. [https://doi.org/10.1109/ICORR.2019.8779553]
• C. M. Bishop and N. M. Nasrabadi, Pattern recognition and machine learning, Springer New York, 2006.
• A. D. Bellingegni, E. Gruppioni, G. Colazzo, A. Davalli, R. Sacchetti, E. Guglielmelli, and L. Zollo, “NLR, MLP, SVM, and LDA: a comparative analysis on EMG data from people with trans-radial amputation,” Journal of NeuroEngineering and Rehabilitation, vol. 14, no. 1, p. 82, Aug., 2017. [https://doi.org/10.1186/s12984-017-0290-6]
• K. He, X. Zhang, S. Ren, and J. Sun, “Delving deep into re.jpgiers: Surpassing human-level performance on imagenet classification.” 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, 2015, DOI: 10.1109/ICCV.2015.123. [https://doi.org/10.1109/ICCV.2015.123]