근육 활성화 모델 기반의 데이터 증강을 활용한 동시 동작 인식 프레임워크

1. 서 론

표면근전도(surface electromyogram, sEMG)는 근육이 수축할 때 발생하는 전기적 신호로, 직관적이고 비침습적으로 사용자의 의도를 파악할 수 있어 가상/증강 현실(virtual/augmented reality, VR/AR)^[1], 외골격(exoskeleton)^[2], 재활 로봇(rehabilitation robot)^[3], 의수(hand prosthesis)^[4] 등의 다양한 분야에서 활용되고 있다. 손과 손목 동작은 의사소통이나 물체를 다루는 것부터 정교한 작업에 이르기까지 폭넓게 활용되므로 이들 동작 의도를 파악하는 것은 매우 중요하다.

손과 손목은 독립적으로 움직이기도 하지만, 동시에 동작하여 특정 물체의 방향을 조절하거나 힘을 가할 수 있다^[5]. 예를 들어, 사람은 물을 마실 때 손으로 물병을 잡은 상태에서 손목으로 기울이게 된다. 또한, 책을 잡은 후 몸쪽으로 손목에 힘을 가하여 책을 꺼내기도 한다. 이처럼 동시 동작(simultaneous motion)은 일상에서 빈번하게 발생하며, 따라서 이들 동작의 의도를 파악하는 것 또한 매우 중요하다. 단일 동작(single motion)만을 대상으로 하는 기존 의도 파악 방식의 경우, 각 단일 동작에서 얻어지는 표면 근전도 패턴(pattern)을 순차적으로 인식해 동시 동작을 구현한다^[6-8]. 하지만, 각 단일 동작을 병렬적으로 수행할 수 있는 사람의 방식과는 차이가 있다^[9].

자연스럽고 직관적인 동시 동작 의도 파악을 위해, 다양한 연구가 진행되었다. A. Young 등은 각 단일 동작별로 분리된 분류기를 학습하고, 해당 분류기의 결과에 따라 남은 자유도의 동작을 구분하는 병렬 조건부 분류기(conditional parallel classifier)를 제안하였다^[10]. L. H. Smith 등은 3자유도 손목 동작에 대해 표면 근전도를 동작 속도로 투영하는 선형 회귀(linear regression) 방식을^[11], 그리고 W. Yang 등은 3자유도 손목 위치를 동시에 추정하는 컨볼루션 신경망(convolutional neural network, CNN)을 제안하였다^[12]. 하지만, 이러한 방법론을 적용하기 위해서는 각 동작에서 도출된 표면 근전도 데이터(data)와 해당 데이터가 어떤 동작에서 도출되었는지를 나타내는 레이블(label)이 필요하다. 특히, 단일 동작의 수가 늘어나면 이들의 조합으로 구성되는 동시 동작의 수 또한 증가하여 학습에 대한 사용자의 부담이 커지게 된다.

따라서, 본 논문에서는 근육 활성화 모델(muscle activation model) 기반의 데이터 증강을 활용한 동시 동작 인식 알고리즘을 제안하고자 한다. 우선, 근육 활성화 모델을 이용하여 각 단일 동작들의 특성을 추출한다. 근육 활성화 모델은 전완부(forearm) 내에 점 근원(point source)으로부터 표면 근전도가 생성되는 메커니즘을 수학적으로 표현한 것으로, 최적화를 통해 주어진 데이터를 가장 잘 설명할 수 있는 점 근원 파라미터(parameter)를 얻을 수 있다. 이후 동시 동작에서 도출된 소량의 표면 근전도와 관련된 단일 동작들의 특성을 통해 데이터를 증강하고, 이를 분류기 학습에 사용한다. 데이터 증강(data augmentation)은 현재 가지고 있는 소량의 데이터를 활용, 새로운 데이터를 생성하여 그 수를 늘리는 방법을 일컫는 것으로, 많은 양의 학습 데이터가 필요한 머신 러닝(machine learning) 혹은 딥 러닝(deep learning)에서 사용되고 있는 방법이다^[13]. 본 연구에서는 이러한 전략을 동시 동작 의도 파악에 활용하여 사용자의 학습 데이터 획득에 따른 부담을 줄이고자 한다.

본 논문의 2장에서는 사용한 표면 근전도 데이터와 대상 동작을 소개한다. 3장에서는 단일 동작의 특성을 파악하기 위한 근육 활성화 모델을 설명하며, 4장에서는 근육 활성화 모델을 기반으로 동시 동작 데이터를 증강하는 방법을 설명한다. 5장에서는 제안하는 방법을 검증하기 위한 성능 비교 방식을 설명하고 실험 결과를 제시한다. 그리고 6장의 결론을 통해 본 논문의 내용을 정리한다.

2. 표면 근전도 데이터 및 대상 동작

본 논문에서는 윤리 규정을 준수하여 획득된 고밀도 전극 행렬(high-density electrode array)을 활용한 오픈 소스 데이터셋(open-source dataset) 중 패턴 인식 데이터셋(PR dataset)을 활용하였다^[14]. 해당 데이터셋은 총 20명의 건강상으로 온전한 피실험자에게 전완부 굴근(forearm flexor muscle) 측에 128개(팔 길이 방향 16개, 팔 둘레 방향 8개), 전완부 신근(forearm extensor muscle) 측에 128개(팔 길이 방향 16개, 팔 둘레 방향 8개)의 전극을 부착한 상태에서 2048 Hz의 샘플링 주파수로 측정되었으며, 본 논문에서는 이 중 15명의 피실험자로부터 얻어진 데이터를 활용하였다. 피실험자는 4초간 특정 동작을 유지한 후 근육 피로(muscle fatigue)를 방지하기 위해 5초의 휴식을 취하였으며, 모든 동작에 대해 해당 과정을 두 번씩 반복하였다. 아무런 처리가 가해지지 않은 표면 근전도는 확률적으로 발생하는 활동 전위와 다양한 노이즈(noise)의 영향을 합친 값이므로^[15], 해당 논문에서는 슬라이딩 윈도우를 적용한 후 평균 절대값(mean absolute value, MAV)을 계산하여 활용하였다^[16]. 슬라이딩 윈도우의 길이는 허용되는 시스템 지연 최댓값의 절반에 해당하는 150 ms로 지정하였다^[17].

대상 동작은 크게 단일 동작과 동시 동작으로 나눌 수 있다. 단일 동작으로는 손 움켜쥐기(hand close, HC), 손 펴기(hand open, HO), 손목 굴곡(wrist flexion, WF), 손목 신전(wrist extension, WE), 요측 편위(radial deviation, RD), 척측 편위(ulnar deviation, UD), 손목 회내(wrist pronation, WP), 그리고 손목 회외(wrist supination, WS)의 8가지를 선정하였다. 그리고 동시 동작은 위에서 설명한 단일 동작들이 조합되었을 때 나올 수 있는 12가지 동작(손 동작 2개, 손목 동작 6개)을 선정하였다.

3. 근육 활성화 모델

3.1 정의

근육 활성화 모델은 [Fig. 1(a)]와 같이 특정 전극에서 도출되는 표면 근전도를 가장 잘 설명할 수 있는 점 근원을 찾는 것을 목표로 한다. 이 때 전완부는 원통 형태이고, 전극 자체의 두께는 무시할 수 있으며, 전극의 위치를 나타내는 데 필요한 R_e, θ_e, z_e는 상수라고 가정한다. 점 근원은 위치를 나타내는 R_s, θ_s, z_s, 방향성을 나타내는 α_s, 전도도를 나타내는 σ_⊥, σ_R, σ_∥, 그리고 활성화 크기를 나타내는 a_s까지 총 8개의 파라미터로 표현된다. 사람의 팔은 근육뿐만 아니라 뼈, 지방과 같은 다양한 구성 요소로 이루어져 있기 때문에 점 근원의 위치에 따라 각 방향별로 전기 전도도가 다를 수 있어 최적화할 파라미터로 선정하였다. 또한, 점 근원임에도 방향성을 고려하는 이유는 근육 섬유의 길이 방향에 따른 효과를 나타내기 위함이다. [Fig. 1(b)]와 [Fig. 1(c)]에서 점 근원으로부터 전극까지의 위치 벡터 $$ \overrightarrow{v}$$는 다음과 같이 나타낼 수 있다.

$\[ \overrightarrow{v}=\left[R_e\text{cos}{\theta }_e-R_s\text{cos}{\theta }_e,R_e\text{sin}{\theta }_e-R_s\text{sin}{\theta }_e, z_e-z_s\right] \]$

(1)

[Fig. 1]

(a) Schematic illustration of muscle activation model. The muscle activation model defines the relationship between point source and arbitrary electrode. (b) cross-sectional view of muscle activation model. Unit vector from the center to the point source is denoted as e→R. (c) Top view of muscle activation model. Unit vectors parallel and orthogonal to the direction of point source are denoted as e→⊥ and e→║ respectively

근육 활성화 모델에서 전도도는 팔의 반지름 방향, 점 근원의 방향, 그리고 점 근원과 수직인 방향에서의 거리에 가중치를 부여하는 역할을 한다. 하지만 $$ \overrightarrow{v}$$는 전역 좌표계에서 기술되어있기 때문에 각 원소의 값을 그대로 근육 활성화 모델에 활용할 수는 없다. 따라서, 점 근원의 위치에 따라 좌표계를 변환해주어야 한다. 이를 위해서는 y축이 점 근원을 지나면서 z축이 점 근원의 방향과 평행하도록 좌표계를 변환하는 연산을 수행해야 한다. 우선, 좌표축을 β만큼 회전하는 것은 특정 벡터를 -β만큼 회전하는 것과 동일하기 때문에 y축이 점 근원을 지나도록 좌표축을 변환하기 위한 회전 행렬 T₁은 다음과 같이 계산할 수 있다.

$\[ T_1\begin{array}{l}=\left[\begin{array}{ccc}\text{cos}\left(\frac{1}{2}\pi -{\theta }_s\right)& -\text{sin}\left(\frac{1}{2}\pi -{\theta }_s\right)& 0\\ \text{sin}\left(\frac{1}{2}\pi -{\theta }_s\right)& \text{cos}\left(\frac{1}{2}\pi -{\theta }_s\right)& 0\\ 0& 0& 1\end{array}\right]\hfill \\ =\left[\begin{array}{ccc}\text{sin}{\theta }_s& -\text{cos}{\theta }_s& 0\\ \text{cos}{\theta }_s& \text{sin}{\theta }_s& 0\\ 0& 0& 1\end{array}\right]\hfill \end{array} \]$

(2)

그리고 z축이 점 근원의 방향과 평행하도록 좌표축을 변환하기 위한 회전 행렬 T₂는 다음과 같이 계산할 수 있다.

$\[ T_2=\left[\begin{array}{ccc}\text{cos}\left(-{\alpha }_s\right)& 0& -\text{sin}\left(-{\alpha }_s\right)\\ 0& 1& 0\\ \text{sin}\left(-{\alpha }_s\right)& 0& \text{cos}\left(-{\alpha }_s\right)\end{array}\right]=\left[\begin{array}{ccc}\text{cos}{\alpha }_s& 0& \text{sin}{\alpha }_s\\ 0& 1& 0\\ -\text{sin}{\alpha }_s& 0& \text{cos}{\alpha }_s\end{array}\right] \]$

(3)

결론적으로, y축이 점 근원을 지나면서 z축이 점 근원의 방향과 평행하도록 좌표축을 변환한 $$ \overrightarrow{v}\mathrm{\text{'}}$$는 다음과 같이 계산할 수 있다.

$\[ \overrightarrow{v}\text{'}=T_2{T}_1\overrightarrow{v}=\left[\begin{array}{ccc}\text{cos}{\alpha }_s& 0& \text{sin}{\alpha }_s\\ 0& 1& 0\\ -\text{sin}{\alpha }_s& 0& \text{cos}{\alpha }_s\end{array}\right]\left[\begin{array}{ccc}\text{sin}{\theta }_s& -\text{cos}{\theta }_s& 0\\ \text{cos}{\theta }_s& \text{sin}{\theta }_s& 0\\ 0& 0& 1\end{array}\right]\overrightarrow{v} \]$

(4)

여기서 T₁은 y축이 점 근원이 지나도록, 그리고 T₂는 z축이 점 근원의 방향과 평행하도록 좌표축을 회전하는 변환 행렬이다. 따라서, $$ \overrightarrow{v}\mathrm{\text{'}}$$의 원소(element)는 다음과 같이 표현된다.

$\[ \overrightarrow{v}\text{'}=\left[\begin{array}{c}\begin{array}{c}{v}_1\text{'}\\ v_2\text{'}\end{array}\\ v_3\text{'}\end{array}\right]=\left[\begin{array}{c}\begin{array}{c}{\overrightarrow{e}}_{\perp }•\overrightarrow{v}\\ {\overrightarrow{e}}_R•\overrightarrow{v}\end{array}\\ {\overrightarrow{e}}_{\text{║}}•\overrightarrow{v}\end{array}\right] \]$

(5)

이렇게 계산된 $$ \overrightarrow{v}\mathrm{\text{'}}$$, 전도도와 활성화 크기를 통해 생성되는 표면 근전도는 다음과 같이 표현된다.

$\[ y=\frac{1}{\frac{{\left(v_1^{\text{'}}\right)}^2}{{\sigma }_{\perp }}+\frac{{\left(v_2^{\text{'}}\right)}^2}{{\sigma }_R}+\frac{{\left(v_3^{\text{'}}\right)}^2}{{\sigma }_{\text{║}}}}{a}_s \]$

(6)

3.2 점 근원 개수 결정 및 초기화

근육 활성화 모델에서 가장 중요한 것 중 하나는 점 근원의 개수를 결정하는 것이다. 점 근원의 개수가 적을 경우 생성된 표면 근전도가 실제 데이터를 제대로 반영하지 못할 수 있고, 반대로 점 근원의 개수가 너무 많을 경우 점 근원이 과적합(overfitting)되어 데이터에 대한 일반화 성능이 감소하게 된다. 또한, 적합한 근육 활성화 모델을 찾는 건 비볼록 최적화 문제(non-convex optimization problem)이므로 파라미터의 초기값(initial value)이 성능에 큰 영향을 미친다. 따라서, 점 근원 개수를 결정하고 파라미터를 초기화하는 것은 매우 중요하다.

이를 위해, 본 논문에서는 [Fig. 2]와 같이 표면 근전도 데이터의 지역 극댓값(local maximum)에 기반을 둔 방법을 제시한다. 우선 각 단일 동작마다 모든 표면 근전도 데이터에 대해 지역 극댓값을 찾은 후, 이들을 모두 겹친 지역 극댓값 지도(local maxima map)를 구한다. 시간에 따른 변동이 큰 표면 근전도의 특성으로 인해 이렇게 구해진 지역 극댓값 지도에는 인접한 지역 극댓값들이 많이 존재하는데, 이로 인한 과적합을 방지하기 위해 이들을 통합하는 작업을 수행하게 된다. 전극 간 거리를 d라고 할 때, 본 논문에서는 특정 전극 위치를 기준으로 거리가 $$ \sqrt{2}d$$인 지역 극댓값들을 통합하였다. 거리를 $$ \sqrt{2}d$$로 설정한 이유는 특정 전극의 위치로부터 인접해있는 지역 극댓값들은 통합되도록 설정하기 위함이다. 이 작업은 모든 지역 극댓값으로부터 $$ \sqrt{2}d$$의 거리 내에 다른 지역 극댓값이 존재하지 않을 때까지 반복되며, 최종적으로 남아 있는 지역 극댓값의 수를 점 근원의 개수로 설정하였다. θ_s와 z_s의 초기값은 통합되는 지역 극댓값들의 평균값으로 설정하였다. 전완부에는 뼈와 피부 등의 다양한 조직이 존재하기 때문에, R_s은 전완부 반지름의 60% 값으로 설정하였다. α의 경우 전완부의 길이 방향과 근육의 방향이 평행하도록 0으로 초기화하였다. 전도도와 활성화 크기는 양수여야 한다는 것 외에는 제약이 없으므로 0과 1 사이에서 무작위 추출된 값으로 설정하였다.

[Fig. 2]

Determination process of the number of point sources and initial parameters. After the local maxima detection, these are overlapped while the adjacent maxima within the distance of 2d are integrated. The number of point sources is determined as that of integrated local maxima. The azimuthal angle and z coordinate are initialized by reflecting the position of integrated maxima

4. 동시 동작 데이터 증강

4.2 가우시안 샘플링

주어진 동시 동작 데이터 각각에 대해 $$ \widehat{a}$$를 구하고 난 후에는 이들의 평균(mean) μ_a과 분산(variance) $$ {\sigma }_a^2$$를 계산한다. 이를 기반으로 가우시안 분포에서 새로운 활성화 크기를 다음과 같이 샘플링한다.

$\[ a\text{'}\sim {\rm N}\left({\mu }_a,{\sigma }_a^2\right) \]$

(12)

이렇게 샘플링한 활성화 크기 a'를 활용하여 새로운 표면 근전도 y' = D_sa'를 계산한 후 분류기 학습에 사용한다. 4.1과 4.2를 포함한 전체 과정은 [Fig. 3]에 표현되어있다.

[Fig. 3]

Data augmentation with muscle activation model. From the given sEMG from simultaneous motions and corresponding point source activation map, activation is optimized to minimize the difference between real and reconstructed data. Mean and variance of activations are calculated thereafter and synthetic data are generated by the Gaussian sampling with the corresponding parameters

5. 실험 결과

5.2 근육 활성화 모델 최적화

[Fig. 4]는 단일 동작에서 얻어지는 표면 근전도와 근육 활성화 모델을 통해 구해지는 점 근원 행렬 D를 나타내고 있다. [Fig. 4(a)]와 [Fig. 4(b)]를 보면 3.2에서 설명된 점 근원 개수 및 파라미터 초기값 결정 방식으로 인해 표면 근전도 데이터의 지역 극댓값 부근에 점 근원들이 위치함을 확인할 수 있다. 이 결과를 통해 제안하는 방법이 지역 극댓값 위치를 최적화할 때 발생할 수 있는 점 근원의 부족 혹은 과적합 문제를 방지함을 확인할 수 있다. 또한 [Fig. 4(b)]를 보면 점 근원이 서로 다른 지역 극댓값에서의 표면 근전도를 나타내고 있는데, 이를 통해 지역 극댓값을 통합하는 방식이 불필요한 정보가 중복되는 것을 방지함을 확인할 수 있다.

[Fig. 4]

(a) Real data from the base motion of hand close (HC). (b) Point source muscle activation map extracted from the real data. Local maxima of real data are each represented with the point source

[Fig. 5]는 각 단일 동작으로부터 추출 및 최적화된 점 근원 모델을 시각화한 결과를 보여주고 있다. 파란색 점과 빨간색 선은 각각 점 근원의 위치와 방향성을 나타내고 있는데, 최적화 제약 조건으로 인해 점 근원들이 전완부 내부에 위치할 뿐만 아니라 그 방향도 전완부의 길이 방향에서 $$ \frac{1}{12}\pi $$ 이상 벗어나지 않고 있음을 알 수 있다. 또한, [Fig. 4(b)]와 같이 점 근원들이 특정 위치에 모여있지 않고 전완부의 길이 방향으로 전근과 신근 측에 분포하고 있음을 확인할 수 있다.

[Fig. 5]

Visualization of the position and direction of point sources from every base motion. The meaning of each symbol is denoted at the top of the figure. Note that the amplitude of point source activation is represented by the width of source orientation

5.3 실제 및 생성된 데이터 비교

5.3.1 단일 동작

[Fig. 6]은 단일 동작들에서 얻은 실제 데이터와 최적화한 근육 활성화 모델을 통해 재구성한 데이터를 보여주고 있다. 각 경우에서 왼쪽은 실제 데이터, 오른쪽은 재구성한 데이터를 나타내고 있다. 또한, 재구성한 데이터가 실제 데이터와 얼마나 유사한지 확인하기 위해 5.1에서 소개한 구조적 유사도 지수와 평균 제곱 오차를 각 동작별로 계산하였다. 여기서 유사도를 계산할 때는 신호의 세기에 따른 영향을 줄이기 위해 전체 전극에서의 표면 근전도 중 가장 큰 값으로 나누어 데이터를 정규화(normalization)하였다. 구조적 유사도 지수의 경우 0.847에서 0.971 사이의 값을 보였으며, 평균 제곱 오차의 경우 1.34∙10^-4에서 1.57∙10^-3 사이의 값을 보였다. 특히 재구성한 손목 회외 데이터는 가장 높은 구조적 유사도 지수를 보였는데, 지역 극댓값의 분포뿐만 아니라 다른 전극에서의 표면 근전도 또한 실제 데이터와 유사한 특성을 보임을 알 수 있다. 해당 결과를 통해, 근육 활성화 모델이 단일 동작에서 발생하는 표면 근전도의 특성을 잘 나타내고 있음을 확인할 수 있다.

[Fig. 6]

Examples of real and reconstructed sEMG from every base motion. The left and right image show the real and reconstructed sEMG respectively. The structural similarity index measure (SSIM) and mean square error (MSE) in each case are denoted under the images

5.3.2 동시 동작

[Fig. 7]은 동시 동작들에서 얻은 실제 데이터와 단일 동작에서 구한 근육 활성화 모델을 기반으로 재구성한 데이터를 보여주고 있다. [Fig. 6]과 같이 각 경우에서 왼쪽은 실제 데이터, 오른쪽은 재구성한 데이터이다. 5.3.1과 같이 표면 근전도 데이터를 정규화한 후 계산한 구조적 유사도 지수는 0.833에서 0.977 사이의 값을 보였으며, 평균 제곱 오차는 2.50∙10^-4에서 6.97∙10^-3 사이의 값을 보였다. 높은 구조적 유사도 지수를 보인 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작이나 손 움켜쥐기와 요측 편위가 조합된 동시 동작의 경우 근육 활성화 모델이 실제 데이터의 지역 극댓값과 전체적인 분포를 유사하게 재구성하였다는 것을 확인할 수 있다. 해당 결과를 통해, 근육 활성화 모델이 단일 동작뿐만 아니라 동시 동작에서 발생하는 표면 근전도의 특성 또한 잘 나타내고 있음을 확인할 수 있다.

[Fig. 7]

Examples of real and reconstructed sEMG from every simultaneous motion. The left and right image show the real and reconstructed sEMG respectively. The structural similarity index measure (SSIM) and mean square error (MSE) in each case are denoted under the images

5.4 데이터 유사도 지표 비교

[Fig. 8]은 데이터 증강이 이루어졌을 때와 그렇지 않을 때 각 동시 동작의 데이터 유사도를 나타내고 있다. 구조적 유사도 지수의 경우 대부분의 동시 동작(손 펴기 + 손목 굴곡, 손 펴기 + 요측 편위, 손 펴기 + 손목 회내 제외)에서 높아지는 것을 확인할 수 있다. 특히, 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작의 경우 그 증가량이 0.0919로 가장 컸다. 평균 제곱 오차의 경우 모든 동시 동작에서 낮아짐을 확인할 수 있으며, 그 중 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작의 경우 그 감소량이 8.27∙10^-3으로 가장 컸다. 이를 통해 데이터 증강을 같이 활용할 때가 레이블이 존재하는 데이터만을 사용할 때보다 실제 데이터에 대해 더 높은 일반화 성능을 보임을 알 수 있다.

[Fig. 8]

Comparison of (a) structural similarity index measure (SSIM) and (b) mean squared error (MSE) with and without the data augmentation

레이블이 존재하는 데이터에서 나타나지 않는 패턴의 데이터가 실제로 생성되는지 확인하기 위해, 각 경우별 데이터를 이미지로 확인해보았다. [Fig. 9]는 레이블이 존재하는 실제 데이터, 학습에 사용되지 않는 실제 데이터, 그리고 본 논문에서 제안하는 데이터 증강 방식을 통해 생성된 데이터를 보여주고 있다. [Fig. 9]를 통해 학습에 사용되지 않는 실제 데이터에는 학습에 사용되는 실제 데이터에서 보이지 않는 패턴이 나타나는 것을 알 수 있는데, 생성된 데이터에서 이러한 패턴이 등장하고 있음을 알 수 있다. 학습에 사용되지 않는 실제 데이터에서 빨간색, 파란색 박스로 표시된 표면 근전도 데이터와 비슷한 패턴을 보이는 생성된 표면 근전도 데이터를 각각 빨간색, 파란색 박스로 표시하였다. 이처럼 데이터 증강을 통해 학습에 사용되지 않은 실제 데이터와 유사한 데이터를 생성할 수 있기 때문에 구조적 유사도 지표와 평균 제곱 오차와 같은 데이터 유사도 지표가 향상됨을 확인할 수 있다.

[Fig. 9]

Examples of labeled real data, unseen real data, and generated data from the simultaneous motion of hand close and wrist extension. The data which are similar to each other are marked with red and blue line respectively

5.5 동작 구분 정확도

[Fig. 10]은 데이터 증강에 따른 k-최근접 이웃과 서포트 벡터 머신의 동시 동작에 대한 분류 정확도(classification accuracy)를 나타내고 있다. 그래프의 x축은 단일 동작의 데이터 수에 대한 레이블이 존재하는 동시 동작 데이터의 비율을, 그리고 y축은 분류 정확도를 나타낸다. 증강된 데이터는 해당 과정에서 사용된 데이터의 영향을 받으므로, 그래프의 x축 값은 증강된 데이터의 분포에 영향을 준다. 따라서, 데이터 증강에 활용된 학습 데이터와 분류 정확도를 도출하기 위한 테스트 데이터는 서로 분리하였다. [Fig. 10]의 결과를 통해, 동시 동작으로부터 얻어진 레이블이 존재하는 데이터 비율과는 관계없이 데이터 증강을 하지 않았을 때보다 데이터 증강을 할 때 분류 정확도가 향상된다는 것을 확인할 수 있다. 또한, 학습 과정에서 증강된 데이터의 비율이 증가할수록 분류 정확도 또한 향상되는 것을 확인할 수 있다. 거리 혹은 초평면 기반의 분류기 모두에서 분류 정확도가 향상되었다는 점으로 미루어볼 때 해당 결과는 학습에 사용한 데이터에 의한 것이며, 따라서 5.4에서 설명한 데이터 유사도 지표의 향상으로 인해 분류 정확도가 높아졌음을 알 수 있다.

[Fig. 10]

Classification accuracy of (a) k-nearest neighbor (k-NN) and (b) support vector machine (SVM) with and without data augmentation. For the cases with data augmentation, the number of the augmented data is set to 25%, 50%, 75% and 100% of that of base motion respectively

6. 결 론

본 논문에서는 동시 동작으로부터 레이블이 존재하는 데이터를 얻을 때 사용자의 부담이 가중되는 것을 방지하기 위해 근육 활성화 모델 기반의 데이터 증강을 활용한 동시 동작 인식 프레임워크를 제안하였다. 제안하는 방법은 단일 동작에서 얻어지는 표면 근전도를 활용하여 근육 활성화 모델을 구성하는 점 근원의 개수를 자동으로 결정하고, 이를 기반으로 파라미터를 초기화한다. 이후 모델을 최적화하고, 동시 동작에서 얻어지는 소량의 표면 근전도를 활용하여 데이터를 증강하고 이를 분류기 학습에 활용한다. 실험 결과를 통해, 제안하는 방법으로부터 생성된 표면 근전도에서 실제 표면 근전도와 유사한 패턴이 나타난다는 것을 구조적 유사도 지수와 평균 제곱 오차의 두 가지 정량적 지표로 확인하였다. 또한, 거리 기반의 k-최근접 이웃과 초평면 기반의 서포트 벡터 머신의 두 분류기에 대해 데이터 증강을 하지 않았을 때보다 데이터 증강을 한 후 학습했을 때 분류 정확도가 높아진다는 점을 확인했다.

본 논문에서 제안하는 근육 활성화 모델에서는 전완부가 원통형이라고 가정하였다. 하지만, 실제 사람의 팔은 더 복잡한 형상을 띄고 있어 데이터 증강 과정에서 이로 인한 오차가 발생할 수 있다. 따라서, 추후 진행될 연구에서는 팔의 3D 모델을 기반으로 전극 위치를 수학적으로 표현하여 실제 상황을 더 잘 반영하는 근육 활성화 모델을 제안하고자 한다. 또한, 사람은 다양한 종류의 단일 동작들이 둘 이상 조합된 동시 동작도 수행할 수 있다. 그래서 추후에는 손목이나 손가락의 움직임과 같은 단일 동작들이 둘 이상 결합된 다자유도 동시 동작을 고려할 수 있는 일반화된 프레임워크에 대한 연구 또한 진행하고자 한다.

본 논문에서 제안하는 방법을 통해, 동시 동작으로부터 레이블이 존재하는 데이터를 얻을 때 걸리는 시간을 줄이고 이로 인한 사용자의 부담 또한 감소할 수 있기를 희망한다.

Acknowledgments

This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (No.2020R1I1A2074953).

References

• A. Dwivedi, Y. Kwon, and M. Liarokapis, “Emg-based decoding of manipulation motions in virtual reality: Towards immersive interfaces,” 2020 IEEE Systems, Man, and Cybernetics(SMC), Toronto, ON, Canada, pp. 3296-3303, 2020. [https://doi.org/10.1109/SMC42975.2020.9283270]
• D. Leonardis, M. Barsotti, C. Loconsole, M. Solazzi, M. Troncossi, C. Mazzotti, V. P. Castelli, C. Procopio, G. Lamola, C. Chisari, M. Bergamasco, and A. Frisoli, “An EMG-controlled robotic hand exoskeleton for bilateral rehabilitation,” IEEE Transactions on Haptics, vol. 8, no. 2, pp. 140-151, Apr.-Jun., 2015. [https://doi.org/10.1109/TOH.2015.2417570]
• S. R. Chang, N. Hofland, Z. Chen, C. Tatsuoka, L. G. Richards, M. Bruestle, H. Kovelman, and J. Naft, “Myoelectric Arm Orthosis Assists Functional Activities: A 3-Month Home Use Outcome Report,” Archives of Rehabilitation Research and Clinical Translation, vol. 5, no. 3, Sept, 2023. [https://doi.org/10.1016/j.arrct.2023.100279]
• K. Z. Zhuang, N. Sommer, V. Mendez, S. Aryan, E. Formento, E. D’ Anna, F. Artoni, F. Petrini, G. Granata, G. Cannaviello, W. Raffoul, A. Billard, and S. Micera, “Shared human–robot proportional control of a dexterous myoelectric prosthesis,” Nature Machine Intelligence, vol. 1, no. 9, pp. 400-411, Sept, 2019. [https://doi.org/10.1038/s42256-019-0093-5]
• N. Jiang, K. B. Englehart, and P. A. Parker, “Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal,” IEEE Transactions on Biomedical Engineering, vol. 56, no. 4, pp. 1070-1080, Apr., 2009. [https://doi.org/10.1109/TBME.2008.2007967]
• X. Yang, Y. Zhou, and H. Liu, “Wearable ultrasound-based decoding of simultaneous wrist/hand kinematics,” IEEE Transactions on Industrial Electronics, vol. 68, no. 9, pp. 8667-8675, Sept, 2021. [https://doi.org/10.1109/TIE.2020.3020037]
• X. Yang, J. Yan, Y. Fang, D. Zhou, and H. Liu, “Simultaneous prediction of wrist/hand motion via wearable ultrasound sensing,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 28, no. 4, pp. 970-977, Apr., 2020. [https://doi.org/10.1109/TNSRE.2020.2977908]
• C. Chen, Y. Yu, X. Sheng, D. Farina, and X. Zhu, “Simultaneous and proportional control of wrist and hand movements by decoding motor unit discharges in real time,” Journal of Neural Engineering, vol. 18, no. 5, Apr., 2021. [https://doi.org/10.1088/1741-2552/abf186]
• F. Leone, C. Gentile, F. Cordella, E. Gruppioni, E. Guglielmelli, and L. Zollo, “A parallel classification strategy to simultaneous control elbow, wrist, and hand movements,” Journal of NeuroEngineering and Rehabilitation, vol. 19, no. 1, pp. 1-17, Jan., 2022. [https://doi.org/10.1186/s12984-022-00982-z]
• A. J. Young, L. H. Smith, E. J. Rouse, and L. J. Hargrove, “Classification of simultaneous movements using surface EMG pattern recognition,” IEEE Transactions on Biomedical Engineering, vol. 60, no. 5, pp. 1250-1258, May, 2013. [https://doi.org/10.1109/TBME.2012.2232293]
• L. H. Smith, T. A. Kuiken, and L. J. Hargrove, “Evaluation of linear regression simultaneous myoelectric control using intramuscular EMG,” IEEE Transactions on Biomedical Engineering, vol. 63, no. 4, pp. 737-746, Apr., 2016. [https://doi.org/10.1109/TBME.2015.2469741]
• W. Yang, D. Yang, Y. Liu, and H. Liu, “Decoding simultaneous multi-DOF wrist movements from raw EMG signals using a convolutional neural network,” IEEE Transactions on Human-Machine Systems, vol. 49, no. 5, pp. 411-420, Oct., 2019. [https://doi.org/10.1109/THMS.2019.2925191]
• C. Shorten and T. M. Khoshgoftaar, “A survey on image data augmentation for deep learning,” Journal of Big Data, vol. 6, pp. 1-48, Jul., 2019. [https://doi.org/10.1186/s40537-019-0197-0]
• X. Jiang, X. Liu, J. Fan, X. Ye, C. Dai, E. A. Clancy, M. Akay, and W. Chen, “Open access dataset, toolbox and benchmark processing results of high-density surface electromyogram recordings,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 29, pp. 1035-1046, May, 2021. [https://doi.org/10.1109/TNSRE.2021.3082551]
• A. Merlo, D. Farina, and R. Merletti. “A fast and reliable technique for muscle activity detection from surface EMG signals,” IEEE Transactions on Biomedical Engineering, vol. 50, no. 3, pp. 316-323, Mar., 2003. [https://doi.org/10.1109/TBME.2003.808829]
• K. Englehart and B. Hudgins, “A robust, real-time control scheme for multifunction myoelectric control,” IEEE Transactions on Biomedical Engineering, vol. 50, no. 7, pp. 848–854, Jul., 2003. [https://doi.org/10.1109/TBME.2003.813539]
• M. A. Oskoei and H. Hu, “Myoelectric Control Systems—a survey,” Biomedical Signal Processing and Control, vol. 2, no. 4, pp. 275–294, Oct., 2007. [https://doi.org/10.1016/j.bspc.2007.07.009]
• D. Brunet, E. R. Vrscay, and Z. Wang, “On the mathematical properties of the structural similarity index,” IEEE Transactions on Image Processing, vol. 21, no. 4, pp. 1488-1499, Apr., 2012. [https://doi.org/10.1109/TIP.2011.2173206]
• Z. Wang and A. C. Bovik, “Mean squared error: Love it or leave it? A new look at signal fidelity measures,” IEEE Signal Processing Magazine, vol. 26, no. 1, pp. 98-117, Jan., 2009. [https://doi.org/10.1109/MSP.2008.930649]
• E. Bergil, C. Oral, and E. U. Ergul, “Efficient hand movement detection using k-means clustering and k-nearest neighbor algorithms,” Journal of Medical and Biological Engineering, vol. 41, pp. 11-24, May, 2020. [https://doi.org/10.1007/s40846-020-00537-4]
• M. Tavakoli, C. Benussi, P. A. Lopes, L. B. Osorio, and A. T. D. Almeida, “Robust hand gesture recognition with a double channel surface EMG wearable armband and SVM classifier,” Biomedical Signal Processing and Control, vol. 46, pp. 121-130, Sept., 2018. [https://doi.org/10.1016/j.bspc.2018.07.010]