Sorry.
You are not permitted to access the full text of articles.
If you have any questions about permissions,
please contact the Society.
죄송합니다.
회원님은 논문 이용 권한이 없습니다.
권한 관련 문의는 학회로 부탁 드립니다.
[ ARTICLE ] | |
The Journal of Korea Robotics Society - Vol. 19, No. 2, pp. 203-212 | |
Abbreviation: J. Korea Robot. Soc. | |
ISSN: 1975-6291 (Print) 2287-3961 (Online) | |
Print publication date 31 May 2024 | |
Received 14 Mar 2024 Revised 08 Apr 2024 Accepted 13 Apr 2024 | |
DOI: https://doi.org/10.7746/jkros.2024.19.2.203 | |
근육 활성화 모델 기반의 데이터 증강을 활용한 동시 동작 인식 프레임워크 | |
김세진1
; 정완균†
| |
Simultaneous Motion Recognition Framework using Data Augmentation based on Muscle Activation Model | |
Sejin Kim1
; Wan Kyun Chung†
| |
1Ph. D. Candidate, Mechanical Engineering, POSTECH, Pohang, Korea (universe2030@postech.ac.kr) | |
Correspondence to : †Professor, Corresponding author: Mechanical Engineering, POSTECH, Pohang, Korea (wkchung@postech.ac.kr) | |
CopyrightⓒKROS | |
Funding Information ▼ |
Simultaneous motion is essential in the activities of daily living (ADL). For motion intention recognition, surface electromyogram (sEMG) and corresponding motion label is necessary. However, this process is time-consuming and it may increase the burden of the user. Therefore, we propose a simultaneous motion recognition framework using data augmentation based on muscle activation model. The model consists of multiple point sources to be optimized while the number of point sources and their initial parameters are automatically determined. From the experimental results, it is shown that the framework has generated the data which are similar to the real one. This aspect is quantified with the following two metrics: structural similarity index measure (SSIM) and mean squared error (MSE). Furthermore, with k-nearest neighbor (k-NN) or support vector machine (SVM), the classification accuracy is also enhanced with the proposed framework. From these results, it can be concluded that the generalization property of the training data is enhanced and the classification accuracy is increased accordingly. We expect that this framework reduces the burden of the user from the excessive and time-consuming data acquisition.
Keywords: Simultaneous Motion, Data Augmentation, Muscle Activation Model, Classification Accuracy |
표면근전도(surface electromyogram, sEMG)는 근육이 수축할 때 발생하는 전기적 신호로, 직관적이고 비침습적으로 사용자의 의도를 파악할 수 있어 가상/증강 현실(virtual/augmented reality, VR/AR)[1], 외골격(exoskeleton)[2], 재활 로봇(rehabilitation robot)[3], 의수(hand prosthesis)[4] 등의 다양한 분야에서 활용되고 있다. 손과 손목 동작은 의사소통이나 물체를 다루는 것부터 정교한 작업에 이르기까지 폭넓게 활용되므로 이들 동작 의도를 파악하는 것은 매우 중요하다.
손과 손목은 독립적으로 움직이기도 하지만, 동시에 동작하여 특정 물체의 방향을 조절하거나 힘을 가할 수 있다[5]. 예를 들어, 사람은 물을 마실 때 손으로 물병을 잡은 상태에서 손목으로 기울이게 된다. 또한, 책을 잡은 후 몸쪽으로 손목에 힘을 가하여 책을 꺼내기도 한다. 이처럼 동시 동작(simultaneous motion)은 일상에서 빈번하게 발생하며, 따라서 이들 동작의 의도를 파악하는 것 또한 매우 중요하다. 단일 동작(single motion)만을 대상으로 하는 기존 의도 파악 방식의 경우, 각 단일 동작에서 얻어지는 표면 근전도 패턴(pattern)을 순차적으로 인식해 동시 동작을 구현한다[6-8]. 하지만, 각 단일 동작을 병렬적으로 수행할 수 있는 사람의 방식과는 차이가 있다[9].
자연스럽고 직관적인 동시 동작 의도 파악을 위해, 다양한 연구가 진행되었다. A. Young 등은 각 단일 동작별로 분리된 분류기를 학습하고, 해당 분류기의 결과에 따라 남은 자유도의 동작을 구분하는 병렬 조건부 분류기(conditional parallel classifier)를 제안하였다[10]. L. H. Smith 등은 3자유도 손목 동작에 대해 표면 근전도를 동작 속도로 투영하는 선형 회귀(linear regression) 방식을[11], 그리고 W. Yang 등은 3자유도 손목 위치를 동시에 추정하는 컨볼루션 신경망(convolutional neural network, CNN)을 제안하였다[12]. 하지만, 이러한 방법론을 적용하기 위해서는 각 동작에서 도출된 표면 근전도 데이터(data)와 해당 데이터가 어떤 동작에서 도출되었는지를 나타내는 레이블(label)이 필요하다. 특히, 단일 동작의 수가 늘어나면 이들의 조합으로 구성되는 동시 동작의 수 또한 증가하여 학습에 대한 사용자의 부담이 커지게 된다.
따라서, 본 논문에서는 근육 활성화 모델(muscle activation model) 기반의 데이터 증강을 활용한 동시 동작 인식 알고리즘을 제안하고자 한다. 우선, 근육 활성화 모델을 이용하여 각 단일 동작들의 특성을 추출한다. 근육 활성화 모델은 전완부(forearm) 내에 점 근원(point source)으로부터 표면 근전도가 생성되는 메커니즘을 수학적으로 표현한 것으로, 최적화를 통해 주어진 데이터를 가장 잘 설명할 수 있는 점 근원 파라미터(parameter)를 얻을 수 있다. 이후 동시 동작에서 도출된 소량의 표면 근전도와 관련된 단일 동작들의 특성을 통해 데이터를 증강하고, 이를 분류기 학습에 사용한다. 데이터 증강(data augmentation)은 현재 가지고 있는 소량의 데이터를 활용, 새로운 데이터를 생성하여 그 수를 늘리는 방법을 일컫는 것으로, 많은 양의 학습 데이터가 필요한 머신 러닝(machine learning) 혹은 딥 러닝(deep learning)에서 사용되고 있는 방법이다[13]. 본 연구에서는 이러한 전략을 동시 동작 의도 파악에 활용하여 사용자의 학습 데이터 획득에 따른 부담을 줄이고자 한다.
본 논문의 2장에서는 사용한 표면 근전도 데이터와 대상 동작을 소개한다. 3장에서는 단일 동작의 특성을 파악하기 위한 근육 활성화 모델을 설명하며, 4장에서는 근육 활성화 모델을 기반으로 동시 동작 데이터를 증강하는 방법을 설명한다. 5장에서는 제안하는 방법을 검증하기 위한 성능 비교 방식을 설명하고 실험 결과를 제시한다. 그리고 6장의 결론을 통해 본 논문의 내용을 정리한다.
본 논문에서는 윤리 규정을 준수하여 획득된 고밀도 전극 행렬(high-density electrode array)을 활용한 오픈 소스 데이터셋(open-source dataset) 중 패턴 인식 데이터셋(PR dataset)을 활용하였다[14]. 해당 데이터셋은 총 20명의 건강상으로 온전한 피실험자에게 전완부 굴근(forearm flexor muscle) 측에 128개(팔 길이 방향 16개, 팔 둘레 방향 8개), 전완부 신근(forearm extensor muscle) 측에 128개(팔 길이 방향 16개, 팔 둘레 방향 8개)의 전극을 부착한 상태에서 2048 Hz의 샘플링 주파수로 측정되었으며, 본 논문에서는 이 중 15명의 피실험자로부터 얻어진 데이터를 활용하였다. 피실험자는 4초간 특정 동작을 유지한 후 근육 피로(muscle fatigue)를 방지하기 위해 5초의 휴식을 취하였으며, 모든 동작에 대해 해당 과정을 두 번씩 반복하였다. 아무런 처리가 가해지지 않은 표면 근전도는 확률적으로 발생하는 활동 전위와 다양한 노이즈(noise)의 영향을 합친 값이므로[15], 해당 논문에서는 슬라이딩 윈도우를 적용한 후 평균 절대값(mean absolute value, MAV)을 계산하여 활용하였다[16]. 슬라이딩 윈도우의 길이는 허용되는 시스템 지연 최댓값의 절반에 해당하는 150 ms로 지정하였다[17].
대상 동작은 크게 단일 동작과 동시 동작으로 나눌 수 있다. 단일 동작으로는 손 움켜쥐기(hand close, HC), 손 펴기(hand open, HO), 손목 굴곡(wrist flexion, WF), 손목 신전(wrist extension, WE), 요측 편위(radial deviation, RD), 척측 편위(ulnar deviation, UD), 손목 회내(wrist pronation, WP), 그리고 손목 회외(wrist supination, WS)의 8가지를 선정하였다. 그리고 동시 동작은 위에서 설명한 단일 동작들이 조합되었을 때 나올 수 있는 12가지 동작(손 동작 2개, 손목 동작 6개)을 선정하였다.
근육 활성화 모델은 [Fig. 1(a)]와 같이 특정 전극에서 도출되는 표면 근전도를 가장 잘 설명할 수 있는 점 근원을 찾는 것을 목표로 한다. 이 때 전완부는 원통 형태이고, 전극 자체의 두께는 무시할 수 있으며, 전극의 위치를 나타내는 데 필요한 Re, θe, ze는 상수라고 가정한다. 점 근원은 위치를 나타내는 Rs, θs, zs, 방향성을 나타내는 αs, 전도도를 나타내는 σ⊥, σR, σ∥, 그리고 활성화 크기를 나타내는 as까지 총 8개의 파라미터로 표현된다. 사람의 팔은 근육뿐만 아니라 뼈, 지방과 같은 다양한 구성 요소로 이루어져 있기 때문에 점 근원의 위치에 따라 각 방향별로 전기 전도도가 다를 수 있어 최적화할 파라미터로 선정하였다. 또한, 점 근원임에도 방향성을 고려하는 이유는 근육 섬유의 길이 방향에 따른 효과를 나타내기 위함이다. [Fig. 1(b)]와 [Fig. 1(c)]에서 점 근원으로부터 전극까지의 위치 벡터
(1) |
근육 활성화 모델에서 전도도는 팔의 반지름 방향, 점 근원의 방향, 그리고 점 근원과 수직인 방향에서의 거리에 가중치를 부여하는 역할을 한다. 하지만
(2) |
그리고 z축이 점 근원의 방향과 평행하도록 좌표축을 변환하기 위한 회전 행렬 T2는 다음과 같이 계산할 수 있다.
(3) |
결론적으로, y축이 점 근원을 지나면서 z축이 점 근원의 방향과 평행하도록 좌표축을 변환한
(4) |
여기서 T1은 y축이 점 근원이 지나도록, 그리고 T2는 z축이 점 근원의 방향과 평행하도록 좌표축을 회전하는 변환 행렬이다. 따라서,
(5) |
이렇게 계산된
(6) |
근육 활성화 모델에서 가장 중요한 것 중 하나는 점 근원의 개수를 결정하는 것이다. 점 근원의 개수가 적을 경우 생성된 표면 근전도가 실제 데이터를 제대로 반영하지 못할 수 있고, 반대로 점 근원의 개수가 너무 많을 경우 점 근원이 과적합(overfitting)되어 데이터에 대한 일반화 성능이 감소하게 된다. 또한, 적합한 근육 활성화 모델을 찾는 건 비볼록 최적화 문제(non-convex optimization problem)이므로 파라미터의 초기값(initial value)이 성능에 큰 영향을 미친다. 따라서, 점 근원 개수를 결정하고 파라미터를 초기화하는 것은 매우 중요하다.
이를 위해, 본 논문에서는 [Fig. 2]와 같이 표면 근전도 데이터의 지역 극댓값(local maximum)에 기반을 둔 방법을 제시한다. 우선 각 단일 동작마다 모든 표면 근전도 데이터에 대해 지역 극댓값을 찾은 후, 이들을 모두 겹친 지역 극댓값 지도(local maxima map)를 구한다. 시간에 따른 변동이 큰 표면 근전도의 특성으로 인해 이렇게 구해진 지역 극댓값 지도에는 인접한 지역 극댓값들이 많이 존재하는데, 이로 인한 과적합을 방지하기 위해 이들을 통합하는 작업을 수행하게 된다. 전극 간 거리를 d라고 할 때, 본 논문에서는 특정 전극 위치를 기준으로 거리가
점 근원의 개수를 결정하고 초기화를 진행한 이후에는 점 근원의 파라미터를 최적화하는 작업을 진행한다.
(7) |
여기서 yg는 근육 활성화 모델을 통해 생성된 표면 근전도, Ns는 점 근원의 개수를, Nlng는 팔 길이 방향의 전극 개수, Ncrc는 팔 둘레 방향의 전극 개수를 나타낸다. 여기서 각 점 근원마다 최적화되어야 할 파라미터를 다음과 같이 표현할 때,
(8) |
최적화 문제는 다음과 같이 표현된다.
(9) |
점 근원과 근육 활성도에 대한 물리적 의미를 반영하여 0 < Rs < Re, 0 < θ < 2π, 0 < z < L,
본 논문에서는 동시 동작의 경우 단일 동작보다 적은 수의 데이터와 레이블이 존재한다고 가정한다. 따라서, 동시 동작 데이터를 증강하여 동작 구분 정확도를 높이는 것이 앞으로 설명할 방법의 목적이다.
동시 동작은 단일 동작들의 조합으로 구성된다. 따라서 3.2와 3.3을 통해 동시 동작을 구성하는 각 단일 동작에 대한 근육 활성화 모델을 최적화한 후, 새로운 점 근원 활성화 행렬 Ds을 다음과 같이 구성하였다.
(10) |
여기서 M1과 M2는 단일 동작을 나타내는 심볼(symbol)이다. 이를 활용하여 활성화 크기를 다음과 같이 최적화한다.
(11) |
주어진 동시 동작 데이터 각각에 대해
(12) |
이렇게 샘플링한 활성화 크기 a'를 활용하여 새로운 표면 근전도 y' = Dsa'를 계산한 후 분류기 학습에 사용한다. 4.1과 4.2를 포함한 전체 과정은 [Fig. 3]에 표현되어있다.
본 논문에서 제안하는 근육 활성화 모델 기반 데이터 증강의 성능을 파악하기 위해, 실제 데이터와 해당 방법을 통해 생성된 데이터의 유사성을 검증하였다. 고밀도 전극 행렬에서 얻어지는 표면 근전도는 이미지(image)로 볼 수 있으므로, 이미지의 유사도를 정량화할 때 사용되는 구조적 유사도 지수(structural similarity index measure, SSIM)[18]와 평균 제곱 오차(mean squared error, MSE)[19]를 지표로 사용하였다.
두 데이터 x와 y 사이의 구조적 유사도 지수는 다음과 같이 정의된다.
(13) |
또한, 두 데이터 x와 y 사이의 평균 제곱 오차는 다음과 같이 정의된다.
(14) |
데이터 증강을 통해 더 많은 양의 동시 동작 학습 데이터를 사용했을 때 동작 구분에 어떤 영향을 미치는지 확인하기 위해, 본 논문에서 제안하는 방식을 적용하지 않았을 때와 적용했을 때의 동작 구분 정확도를 비교하였다. 분류기로는 거리 기반 분류(distance-based classification) 방식에 해당하는 k-최근접 이웃(k-nearest neighbor, k-NN)[20]과 초평면 기반 분류(hyperplane-based classification) 방식에 해당하는 서포트 벡터 머신(support vector machine, SVM)[21]을 활용하였다.
[Fig. 4]는 단일 동작에서 얻어지는 표면 근전도와 근육 활성화 모델을 통해 구해지는 점 근원 행렬 D를 나타내고 있다. [Fig. 4(a)]와 [Fig. 4(b)]를 보면 3.2에서 설명된 점 근원 개수 및 파라미터 초기값 결정 방식으로 인해 표면 근전도 데이터의 지역 극댓값 부근에 점 근원들이 위치함을 확인할 수 있다. 이 결과를 통해 제안하는 방법이 지역 극댓값 위치를 최적화할 때 발생할 수 있는 점 근원의 부족 혹은 과적합 문제를 방지함을 확인할 수 있다. 또한 [Fig. 4(b)]를 보면 점 근원이 서로 다른 지역 극댓값에서의 표면 근전도를 나타내고 있는데, 이를 통해 지역 극댓값을 통합하는 방식이 불필요한 정보가 중복되는 것을 방지함을 확인할 수 있다.
[Fig. 5]는 각 단일 동작으로부터 추출 및 최적화된 점 근원 모델을 시각화한 결과를 보여주고 있다. 파란색 점과 빨간색 선은 각각 점 근원의 위치와 방향성을 나타내고 있는데, 최적화 제약 조건으로 인해 점 근원들이 전완부 내부에 위치할 뿐만 아니라 그 방향도 전완부의 길이 방향에서
[Fig. 6]은 단일 동작들에서 얻은 실제 데이터와 최적화한 근육 활성화 모델을 통해 재구성한 데이터를 보여주고 있다. 각 경우에서 왼쪽은 실제 데이터, 오른쪽은 재구성한 데이터를 나타내고 있다. 또한, 재구성한 데이터가 실제 데이터와 얼마나 유사한지 확인하기 위해 5.1에서 소개한 구조적 유사도 지수와 평균 제곱 오차를 각 동작별로 계산하였다. 여기서 유사도를 계산할 때는 신호의 세기에 따른 영향을 줄이기 위해 전체 전극에서의 표면 근전도 중 가장 큰 값으로 나누어 데이터를 정규화(normalization)하였다. 구조적 유사도 지수의 경우 0.847에서 0.971 사이의 값을 보였으며, 평균 제곱 오차의 경우 1.34∙10-4에서 1.57∙10-3 사이의 값을 보였다. 특히 재구성한 손목 회외 데이터는 가장 높은 구조적 유사도 지수를 보였는데, 지역 극댓값의 분포뿐만 아니라 다른 전극에서의 표면 근전도 또한 실제 데이터와 유사한 특성을 보임을 알 수 있다. 해당 결과를 통해, 근육 활성화 모델이 단일 동작에서 발생하는 표면 근전도의 특성을 잘 나타내고 있음을 확인할 수 있다.
[Fig. 7]은 동시 동작들에서 얻은 실제 데이터와 단일 동작에서 구한 근육 활성화 모델을 기반으로 재구성한 데이터를 보여주고 있다. [Fig. 6]과 같이 각 경우에서 왼쪽은 실제 데이터, 오른쪽은 재구성한 데이터이다. 5.3.1과 같이 표면 근전도 데이터를 정규화한 후 계산한 구조적 유사도 지수는 0.833에서 0.977 사이의 값을 보였으며, 평균 제곱 오차는 2.50∙10-4에서 6.97∙10-3 사이의 값을 보였다. 높은 구조적 유사도 지수를 보인 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작이나 손 움켜쥐기와 요측 편위가 조합된 동시 동작의 경우 근육 활성화 모델이 실제 데이터의 지역 극댓값과 전체적인 분포를 유사하게 재구성하였다는 것을 확인할 수 있다. 해당 결과를 통해, 근육 활성화 모델이 단일 동작뿐만 아니라 동시 동작에서 발생하는 표면 근전도의 특성 또한 잘 나타내고 있음을 확인할 수 있다.
[Fig. 8]은 데이터 증강이 이루어졌을 때와 그렇지 않을 때 각 동시 동작의 데이터 유사도를 나타내고 있다. 구조적 유사도 지수의 경우 대부분의 동시 동작(손 펴기 + 손목 굴곡, 손 펴기 + 요측 편위, 손 펴기 + 손목 회내 제외)에서 높아지는 것을 확인할 수 있다. 특히, 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작의 경우 그 증가량이 0.0919로 가장 컸다. 평균 제곱 오차의 경우 모든 동시 동작에서 낮아짐을 확인할 수 있으며, 그 중 손 움켜쥐기와 손목 굴곡이 조합된 동시 동작의 경우 그 감소량이 8.27∙10-3으로 가장 컸다. 이를 통해 데이터 증강을 같이 활용할 때가 레이블이 존재하는 데이터만을 사용할 때보다 실제 데이터에 대해 더 높은 일반화 성능을 보임을 알 수 있다.
레이블이 존재하는 데이터에서 나타나지 않는 패턴의 데이터가 실제로 생성되는지 확인하기 위해, 각 경우별 데이터를 이미지로 확인해보았다. [Fig. 9]는 레이블이 존재하는 실제 데이터, 학습에 사용되지 않는 실제 데이터, 그리고 본 논문에서 제안하는 데이터 증강 방식을 통해 생성된 데이터를 보여주고 있다. [Fig. 9]를 통해 학습에 사용되지 않는 실제 데이터에는 학습에 사용되는 실제 데이터에서 보이지 않는 패턴이 나타나는 것을 알 수 있는데, 생성된 데이터에서 이러한 패턴이 등장하고 있음을 알 수 있다. 학습에 사용되지 않는 실제 데이터에서 빨간색, 파란색 박스로 표시된 표면 근전도 데이터와 비슷한 패턴을 보이는 생성된 표면 근전도 데이터를 각각 빨간색, 파란색 박스로 표시하였다. 이처럼 데이터 증강을 통해 학습에 사용되지 않은 실제 데이터와 유사한 데이터를 생성할 수 있기 때문에 구조적 유사도 지표와 평균 제곱 오차와 같은 데이터 유사도 지표가 향상됨을 확인할 수 있다.
[Fig. 10]은 데이터 증강에 따른 k-최근접 이웃과 서포트 벡터 머신의 동시 동작에 대한 분류 정확도(classification accuracy)를 나타내고 있다. 그래프의 x축은 단일 동작의 데이터 수에 대한 레이블이 존재하는 동시 동작 데이터의 비율을, 그리고 y축은 분류 정확도를 나타낸다. 증강된 데이터는 해당 과정에서 사용된 데이터의 영향을 받으므로, 그래프의 x축 값은 증강된 데이터의 분포에 영향을 준다. 따라서, 데이터 증강에 활용된 학습 데이터와 분류 정확도를 도출하기 위한 테스트 데이터는 서로 분리하였다. [Fig. 10]의 결과를 통해, 동시 동작으로부터 얻어진 레이블이 존재하는 데이터 비율과는 관계없이 데이터 증강을 하지 않았을 때보다 데이터 증강을 할 때 분류 정확도가 향상된다는 것을 확인할 수 있다. 또한, 학습 과정에서 증강된 데이터의 비율이 증가할수록 분류 정확도 또한 향상되는 것을 확인할 수 있다. 거리 혹은 초평면 기반의 분류기 모두에서 분류 정확도가 향상되었다는 점으로 미루어볼 때 해당 결과는 학습에 사용한 데이터에 의한 것이며, 따라서 5.4에서 설명한 데이터 유사도 지표의 향상으로 인해 분류 정확도가 높아졌음을 알 수 있다.
본 논문에서는 동시 동작으로부터 레이블이 존재하는 데이터를 얻을 때 사용자의 부담이 가중되는 것을 방지하기 위해 근육 활성화 모델 기반의 데이터 증강을 활용한 동시 동작 인식 프레임워크를 제안하였다. 제안하는 방법은 단일 동작에서 얻어지는 표면 근전도를 활용하여 근육 활성화 모델을 구성하는 점 근원의 개수를 자동으로 결정하고, 이를 기반으로 파라미터를 초기화한다. 이후 모델을 최적화하고, 동시 동작에서 얻어지는 소량의 표면 근전도를 활용하여 데이터를 증강하고 이를 분류기 학습에 활용한다. 실험 결과를 통해, 제안하는 방법으로부터 생성된 표면 근전도에서 실제 표면 근전도와 유사한 패턴이 나타난다는 것을 구조적 유사도 지수와 평균 제곱 오차의 두 가지 정량적 지표로 확인하였다. 또한, 거리 기반의 k-최근접 이웃과 초평면 기반의 서포트 벡터 머신의 두 분류기에 대해 데이터 증강을 하지 않았을 때보다 데이터 증강을 한 후 학습했을 때 분류 정확도가 높아진다는 점을 확인했다.
본 논문에서 제안하는 근육 활성화 모델에서는 전완부가 원통형이라고 가정하였다. 하지만, 실제 사람의 팔은 더 복잡한 형상을 띄고 있어 데이터 증강 과정에서 이로 인한 오차가 발생할 수 있다. 따라서, 추후 진행될 연구에서는 팔의 3D 모델을 기반으로 전극 위치를 수학적으로 표현하여 실제 상황을 더 잘 반영하는 근육 활성화 모델을 제안하고자 한다. 또한, 사람은 다양한 종류의 단일 동작들이 둘 이상 조합된 동시 동작도 수행할 수 있다. 그래서 추후에는 손목이나 손가락의 움직임과 같은 단일 동작들이 둘 이상 결합된 다자유도 동시 동작을 고려할 수 있는 일반화된 프레임워크에 대한 연구 또한 진행하고자 한다.
본 논문에서 제안하는 방법을 통해, 동시 동작으로부터 레이블이 존재하는 데이터를 얻을 때 걸리는 시간을 줄이고 이로 인한 사용자의 부담 또한 감소할 수 있기를 희망한다.
This research was supported by Basic Science Research Program through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (No.2020R1I1A2074953).
1. | A. Dwivedi, Y. Kwon, and M. Liarokapis, “Emg-based decoding of manipulation motions in virtual reality: Towards immersive interfaces,” 2020 IEEE Systems, Man, and Cybernetics(SMC), Toronto, ON, Canada, pp. 3296-3303, 2020. |
2. | D. Leonardis, M. Barsotti, C. Loconsole, M. Solazzi, M. Troncossi, C. Mazzotti, V. P. Castelli, C. Procopio, G. Lamola, C. Chisari, M. Bergamasco, and A. Frisoli, “An EMG-controlled robotic hand exoskeleton for bilateral rehabilitation,” IEEE Transactions on Haptics, vol. 8, no. 2, pp. 140-151, Apr.-Jun., 2015. |
3. | S. R. Chang, N. Hofland, Z. Chen, C. Tatsuoka, L. G. Richards, M. Bruestle, H. Kovelman, and J. Naft, “Myoelectric Arm Orthosis Assists Functional Activities: A 3-Month Home Use Outcome Report,” Archives of Rehabilitation Research and Clinical Translation, vol. 5, no. 3, Sept, 2023. |
4. | K. Z. Zhuang, N. Sommer, V. Mendez, S. Aryan, E. Formento, E. D’ Anna, F. Artoni, F. Petrini, G. Granata, G. Cannaviello, W. Raffoul, A. Billard, and S. Micera, “Shared human–robot proportional control of a dexterous myoelectric prosthesis,” Nature Machine Intelligence, vol. 1, no. 9, pp. 400-411, Sept, 2019. |
5. | N. Jiang, K. B. Englehart, and P. A. Parker, “Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal,” IEEE Transactions on Biomedical Engineering, vol. 56, no. 4, pp. 1070-1080, Apr., 2009. |
6. | X. Yang, Y. Zhou, and H. Liu, “Wearable ultrasound-based decoding of simultaneous wrist/hand kinematics,” IEEE Transactions on Industrial Electronics, vol. 68, no. 9, pp. 8667-8675, Sept, 2021. |
7. | X. Yang, J. Yan, Y. Fang, D. Zhou, and H. Liu, “Simultaneous prediction of wrist/hand motion via wearable ultrasound sensing,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 28, no. 4, pp. 970-977, Apr., 2020. |
8. | C. Chen, Y. Yu, X. Sheng, D. Farina, and X. Zhu, “Simultaneous and proportional control of wrist and hand movements by decoding motor unit discharges in real time,” Journal of Neural Engineering, vol. 18, no. 5, Apr., 2021. |
9. | F. Leone, C. Gentile, F. Cordella, E. Gruppioni, E. Guglielmelli, and L. Zollo, “A parallel classification strategy to simultaneous control elbow, wrist, and hand movements,” Journal of NeuroEngineering and Rehabilitation, vol. 19, no. 1, pp. 1-17, Jan., 2022. |
10. | A. J. Young, L. H. Smith, E. J. Rouse, and L. J. Hargrove, “Classification of simultaneous movements using surface EMG pattern recognition,” IEEE Transactions on Biomedical Engineering, vol. 60, no. 5, pp. 1250-1258, May, 2013. |
11. | L. H. Smith, T. A. Kuiken, and L. J. Hargrove, “Evaluation of linear regression simultaneous myoelectric control using intramuscular EMG,” IEEE Transactions on Biomedical Engineering, vol. 63, no. 4, pp. 737-746, Apr., 2016. |
12. | W. Yang, D. Yang, Y. Liu, and H. Liu, “Decoding simultaneous multi-DOF wrist movements from raw EMG signals using a convolutional neural network,” IEEE Transactions on Human-Machine Systems, vol. 49, no. 5, pp. 411-420, Oct., 2019. |
13. | C. Shorten and T. M. Khoshgoftaar, “A survey on image data augmentation for deep learning,” Journal of Big Data, vol. 6, pp. 1-48, Jul., 2019. |
14. | X. Jiang, X. Liu, J. Fan, X. Ye, C. Dai, E. A. Clancy, M. Akay, and W. Chen, “Open access dataset, toolbox and benchmark processing results of high-density surface electromyogram recordings,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 29, pp. 1035-1046, May, 2021. |
15. | A. Merlo, D. Farina, and R. Merletti. “A fast and reliable technique for muscle activity detection from surface EMG signals,” IEEE Transactions on Biomedical Engineering, vol. 50, no. 3, pp. 316-323, Mar., 2003. |
16. | K. Englehart and B. Hudgins, “A robust, real-time control scheme for multifunction myoelectric control,” IEEE Transactions on Biomedical Engineering, vol. 50, no. 7, pp. 848–854, Jul., 2003. |
17. | M. A. Oskoei and H. Hu, “Myoelectric Control Systems—a survey,” Biomedical Signal Processing and Control, vol. 2, no. 4, pp. 275–294, Oct., 2007. |
18. | D. Brunet, E. R. Vrscay, and Z. Wang, “On the mathematical properties of the structural similarity index,” IEEE Transactions on Image Processing, vol. 21, no. 4, pp. 1488-1499, Apr., 2012. |
19. | Z. Wang and A. C. Bovik, “Mean squared error: Love it or leave it? A new look at signal fidelity measures,” IEEE Signal Processing Magazine, vol. 26, no. 1, pp. 98-117, Jan., 2009. |
20. | E. Bergil, C. Oral, and E. U. Ergul, “Efficient hand movement detection using k-means clustering and k-nearest neighbor algorithms,” Journal of Medical and Biological Engineering, vol. 41, pp. 11-24, May, 2020. |
21. | M. Tavakoli, C. Benussi, P. A. Lopes, L. B. Osorio, and A. T. D. Almeida, “Robust hand gesture recognition with a double channel surface EMG wearable armband and SVM classifier,” Biomedical Signal Processing and Control, vol. 46, pp. 121-130, Sept., 2018. |
2017 포항공과대학교 기계공학과(학사)
2017~현재 포항공과대학교 기계공학과 통합과정
관심분야: Biosignal processing, AI-based biorobotics
1981 서울대학교 기계설계학과(학사)
1983 한국과학기술원 기계공학(석사)
1987 한국과학기술원 로봇공학(박사)
1987~1993 포항공과대학교 기계공학과 조교수
1993~2000 포항공과대학교 기계공학과 부교수
2000~현재 포항공과대학교 기계공학과 교수
관심분야: Medical Robot, Surgical Robot, Robust Control, Underwater Robot, Haptics
Copyright © KOREA ROBOTICS SOCIETY. All rights reserved.
#504, The Korea Science and Technology Center, (635-4,Yeoksam-dong)22