Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 12, No. 2, pp.206-216
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date May 2017
Received 13 Jan 2017 Revised 24 Apr 2017 Accepted 26 Apr 2017
DOI: https://doi.org/10.7746/jkros.2017.12.2.206

근전도 신호를 이용한 손목 힘 및 악력 추정

김영진1, 2 ; 이동혁1 ; 박현준1 ; 박재한1 ; 배지훈1 ; 백문홍
Wrist and Grasping Forces Estimation using Electromyography for Robotic Prosthesis
Young-Jin Kim1, 2 ; Dong-Hyuk Lee1 ; Hyeonjun Park1 ; Jae-Han Park1 ; Ji-Hun Bae1 ; Moon-Hong Baeg
1Korea institute of Industrial Technology yjinkim@kitech.re.kr
2Korea University of Science and Technology youngjinkim@ust.ac.kr

Corresponding author : Korea institute of Industrial Technology, 1271-18, Sa 1-Dong, Sangnok-Gu, Ansan, Korea

© Korea Robotics Society. All rights reserved.

Abstract

This paper proposes a method to simultaneously estimate two degrees of freedom in wrist forces (extension - flexion, adduction - abduction) and one degree of freedom in grasping forces using Electromyography (EMG) signals of the forearms. To correlate the EMG signals with the forces, we applied a multi - layer perceptron(MLP), which is a machine learning method, and used the characteristics of the muscles constituting the forearm to generate learning data. Through the experiments, the similarity between the MLP target value and the estimated value was investigated by applying the coefficient of determination (R2) and root mean square error (RMSE) to evaluate the performance of the proposed method. As a result, the R2values with respect to the wrist flexionextension, adduction - abduction and grasping forces were 0.79, 0.73 and 0.78 and RMSE were 0.12, 0.17, 0.13 respectively.

Keywords:

Robot prosthesis, Electromyography, Multilayer perceptron, Force estimation

1. 서 론

로봇 의수(robotic prosthesis)에 대한 연구는 1958년 러시아에서 굴근과 신근의 근육수축을 이용한 로봇 의 수의 개발을 시작으로 지금까지 많은 연구자들의 연구 테마로 자리 잡아온 분야이다[1-3]. 과거 2지 형태의 로봇 핸드와는 다르게 현재 인간의 손을 모방한 5지 형태의 로봇 핸드들이 많이 등장하였으며, 상용화되어 판매되 고 있는 제품들도 쉽게 찾아 볼 수 있다. 현재 상용화 되어있는 로봇 핸드들은 대부분 절단 부위 부근의 근전 도(Electromyography, EMG) 신호를 이용해 손의 동작 을 패턴분류 하는 제품들이 대다수이다. Bebionic의 로 봇 의수의 경우 14가지의 손 동작 및 잡는 동작을 분류하 며, Touchbionics의 로봇 의수는 36개의 잡기 동작을 분 류한다[4,5]. 이와 같은 패턴분류 방법은 Artificial Neural Networks (ANN), K-Nearest Neighbor (k-NN) 등의 기 계학습 알고리즘을 이용하여 전완의 근전도를 통해 손 의 패턴을 분류하는 방법이다. 이와 같은 패턴분류에 대 한 연구는 크게 손목 움직임과 근전도의 관계[6-8]와 손가 락의 움직임과 근전도의 관계[9-11]로 나뉘고 있으며, 많은 연구자들의 노력으로 5개 이상의 패턴분류방법에서 95% 이상의 높은 인식률을 보이고 있다.

하지만 이런 패턴분류에 의한 방법은 패턴의 개수에 따라 그 인식의 수가 제한 된다는 한계점이 있다. 즉, 사용자의 의도를 충분히 반영한 제어신호를 로봇 의수 로 전달하기 어려워 부자연스럽고 불편한 로봇 의수의 사용으로 이어진다. 때문에 최신 연구들은 손목의 각도, 힘의 연속적인 값을 전완의 EMG를 이용해 회귀적인 방 법으로 추정하는 연구들이 진행되고 있다[12-13]. 손목의 움직임, 힘과 전완의 근전도를 대응 시키기 위해서 MLP (Multilayer Perceptron), SVR (Support Vector Regression) 등의 기계학습 알고리즘 등이 사용되고 있으며, 이 같은 방법은 패턴을 분류하는 방법에 비해 사용자의 의도를 충분히 반영할 수 있어, 로봇 의수의 사용을 더욱 자연스 럽게 나타낼 수 있다.

하지만 패턴인식 방법이 아닌 회귀적 접근의 연구들 은 대부분 손목의 각도, 힘 또는 손가락 움직임 등에 대 해서 독립적으로 진행되고 있을 뿐, 손목과 손 동작을 동시에 추정하는 연구는 없었다[14,15]. 즉, 특정 물체에 가기 위한 사용자의 의도는 충분히 반영되지만, 타겟을 잡고, 조작하기위한 의도는 반영되지 않는 것이다. 예를 들어, Ning Jiang의 연구[15]는 전완의 EMG를 이용하여 손목의 3자유도에 대해서 정상인 뿐 아니라, 장애인들에 게도 회귀적 접근으로 추정한 논문을 발표하였다. 하지 만 손 동작의 의도는 반영하지 않았으며, Lizhi Pan의 연구[14]는 손가락 각도에 대해 회귀적 접근으로 추정한 논문을 발표하였지만, 손목에 대해서는 역시 고려되고 있지 않다. 손목 및 손 동작이 동시에 반영되지 않은 이 유는 손목 및 손 동작을 동시에 추정하기 위한 기계학습 의 학습데이터를 얻기 어렵기 때문이다. 손목의 3자유도 를 추정하기위한 학습데이터를 얻기 위해선 손목의 각 자유도에 대한 학습 데이터뿐 아니라, 두 자유도이상이 동시에 움직여 얻는 학습데이터가 필요하다. Ning Jiang 의 연구[15]의 경우 22개의 리스트 표를 제시하여 3자유 도에 대한 학습 데이터를 얻을 수 있도록 하였으며, Johnny L.G. Nielsen의 연구[16]의 경우 13개의 리스트 표를 제시 하며 학습데이터를 얻기 위한 과정을 설명하였다. 하지 만 손목의 힘과 손동작을 동시에 추정하기위한 경우 학 습데이터를 얻기 위해 필요한 리스트 표를 구성하기가 어렵다. 위의 연구들과 같은 방법으로 손목의 2자유도와 악력(1자유도)을 동시에 추정하기 위한 리스트표를 구 성할 경우 약 30여개의 리스트가 필요로 하게 되며, 이는 학습데이터를 얻기 위해 많은 시간과 수고가 필요하게 됨을 의미한다. 또한 손이 없는 장애인을 대상으로 하는 로봇 의수의 경우 신경생리학의 동측성과 대측성 성질 을 이용한 거울학습법을 사용 한다[12,14]. 거울학습법은 손실된 손이 있다고 상상하며 움직임을 유도함으로써 손실된 쪽의 EMG 데이터를 얻어내는 방법이다. 손이 없는 장애인들의 EMG를 측정하기 위해선 피실험자가 미리 제시된 지시에 따라 움직임을 상상할 수 있는 리스 트표를 필요로 한다.

본 논문은 이러한 문제점을 해결하며 전완의 EMG로 부터 손목의 힘(2자유도) 및 악력(1자유도)를 추정하기 위한 새로운 방법을 제안한다. 근전도 신호와 힘을 대응 시키기 위해 기계학습 방법 중 하나인 다층 퍼셉트론 (Multilayer Perceptron)을 사용하였고, 손목을 움직이기 위한 근육과 손가락을 움직이기 위한 근육이 독립적으 로 존재한다는 전완의 해부학적 특성을 이용하였다. 회 귀식을 설명하는 결정계수(R2)을 적용해 MLP의 목표 값과 추정 값의 유사도를 평가해본 결과 손목의 2자유도 에 해당하는 신전-굴곡, 내전-외전은 각각 0.71, 0.81, 값 을 얻었고, 1자유도에 해당하는 악력은 0.75의 값을 얻었 다. 이 같은 방법은 기존 손목의 힘추정을 위한 학습데이 터에 새롭게 추가한 1자유도 동작만 추가함으로써, 3자 유도를 추정하기위한 학습데이터 생성과정을 간소화 하 였다. 또한, 손목 힘과 악력을 회귀적인 방법으로 동시에 추정함으로써 손목의 움직임을 이용한 물체 접근 뿐 아 니라, 악력을 이용해 물체조작까지 가능하도록 하였다. 본 논문은 2장 방법, 3장 결과, 4장 결론으로 구성되며, 2장에선 원리 및 알고리즘에 대해 설명하며, 3장에선 학 습에 필요한 실험환경과 학습과정, 실험결과에 대해 서술 하였다. 또한, 모의 의수 실험을 통해 사용자의 의도가 로봇에 얼마나 잘 반영되는지를 확인해 보았다. 4장에선 실험 결과의 의의와 앞으로의 연구방향에 대해 기술하였다.F1F2F3F4

Fig. 1

Muscles in the forearms

Fig. 2

Independent Experiment of EMG

Fig. 3

8CH EMG similarity of a+b and c

Fig. 4

Similarity of EMG with regard to wrist pose


2. 방 법

2.1. 원리

해부학적으로 전완(forearm)을 구성하는 근육은 대부 분 손목 및 손가락의 움직임과 관련되어 있다. 요측수근 굴근(radial flexor of wrist), 장장근(palmaris longus), 손 목폄근(extensor carpi ulnaris) 등은 손목의 움직임을 당 담하고 있으며, 지신근(extensor digitorum), 소지신근 (extensor digiti minimi) 등은 손가락의 움직임을 담당하 고 있다(Fig. 1). 손목과 손가락의 움직임에 쓰이는 근육 의 개별적 존재는 각 동작에 의해 발생되는 근전도 신호 의 패턴 역시 상당부분 개별적인 특성을 가진다는 것을 의미한다. Fig. 2는 손목의 2자유도 움직임과 손가락을 감싸 쥐는 동작을 통해 발생하는 근전도 신호의 상관 관계를 알아보기 위한 실험이다. 실험은 Fig. 1의 근전도 측정부위에 8채널 근전도 측정장치(Myo, Thalmic Labs) 를 부착한 후, Fig. 2(a), (b)와 같이 손목에 의한 움직임과 (c)와 같은 손가락의 움직임(주먹 쥠)에 의한 각각의 근 전도 신호의 합이(d), (e)와 같이 두 동작을 동시에 행함 으로써 얻어지는 근전도 신호의 패턴과 얼마나 유사한 지를 비교하였다. 근전도 신호는 0과 1사이의 값으로 정 규화된 Mean Absolute Value (MAV)된 값을 사용하였 으며, 손목의 근전도 신호는 근육이 수축하지 않는 휴식 상태에서 최대 근수축까지 약 10초간 왕복 운동하여 습 득하였다. 또한, (c)의 운동에 따른 근전도 신호는 약 10 초간 최대 근수축을 유지하여 측정하였다. Fig. 3은 위와 같은 방법으로 손목의 내전(Adduction) 및 주먹 쥠에 따 른 근전도 신호를 측정한 것이다. a는 손목의 움직임에 의해 발생한 근전도 신호이며, b는 손가락의 움직임(주 먹 쥠), c는 두 동작을 동시에 수행하였을 때 나타나는 근전도 신호를 나타낸 것이다.F5

Fig. 5

Structure of Multilayer Perceptron

그림에서 볼 수 있듯이 a + bc에서 동일하게 6CH과 8CH에서 가장 두드러진 근전도 신호의 변화가 나타났 다. 이는 a + b로 얻은 근전도 신호의 패턴과 c동작을 취해 얻은 근전도 신호의 패턴이 유사함을 의미한다. 뿐 만 아니라, 이와 같은 결과는 손목의 굴곡(Flexion), 신전 (Flexion), 외전(Abduction) 동작에서 역시 확인할 수 있 었다(Fig. 4). Fig. 4a, b, c는 Fig. 3과 동일하며, 방사 형 그래프로 나타내기 위해 10초간 습득한 근전도 신호 를 평균한 값이다. 그림에서 볼 수 있듯이 각 동작에 따 른 a + bc의 패턴이 유사함을 확인할 수 있으며, 아래 식을 통해 유사도를 백분율(%)로 표현하면 다음과 같다.M1

r=1n(1((ai+bi)ci)2)n×100(%)(1) 

i는 근전도 측정장치의 채널번호, n는 채널의 총 개수 다. 손목의 신전, 굴곡, 외전, 내전 순으로 각각 95.6%, 89.3%, 94.3%, 96.3%의 유사도를 보였다. 이와 같은 a + bc의 패턴의 유사성은 손목 힘 및 악력을 동시에 추정하기 위한 알고리즘의 기본 원리가 된다.

2.2. 다층 퍼셉트론

전완에서 측정한 근전도 신호와 손목의 힘, 악력을 매 칭시키기 위해 기계학습법 중 하나인 Multilayer Perceptron (MLP)을 사용하였다. MLP는 입력층과 은닉층, 출력층으로 구성된 전방향(feed-forward) 신경망으로, 각 층은 활성화 함수를 갖고 있는 노드로 구성되 있다. 각 층의 노드는 Fig. 6과 같이 다른 층의 노드에 가중치 를 갖고 연결되 있으며, 가중치의 조정을 통해 입력에 따른 목표 값을 추정할 수 있다. 가중치는 MLP의 출력 값과 학습데이터의 목표 값이 허용 오차 보다 클 때 역전 파알고리즘(backpropagation)을 이용하여 반복적으로 학습된다[16].

Fig. 6

A system for estimating 3 DOF using EMG

손목의 2자유도 힘과 1자유도 악력을 동시에 추정하 기 위해 Fig. 6와 같이 각 자유도의 개수에 맞게 MLP를 사용한다. 본 논문의 경우 3자유도의 손목 힘 및 악력을 추정하므로 3개의 MLP를 사용한다. 각 MLP의 입력 값 은 전완에서 측정된 근전도 신호이며, 각 자유도에 해당 하는 3개의 학습데이터를 통해 적절한 가중치를 갖도록 훈련된다. 훈련된 MLP는 출력층의 노드를 통해 입력층 에 입력에 따른 적절한 추정 값을 출력한다.

2.3. 알고리즘

전완의 EMG를 이용한 손목 동작 및 악력의 동시 추정 방법은 Fig. 7과 같은 학습과정을 거친다. 8채널 밴드형 EMG 습득장치를 이용하여 얻은 EMG 데이터는 특징점 추출 및 정규화 과정을 통해 기계학습에 용이한 데이터 로 수정된다. 수정된 데이터는 손목의 힘을 추정하기 위 한 학습데이터와 악력을 추정하기 위한 학습데이터로 각각 생성된 뒤, 본 논문에서 제시하는 알고리즘을 통해 새로운 학습데이터로 재생성 된다. 재생성된 학습데이 터는 MLP에 적용되 적절한 가중치를 얻어내는 순서이 다. 근전도 신호의 특징점 추출은 Root Mean Square (RMS), Zero Crossing (ZC) 등 시간영역과 주파수 영역 에서 특징점을 추출하는 많은 방법들이 있지만[17], 비교 적 계산이 간단하며 EMG 신호 분석에 많이 사용되는 MAV를 사용하였다. 식은 아래와 같다.

Fig. 7

MLP learning process

X=1Ni=1N|xi|(2) 

N은 데이터의 개수, xi는 EMG 데이터 이며, X는 MAV 값이다. 식 (2)의 방법으로 추출된 특징점은 MLP 의 빠른 학습과 정확성을 높이기 위해 0과 1사이의 값으 로 정규화 된다[18]. 정규화는 최소-최대 정규화 방법을 사용 하였고, 식은 아래와 같다.M3

X=XXminXmaxXmin(3) 

  • Xmin특징점의 최소값
  • Xmax특징점의 최대값

정규화된 데이터는 손목 힘과 악력을 동시에 추정하 기 위해 손목의 힘을 추정하기 위한 학습데이터(r)와 악 력을 추정하기 위한 학습데이터(g)를 각각 생성해준다. r의 경우 Table 1에서 제시한 동작을 순서로 수행하여 학습데이터를 생성하며, g의 경우 Table 2에서 제시한 동작을 수행하여 학습데이터를 생성한다.

Wrist Motion performed by the subjects

Grasping Motion performed by the subjects

각각의 학습데이터는 동작을 수행하며 발생한 근전도 신호를 입력 값, 동작을 수행하며 발생한 손목 힘 및 악 력의 센서 값을 목표 값으로 갖는다. 이후 손목의 동작을 추정하기 위한 학습데이터(r)와 악력을 추정하기 위한 학습데이터(g)는 두 힘을 동시에 추정하기위한 학습데이 터를 생성하기 위해 아래와 같은 알고리즘에 적용된다. A1

알고리즘을 통해 얻은 새로운 데이터는 각 자유도에 맞게 3개의 학습데이터로 생성된다. 손목의 1자유도(굴 곡-신전)을 추정하기 위한 학습데이터의 경우 h를 입력 값, r'1dof를 목표 값으로 갖으며, 2자유도(내전-외전)의 학습데이터는 h를 입력 값, r'2dof를 목표 값으로 갖는다. 마찬 가지로 악력에 해당하는 3자유도의 경우 h를 입력 값, g'를 목표 값으로 갖는다. 3자유도에 해당하는 3개의 학습데이터는 Fig. 5와 같이 각 자유도에 맞는 MLP를 학습시키기 위해 사용되며 과정은 다음과 같다.

MLP의 입력층 노드의 개수를 i, 은닉층 노드의 개수 를 j, 출력 노드의 개수를 k라고 했을 때, 은닉층의 j번째 노드의 값 aj는 다음과 같다.M4

aj=iwijhi(4) 

wij는 입력층의 i번째 노드와 은닉층의 j번째 노드를 연결하는 가중치이며, hi입력층의 i번째 노드에 입력되 는 i번째 채널의 근전도 신호의 값이다. 은닉층의 j번째 노드의 값 aj는 시그모이드 활성화 함수를 거쳐 출력층 에 입력 값이 된다. 출력층의 입력 값은 yj이며 식은 다음 과 같다.M5

yj=11+eaj(5) 

출력층에 입력된 yj는 은닉층과 출력층을 연결하는 가 중치 wjk를 통해 ak의 값을 갖으며, 식은 아래와 같다.M6

ak=jwjkyj(6) 

ak는 은닉층과 마찬가지로 출력층의 시그모이드 함수 에 입력되어 MLP의 출력 값인 yk를 아래와 같이 갖는다.M7

yk=11+eak(7) 

출력 값 yk은 8채널 근전도 신호의 입력에 따른 0과 1사이의 힘의 추정 값이다. 추정 값 yk는 학습데이터의 목표 값과 비교하며, 두 값 사이의 오차를 최소화 하기위 해 MLP를 반복적으로 훈련시킨다. 아래 식은 오차 값을 나타내는 비용함수이다.M8

E=12k(dyk)2(8) 

d는 학습데이터의 목표 값에 해당한다. 비용함수의 오 차 값을 최소화 시키기 위해서 오차의 기울기와 체인 룰 (Chain rule)을 사용하는 역전파알고리즘[16]을 이용하여 반복적으로 학습하였다. 또한, 학습의 과적합(Overfitting) 현상을 방지하기 위하여 k-겹 교차검증 방법[19]을 이용 하였다.


3. 실 험

3.1. 학습 환경

전완의 EM를 이용하여 손의 3자유도(손목의 힘, 악 력)을 추정하기 위해 힘/토크 센서와 로드셀로 제작된 Fig. 8과 같은 실험환경을 구성 하였다. 3자유도의 힘은 사용자가 그림과 같이 손잡이 모양으로 제작된 기구부 를 잡고 상하좌우로 힘을 가하거나 손잡이를 움켜쥠으 로써 측정 가능하며 전완에 부착된 EMG 습득장치를 이 용하여 힘에 매칭되는 근전도 신호 값을 동시에 얻을 수 있다.

Fig. 8

Experimental environment

손목의 2자유도 힘은ATI사의 mini58과 16-bit DAQ를 사용하여 을 측정하였고, 악력(1자유도)을 측정하기 위 해 KTOYO사의 247SA(50 kg 용량) 로드셀, 1000 Hz 샘플링 속도를 가진 인디케이터를 사용하였다. 6축 힘/ 토크 센서의 출력 값은 하드웨어의 구조를 고려하여 3축 토크 값을 근전도 신호와 매칭하는데 사용하였다. 전완 의 근전도 측정은 8개의 셀로 구성되어 있고, 8bit분해능 과 200Hz 샘플링 속도를 갖는 MYO armband 사용하였 다. 또한, 매 실험마다 Fig. 8의 ① 셀이 전완의 원회내근 (Pronator teres) 부근에 위치하도록 착용하였다.

3.2. 학습 과정 및 결과

손목의 2자유도 동작과 악력을 동시에 추정하고 이를 평가하기위해 Fig. 9와 같은 순서를 따른다. 특징점 추출 은 앞서 2장에 언급한 MAV를 사용 하였고, 200 ms의 윈도우 크기를 적용하였다. 이후, 근전도 신호와 손목의 힘을 측정한 F/T센서(최대 20 N)값, 악력을 측정한 로드 셀(최대 50 N) 값은 정규화 과정을 통해 0과 1사이의 값으로 변환하였다. 실험은 신체에 이상이 없는 성인 남 성을 대상으로 진행되었으며, 피실험자에게 Table 1, Table 2에 제시된 동작을 순차적으로 수행하도록 지시하 였다. Table 1, Table 2과 같은 구성은 손목의 2자유도의 혼합된 동작에 주먹을 쥐는 동작(1자유도)을 추가한 표 이며, 이는 전완의 근전도 신호를 이용하여 손목의 힘을 추정하기 위한 기존의 연구들을 참고 하였다[14].

Fig. 9

MLP Assessment process

한 동작의 움직임은 손에 힘을 주지 않은 휴식 상태에 서 시작되며, 이 때 3자유도에 해당하는 모든 힘의 값은 0으로 설정하였다. 피실험자는 Table 1에 제시된 동작을 순서대로 수행하게 되며, 한 동작당 약 20초의 시간을 갖고 힘을 가하도록 지시하였다. (0~5초: 주어진 동작으 로 힘을 가함, 5~15초: 주어진 동작의 방향으로 최대 힘 을 유지함, 15~20초: 최대 힘에서 서서히 휴식 상태로 복귀) Table 2은 악력을 추정하기 위한 동작으로써 휴식 상태에서 약 5초에 걸쳐 최대 힘으로 주먹을 쥐도록 지 시하였다. 습득된 학습데이터는 앞서 언급한 알고리즘 1의 방법으로 재가공 되어 MLP의 학습데이터로 사용 된다. 위와 같은 과정은 사용자마다 개별적으로 수행되 어야 하며 사람마다 전완에서 측정되는 근전도 신호의 세기나 파형이 조금씩 다르기 때문에 학습데이터를 일반 화 시켜 사용할 수 없다. MLP의 입력층은 MYO armband 의 채널 수에 맞게 8개의 노드를 갖도록 구성하였으며, 5개의 노드를 가진 1개의 은닉층을 사용하였다. 학습은 0.0001의 Learning rate로 설정한 후, 4-겹 교차학습을 통해 Overfitting이 발생하기 전까지 학습하였다. 학습 후엔 Fig. 7과 같이 실험장치를 잡고 손목의 2자유도 힘 및 악력을 실험장치에 가하였다. 힘을 발생하여 얻은 근 전도 신호는 특징점 추출 및 정규화 과정을 거쳐 MLP의 입력 값으로 사용되었다. 입력에 따른 MLP의 3자유도 추정 값은 실제 토크/힘 센서와 로드셀의 값과 비교하였 고, 결정계수(R2)와 평균 제곱근 오차(RMSE)를 이용해 MLP의 성능을 평가하였다. 결정계수는 추정 값이 실제 값과 얼마나 적합한지를 재는 척도로, 값이 1에 가까울 수록 추정 값과 실제 값이 유사하다는 것을 의미하며, 반대로 0에 가까울수록 추정 값과 실제 값의 오차가 크 다는 것을 의미한다. 이 같은 결정계수를 구하는 식은 다음과 같다.F10M9

Fig. 10

Comparison of Estimates and Measure Values

Ri2=1i=0N(fi(t)˜fi(t))2i=0N(fi(t)fi(t)¯)2(9) 

fi (t)는 ith 자유도의 센서 값이며, fi(t)˜ 는 이에 대응하 는 MLP의 추정 값이다. fi (t)는 의 평균값이고, N은 데 이터의 개수이다. 그리고 Ri2 는 i번째 자유도의 결정계수 를 의미한다.

평균 제곱근 오차는 추정 값과 실제 값의 사이의 차이 를 나타내는 척도로 0의 값에 가까울수록 추정오차가 적음을 의미한다. 식은 아래와 같다.F11F12T3M10

Fig. 11

KITECH’s humanoid upper body system

Fig. 12

Simulation of Robotic Prosthesis

The determination coefficient (R2) of each DOF

RMSE=t=1N(fi(t)fi(t)˜)2N(10) 

변수는 결정계수와 마찬가지로 fi (t)는 자유도의 센서 값, fi(t)˜ 는 이에 대응하는 MLP의 추정 값, N은 데이터 의 개수이다.

Fig. 10은 약 150초간 Fig. 7의 고정된 실험장치에 임 의적으로 힘을 발생하여 얻은 MLP의 추정 값과 센서 값을 비교한 그래프이다. 각 자유도를 결정계수와 RMSE 를 이용하여 평가한 결과 결정계수는 굴곡-신전 0.79, 내전-외전 0.73, 악력 0.78의 값을 얻었고, RMSE는 굴곡 -신전 0.12, 내전-외전 0.17, 악력 0.13의 오차 값을 보였 다.

3.3. 모의 의수 실험

모의 의수 실험은 전완의 근전도 신호를 이용해 로봇 의 2자유도 손목 운동 및 주먹 동작을 수행 함으로써 사용자의 의도가 로봇에 얼마나 잘 반영되는지를 알아 보기 위한 실험이다. 때문에 Fig. 8과 같은 고정된 실험 장치를 사용하지 않고, 허공에서 손목 및 손가락을 움직 여 발생하는 근전도 신호를 이용하였다. 이는 근육이 고 정된 물체에 힘을 가할 때 수축(등척성 수축)하기도 하지 만 관절을 움직이기 위해서도 수축(등장성 수축)하기 때 문이다[20]. 따라서 로봇에 입력되는 MLP의 추정 값(힘) 은 사용자와 같게 각도로 변환해 사용했다.M11

θ=2α(τ0.5)(11) 

위 식은 손목 2자유도에 해당하는 힘을 각도로 변환하 여 사용하기 위한 식으로, τ는 손목의 움직임에 해당하 는 MLP의 출력 값이며, 힘이 들어가지 않은 휴식 상태일 때 0.5의 값을 갖는다. α는 로봇의 각 자유도에 해당하는 최대, 최소 각도(θ)를 설정하기 위한 변수이다. 손의 악 력에 해당하는 주먹동작은 최대 악력을 가했을 때 로봇 이 주먹을 말아 쥐도록 설정하였다. 실험은 16자유도를 갖는 KITECH-Hand[21,22]와 KITECH Humanoid upper body robot (Fig. 10) 이용하였고, 약 150초 동안 임의의 동작을 취하여 로봇이 사용자의 의도대로 움직이는지를 확인하였으며, 실험의 정확한 이해를 돕기 위해 실험 영 상을 YOUTUBE에 업로드 하였다[23].


4. 결 론

전완에서 취득한 EMG를 이용하여 손의 3자유도 추정 방법에 대해 다루어 보았다. 이는 전완을 이루는 근육의 해부학적 특성을 이용하였으며 이를 통해 손목의 2자유 도 힘 뿐 아니라 악력까지 동시에 추정 가능한 학습데이 터의 생성이 가능하였다. 이 같은 방법은 기계학습법에 서 가장 번거롭고 어려운 과정 중 하나인 학습데이터를 얻는 수고를 크게 덜어줄 뿐 아니라, 로봇 의수를 사용해 야하는 장애인을 대상으로 거울학습법을 적용하는데도 큰 도움이 될 것으로 예상된다. 비록, 전완의 근육은 외 근과 내근으로 구성되어 있어 피부에서 측정되는 EMG 신호는 다소 독립적 특성이 부족했지만 그럼에도 불구 하고, 각 자유도에 해당하는 MLP의 추정결과는 손목의 굴곡-신전에서 0.79, 내전-외전에서 0.73, 악력에서 0.78 의 결정계수를 나타냈고, 평균 제곱근 오차는 각각 0.12, 0.17, 0.13의 오차를 보였다.

앞으로의 연구는 근전도 신호 분석에 많이 사용되는 12 bit 이상의 분해능과 1 kHz이상의 샘플링 속도를 갖은 근전도 측정 장치를 이용하여 손목의 회전에 해당하는 회내-회외(Pronation-Supination) 동작을 추가하여 연구 하는 것이 목표이다. 뿐만 아니라, 다수의 정상인과 장애 인들을 대상으로 실험하여 더 많은 데이터 베이스를 바 탕으로 한 연구결과 보여줄 것이다.

References

  • Wirta, R.W, Taylor, D.R, Finley, F.R, Patternrecognition arm prosthesis: a historical perspective-a final report, Moss Rehabilitation Hospital, Philadelphia, USA, Fall, (1978).
  • Biddiss, E.A, Chau, T.T, Upper limb prosthesis use and abandonment: A survey of the last 25 years, Prosthet. Orthot. Int, (2007, Sep), 31(3), p236-257. [https://doi.org/10.1080/03093640600994581]
  • Parker, P.A, Scott, R.N, Myoelectric control of prostheses, CRC Crit. Rev. Biomed. Eng, (1986, Jan), 13(4), p283-310.
  • RSL Steeper, BeBionic Product Brochure, [Online], http://bebionic.com/uploads/files/RSLLIT383_-_bebionic _TriFold_ROW_web.pdf, Accessed: April 27, 2017.
  • Touch Bionics, Touch Bionics Product Brochure, [Online], http://www.touchbionics.com/resources/document-library, Accessed: April 27, 2017.
  • Park, SH, Lee, SP, EMG pattern recognition based on artificial intelligence techniques, IEEE Trans. Rehab. Eng, (1998, Dec), 6(4), p400-405. [https://doi.org/10.1109/86.736154]
  • Kim, SJ, Jeong, EC, Lee, SM, Song, YR, Improvements of Multi- Wrist Movements, Trans. Korean Institute of Electrical Engineers, (2012, May), 61(5), p757-762. [https://doi.org/10.5370/KIEE.2012.61.5.757]
  • Khokhar, Z.O, Xiao, Z.G, Menon, C, , Surface emg pattern recognition for real-time control of a wrist exoskeleton, Biomedical engineering online, (2010), 9(1), p41. [https://doi.org/10.1186/1475-925x-9-41]
  • Hiraiwa, A, Shimohara, K, Tokunaga, Y, EMG pattern analysis and classification by neural network, Proc. IEEE Int. Conf. Systems Man Cybernetics, Cambridge, USA, (1989), p1113-1115.
  • Peleg, D, Braiman, E, Yom-Tov, E, Inbar, G. F, Classification of finger activation for use in a robotic prosthesis arm, IEEE Trans. Neural Syst. Rehabil. Eng, (2002, Dec), 10(4), p290-293. [https://doi.org/10.1109/tnsre.2002.806831]
  • Tenore, F, Ramos, A, Fahmy, A, Acharya, S, Etienne-Cummings, R, Thakor, N.V, Towards the control of individual fingers of a prosthetic hand using surface EMG signals, Proc. IEEE Eng. Med. Biol. Soc. Conf., Lyon, France, (2007), p6145-6148.
  • Muceli, S, Farina, D, Simultaneous and proportional estimation of handkinematics from emg during mirrored movements at multipledegrees-of-freedom, IEEE Trans. Neural Syst. Rehabil. Eng, (2012, May), 20(3), p371-378. [https://doi.org/10.1109/tnsre.2011.2178039]
  • Jiang, N, Vest-Nielsen, J.L, Muceli, S, Farina, D, EMGbased simultaneous and proportional estimation of wrist/hand dynamics in uni-lateral trans-radial amputees, J. Neuroeng. Rehabil, (2012, Jun), 9(1), p42. [https://doi.org/10.1186/1743-0003-9-42]
  • Pan, L, Sheng, X, Zhang, D, Zhu, X, Simultaneous and Proportional Estimation of Finger Joint Angles from Surface EMG Signals during Mirrored Bilateral Movements, Int. Conf. Intell. Robots Applicat, Busan, South Korea, (2013), p493-499.
  • Jiang, N, Englehart, K.B, Parker, P.A, Extracting simultaneous and proportional neural control information for multiple-DOF prostheses from the surface electromyographic signal, IEEE Trans. Biomed. Eng, (2009, Apr), 56(4), p1070-1080. [https://doi.org/10.1109/TBME.2008.2007967]
  • Hecht-Nielsen, R, Theory of the backpropagation neural network, Proc. IEEE Int. Joint Conf. Neural Networks, Washington, USA, (1989), p593-605.
  • Phinyomark, A, Phukpattaranont, P, Limsakul, C, Feature reduction and selection for EMG signal classification, Expert Systems With Applicat, (2012), 39(8), p7420-7431. [https://doi.org/10.1016/j.eswa.2012.01.102]
  • Sola, J, Sevilla, J, Importance of input data normalization for the application of neural networks to complex industrial problems, IEEE Trans. Nucl. Sci, (1997, Jun), 44(3), p1464-1468. [https://doi.org/10.1109/23.589532]
  • Kohavi, R, A study of cross-validation and bootstrap for accuracy estimation and model selection, Proc. 14th Int. Joint Conf. Artificial Intelligence, Montreal, Canada, (1995), p338-345.
  • Kuriki, H.U, Azevedo, F.M.d, Takahashi, L.S.O, Mello, E.M, Filho, R.d.F.N, Alves, N, The relationship between electromyography and muscle force, EMG Methods for Evaluating Muscle and Nerve Function, 1th ed. InTech, (2011), ch. 3, p31-54.
  • Bae, JH, Park, SW, Park, JH, Baeg, MH, Kim, D, Oh, SR, Development of a low cost anthropomorphic robot hand with high capability, Proc. IEEE/RSJ Int. Conf. Intell. Robots Syst., Vilamoura, Portugal, (2012), p4776-4782.
  • Lee, DH, Park, JH, Park, SW, Baeg, MH , Bae, JH , KITECH-Hand: A Highly Dexterous and Modularized Robotic Hand, IEEE/ASME Trans. Mechatron, (2017, Apr), 22(2), p876-887. [https://doi.org/10.1109/tmech.2016.2634602]
  • Kim, YJ, YOUTUBE, [Online], https://youtu.be/FxTP0gNn7yk, Accessed: April 27, 2017.
김 영 진

2015 순천향대학교 전자정보공학과/의료IT 공학과 학사

2017~현재 과학기술연합대학원대학교 로보

틱스 및 가상공학 석・박사 통합과정

관심분야: 로봇 의수, 기계학습

이 동 혁

2008 성균관대학교 기계공학과 학사

2010 성균관대학교 메카트로닉스 협동 과정 석사

2015 성균관대학교 기계공학과 박사

2015~현재 한국생산기술연구원 로봇연구실 용화그룹 박사후 연구원

관심분야: 로봇 핸드, 로봇 매니퓰레이션

박 현 준

2011 광운대학교 제어공학과 학사

2014 서울대학교 융합과학부 석사

2014~현재 서울대학교 융합과학부 박사과정

관심분야: 매니퓰레이터 제어

박 재 한

1998 동아대학교 전기공학과 학사

2000 부산대학교 전자공학과 석사

2010 고려대학교 전기전자전파공학과 박사 수료

2004~현재 한국생산기술연구원 로봇연구실 용화그룹 선임연구원

관심분야: 3차원 정보 처리, 인식기반 로봇작업

배 지 훈

1999 명지대학교 전기공학과 학사

2001 명지대학교 전기공학과 석사

2004 Ritsumeikan Univ, Department of Robotics 박사

2009~현재 한국생산기술연구원 로봇연구실 용화그룹 수석연구원

관심분야: 로봇 손 제어, 양팔 협조제어

백 문 홍

1982 서울대학교 제어계측공학과 학사

1984 서울대학교 제어계측공학과 석사

1995 동경대학교 전기 전공 박사

1996~현재 한국생산기술연구원 로봇연구실 용화그룹 수석연구원

관심분야: 로봇 비전, 3차원 공간 인지

Fig. 1

Fig. 1
Muscles in the forearms

Fig. 2

Fig. 2
Independent Experiment of EMG

Fig. 3

Fig. 3
8CH EMG similarity of a+b and c

Fig. 4

Fig. 4
Similarity of EMG with regard to wrist pose

Fig. 5

Fig. 5
Structure of Multilayer Perceptron

Fig. 6

Fig. 6
A system for estimating 3 DOF using EMG

Fig. 7

Fig. 7
MLP learning process

Algorithm 1

Algorithm 1

Fig. 8

Fig. 8
Experimental environment

Fig. 9

Fig. 9
MLP Assessment process

Fig. 10

Fig. 10
Comparison of Estimates and Measure Values

Fig. 11

Fig. 11
KITECH’s humanoid upper body system

Fig. 12

Fig. 12
Simulation of Robotic Prosthesis

Table 1

Wrist Motion performed by the subjects

Index Movement of wrist
1 Extension
2 Flexion
3 Adduction
4 Abduction
5 Combined activation of extension and adduction
6 Combined activation of extension and abduction
7 Combined activation of flexion and adduction
8 Combine activation of flexion and abduction

Table 2

Grasping Motion performed by the subjects

Index Movement of fingers
1 Hand closing

Table 3

The determination coefficient (R2) of each DOF

Flex.-Ext. Add.-Abd. Grasp.
R2 0.79 0.73 0.78
RMSE 0.12 0.17 0.13