실시간 손 제스처 인식을 위하여 손목 피부 표면의 높낮이 변화를 고려한 스마트 손목 밴드

1. 서 론

손목 착용형 웨어러블 장치는 현재 여러 종류와 성능으로 세분화 및 상용화되어 있으며 이러한 장치는 주로 DVI(Digital Visual Interface)를 목적으로 한다. 이는 스마트폰, PC, TV 등의 모니터를 통해 시각화된 정보를 제어하는 디스플레이 제어(display control)뿐만 아니라 물리적인 임무 수행이 가능한 로봇 제어를 위해서도 연구 및 개발되고 있다^[1]. 현재 상용화 되어있는 대표적인 손목 착용형 웨어러블 장치인 스마트 워치(smart watch)는 소셜 머신(social machine)으로, 장치의 소형화(miniaturization), 간편성(simplicity), 휴대성(portability), 연결성(connectivity), 개인화(personalization) 등을 충족하며 이 중에서도 특히 연결성이 뛰어나다. 이와 달리 로봇 핸드 및 로봇 의수 등의 로봇 제어 디바이스는 특정 목적 또는 소수의 사용자를 대상으로 제공되는 경우가 많다. 로봇의 산업화가 가속화되고 있는 현 시점에 따라 로봇 제어용 웨어러블 장치 또한 여러 로봇과의 연결성이 뛰어난 사회적 기계로써의 발전이 필요한 상태이다. 스마트 디바이스 시장에서는 소비자의 가격 공정성 인식(price fairness perception)과 소비자가 수용 가능한 준거가격(reference price)의 고려가 신중하게 다루어진다^[2]. 현재 로봇 핸드 및 로봇 의수 제어 관련 분야에서 또한 이러한 비용적인 측면에서의 개선을 위하여 다양한 시도와 노력이 이루어지고 있는 상황이다^[3].

로봇 핸드 및 로봇 의수 제어를 위한 웨어러블 장치의 사회적 기계로써의 발전에 기여하고자 다양한 사례의 연구가 존재한다. 대표적인 사례는 EMG(Electromyography), EEG(electroencephalography) 등의 신호를 통한 로봇 핸드 및 의수 제어 시스템이다^[4]. 이 시스템은 UI(User Interface)를 기반으로 로봇 핸드가 표출할 수 있는 제스처를 사용자의 근전도 및 뇌파 신호와 매칭한다. 특정 신호와 매칭된 제스처는 센서를 통해 받아들여진 신호의 구분 및 분류를 통해 표출된다. 이러한 종류의 제스처는 손가락의 각도가 고정되어있거나 물체를 잡을 때에 로봇 손끝의 압력센서 등을 통하여 적절한 때에 정지한다^[5]. 이는 사용자가 일정 기간의 적응 과정을 통해서 물체를 잡아서 옮기는 등의 간단한 작업을 수행할 수 있도록 한다^[6]. 또한 저가형 로봇 의수 개발에도 많은 연구가 이루어지고 있다^[7].

최근에는 압력센서를 이용한 로봇 및 의수 제어 관련 기술 또한 개발되고 있다^[8]. 지금까지 대표적으로 다루어져 왔던 근전도(EMG) 및 뇌파 신호(EEG)를 통한 로봇 제어 방식과 접근방식을 달리하고 압력센서를 사용하여 팔, 다리 등의 신체 부위를 비신축성 재질의 밴드로 감싸주어 힘줄 및 인대 또는 근육의 움직임을 압력의 변화로 인식하는 새로운 접근 방식이다^[8,9]. 이러한 접근 방식을 다루었던 연구들은 특정 개수의 압력센서를 밴드 내부에 일렬로 일정한 간격을 두고 배열하여 손동작을 인식 및 분석한다^[10]. 이러한 종류의 연구들은 장애인 사회에 기여할 수 있는 다양한 적용 가능 분야를 제시하기도 한다. 대표적으로는 장애인을 위한 의수 제어, 수화 등을 제시하며^[11,12] 터널증후군(Carpal tunnel syndrome)과 같은 특정 질병 치료를 제시하는 경우도 있다^[13]. 이러한 연구는 밴드 내에 압력센서를 일정한 간격을 두고 일렬로 배열하고 있기에 실시간은 아니지만 동작을 명확하게 구분하고자 센서 융합(sensor fusion) 기법을 사용하거나 KNN (K Nearest Neighbor), SVM (Support Vector Machine) 등의 기계학습(machine learning) 분야인 패턴인식을 위한 학습 모델을 사용한다^[14-16].

각 손가락은 독립제어가 쉬운 경우와 그렇지 않은 경우가 있다. 예로 들어, 약지와 소지는 굽힘 동작을 위한 천지굴건(Flexor digitorum superficialis tendons)과 손가락을 펴기 위한 손가락폄근(Extensor digitorum muscle)을 서로 공유하고 있기에 독립 제어가 힘들다^[17]. 이 때문에 위에서 언급한 EMG, EEG, 그리고 압력센서를 사용한 연구에서는 센서 융합과 기계학습을 통한 제스처 인식 과정을 거친다. 기계학습은 제스처의 명확한 구분을 위해서 데이터 처리 과정에 의한 시간 지연(time-delay) 현상이 발생되며 실시간 연속적 제어를 제공하기 힘들 수 있다. 즉, 기계학습 과정을 거치게 되면 고정된 각도의 제스처가 표출될 수밖에 없으므로 로봇 핸드 및 로봇 의수의 실시간 연속적 제어가 대체로 불가능하다.

따라서 본 연구에서는 다음의 네 가지를 개선하고자 한다. 첫 번째, 각 손가락의 굽힘, 폄 각도는 저장된 모션이 아닌 실시간(real-time) 및 연속적으로 구현될 수 있도록 하고자 한다. 두 번째, 저가형 의수 개발 사례에 더하여 본 연구는 제스처 인식의 정확도는 높이고 압력센서의 개수는 줄여 로봇 핸드 및 로봇 의수 제어를 위한 웨어러블 디바이스 또한 저가형으로 제공하고자 한다. 세 번째, 웨어러블 디바이스를 경량화하여 휴대성을 확보하고 탈부착이 간편한 손목 밴드의 형태로 제공하여 사용자의 편리성을 확보하고자 한다. 네 번째, 디바이스의 사용자가 제어법을 장기간으로 학습하거나 본 장치를 사용하기 위한 재활 또는 시술의 과정이 요구되지 않는 제어 시스템을 제공하고자 한다. 본 연구는 이를 통해 다양한 HRI (Human-Robot Interaction) 및 장애인용 로봇 의수 분야에 기여할 수 있을 것이다.

2. 압력 측정이 가능한 스마트 손목 밴드

본 연구는 상기 네 가지 세부목표를 달성할 수 있도록 압력 측정이 가능한 스마트 손목 밴드를 제시하고 이를 여러 응용 분야에 용이하게 활용하도록 제안한다[Fig. 1]. 압력센서는 크기가 제한적이기 때문에 센서를 일렬로 배열했을 때 센서 간 간격 사이에서 힘줄의 움직임을 정확히 인식하지 못할 수 있다. 이 장치는 밴드 내 압력센서를 일렬로 배열했을 때 부정확 할 수 있는 힘줄의 움직임 인식을 개선할 수 있도록 해부학적 고려와 검증과정을 통해 센서의 배열을 도출하였다.

[Fig. 1]

Robot Prosthesis and the pressure data wrist band on wrist showing pressure sensors on the inner surface of the band

2.1 손목 피부표면의 높낮이 변화를 고려한 밴드 설계

해부학적 관점에서, 손가락 관절의 움직임은 근육의 수축 및 이완으로 인한 힘줄의 당겨짐으로 인해 발생된다^[18]. 아래 팔에 배치된 근육들은 제작기의 힘줄들과 연결이 되어있으며 그 힘줄들은 각 손가락의 뼈마디에 연결되어 있다. 손바닥 면 방향(anterior)에 존재하는 힘줄과 근육은 손가락을 펴기 위한 역할을 하며 손 등 면 방향(posterior)은 손가락을 굽히기 위한 역할로써 존재한다^[17].

엄지를 제외한 4개 손가락(검지, 약지, 중지, 소지) 관절은 얕은손가락굽힘근(Flexor digitorum superficialis muscles) 수축에 의한 천지굴건(Flexor digitorum superficialis tendons)의 당겨짐으로 인해 굽혀지게 되고, 손가락폄근(Extensor digitorum muscle)의 수축에 의한 지신건(Extensor digitorum tendon)의 당겨짐으로 인해 펴지게 된다. 엄지는 긴엄지굽힘근(Flexor pollicis longus muscle)의 수축으로 인한 장수무지굴건(Flexor pollicis longus tendon)의 당겨짐을 통해 굽혀지게 되고 긴엄지폄근(Extensor pollicis longus muscle)의 수축으로 인한 장수무지신건(Extensor pollicis longus muscle)의 당겨짐을 통해 펴지게 된다. 예로 들어 검지는 [Fig. 2]에서 보이는 바와 같이 편 상태(relaxed)에서 굽힌 상태(bent)로 동작하면 검지 손가락을 담당하는 긴엄지굽힘근(b)의 수축에 의하여 장수무지굴건(a)이 당겨져 검지손가락이 굽혀질 수 있게 된다^[17].

[Fig. 2]

Wrist tendon anatomy with index finger bending and the curvature variation on wrist due to the index finger motion

손목 힘줄은 손목으로부터 아래팔로 갈수록 두께가 두꺼워진다. 이 때문에 손가락을 굽힐 때에는 상대적으로 얇은 두께의 힘줄이 손목을 통해 손목 아래로 하강한다. 이에 따라 아래팔로 당겨져 내려온 힘줄에 의해서 손목에서는 체적 감소가 발생된다. 이렇게 얇은 굵기의 힘줄이 손목으로 이동됨에 따라 나머지 손목 힘줄들의 밀집된 형태를 변형하게 되고 이와 동시에 손목 표면에서는 피부 굴곡의 깊이 변화가 발생한다^[19]. 이러한 손목 피부 표면의 높낮이 변화는 각 손가락의 동작 및 이를 조합함으로써 나타나는 특정 제스처에 따라서도 독립적으로 차별 및 구분되어 나타나는 특징을 보인다^[9,10,18,19].

[Fig. 2]는 손목 피부 표면의 높낮이 변화의 예시를 가시적으로 보여주고있다. 검지손가락을 굽힌 상태(c)에서는 검지손가락을 폈을 때(d)와 달리 피부 표면의 높낮이 변화가 발생했음을 확인할 수 있다. 본 연구는 제시하는 손목 밴드 시스템을 통해 이러한 변화를 압력의 변화로 받아들임으로써 손동작을 실시간으로 인식하도록 한다.

2.2 밴드 내면의 압력센서 위치 선정

본 절은 해부학적으로 독립 구분(de-couple)되는 손가락인 엄지, 검지, 중지의 각도를 실시간으로 제어할 수 있도록 하는 손목 밴드 내면의 압력센서 위치 선정 과정을 다룬다. 앞서 언급한 바와 같이 센서 배치가 일정한 간격으로 배치되는 경우에는 손가락 간의 간섭(coupling)이 발생되므로 시간 지연을 수반하는 기계학습을 거쳐 제스처의 구분 및 분류가 필요하다.

상기 내용을 개선하고자 제안하는 본 장치는 손동작에 따라 차별되는 손목 피부 표면의 높낮이 변화를 근거로 하여 밴드 내 압력센서의 위치를 실험적으로 선정하였다. 본 연구를 통해 개발된 스마트 손목 밴드 내면에 배열된 각 압력센서의 위치는 [Fig. 3]에서 보이는 바와 같다.

[Fig. 3]

Prototype of the pressure data wristband and the arrangement of pressure sensors on the inner surface. Each sensor is responsible for (a) thumb, (b) middle, and (c) index fingers

손목 밴드의 각 센서는 (a) 엄지, (b) 중지, (c) 검지를 담당하며 각 손가락의 굽힘 동작에 따라 발생되는 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치를 기반으로 센서의 배열을 선정하였다. 선정된 지점은 손을 편 상태, 엄지, 검지, 그리고 중지를 굽혔을 때 제각기 나타나는 이 높낮이 변화를 3D Depth 카메라(ZiVID One Plus Medium, ZiVID, Norway)를 이용하여 3차원 포인트 클라우드(Point Cloud) 데이터를 통해 도출하였다. 이렇게 선정된 손목 위 세 지점은 [Table 1]에 기재하고 있다.

[Table 1]

Determined positions of pressure sensors on wrist

3D Depth 카메라로부터 가장 가까운 거리의 손목 앞면은 촬영된 3차원 공간의 원점(0, 0, 0)으로 설정했으며 여기서 손목의 distal, posterior, ventral 방향을 X, Y, Z(Height) 축으로 지정해주었다. [Fig. 4]는 손을 편 상태(a)와 비교하여 엄지(b), 검지(c), 중지(d)를 굽힌 상태에서 손목 피부 표면의 높낮이 변화가 가장 크게 변화하는 지점을 ‘+’ 마크로 표기한 결과이다. 이 세 지점을 기준으로 손목 단면의 데이터를 살펴보면 [Fig. 5]와 같이 손목 피부 표면의 높낮이 변화를 시각적으로 확인 가능하다.

[Fig. 4]

Determined sensor location (‘+’ mark) of the most pronounced change in depth on wrist skin due to each finger motion. (a) relaxed, (b) thumb, (c) index, and (d) middle finger

[Fig. 5]

Depth variation of wrist skin curvature due to finger motion (a) thumb bending (b) index bending, and (c) middle finger bending

[Fig. 5]는 손을 편 상태(rest)에서 [Table 1]의 위치가 표기된 [Fig. 4]의 각 ‘+’ 마크 지점을 기준으로 엄지, 검지, 그리고 중지를 굽혔을 때 변위 차가 가장 크게 발생한 한 점의 위치를 X-Z(Height) 평면으로 도출한 결과이다. 본 연구에서는 이렇게 변위 차가 가장 큰 지점을 손목 피부 표면의 높낮이 변화가 가장 뚜렷하게 나타나는 위치로서 선정하였다.

본 과정을 통해서 손목과 접촉하는 밴드의 내면에는 압력센서가 [Fig. 3]에서 보이는 바와 같이 배치될 수 있었다. 이렇게 배치된 각 센서는 손목 밴드를 통해 손목의 특정 위치와 접촉하며 제안하는 스마트 손목 밴드는 손목을 감싸는 후크 앤드 루프 패스너(hook-and-loop fastener) 타입의 비신축성 손목 밴드를 사용한다. 이를 통해 압력센서는 손목 피부 표면의 높낮이 변화를 밴드 내면에서의 압력의 변화로 인식한다. 이를 통해 기계학습을 통한 동작분류가 필수였던 여러 개의 압력센서를 일렬로 배열하는 기존의 방식과 달리 소수의 센서를 최적의 위치에 배치할 수 있었다. 이렇게 배치된 센서를 통해 인식된 데이터는 텐던 구동(tendon-driven) 로봇 핸드의 손가락 동작과 실시간으로 매핑된다. 또한 Computer Interface 구현을 위해 PC의 마우스 커서와 손동작의 실시간 무선 매핑을 구현한다. 자세한 내용은 3장의 압력 데이터 측정 및 패턴 분석과 4장의 적용 및 검증에서 다룬다.

3. 압력 데이터의 측정 및 패턴 분석

3.1 압력 데이터의 측정 방법

본 연구에서 사용된 압력센서(Interlink Electronics FSR 400, USA)는 0에서 10 N 사이의 압력 측정 범위를 가지며 0에서 5 V의 출력 전압 범위를 갖는다. 손을 자연스럽게 편 상태(neutral state)에서 엄지, 검지, 중지를 굽히게 되면 이를 담당하는 각 센서에 가해지는 압력은 감소하게 된다. 따라서 손을 편 상태에서 밴드 내부에는 일정한 압력이 유지되어야 하며 본 상태를 기본자세 즉 중립상태로 삼는다.

본 절의 압력 데이터 측정 과정에서는 손을 편 상태에서 밴드 내 각 압력센서의 평균 출력 전압값이 2V가 유지되도록 설정하였다. 이 중립 상태는 시스템 구동시 ground 조건이며 이 상태에서 모든 센서는 각 손가락의 굽힘 동작에 따라 변화하는 압력 데이터를 측정한다. 센서를 통해 출력되는 전압 데이터는 마이크로 컨트롤러(MCU)의 한 종류인 아두이노 메가(Arduino Mega) 2560의 ADC(Analog to Digital Converter)를 통해 디지털화 되어 손가락의 굽힘 값과 매핑된다. 제어기에 입력되는 전압 데이터 도출을 위한 각 압력센서의 회로는 다음과 같다.

[Fig. 6]에서 보이는 각 센서의 회로에서는 노이즈를 제거하기 위한 저역 통과 필터링(Low-Pass Filtering) 과정을 프로그래밍을 통하여 실시간으로 적용하였다. 또한 압력 데이터 밴드 내에서 발생하는 압력이 각 센서에 가해질 때, 전압이 가장 완만하게 변화하며 출력되는 결과를 얻기 위하여 압력센서의 제조사에서 제공하는 여러 기준 저항 R_ref 값에 따른 출력 전압 V_out 데이터 시트^[20]를 참고하였다. R_ref 값은 참고한 데이터를 바탕으로 아래의 식 (1)을 통해 도출할 수 있었다.

$\[ R_{ref}=\frac{V_{out}}{V_{in}-V_{out}}\times R_{fsr} \]$

(1)

[Fig. 6]

Force-to-voltage conversion circuit of each sensor

따라서 각 압력센서의 출력 전압 V_out은 아래의 식 (2)를 통하여 실시간으로 출력된다.

$\[ V_{out}=\frac{R_{ref}}{R_{ref}+R_{fsr}}\times V_{in} \]$

(2)

3.2 압력 데이터의 패턴 분석

본 연구를 통해 개발된 손목 밴드를 착용함으로써 구현 가능한 제스처와 이때 밴드를 통해 출력되는 신호를 분석한 결과는 [Fig. 7]과 같다. 이 실험은 세 개의 센서가 담당하는 각 손가락이 동작함으로써 변화하는 출력 전압값을 측정한 결과이다. 언급했듯이, 약지와 소지는 힘줄을 공유하여 해부학적으로 독립제어가 쉽지 않기 때문에 엄지, 검지, 중지를 대상으로 실험이 진행되었다.

[Fig. 7]

Pressure variation of the wristband system while gesturing (a) neutral state, (b) thumb bending, (c) index finger bending, (d) middle finger bending, (e) power grasping, (f) two-finger pinching, and (g) three-finger pinching

연구자는 밴드를 착용하고 손을 편 상태에서 약 4초간 손가락을 굽히는 동작을 취했다. 본 실험은 (b) 엄지, (c) 검지, (d) 중지로 나누어 각각 총 3번 진행되었다. 제스처는 (a) 손을 편 상태(neutral state)를 기본자세로 하고 여기서 엄지, 검지, 중지를 독립적으로 동작하는 경우와 이를 활용 및 융합한 동시 제어인 (e) 물체 쥐기(power grasping), (f) 두 손가락 핀칭(two-finger pinching)과 (g) 세 손가락 핀칭(three-finger pinching)으로 구분된다. 엄지를 담당하는 압력센서의 출력 전압은 검지와 중지에 비해 대부분의 실험에서 비교적 낮게 출력됨을 알 수 있다. 손을 편 중립 상태[Fig. 5(a)]에서는 세 손가락을 담당하는 신호 모두 안정적으로 일정하게 유지되고 있다. 엄지 동작[Fig. 5(b)]과 검지 동작[Fig. 5(c)]에서는 다른 손가락을 담당하는 신호의 간섭을 거의 받지 않음을 알 수 있으며 일정한 신호를 독립적으로 유지하는 경향을 보인다. 중지 동작[Fig. 5(d)]에서는 손가락의 구별에 방해를 주지는 않지만 검지를 담당하는 신호가 약 0.3 V의 간섭을 받는데, 이는 센서 간 근접한 거리가 원인으로 판단되며 이에 대한 해결은 4.1절에서 다룬다. 물체를 쥐는 손동작[Fig. 5(e)]을 취했을 때에는 세 손가락을 담당하는 신호 모두 일정하게 감소됨을 알 수 있다. 두 손가락 물체를 쥐기[Fig. 5(f)]에서는 사용된 엄지와 검지의 신호가, 물체 쥐기[Fig. 5(g)]에서는 사용된 엄지, 검지, 중지의 신호가 다른 신호에 비해 뚜렷하게 감소함으로써 구분되고 있음을 파악할 수 있다.

이렇게 제스처에 따라 사용되는 손가락의 신호가 독립적인 경향을 띠는 것을 확인할 수 있다. 또한 각 손가락을 담당하는 신호가 실시간 및 연속적으로 뚜렷하게 감소되며 차별되는 특징을 보이고 있음을 알 수 있다. 따라서 패턴인식 등의 기계학습이 수반하는 시간 지연이 없는 실시간 일대일 제어가 가능함을 확인할 수 있었다.

앞서 측정한 주 연구자의 데이터가 더 일반적으로 성립될 수 있음을 확인하기 위해 피험자를 참여시켜 일관성 여부 판단을 위한 실험을 다음과 같이 진행하였다[Fig. 8]. 실험은 건장한 성인 남성 3명을 선정하여 진행하였다. 선정된 피험자는 주 연구자의 손목 둘레를 기준으로 하고 이보다 약 20% 짧은 대상을 피험자 1[Fig. 8(a)], 기준과 유사한 대상을 피험자 2[Fig. 8(b)], 기준보다 약 20% 긴 대상을 피험자 3[Fig. 8(b)]으로 지정하였다. 각 피험자는 스마트 손목 밴드를 손목에 착용하고 주 연구자의 지시에 따라 손을 편 상태(neutral state), 두 손가락 핀칭(two-finger pinching), 세 손가락 핀칭(three-finger pinching)으로 총 3가지 동작을 수행하였다. 각 동작은 10초간 수행하되, 초반 약 3초간 휴지기 상태에서 약 4초간 동작을 취하고 다시 약 3초간 다시 휴지기 상태로 복귀하는 과정을 통해 이루어졌다. 피험자 기반의 실험 결과인 [Fig. 8]에서 손을 편 중립 상태(0~10초)에서는 모든 피험자의 신호가 안정적으로 일정하게 유지되는 경향성을 보인다. 두 손가락 핀칭(10~20초)에서는 모든 피험자의 굽혀진 엄지와 검지의 신호가 중지 신호에 비해 뚜렷하게 감소함을 알 수 있다. 세 손가락 핀칭(20~30초)에서는 모든 피험자의 엄지, 검지, 중지의 신호가 뚜렷하게 감소하고 있다. 여기서 연구자의 데이터[Fig. 7]와 다른 점은 피험자 2의 경우 굽히지 않은 중지 신호(b)는 증가하고, 피험자 1의 중지 신호(a)는 미소한 감소 및 증가를 연속적으로 보인다. 즉, [Fig. 7] 데이터의 분석에서 언급한 중지 신호의 간섭 현상은 미소한 감소뿐만 아니라 증가하는 신호의 형태로도 나타날 수 있음을 알 수 있다. 또한 연구자의 데이터[Fig. 7]와 동일하게 모든 피험자의 데이터에서 엄지의 신호는 검지와 중지에 비해 비교적 낮게 출력됨을 알 수 있다. 이는 [Fig. 5(a)]에서 엄지를 동작함에 따라 나타나는 손목 피부 표면의 높낮이 변화가 검지와 중지의 동작에 비해서 크게 나타나는 현상이 원인으로 판단된다. 이와 유사하게 [Fig. 5]의 (b)와 (c)에서는 검지와 중지의 동작에 따른 손목 피부 표면의 높낮이 변화가 비슷하다. 이에 따라 [Fig. 7]과 [Fig. 8]의 데이터에서 검지와 중지의 두 데이터는 모두 유사한 출력 전압 범위 안에서 동작하고 있음을 알 수 있다. 따라서 본 피험자 기반 사용자 평가를 통해 제안하는 장치의 다양한 손목 두께에서의 동작 가능성을 검증할 수 있었다.

[Fig. 8]

Pressure variation of the wristband system while gesturing three postures(neutral state, two-finger pinching, three-finger pinching) for three abled-bodied subjects

[Fig. 9]는 주 연구자의 각 손가락의 독립적인 굽힘 동작이 발생될 때 출력되는 신호의 평균 전압값을 한꺼번에 보여주고 있다. 이 때 사용된 굽힘 동작은 총 네 가지로, [Fig. 7]의 (a) 손을 편 상태에서 (b) 엄지, (c) 검지, (d) 중지를 굽혔을 때이다. 이 실험에서 관찰된 내용은 다섯 가지로 다음과 같이 요약될 수 있다. 첫 번째, 손을 편 상태(rest)에서는 세 손가락의 신호 모두 다른 동작들에 비해 가장 높은 전압을 일정하게 유지하고 있다. 두 번째, 엄지(thumb)를 굽혔을 때에는 엄지의 신호가 다른 세 엄지의 신호와 비교하여 명확하게 감소하였음을 알 수 있으며 중지와 약지 신호의 변화는 크지 않다. 세 번째, 검지(index)를 굽혔을 때에는 검지의 신호가 명확하게 감소하며 이때 엄지의 신호가 손을 폈을 때보다 미소하게 증가하는 특징을 보인다. 이는 동작을 취할 시 발생하는 노이즈 데이터가 평균값 도출에 영향을 준 것으로 판단된다. 네 번째, 중지(middle)를 굽혔을 때에도 마찬가지로 중지의 신호가 뚜렷한 감소를 보이고 있으며 중지와 검지의 데이터가 교차됨을 확인할 수 있다. 또한 약 2 V 내 저전압의 동작 범위 안에서도 각 손가락에 따른 신호가 이에 반 정도 되는 약 1 V의 전압 감소를 보인다.

[Fig. 9]

Pressure data from sensors during rest and bending motions

따라서 각 손가락의 동작에 따른 신호가 모두 독립적으로 차별되어 나타나는 특징을 보이므로 각 손가락의 동작이 뚜렷하고 독립적으로 구분되어지고 있음을 확인할 수 있었다. 따라서 실시간으로 출력되는 압력 데이터 값은 로봇 핸드 또는 의수 등의 손가락 관절 각도와 실시간으로 일대일 매핑될 수 있음을 확인하였다. 언급했듯이, 기존에는 압력센서를 일렬로 배열하여 센서 간 간격 사이 힘줄의 움직임 측정의 부정확성을 기계학습 과정으로 보완해왔다. 이를 개선하고자 해부학을 고려하여 개발된 본 장치의 검증 과정은 다음의 4절에서 다룬다.

4. 적 용

본 절은 개발된 손목 밴드의 실용성을 검증하고자 로봇 의수 제어를 위한 Human-Robot Interaction과 PC 마우스 제어를 위한 Computer Interface 두 가지를 구현한다. 로봇 의수는 텐던 구동(tendon-driven) 방식^[21,22] 로봇 핸드를 사용하였으며 각 손가락을 구동하는 모터의 회전 각도와 스마트 손목 밴드의 손가락별 출력 신호의 일대일 매핑 과정을 통해 구현되었다. PC의 마우스 제어는 IMU(Inertial Measurement Unit) 센서와 스마트 손목 밴드를 동시 사용하여, IMU신호는 마우스 커서 위치로 그리고 손목 밴드의 출력 신호는 마우스의 좌/우 클릭으로 매핑되어 구현되었다.

4.1 로봇 의수를 통한 적용 및 검증

먼저 로봇 의수를 제어하는 실험 과정을 통해 손목밴드의 활용성을 실증하고자 한다. 이 실험은 사용자의 각 손가락의 굽힘 동작을 밴드를 통해 신호로 변환하고 이를 로봇 의수의 제어입력에 적용함으로써 각 손가락의 굽힘 동작이 잘 추종하는지를 검증한다.

로봇 의수와 밴드를 착용한 사용자의 손가락 굽힘 정도를 확인하기 위해 구부림 센서(Spectra Symbol Flex Sensor FS7548, USA)를 사용하였다. 이 센서는 [Fig. 10]에서와 같이 로봇 의수의 엄지(a), 검지(b), 중지(c) 뒷면과 압력 데이터 밴드를 착용한 사용자의 손의 엄지(d), 검지(e), 중지(f) 뒷면에 각각 부착되었다. 압력 데이터 밴드를 착용한 사용자의 손가락에는 구부림 센서가 잘 고정될 수있도록 손가락 면적의 일부만 감싸는 형태의 데이터 러브(data glove)를 제작하여 착용하였다.

[Fig. 10]

Left: robot prosthesis Right: human hand with flex sensors while wearing pressure data wristband

본 실험에서 사용된 로봇 의수는 텐던 구동(tendon-driven) 방식으로 구동되도록 제작 및 설계하였으며 제어를 위해 서보 엑츄에이터(Dynamixel AX-12A, Robotis, KR)를 사용하였다. 본 모터는 의수의 손가락을 굽히는 동력으로서 사용되었으며 반대로 의수 손가락을 펼 때에는 모터의 외력을 제거하면서 고무줄의 복원력을 통해 수동적으로 동작하게 하였다. 로봇 의수의 외형 디자인으로는 InMoov사의 오픈소스(Open Sourced) 모델^[23]이 사용되었다.

구체적인 실험은 다음과 같이 진행되었다. 로봇 의수의 엄지, 검지, 중지를 편 상태(rest)에서 최대로 굽히기까지 필요한 모터의 회전 각도는 3.1절의 [Fig. 7]에서 도출한 스마트 손목 밴드의 손가락별 출력 신호와 일대일로 매핑 된다. [Fig. 7]의 (d)에서 언급한 검지와 중지 사이의 간섭 구간은 다음과 같이 해결하였다. 엄지, 검지, 중지의 동작 신호 θ₁, θ₂, θ₃와 휴지기 상태의 신호 θ_1.0, θ_2.0, θ_3.0를 통해 시간에 따른 평균값을 도출하여 다음의 식을 통해 각 손가락의 동작을 독립적인 기저 벡터의 형태로 만들 수 있다.

$\[ ∆{\theta }_1={\theta }_1-{\theta }_{\mathrm{1,0}},∆{\theta }_2={\theta }_2-{\theta }_{\mathrm{2,0}},∆{\theta }_3={\theta }_3-{\theta }_{\mathrm{3,0}} \]$

(3)

$\[ \overline{V}=\overline{\mathit{\theta }}-\overline{{\mathit{\theta }}_0} \]$

(4)

$\[ \overline{V}{}_{1,max}=\left[\begin{array}{c}\begin{array}{c}∆{\mathit{\theta }}_1\\ 0\end{array}\\ 0\end{array}\right],\overline{V}{}_{2,max}=\left[\begin{array}{c}\begin{array}{c}0\\ ∆{\mathit{\theta }}_2\end{array}\\ 0\end{array}\right],\overline{V}{}_{3,max}=\left[\begin{array}{c}\begin{array}{c}0\\ ∆{\mathit{\theta }}_2\end{array}\\ ∆{\mathit{\theta }}_3\end{array}\right] \]$

(5)

$\[ \overline{V}=\left[\overline{V}{}_{1,max} \overline{V}{}_{2,max} \overline{V}{}_{3,max}\right]\left[\begin{array}{c}\begin{array}{c}{c}_1\hfill \\ c_2\hfill \end{array}\hfill \\ c_3\hfill \end{array}\right] \]$

(6)

위 식에서 c₁, c₂, c₃는 손가락 굽힘 상수로, 예로 들어 손가락을 절반 굽혔을 때를 0.5, 최대로 굽혔을 때를 1로 한다. 이에 따라 c_i신호의 범위를 각 모터의 회전 각도와 일대일 매핑하여 로봇 의수 손가락의 개별적인 제어환경 구축이 가능하다. 또한 이때 미소의 문턱값(threshold) $$ \overline{c}{}_{th}$$을 설정하여 일 때 i번째 손가락의 움직임을 제한하는 방식으로, 이 손가락 떨림을 제거하거나 단일 손가락의 움직임이 가능하게 된다.

다음으로 주 연구자는 스마트 손목 밴드를 착용하고 손을 쥔 상태(grasp)에서 약 3초간 엄지와 검지를 펴는 ‘V’ 사인(sign)을 취했다. 이 제스처를 취함과 동시에 로봇 의수는 실시간으로 연구자의 손동작과 동일한 제스처를 취했다. 로봇 의수와 연구자의 손가락 굽힘 정도는 각 손가락에 부착된 구부림 센서를 통해 비교 및 분석할 수 있었으며 결과는 [Fig. 11]과 같다.

[Fig. 11]

Output voltage variation of flex sensors between human hand and robot prosthetic hand. (upper) human hand, (lower) robot prosthetic hand

이 실험결과를 정리하자면 다음과 같다. 첫 번째, 로봇 의수와 연구자의 엄지에 부착된 구부림 센서의 출력 신호는 모두 일정한 값을 안정적으로 유지하고 있음을 확인할 수 있다. 두 번째, 로봇 의수의 검지 및 중지 구부림 신호는 연구자의 검지 및 중지 구부림 신호가 증가 및 감소됨과 동시에 즉각적으로 증가 및 감소함을 확인할 수 있다. 또한 연구자가 제스처를 취한 상태와 제스처를 취하기 전후에도 두 신호 모두 일정한 값을 안정적으로 유지하고 있음을 알 수 있다. 세 번째, 로봇 의수와 연구자의 손가락 구부림 신호에서 모두 손을 쥔 상태에서는 엄지, 중지, 검지 신호 순으로 높은 전압값을 보이는 특징을 보인다. 제스처를 취한 상태에서 또한 신호가 증가한 중지 및 검지의 신호는 손을 쥔 상태와 마찬가지로 중지가 검지보다 약간 높은 전압값을 보이는 특징을 보인다. 네 번째, 로봇 의수와 연구자의 손가락 구부림 신호를 모두 종합하여 비교해보았을 때 매우 유사한 양상을 띠고 있으며 출력 신호의 전압 범위 또한 매우 유사하다.

따라서 본 실험은 스마트 손목 밴드를 통한 로봇 의수의 실시간 및 연속적 제어가 가능하고 의수와 사용자의 손가락 간 일대일 매핑을 통해 엄지, 검지, 중지의 독립 제어가 가능하다는 사실을 검증할 수 있었다. 상기 검증을 더 명확히 하고자 개발된 스마트 손목 밴드를 통한 로봇 의수 제어 시연 영상^[24]을 제공한다.

4.2 Computer Interface를 통한 적용 및 검증

본 연구에서 개발한 스마트 손목 밴드 시스템을 통해 4.1 절의 로봇 의수 제어 뿐만 아니라 디스플레이 제어(display control)에도 적용 가능한지를 검증하고자 다음의 적용 예를 소개한다.

먼저, 개발한 손목 밴드 시스템이 PC의 디스플레이 제어를 구현할 수 있도록 시중에서 판매되는 에어마우스(공중에서 PC의 마우스 포인터를 무선으로 제어할 수 있는 도구)의 유사한 역할을 수행하도록 프로그래밍 하였다. 상기 응용을 위해 3차원 마우스의 역할을 수행할 수 있도록 본 검증에서는 IMU 센서(Iven Sense MPU 6052, USA)를 손목 밴드에 추가하였다. 이를 통해 손목의 동작에 따라 발생하는 가속도의 세기는 PC 커서의 동작과 매핑되었다. 이는 3차원 가속도 신호 중 x, y축 신호를 모니터의 평면 축과 매핑해 주어 구현할 수 있었다. 클릭 동작은 손목 밴드가 담당하는데, 사람이 손에 힘을 뺀 휴식 상태(rest)에 있을 때를 중립으로 둔다. 여기서 손을 편 상태(open hand)를 우클릭으로 하고 주먹을 쥐었을 때(grasp)를 좌클릭으로 매핑해 주었다. 무선 통신을 위하여 RF 통신 기반 USB 송수신기를 사용하였으며 3.1절에서 도출한 압력 데이터 밴드의 동작 전압을 기반으로 3.7 V의 소형 배터리를 사용하였다. [Fig. 12]에서 보이는 바와 같이 밴드를 착용한 손목을 가속하고(step 1) 이와 동시에 손을 쥐면(step 2) PC의 화면에서 물체의 회전(step 3)을 구현할 수 있다.

[Fig. 12]

Cursor movement and left/right clicking control by pressure data wristband with IMU sensor

따라서 본 실험을 통해 제시하는 스마트 손목 밴드는 Computer Interface 구현이 가능하다는 사실을 검증할 수 있었다. 본 절에서는 4.1 절과 마찬가지로 스마트 손목 밴드를 통한 PC 마우스 제어 시연 영상^[25]을 제공한다.

5. 결 론

본 스마트 손목 밴드의 개발을 통해 도출한 결론은 다음 네 가지로 정리한다. 첫 번째, 해부학을 고려하여 개발된 본 장치는 압력센서를 일렬로 배열하지 않고 하나의 압력센서가 엄지, 검지, 중지를 개별 담당하므로 손가락과 일대일 매핑이 가능하다. 이에 따라 고정된 각도의 제스처 표출이 아닌 실시간 제어가 가능하다. 두 번째, 크기가 제한적인 압력센서를 일렬로 배열할 때 센서 간 간격 사이에서 힘줄의 움직임을 정확히 인식하지 못하는 점을 해결하고 효율적인 위치에 세 개의 압력센서만을 위치하므로 저가형 장치로써 제공이 가능하다. 세 번째, 동작 범위가 저전압에서 제공되므로 배터리의 효율 측면에서 유리하며 저전압 배터리가 작고 가벼운 점을 고려하였을 때 장치의 경량화가 가능하다. 네 번째, 본 장치는 비교적 간단한 제어 방식을 제공하므로 사용자가 장기간에 걸쳐 제어법을 학습하지 않아도 된다. 이를 통해 본 연구는 개발된 장치가 실시간 손동작 제어를 제공하고 저가형으로 제공되는 동시에 가볍고 탈부착이 간편한 형태로써 여러 분야에서의 적용 가능성을 확인하였다. 따라서 의수 및 로봇 제어, 그리고 컴퓨터 인터페이스 분야에 다양한 방식으로 본 장치가 활용될 수 있을 것으로 기대된다.

Acknowledgments

This results was supported by “Regional Innovation Strategy (RIS)” through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (MOE) (2021RIS-004)

References

• N. Parajuli, N. Sreenivasan, P. Bifulco, M. Cesarelli, S. Sa vino, V. Niola, D. Esposito, T. J. Hamilton, G. R. Naik, U. Gunawardana, and G. D. Gargiulo, “Real-time EMG based pattern recognition control for hand prostheses: a review on existing methods, challenges and future implementation,” Sensors, vol. 19, no. 20, pp. 4596, 2019. [https://doi.org/10.3390/s19204596]
• R. Gielissen, C. E. Dutilh, and J. J. Graafland, “Perceptions of price fairness: An empirical research,” Business and Society, vol. 47, no. 3, pp. 370-89, 2007. [https://doi.org/10.1177/0007650308316937]
• J. T. Kate, S. Gerwin, and P. Breedveld, “3D-printed upper limb prostheses: a review,” Disability and Rehabilitation: Assistive Technology, vol. 12, no. 3, pp. 300-314, 2017. [https://doi.org/10.1080/17483107.2016.1253117]
• S. M. Khan, A. A. Khan, and O. Farooq, “Selection of Fea tures and Classifiers for EMG-EEG-Based Upper Limb Assistive Devices - A Review,” IEEE Reviews in Biomedical Engineering, vol. 13, pp. 248-260, 2019. [https://doi.org/10.1109/RBME.2019.2950897]
• C. Wu, A. Song, Y. Ling, N. Wang, and L. Tian, “A control strategy with tactile perception feedback for EMG prosthetic hand,” Journal of Sensors, 2015. [https://doi.org/10.1155/2015/869175]
• P. Polygerinos, K. C. Galloway, E. Savage, M. Herman, K. O. Donnell, and C. J. Walsh, “Soft robotic glove for hand rehabilitation and task specific training,” 2015 IEEE International Conference on Robotics and Automation, Seattle, WA, USA, 2015. [https://doi.org/10.1109/ICRA.2015.7139597]
• F. J. Andrés, A. Pérez-González, C. Rubert, J. Fuentes, and B. Sospedra, “Comparison of Grasping Performance of Tendon and Linkage Transmission Systems in an Electric-Powered Low-Cost Hand Prosthesis,” Mechanisms Robotics, vol. 11, no. 1, pp. 14. [https://doi.org/10.1115/1.4040491]
• Y. Kang, “Motion recognition of human body using matrix pressure sensor and human body motion prediction system,” Korea Patent 1021969620000, Mar., 5, 2020. [https://doi.org/10.8080/1020200027488]
• Y. Kang, “Control system of robotic articulated joint move ment according to pressure sensor’s continuative changing value by the tendon,” Korea Patent 1018191580000, Nov., 12, 2016. [https://doi.org/10.8080/1020160173692]
• A. Dementyev and J. A. Paradiso, “Wrist Flex: low - power gesture input with wrist-worn pressure sensors,” The 27th Annual ACM Symposium on User Interface Software and Technology, pp. 161-166, 2014. [https://doi.org/10.1145/2642918.2647396]
• D. Esposito, E. Andreozzi, G. D. Gargiulo, A. Fratini, G. D’ Addio, G. R. Naik, and P. Bifulco, “A piezoresistive array armband with reduced number of sensors for hand gesture recognition,” Frontiers in Neurorobotics, vol. 13, pp. 114, 2020. [https://doi.org/10.3389/fnbot.2019.00114]
• X. Chu, J. Liu, and S. Shimamoto, “A sensor - based hand gesture recognition system for Japanese sign language,” 2021 IEEE Life Science and Technologies, Nara, Japan, 2021. [https://doi.org/10.1109/LifeTech52111.2021.9391981]
• Y. Zhang, B. Liu, and B. Liu, “Recognizing hand gestures with pressure - sensor - based motion sensing,” IEEE Transactions on Biomedical Circuits and Systems, vol. 13, no. 6, pp. 1425-1436, 2019. [https://doi.org/10.1109/TBCAS.2019.2940030]
• X. Liang, H. Li, W. Wang, Y. Liu, R. Ghannam, F. Fioran elli, and H. Heidari, “Fusion of wearable and contactless sensors for intelligent gesture recognition,” Advanced Intelligent Systems, vol. 1, no. 7, 2019. [https://doi.org/10.1002/aisy.201900088]
• P. B. Shull, S. Jiang, Y. Zhu, and X. Zhu, “ Hand gesture recognition and finger angle estimation via wrist - worn modified barometric pressure sensing,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 27, no. 4, pp. 724-732, 2019. [https://doi.org/10.1109/TNSRE.2019.2905658]
• W. Wang, X. Liang, M. Assaad, and H. Heidari,“Wearable Wristworn Gesture Recognition Using Echo State Network,” 2019 26th IEEE International Conference on Electronics, Circuits and Systems (ICECS), Genoa, Italy, 2019. [https://doi.org/10.1109/ICECS46596.2019.8965219]
• M. Schuenke, E. Schulte, and U. Schumacher, “ THIEME Atlas of Anatomy General Anatomy and Musculoskeletal System,” NY: Stuttgart, 2006, [Online], https://books.google.co.kr/books?id=NK9TgTaGt6UC&lpg=PP1&pg=PP1#v=onepage&q&f=false, , Accessed: Sept. 13, 2022.
• D. Ragheb, A. Stanley, A. Gentili, T. Hughes, and C. B. C hung, “MR imaging of the finger tendons: normal anatomy and commonly encountered pathology,” European Journal of Radiology, vol. 56, no. 3, pp. 296-306, 2005. [https://doi.org/10.1016/j.ejrad.2005.03.011]
• P. J. Keir and R. P. Wells, “Changes in geometry of the fi nger flexor tendons in the carpal tunnel with wrist posture and tendon load: an MRI study on normal wrists,” Clinical Biomechanics, vol. 14, no. 9, pp. 635-645, 1999. [https://doi.org/10.1016/S0268-0033(99)00012-1]
• Interlink Electronics, FSR Series Data Sheet, [Online], https://cdn2.hubspot.net/hubfs/3899023/Interlinkelectronics%20November2017/Docs/Datasheet_FSR.pdf, , Accessed: Sept. 13, 2022.
• C. Rossi, S. Savino, V. Niola, and S. Troncone, “A study of a robotic hand with tendon driven fingers,” Robotica, vol. 33, no. 5, pp. 1034-1048, 2015. [https://doi.org/10.1017/S0263574714001179]
• Y. Cho, J. Cheong, and D. Kim, “Generalized Graph Representation of Tendon Driven Robot Mechanism,” The Journal of Korea Robotics Society, vol. 9, no. 3, pp.178-184, Sept., 2014. [https://doi.org/10.7746/jkros.2014.9.3.178]
• G. Langevin, “InMoov open - sourced 3D printed life-size robot,” [Online],http://inmoov.fr/hand-and-forarm/, , Accessed: Sept. 13, 2022.
• Y. Kang and J. Cheong, Demonstration1: Prosthetic Hand Control using Pressure Data Wrist Band, [Online], https://youtu.be/GZqww-zuocA, , Accessed: Sept. 13, 2022.
• Y. Kang and J. Cheong, Demonstration2: Display Control using Pressure Data Wrist Band, [Online], https://youtu.be/P67NYqg6wic, , Accessed: Sept. 13, 2022.