Journal of Korea Robotics Society
[ ARTICLE ]
Journal of Korea Robotics Society - Vol. 12, No. 3, pp.270-278
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date Aug 2017
Received 1 Jun 2017 Revised 7 Aug 2017 Accepted 21 Aug 2017
DOI: https://doi.org/10.7746/jkros.2017.12.3.270

대표근육 자극을 통한 EMS 기반 역감 제어방법론 제안

김효민1 ; 권재성2 ; 오용환3 ; 양우성
EMS based Force Feedback Methodology through Major Muscle Group Activation
Hyo-Min Kim1 ; Jae-Sung Kwon2 ; Yong-Hwan Oh3 ; Woo-Sung Yang
1School of Robotics, KwangWoon University nankimhm@kw.ac.kr
2School of Robotics, KwangWoon University msrobot@kw.ac.kr
3Korea Institute of Science and Technology ohy@kist.re.kr

Corresponding author: School of Robotics, KwangWoon University, Gwangun-ro 1-gil, Nowon-gu, Seoul, Korea ( dreamrize@kw.ac.kr)

© Korea Robotics Society. All rights reserved.

Abstract

The electrical muscle stimulator (EMS) based human machine interface (HMI) free to mechanical constraint and muscle fatigue problems are proposed for force feedback in a virtual reality. The device was designed to provide force feedback up to 4.8 N and 2.6 N each to the thumb and forefingers. The main objective of the HMI is to make unnecessary mechanical structures to attach on the hand or fingers. It employs custom EMSs and an interface arranged in the forearm. In this work, major muscle groups such as extensor pollicis brevis (EPB), extensor indicis proprius (EIP), flexor pollicis longus (FPL) and flexor digitorum profundus (FDP) are selected for efficient force feedback and controlled individually. For this, a human muscular-skeletal analysis was performed and verified. The validity of the proposed multi-channel EMS based HMI was evaluated thorough various experiments with ten human subjects, interacting with a virtual environment.

Keywords:

Electrical Muscle Stimulator, Haptic Interface, Force-Feedback Device

1. 서 론

가상환경의 연구 목적은 가상환경에서 발생하는 시각 채널, 청각 채널 그리고 햅틱 채널 등을 사용자에게 제공하 는 것이다[1]. 최근 Oculus와 같은 HMD 기술의 발달로 사용자에게 획기적인 시각 채널과 청각 채널을 제공할 수 있게 되었다. 반면, 가상환경에서 발생하는 손가락 힘을 전달하는 햅틱 채널의 경우, 높은 자유도와 이동성을 기대 하는 사용자의 요구를 충족시키기에는 아직 부족하다. 이 러한 문제를 해결함과 동시에 사용 용이성과 경량성에 관 련된 요구 또한 만족시켜야 한다.

손가락 역감을 제공하기 위한 대표적인 형태의 역감전 달 디바이스는 장갑형의 기구적 결착 장치로, CyberGrasp 사의 CyberGlove와 Dextra Robotics사의 Dexmo 등이 있 다. 이와 같은 역감 전달 디바이스는 손끝에 높은 정밀도와 함께 큰 역감 제공이 가능하다. 그러나 손과 기구의 결합은 손의 자유도를 저해하고 무게로 인한 손의 피로를 야기한 다. 이를 해결하기 위해 보다 작고 가벼운 역감 전달 디바 이스를 목표로 다양한 연구들이 진행 되어 왔다. Sensor Glove II는 cable-driven 방식으로 손가락에 기구의 하중 이 가해지는 것을 피하고자 했고[2], SKK Hand Master는 ultrasonic motor를 사용하여 기구의 크기를 줄이고자 하 였으며[3], Rutgers Master II는 디바이스를 손 안에 위치하 도록 하여 효과적으로 무게와 크기를 줄였다[1]. 그러나 여 전히 사용자의 손은 기구에 구속되어 동작에 간섭을 받고 기구의 하중을 견디고 있다.

최근에는 기구적인 결합 방식의 디바이스에서 탈피하는 free-hand 디바이스들이 연구되고 있으며, 그 중 한 방식으 로 EMS (Electrical Muscle Stimulator)를 이용한 역감 전 달 디바이스가 있다. EMS는 전기 자극을 통해 근육을 수 축시키는 의료기기로 척수손상 또는 뇌졸중 환자의 치료 를 목적으로 사용된다. 이와 같은 특성을 이용하여 EMS 기반 손가락 역감 전달 디바이스는 전완부에 위치한 손가 락 근육을 자극하여 손끝에 역감을 생성할 수 있다. 따라서 사용자의 손은 기구의 구속과 무게로부터 해방되어 높은 자유도의 움직임이 가능하다. 그러나 EMS 기반 손가락 역감 전달 디바이스는 기구적 결합 방식의 역감 전달 디바 이스가 갖지 않는 다른 문제가 있다. 첫째, 개인마다 손가 락 근육의 위치 및 피부 임피던스, 근육량 그리고 지방량 등의 차이로 인해 자극 전달률이 다르므로 특정 근육에 자극을 인가하고 제어하기 어렵다. 둘째, 피부를 통해 인가 된 전기 자극이 사용자에게 불쾌감과 통증을 유발 할 수 있다. 셋째 비침습형 장비의 한계로 인해 큰 역감이나 높은 분해능을 제공하기에 한계가 있다.

이와 같은 문제를 해결하기 위해 본 논문의 2장에서는 엄지, 검지의 벌림(Extension)과 굽힘(Flexion) 동작에 가 장 큰 기여도를 갖는 대표근육을 도출하고, 3장에서는 대 표근육 자극을 위한 다전극 EMS 밴드(Multi-Electrode EMS Band)와 다채널 EMS 함수 발생기(Multi-Channel EMS Function Generator)를 제안한다. 4장에서는 인가된 전류에 따른 손끝 힘을 분석하여 기존의 EMS 기반 역감 전달 디바이스들이 갖는 낮은 분해능 문제를 해결한 제어 방법론을 제안하고 효용성 검증을 위하여 사용성 평가를 진행한다. 마지막으로 논문의 5장에서 결론과 향후 연구 방향을 제시한다.


2. 손가락 운동에 관한 인체 근골격 해석

본 논문에서는 인체의 다섯 손가락 중 조작성이 높은 엄 지와 검지에 대하여 EMS 기반 역감 전달 디바이스의 가능 성을 검증한다. 인체의 전완부에는 Table 1, 2 그리고 Fig. 1과 같이 엄지, 검지의 벌림, 굽힘 그리고 외전(Abduction) 을 위한 8개의 근육이 존재한다. 하지만 전완부에는 명시 된 근육들 이외에도 중지, 약지, 소지의 벌림, 굽힘 근육과 손목 회전 근육 등이 밀집되어 있어, EMS 기반 역감 전달 디바이스의 전극 패드를 배치하는데 공간제약을 받는다. 이러한 문제를 해결하기 위해 전극 패드의 크기 및 접촉 자극 위치를 줄여야 한다. 따라서 집기 조작에 영향을 미치 지 않는 외전근을 제외한 7개의 근육 중 각 동작에 대한 영향도가 가장 큰 근육을 도출하여 대표근육으로 선정하 고자 한다. 대표근육 선정에 있어 개인별 신체 차이와 근육 피로의 영향을 배제하기 위해 인체 근골격계 해석 툴인 OpenSim[4]을 이용하여 이상적인 환경에서 시뮬레이션을 진행 하고, EMG 센서 기반 실험 결과와 비교하여 대표근 육을 도출하였다.

The muscles of thumb

The muscles of forefinger

Fig. 1

The thumb and forefinger muscles in the forearm

2.1. 손가락 엄지 및 검지 운동 활성화 근육 해석

OpenSim은 NCSRR (National Center for Simulation in Rehabilitation Research)에서 효과적인 재활 치료를 위 해 인체 실험 및 연구를 목적으로 배포된 무료 근골격계 해석 툴이다. 본 논문에서는 Katherine[5]이 제안한 상지모 델을 사용하여 외부 힘에 따른 엄지, 검지 손가락 근육 반응 해석을 진행하였다. 상지모델의 손가락 자세는 Kurillo[6]가 제안한 것처럼 엄지와 검지는 집기 동작을 취 하고 중지, 약지, 소지는 모두 벌림으로써 집기 동작을 방 해하지 않도록 하였다. 또한, OpenSim의 근골격계 해석 기법 중 주어진 운동에 대하여 근육 활성화를 측정하는 정적 최적화 기법(Static Optimization)을 이용하여, Fig. 2와 같이 외부 힘에 따른 근육의 버팀 힘을 측정하였다. 외부 힘은 벌림과 굽힘 동작에 대하여 엄지와 검지 손끝 에 수직하도록 각각 0.1 N씩 인가하였다. 정적 최적화 기 법은 식 (1)을 통해 계산되며 관절 축 회전력에 대한 근육 활성도를 역으로 연산한다.

Fig. 2

The hand postures of extension (a) and flexion (b) for simulation with OpenSim

i=1n(aSIMiFSIMi0)rSIMt=τSIM(1) 

FSIMi=aSIMiFSIMi0(2) 

식 (1)에서 우항은 관절 축에 발생하는 회전력을 의미한 다. n은 회전력에 영향을 미치는 모든 근육의 수를 그리고 i는 해당 근육을 의미한다. rSIMi 는 관절 축에 대한 모멘트 암을 나타내고 aSIMi 는 근육 i의 활성정도 이다. FSIMi0i번 근육이 낼 수 있는 최대 수축 힘(Maximum muscle force)으로 상지모델에서 제공하는 엄지, 검지 근육의 최 대 수축 힘은 Table 3과 같다. 동일한 근육 활성도를 갖더 라도 FSIMi0 에 따라 관절에 끼치는 영향도가 다르므로, 근육 수축 힘 FSIMi 가 가장 큰 근육을 대표근육으로 선정하였다. FSIMi 는 식 (2)와 같다. 시뮬레이션 결과 Fig. 3과 같이 벌림 힘을 주었을 때 엄지 근육 EPB가 그리고 검지 근육 EIP가 큰 힘으로 수축하고, 굽힘 힘을 주었을 때 엄지 근육 FPL이 그리고 검지 근육은 FDS와 FDP가 큰 힘으로 수축된다.

Maximum muscle force of thumb and forefinger

Fig. 3

The muscle forces activated on the thumb and forefinger according to the force applied for the extension (a) and flexion (b)

2.2. EMG 센서 기반 실험 검증

시뮬레이션 결과의 검증을 위해 ATI사의 Nano17 6축 힘/토크 센서와 DELSYS사의 TrignoTM EMG 센서를 사 용하여 Fig. 4와 같이 사용자의 손끝 힘과 엄지, 검지 손가 락 근육의 활성도를 측정할 수 있는 환경을 구성하였다. 손가락의 자세는 시뮬레이션의 자세와 동일하도록 하였 고, 손가락 끝 마디가 고리에 걸리도록 위치하였다. 손가락 근육의 수축 힘 FEMGi 는 식 (3)과 같이 EMG로부터 측정된 근육의 활성 정도 aEMGiFSIMIi0 를 통해 계산되었다.

Fig. 4

Hardware setup for measuring the finger forces

FEMGi=aEMGiFSIMi0(3) 

손가락 벌림 힘과 굽힘 힘을 각각 30 N으로 하였을 때 Fig. 5와 같이 벌림 동작 시 엄지 근육 EPB와 검지 근육 EIP가 그리고 굽힘 동작 시 엄지 근육 FPL과 검지 근육 FDP가 가장 큰 힘으로 수축되었다.

Fig. 5

The muscle forces calculated with the EMG and F/T sensors in the extension (a) and flexion (b) of the thumb and forefinger

Table 4는 OpenSim 시뮬레이션에서 외부 힘 0.1N을 인가 하였을 때 그리고 EMG 측정 실험에서 30N의 굽힘, 벌림 힘을 주었을 때 측정된 근육 힘의 최대값이다. 두 실험에 인가된 힘의 크기가 다르기 때문에 측정된 근육 수축 힘의 크기는 차이가 있지만 FDS를 제외한 나머지 근육들의 경향이 서로 유사하였다. 반면 FDS의 경우 시뮬 레이션과 다르게 EMG 측정 실험 시 근육 수축 힘의 크기 가 크게 떨어졌다. 그 이유는 손끝 힘을 측정하기 위한 실험환경에서 검지손가락의 중간 마디에 연결된 FDS 보 다 끝 마디에 연결된 FDP가 더 큰 영향을 미치기 때문이 다. 이에 본 논문에서는 앞선 시뮬레이션과 실험의 결과를 바탕으로 Fig. 1과 같이 EPB, EIP, FPL 그리고 FDP를 엄지, 검지 손가락의 대표근육으로 선정하였다.

Maximum muscle forces of the thumb and forefinger according to external force


3. 다채널 EMS 기반 역감 전달 디바이스 제안

다양한 근육들이 밀집되어 있는 전완부에 선정된 대표 근육만을 전기자극 하기 위해서는 접촉 패드의 크기가 가 능한 작게 제작되어야 한다. 그러나 패드의 크기가 1×1 cm 미만일 경우 사용자에게 전위가 넓게 퍼지지 못해 전기 적 통증을 유발할 수 있다. 이와 함께 인가하는 주파수와 펄스 폭에 따라서 역감 전달 효율이 달라지게 된다. 또한 사용자마다 근육의 위치 차이가 존재하기 때문에 EMS 기 반 역감 전달 디바이스는 대표근육의 위치를 특정하고 그 범위에 전기 자극을 가할 수 있어야 한다. 이에 본 논문에 서는 광운대학교 산학협력단의 광운대학교 연구 윤리 규 정과 연구노트 작성 관리 규정 그리고 한국과학기술연구 원의 한국과학기술연구원 연구 윤리 규정을 준수하여 Table 5의 피실험자 10명을 대상으로 패드 크기에 따른 사용자 느낌 분석 및 대표근육 위치를 조사하고 이에 대응 가능한 EMS 기반 역감 전달 디바이스를 제안한다.

General Characteristics of Subjects

3.1. EMS 파형 분석

근육을 자극하기 위한 EMS의 전류 파형은 Fig. 6과 같 이 전류의 크기, 펄스 폭 그리고 출력 주파수로 이루어져 있고 각 인자들은 사용자에게 역감을 전달하는데 영향을 미친다. 그러나 Table 6과 같이 연구마다 적용한 펄스 폭 및 출력에 차이가 존재한다[7-10]. 이에 본 논문에서는 각 인자들에 의한 특성을 파악하고자 디바이스 개발 전에 LG 사의 LG-8TM Combo EMS 장비와 5×5 cm 크기의 전극 패드를 사용하여 실험을 진행하였다. 실험 결과 Fig. 6의 파형에서 전류 20 mA, 주파수가 70 Hz일 때, 펄스 폭의 크기에 비례하여 손끝으로 전해지는 역감의 크기가 강해 짐을 확인할 수 있었다. 반면 주파수의 경우 특정 대역에 따라 사용자에게 전달되는 느낌이 다양하게 나타났다. 주 파수 대역이 60 Hz에서 90Hz에서는 역감의 크기가 일정 하게 전달되었으나, 2 Hz에서 60 Hz 일 때 전기적 고통이 발생하였고 90 Hz에서 150 Hz 에서는 피부 떨림 현상이 발생하였다. 이에 본 논문에서는 Max가 그의 논문에서 제 안한 것에 따라 EMS 전류 출력파형을 펄스 폭 260 us 그리고 주파수 70 Hz로 선정하였다[8,9].

Fig. 6

The output waveform of the EMS

EMS waveform parameters of the others studies

3.2. 전극 패드 면적에 따른 허용 전류 임계 분석

Bonnie[11]는 전극 패드의 크기와, 형상이 사용자에게 미 치는 영향에 대하여 연구하였고 패드의 형상은 전기적 통 증 유발에 영향이 없음을 보였다. 또한 PossessedHand[7] 는 패드의 크기가 1×1 cm 이상일 때 전기적 고통이 없음을 이야기하고 1×3 cm 면적의 패드를 사용하였다.

이를 바탕으로 본 연구에서는 전극 패드의 형상을 사각 형으로 결정하고, 1×1 cm, 1.5×1.5 cm, 1×2 cm, 2×2 cm 그리고 1×3 cm 크기의 패드를 피실험자 10명에게 비교 실험하였다. 각 피실험자들은 EIP에 전극 패드를 부착하 고 0 mA에서 전기적 통증을 느낄 때까지 1 mA씩 전류를 증가 시켰다. 실험 결과는 Fig. 7과 같이 상자수염그림 (Box Whisker Plot)으로 표현되었다. 상자수염그림은 사 분위수에 의해 결정되며 상자의 크기는 제 1사분위수에서 제 3사분위수까지의 크기이고 상자 안의 가로줄은 제 2사 분위수인 중앙값(Median)을 의미한다. 상자 위아래로 뻗 어 있는 선분은 1,3사분위수의 ±1.5배에 있는 경계선 이내 의 최대, 최소값을 의미한다. 실험 결과, 피실험자 10명에 대하여 1×2 cm일 때 31 mA 그리고 2×2 cm일 때 31.5 mA의 중앙값을 구할 수 있었다. 비록 2×2 cm일 때 가장 높은 임계 값을 보였지만 효율적인 극소 부위의 전기 자극 전달을 위하여 면적 대비 임계점이 가장 낮은 1×2 cm를 제안 디바이스의 전극 패드 크기로 선정하였다.

Fig. 7

Pain values according to the electrode pad sizes

3.3. 전극 패드 부착 위치 선정

대표근육을 자극하기 위한 전극 패드의 부착 위치 선정 을 위해 1×2 cm 크기의 전극 패드를 이용하여 피실험자 10명을 대상으로 실험을 진행하였다. Fig. 8은 실험을 통 해 파악된 손목 중심에서 측정한 대표근육의 위치 분포를 나타내며, X축으로 -3 cm에서 2 cm 그리고 Y축으로는 4 cm에서 7 cm 사이에 분포함을 알 수 있다. 하지만 사용 자마다 근육의 위치 편차가 존재하여 정확한 대표근육의 위치를 특정하기 어렵다. 이를 해결하고 제안 디바이스의 효용을 넓히기 위해서는 4장에서 언급하는 주 자극 위치 탐색(Search for Major Stimulus Position)이 필요하다.

Fig. 8

Each position of the selected major muscles of the forearm posterior (a) and forearm anterior (b)

3.4. 다채널 EMS 기반 역감 전달 디바이스 구성

앞장에서 도출된 결과들을 바탕으로 Fig. 9와 같이 양극 패드 그룹(Positive Pad Group)과 음극 패드 그룹(Negative Pad Group)으로 구성된 다전극 EMS 밴드를 제작하였다. 대표근육에 전기 자극을 인가하는 양극 패드 그룹은 사용 자 별 근육 위치에 대응하기 위하여 1×2 cm 양의 전극 패드 18개로 구성되어 있다. 음극 패드 그룹은 5×5 cm 전극 패드 3개로 이루어져 있고, 각 전극 패드는 서로 연결 되어 있다. 또한 다전극 EMS 밴드의 각 채널을 독립적으 로 제어하기 위하여 25개의 채널로 구성된 다채널 EMS 함수 발생기를 제작하였다. EMS 함수 발생기의 각 채널은 260 us 펄스 주기와 70 Hz 주파수를 갖는 비대칭성 양위상 파(Asymmetric biphasic waveform)를 출력한다.

Fig. 9

The multi-channel EMS based force feedback device


4. 역감 전달 제어 방법론 제안 및 사용성 평가

피부에 전기 자극을 인가하여 근육 활성화를 통해 손끝 의 역감을 발생시키는 EMS 기반 역감 전달 디바이스는 각 개인마다 피부의 임피던스, 근육량 그리고 지방량의 차 이가 존재하기 때문에 입력 전류에 따른 손끝 힘을 모델링 하기에 어려움이 존재한다. 따라서, 기존의 EMS 기반 유 사 디바이스들은 입력 전류에 따른 사람의 역감 인지능력 에 의존하는 경향이 있었다. 이에 따라 가상환경에서의 충 돌에 대한 On, Off 혹은, Hard와 Soft 같이 사용자에게 낮은 분해능의 역감을 제공하는 한계를 갖는다[7-10]. 그러 나 집기 동작 시, 근육 활성 정도에 따라 손끝 힘이 비례하 게 증가함을 보인 Sghaier[12]의 논문에 따르면, 전류의 세 기에 따라 역감의 크기를 비례하게 사용자에게 제공할 수 있음을 예상할 수 있다. 이에 본 장에서는 전류에 따른 손끝 힘을 함수화하여 사용자에게 다양한 크기의 역감을 생성하는 제어 방법론을 제안하고 사용성 평가를 통하여 제안 디바이스의 우수성을 검증한다.

4.1. EMS 기반 역감 전달 제어

입력 전류에 따른 역감 생성을 분석하기 위하여 다전극 EMS 밴드를 착용하고 다채널 함수발생기를 이용하여 대 표근육에 0 mA에서 전기적 통증을 느끼는 30 mA 이하까 지 1 mA씩 올려가며 손끝 힘을 측정하였다. Fig. 10의 파란 선은 전류에 따른 손끝 힘의 중앙값이고 빨간 원은 1, 3사분위수 ±1.5배 경계선에서 벗어난 이상값(Outlier) 이다.

Fig. 10

The finger forces caused by the developed EMS of the thumb extension (a), forefinger extension (b), thumb flexion (c) and forefinger flexion (d)

실험 결과, 15 mA 미만의 인가 전류에서는 손끝 힘의 변화가 미미 하지만 15 mA 이상에서는 전류의 세기에 비 례하게 증가함을 알 수 있다. 즉, EMS 기반 역감 전달 디바이스를 이용하여 사용자에게 다양한 크기의 힘을 전 달 할 수 있다. 이에 본 논문에서는 효율적인 역감 전달을 위해 디바이스 출력 전류의 대역폭을 15 mA에서 30 mA 로 선정하였다.

또한 Fig. 10의 이상값을 통해 알 수 있듯이 사용자마다 전기자극 전달률의 편차가 존재하고 시간에 따라 근육의 피로누적 등으로 인해 전류에 따른 손끝 힘 생성에 차이가 존재한다. 그리고 앞선 3장에서 언급하였던 것처럼 사용자 별로 근육위치에 차이가 있다. 이와 같은 문제에 대응하고 사용자에게 일정한 역감을 제공하기 위해 착용 시마다 주 자극 위치 탐색, 힘 맵핑 그리고 함수화 단계로 구성된 캘리브레이션 과정을 Fig. 11과 같이 적용하였다.

Fig. 11

The flow chart for the calibration processing

준비 단계(Ready to Calibration)에서 사용자는 EMS 기 반 역감 전달 디바이스를 착용하고 손끝 힘 측정 장치에 손가락을 위치한다.

주 자극 위치 탐색은 EIP, EPB, FPL 그리고 FDP 순으 로 진행한다. 또한 Fig. 8에서 선정한 대표근육의 위치를 기반으로 Fig. 9와 같이 다전극 EMS 밴드의 양극 패드 중 각 대표근육의 위치에 해당하는 전극 패드에 대하여 25 mA를 3초간 하나씩 인가한다. 그리고 해당 동작에 대 한 측정 힘이 가장 큰 패드를 대표근육 자극을 위한 전극 패드로 선정한다.

힘 맵핑 단계에서는 선정된 전극 패드에 15 mA에서 30 mA까지 1 mA씩 45초에 걸쳐 증가시키며, 각 증가 시퀀스 마다 측정된 평균 힘을 맵핑한다. 맵핑 도중 사용자가 과한 불쾌감 혹은 전기적 통증을 느낄 경우 캘리브레이션 과정 을 정지할 수 있으며, 이때 정지된 임계점 이전의 전류값이 인가 가능한 최대 전류값으로 선정된다.

함수화 단계에서는 맵핑된 데이터를 최소자승법을 이용 하여 목표 힘에 대한 3차 전류 다항식을 전개하고 이를 함수화한다. 최소자승법의 과정은 아래와 같다. 식 (4)의 xnyn은 힘 맵핑 단계에서 측정된 손끝 힘과 인가된 15 mA에서 30 mA 사이의 전류이고 n은 맵핑 된 데이터의 수이다. α는 다항식의 계수와 상수 항이다. 식 (6)과 같이 구해진 다항식의 계수를 식 (7)에 적용하고 목표 힘 x에 대한 출력 전류 y를 함수화하여 개개인에 맞는 엄지, 검지 손가락의 역감을 제공한다.

A=(x13x12x11x23x22x21xn3xn2xn1),X=(α1α2α4),B=(y1y2yn)(4) 

AX=B(5) 

X=(ATA)1ATB(6) 

y=α1x3+α2x2+α3x+α4(7) 

4.2. EMS 기반 역감 전달 디바이스의 사용성 평가

제안하는 디바이스의 효용성을 검증하고자 가상환경과 연동하여 사용자 평가를 진행하였다. 시스템은 Fig. 12와 같이 Leap Motion을 이용하여 손가락의 모션을 인식하고 가상환경에서 발생하는 상호작용을 EMS 기반 역감 전달 디바이스에게 전달하도록 하였다. 제어 PC는 RTX 환경으 로 구성되어 5 ms 제어 주기에 대한 실시간성을 보장하고 각 시스템들은 1 Mbps의 CAN 통신으로 연동되어 있다. 가상 환경은 무료 물리엔진 라이브러리 Open Dynamics Engine (ODE)[13]로 구성되어, 가상 손과 빨간 구 사이에 발생하는 충돌을 측정하여 사용자에게 전달한다.

Fig. 12

Experimental overview of the multi-channel EMS based force feedback device interacted with a virtual environment

EMS 기반 역감 전달 디바이스에서 발생하는 전기자극 은 사용자에게 불쾌감 혹은 전기적 통증을 유발한다. 이러 한 불쾌감은 사용자가 역감을 느끼는 것을 방해할 수 있으 므로 역감 전달 효과뿐 아니라 사용자의 심리적 상태에 대해서도 고려되어야 한다. 이에 본 논문에서는 Table 7, 8과 같이 설문조사 문항을 구성하고 피실험자 10명에 대 하여 실험 및 설문 조사를 진행하였다.

Questionnaire of force feedback

Questionnaire of feeling

설문조사 결과 Fig. 13과 같이 EMS 기반 역감 전달 디 바이스가 대다수의 사용자들에게 큰 불쾌감을 주지 않고 역감을 잘 전달함을 확인할 수 있었다. 그러나 여전히 불쾌 감을 느끼는 사용자가 존재함을 알 수 있는데 이는 EMS 기반 역감 전달 디바이스가 보다 높은 사용성을 확보하기 위하여 반드시 해결되어야 할 문제이다.

Fig. 13

The results of usability evaluation; (a) Effect of force feedbacks (b) Comfort indexes


5. 결론 및 향후 연구 방향

EMS 기반 역감 전달 디바이스는 기구적 형태의 역감 전달 디바이스들이 갖고 있던 자유도 및 피로 유발 문제를 해결하는 대안으로 제시될 수 있다. 하지만 근육이 밀집되 어 있는 전완부에 원하는 근육만을 자극하기 어렵고 피부 를 거쳐 근육을 자극하는 비침습성 장비의 특성으로 인해 사람마다 다른 전달률, 불쾌감 그리고 낮은 역감 분해능의 문제를 갖는다. 본 논문에서는 효율적인 엄지와 검지의 근 육 자극을 위해 인체 모델 해석과 EMG 측정 실험을 통해 동일 전류 대비 큰 손끝 힘을 발생 시킬 수 있는 4개의 대표 근육 EPB, EIP, FDP 그리고 FPL을 선정하고 이를 자극하 기 위한 역감 전달 디바이스를 제작하였다. 또한 전류에 따른 손끝 힘 분석을 통해 사용자에게 낮은 불쾌감과 다양 한 크기의 역감 제공이 가능한 제어 방법론을 제안하였다. 그리고 가상환경과의 상호작용에 대한 사용성 평가를 통하 여 EMS 기반 역감 전달 디바이스의 성능을 검증하였다.

본 연구에서의 이러한 다양한 접근에도 불구하고 EMS 기반 역감 전달 디바이스는 여전히 많은 문제점을 갖고 있다. 역감 발생을 위하여 인가하는 15 mA 이상의 전류는 사용자에게 불쾌감을 유발하고, 고통 유발을 피하기 위하 여 설정한 30 mA 이하의 전기 자극은 피부 임피던스 등의 문제로 높은 크기의 역감을 생성하지 못한다. 이를 해결하 기 위해서는 전극 패드의 소재 그리고 EMS 파형 등 전달 률을 높이기 위한 연구가 필요하다. 또한 모델링 되지 않은 개루프 제어로 인해 정확한 손끝 힘을 생성하는데 한계가 있다. 그럼에도 불구하고 EMS 기반 역감 전달 디바이스가 갖는 높은 자유도와 넓은 작업 공간은 free-hand 역감 전달 디바이스로서 분명한 가치를 갖고 있으며, 위와 같은 문제 가 해결될 경우 가상환경 그리고 원격 로봇 등의 분야에서 큰 확장성을 가지며 다양하게 사용될 수 있을 것이다.

References

  • Bouzit, M., Burdea, G., Popescu, G., Boian, R., The rutgers master II - New design, IEEE/ASME Trans. Mechatron, (2002), 7(2), p256-263. [https://doi.org/10.1109/TMECH.2002.1011262]
  • Ohashi, T., Szemes, P., Korondi, P., Hashimoto, H., Nonlinear disturbance compensation for haptic device, ISIE ’99. Proc. IEEE Int. Symp. Ind. Electron. (Cat. No.99TH8465), (1999), vol. 1(no. l), p1131-1136. [https://doi.org/10.1109/isie.1999.801803]
  • Choi, B.H., Choi, H.R., SKK Hand Master-hand exoskeleton driven by ultrasonic motors, Proc. IROS, Vol. 2, p1131-1136, (2000). [https://doi.org/10.1109/iros.2000.893171]
  • OpenSim, [Online], (2017), http://opensim.stanford.edu/ Accessed: August 2, 2017. [https://doi.org/]
  • Saul, K.R., Hu, X., Goehler, C.M., Vidt, M.E., Daly, M., Benchmarking of dynamic simulation predictions in two software platforms using an upper limb musculoskeletal model, Comput. Methods Biomech. Biomed. Engin, (2014), 18(13), p1445-1458. [https://doi.org/10.1080/10255842.2014.916698]
  • Kurillo, G., Mihelj, M., Munih, M., Bajd, T., Multifingered grasping and manipulation in virtual environments using an isometric finger device, Presence Teleoperators Virtual Environts, (2007), 16(3), p293-306. [https://doi.org/10.1162/pres.16.3.293]
  • Tamaki, E., Miyaki, T., Rekimoto, J., Possessed hand: Techniques for controlling human hands using electrical muscles stimuli, Proc. CHI 2011, p543-552, (2011). [https://doi.org/]
  • Pfeiffer, M., Schneegaß, S., Alt, F., Supporting interaction in public space with electrical muscle stimulation, Proc. 2013 ACM Conf. Pervasive ubiquitous Comput. Adjun. Publ. - UbiComp ’13 Adjun, (2013), p5-8. [https://doi.org/10.1145/2494091.2494094]
  • Pfeiffer, M., Schneegass, S., Alt, F., Rohs, M., Let me grab this: a comparison of EMS and vibration for haptic feedback in free-hand interaction, Proc. 5th Augment. Hum. Int. Conf. - AH ’14, (2014), (no. 48), p1-8. [https://doi.org/]
  • Lopes, P., Baudisch, P., Muscle-propelled force feedback: bringing force feedback to mobile devices, Proc. CHI 2013, p2577-2580, (2013). [https://doi.org/]
  • Forrester, B.J., Petrofsky, J.S., Effect of electrode size, shape, and placement during electrical stimulation, J. Appl. Res, (2004), 4(2), p346-354. [https://doi.org/]
  • Sghaier, A., Romdhane, L., Ouezdou, F., Lisv-Uvsq, L.G., Vélizy, F., Biomechanical analysis of the normal and reconstructed human hand: Prediction of muscle forces in pinch and grasp, 12th IFToMM World Congr, (2007). [https://doi.org/]
  • Open Dynamics Engine, [Online], (2017), http://www.ode.org/ Accessed: August 2, 2017. [https://doi.org/]
김 효 민

2015 광운대학교 로봇학과(공학사)

2015~현재 광운대학교 로봇학과 석박통합 과정

관심분야: 인간로봇 상호작용, 햅틱 인터페이스

권 재 성

2006 선문대학교 전자정보통신공학부(공학사)

2008 고려대학교 전자전기공학과(공학석사)

2013~현재 광운대학교 로봇학과 박사과정

관심분야: 로봇제어, 임베디드 시스템, 생체모방제어

오 용 환

1991 포항공과대학교 기계공학과(공학사)

1993 포항공과대학교 기계공학과(공학석사)

1999 포항공과대학교 기계공학과(공학박사)

2001~현재 한국과학기술연구원(KIST) 로봇 연구단 책임연구원

관심분야: 보행제어, 조작기술, 컴플라이언스 제어

양 우 성

2001 서강대학교 기계공학과(공학사)

2001 서강대학교 기계공학과(공학석사)

2007 JAIST 정보과학부 로봇공학전공(공학 박사)

2013~현재 광운대학교 로봇학부 부교수

관심분야: 생체 모방 제어 및 로봇, 웨어러블 로봇, 휴먼 머신 인터페이스

Fig. 1

Fig. 1
The thumb and forefinger muscles in the forearm

Fig. 2

Fig. 2
The hand postures of extension (a) and flexion (b) for simulation with OpenSim

Fig. 3

Fig. 3
The muscle forces activated on the thumb and forefinger according to the force applied for the extension (a) and flexion (b)

Fig. 4

Fig. 4
Hardware setup for measuring the finger forces

Fig. 5

Fig. 5
The muscle forces calculated with the EMG and F/T sensors in the extension (a) and flexion (b) of the thumb and forefinger

Fig. 6

Fig. 6
The output waveform of the EMS

Fig. 7

Fig. 7
Pain values according to the electrode pad sizes

Fig. 8

Fig. 8
Each position of the selected major muscles of the forearm posterior (a) and forearm anterior (b)

Fig. 9

Fig. 9
The multi-channel EMS based force feedback device

Fig. 10

Fig. 10
The finger forces caused by the developed EMS of the thumb extension (a), forefinger extension (b), thumb flexion (c) and forefinger flexion (d)

Fig. 11

Fig. 11
The flow chart for the calibration processing

Fig. 12

Fig. 12
Experimental overview of the multi-channel EMS based force feedback device interacted with a virtual environment

Fig. 13

Fig. 13
The results of usability evaluation; (a) Effect of force feedbacks (b) Comfort indexes

Table 1

The muscles of thumb

Action Muscle
Extension Extensor Pollicis Longus (EPL)
Extensor Pollicis Brevis (EPB)
Flexion Flexor Pollicis Longus (FPL)
Abduction Abductor Pollicis Longus (APL)

Table 2

The muscles of forefinger

Action Muscle
Extension Extensor Digitorum Communis (EDC)
Extensor Indicis Proprius (EIP)
Flexion Flexor Digitorum Profundus (FDP)
Flexor Digitorum Superficialis (FDS)

Table 3

Maximum muscle force of thumb and forefinger

Finger Action Muscle Maximum Force
Thumb Extension EPL 88.3 N
EPB 46.0 N
Flexion FPL 201.0 N
Forefinger Extension EDC 48.8 N
EIP 47.3 N
Flexion FDP 197.3 N
FDS 162.5 N

Table 4

Maximum muscle forces of the thumb and forefinger according to external force

Action Muscle OpenSim Simulation EMG Measurement Experiment
Thumb Extension EPL 0.16 N 22.45 N
EPB 0.26 N 37.46 N
Thumb Flexion FPL 0.16 N 60.07 N
Forefinger Extension EDC 0.23 N 12.63 N
EIP 0.57 N 31.18 N
Forefinger Flexion FDP 1.72 N 104.9 N
FDS 1.8 N 19.07 N

Table 5

General Characteristics of Subjects

Subjects Gender Age [years] Height [cm] Weight [kg]
1 M 23 175 65
2 M 24 179 71
3 M 24 168 73
4 M 25 171 68
5 M 25 174 64
6 M 26 183 110
7 M 27 170 60
8 F 21 155 46
9 F 21 160 70
10 F 23 160 53
Mean - 24 169.5 68.0
SD - 2.0 8.9 17.0

Table 6

EMS waveform parameters of the others studies

Pulse width Frequency
E. Tamaki etal.[7] 200us 40Hz
M. Pfeiffer etal.[8,9] 260us 50~70Hz
P. Lopes etal.[10] 290us 25Hz

Table 7

Questionnaire of force feedback

Subject Comment
1 Pain
2 No force feedback
3 Feel the low force feedback
4 Force feedback is good
5 Force feedback is very good

Table 8

Questionnaire of feeling

Subject Comment
1 Fear
2 Very discomfort
3 Discomfort
4 Low electric feel
5 Very low electric feel