아바타 로봇을 위한 3지 로봇 손과 손 자세 맵핑 알고리즘

1. 서 론

원격 조작 로봇은 사용자를 대신하여 작업을 수행하기 위해 의료, 위험물 조작, 우주 로봇 등을 포함하는 다양한 분야의 원격 조작 로봇이 연구되어왔다. 각각의 원격 조작 로봇 시스템은 목표 작업과 환경을 고려하여 서로 다른 시스템 구성을 가지며 특히 작업 수행에서 중요한 역할을 담당하는 말단장치(end-effector)는 목표 작업에 특화되어 개발되어왔다^[1-3]. 앞서 언급한 특정 작업을 목표로 설계된 원격 조작 로봇들과는 달리 아바타 로봇(Avatar robot)은 사용자가 로봇과 일체화되어 마치 로봇을 신체 일부처럼 느낄 수 있게 하여 일상생활의 다양한 작업을 실제 작업 환경에서 수행하는 것과 같이 직관적으로 수행 가능하게 함을 목표로 한다. 이에 따라 지금까지 개발된 아바타 로봇들은 사람과 유사한 구조로 되어 있으며 사람의 손과 유사한 로봇 손 또는 다목적 그립퍼를 말단장치로 사용하였다^[4,5]. 아바타 로봇의 목적을 고려하였을 때 사람 손을 모사한 로봇 손이 가장 적합한 말단장치임이 분명하지만, 현재까지 사람 손 수준의 자유도와 힘을 가지며 가벼운 무게와 작은 크기를 갖는 로봇 손은 개발되지 못하였다^[6]. 이러한 한계점은 로봇 손을 휴머노이드 로봇에 적용하여 아바타 시스템을 구성할 때 다음의 추가적인 제약 조건에 의해 더 큰 문제점으로 작용한다.

첫 번째로 로봇 손이 적용되는 로봇 팔의 가반 하중(payload)이 제한적이다. 협동 로봇에 관한 관심이 증가하며 사람 팔과 유사한 크기의 매니퓰레이터(manipulator)가 개발되어 판매되고 있다. 매니퓰레이터의 자세에 따라 차이가 존재하지만 대체로 이들의 최대 가반 하중은 3~5 kg 수준이다. 이와 유사한 크기의 팔을 갖는 휴머노이드 로봇의 가반 하중 또한 이와 비슷하며 이는 로봇 손의 무게를 제외한 성능으로 로봇 손의 무게가 증가할수록 로봇이 조작할 수 있는 물체의 최대 무게는 줄어들게 된다.

두 번째로 사람과의 직접적인 상호작용 관계에서 안정성을 확보해야 한다. 물체를 조작하거나 작업을 수행할 때 발생할 수 있는 접촉뿐만 아니라 시스템의 한계 또는 사용자의 실수로 인해 발생할 수 있는 충격을 흡수, 손상을 방지할 수 있는 메커니즘이 요구된다^[7].

마지막으로 사람 손과 유사한 형태로 물체 파지뿐만 아니라 제스처 표현과 같은 기능도 수행할 수 있어야 한다. 아바타 로봇의 장점은 사용자의 팔, 다리의 움직임 같은 큰 동작뿐만 아니라 시선 처리와 같은 미세하지만, 상대방에게 충분히 영향을 미치는 동작까지 묘사하여 전달할 수 있다는 점이다. 또한, 사람 손을 이용하여 나타낼 수 있는 다양한 제스처는 사용자의 의도를 더욱 효과적으로 전달한다. 이를 위해서는 아바타 로봇의 말단장치는 사람 손과 유사한 자세를 표현 가능하여야 한다.

아바타 로봇의 관점에서 로봇 손이 적용된 다양한 시스템이 연구되어왔다. Porges는 표면 근전도 센서인 Myo와 손의 위치를 추적하기 위한 Vive motion tracker를 이용하여 양손에 전자의수를 장착한 토크 제어 기반의 휴머노이드 로봇 TORO를 원격 조작, 다양한 일상 작업 수행이 가능함을 보였다^[8]. 전자의수는 사람의 손과 유사한 크기와 무게를 갖는다는 장점을 갖는다. 하지만 대부분의 전자의수는 적은 수의 구동기를 사용하며 결과적으로 사람 손과 비교하여 현저히 낮은 자유도를 가지고 있다. 또한, 전자의수는 미리 분류된 손동작을 수행하기 때문에 사용자의 연속적인 손동작을 모사하지 못한다는 한계점을 갖는다.

이와 반대로 Li는 사람 손 수준의 19 자유도를 갖는 Shadow Dexterous hand^[9]를 PR2 로봇에 적용하여 아바타 시스템을 구성, 깊이 카메라(depth camera)와 관성측정장치(Inertial Measurement Unit, IMU)를 이용하여 로봇을 제어하는 multimodal teleoperation system을 제안하였다^[10]. 높은 자유도를 갖는 Shadow Dexterous hand는 사용자의 손동작을 모사하여 pick-and-place 작업을 수행하였다. 하지만 Shadow dexterous hand의 무게는 4.2 kg로 일반적인 휴머노이드 로봇에 적용하기에는 무게와 크기 측면에서 한계점이 존재한다.

양극단에 위치한 전자의수와 높은 자유도를 갖는 로봇 손의 한계점을 극복하기 위해 중간 정도의 구동 자유도를 갖는 로봇 손도 다양하게 개발되어왔다. 커플링 메커니즘을 활용하여 구동기의 수를 조절한 로봇 손은 매니퓰레이터 또는 휴머노이드 로봇으로 구성된 아바타 시스템에 적용되어 일상생활의 다양한 작업이 수행 가능함을 보였다^[11,12].

본 논문에서는 3개의 손가락으로 이루어진 로봇 손이 대부분의 물체 파지 자세 수행이 가능함을 보인 우리의 선행연구를 기반으로 유연한 관절을 적용한 3지 로봇 손을 제안, 기존의 아바타 로봇 말단장치 한계점을 개선한다^[13]. 기존의 로봇 손과 비교하여 본 논문에서 제안하는 시스템의 차별점은 다음과 같이 크게 3가지로 정리할 수 있다.

• 1. 제안하는 3지 로봇 손은 기존의 5지 로봇 손과 비교하여 적은 수의 구동기를 사용하여 매우 가벼운 무게를 갖지만, 엄지 내전/외전 관절을 적용하여 사용자의 손동작을 실시간으로 모사, 다양한 물체 파지 동작뿐만 아니라 기본적인 제스처 수행이 가능함
• 2. 작업 수행과정에서 발생할 수 있는 충격을 흡수할 수 있는 유연한 관절구조와 tendon-driven 구동 방식을 적용한 로봇 손가락 구조를 가짐
• 3. 아바타 로봇 시스템인 TOCABI-AVATAR([Fig. 1])에 제안하는 로봇 손과 손 자세 맵핑(mapping) 알고리즘을 적용하여 제안하는 4개의 구동 자유도를 갖는 로봇 손이 아바타 로봇의 말단 장치로써 역할을 수행할 수 있음을 보임

[Fig. 1]

Avatar robot system (TOCABI-AVATAR) with 3-finger robotic hands. Using the Avatar system, operator could manipulate daily life objects

본 논문은 크게 로봇 손, 맵핑 알고리즘, 성능 평가, 3개의 장으로 구성된다. 2장, 3장에서는 새롭게 제작된 로봇 손과 모듈형 손가락의 구조를 소개한다. 이어서 4장에서 사용자 손과 제안하는 로봇 손 사이의 동작 맵핑 시스템과 알고리즘을 설명한다. 전체 시스템의 동작 수행, 제스처 표현 능력은 5장에서 보이며 6장에서 본 논문을 결론짓는다.

2. 3지 로봇 손 디자인

[Fig. 2(a)]는 오른손에 대응되는 3지 로봇 손의 전체적인 형상과 크기를 보여준다. 높이 154 mm, 폭 44 mm의 크기를 가지며 4개의 구동기를 포함하는 전체 무게는 290g이다. 검지, 중지 그리고 엄지의 모듈형 로봇 손가락으로 구성되어 있으며 총 4 개의 구동 자유도를 가지고 있다. 각 손가락은 1개의 굽힘/펼침(Flexion/Extension, FE) 구동기를 가지며 엄지의 내전/외전(Adduction/Abduction, AA)을 위한 1개의 구동기가 손바닥 아래에 위치한다.

[Fig. 2]

Overall design of proposed 3-finger robotic hand. (a) Neutral position and dimension of the robotic hand, (b) Maximum thumb abduction posture, (c) Maximum thumb adduction posture

제안하는 3지 로봇 손은 손바닥의 방향과 손가락의 위치가 현재까지 개발되어온 다른 3지 그립퍼와 유사한 형태를 가지지만 이를 그립퍼가 아닌 로봇 손이라 부르는 이유는 엄지 AA 관절을 적용하였기 때문이다. AA 관절은 사람의 손과 다른 말단장치를 구분해주는 가장 중요한 관절로 엄지의 끝과 나머지 손가락 끝이 마주 보는 엄지 대립 자세를 조절할 수 있게 하여 사람 손의 물체 파지 자세를 모사할 수 있게 해주기 때문이다^[13,14]. 3지 로봇 손의 물체 파지와 제스처 표현 능력은 5장에서 자세히 설명한다.

AA 관절의 구동축은 [Fig. 2]에서 초록색 화살표로 표시되었다. 엄지 AA 관절의 중립 상태는 [Fig. 2(a)]와 같으며 이때 엄지와 검지가 마주 보는 엄지 대립 상태이며 오른손 구조를 보여주며 왼손과 오른손은 AA 관절 위치에서 차이가 발생한다. AA 관절은 중립 자세를 기준으로 Abduction 20° ([Fig. 2(b)]), Adduction 80° ([Fig. 2(c)]) 이며 총 100°의 구동 범위를 갖는다.

손가락을 완전히 폈을 때 로봇 손이 파지할 수 있는 물체의 최대 폭은 166mm이며 안정적인 물체 파지를 위해 접촉이 발생하는 손바닥과 각 손끝, 손가락 마디에 실리콘 패드를 적용하였다.

3. 모듈형 손가락 디자인

우리는 아바타 로봇의 말단장치에 3개의 동일한 구조를 갖는 모듈형 손가락을 적용하였다. [Fig. 3]는 모듈형 로봇 손가락의 전체적인 구조를 보여준다. 유지보수 관점에서 모듈형 로봇 손가락의 장점을 극대화하기 위해 모든 손가락의 프레임은 3D 프린터를 이용하여 제작 가능한 형상을 가지며 제어기가 포함된 소형 스마트 액추에이터 (XL330, Robotis)을 적용하였다. 본 장에서는 모듈형 로봇 손가락의 기구학적 구조와 텐던 구조를 설명한다.

[Fig. 3]

Design and ligaments of a modular robotic finger with fully extended joints. (a) Overall design of a robotic finger including names of joints and parts, (b) Ligaments for a flexible rolling contact joint, (c) Ligaments for joint coupling, (d) Tendons for actuation

3.2 인대와 힘줄의 구성 및 역할

총 13개의 힘줄과 인대가 로봇 손가락을 구성하고 있으며 이는 [Fig. 3(b)], [Fig. 3(c)], [Fig. 3(d)]에 표현되어 있다. 힘줄과 인대는 구름 관절을 구성하는 인대, 관절의 커플링을 담당하는 인대 그리고 손가락의 굽힘과 펼침을 담당하는 힘줄로 나뉜다. 본 연구에서 사용한 인대와 힘줄의 소재는 [Table 1]에 정리되어있다.

[Table 1]

Material of ligaments and tendons

3.2.1 구름 관절 인대

[Fig. 3(b)]는 구름 관절을 구성하는 인대를 나타낸다. 구름 관절은 2개의 마디를 접촉면에서 미끄러지지 않게 제한하고 구름 회전을 구현하기 위해 2개의 비탄성 소재로 구성된 인대를 이용한다^[15]. 경첩 회전 관절(hinge joint)은 관절에 가해지는 인장력과 압축력을 모두 구동축이 지탱하는 반면 구름 관절은 압축력은 각 마디의 접촉부가, 인장력은 인대가 지탱하기 때문에 경첩 관절과 비교하여 소형 구조에서 더 큰 하중을 버틸 수 있다는 장점을 갖는다^[16]. 또한, 사람의 관절 동작을 효과적으로 모사하여 다양한 로봇 손 관절뿐만 아니라 사람 손가락의 인공관절에 적용하기 위한 연구도 진행되어왔다^[17].

FLLEX hand^[18]와 Softhand^[19]는 기존의 구름 관절 중 하나의 인대에 탄성 소재를 적용하여 유연한 구름 관절을 구현하였다. 유연한 구름 관절은 물체, 주변환경과의 상호작용에서 발생하는 충격을 흡수하여 적극적인 작업 수행이 가능하게 하였다. 본 연구에서도 인대 1 (RC ligament 1)은 비탄성 소재, 인대 2 (RC ligaments 2)는 탄성 소재를 적용하여 유연한 구름 관절을 구현하였다.

유연한 구름 관절은 충격흡수라는 장점을 갖지만 손끝 위치 제어 관점에서는 외력에 의해 손끝 위치가 변화하여 접촉상황에서 위치 부정확성을 생성하는 요인으로 작용한다. 특히 1개의 굽힘/펼침 구동기만이 적용된 모듈형 손가락에서는 측면방향의 힘을 생성하지 못하여 관절의 유연성이 높아질수록 접촉상황에서의 손끝 위치 부정확성이 증가한다. 이를 보완하기 위하여 우리는 구름 관절의 두 마디의 원형 접촉면 중심을 연결하는 측면 인대(Lateral ligament)를 추가로 적용하였다. 측면 인대는 높은 탄성계수의 소재로 구성되어 있어 측면방향의 관절 안정성을 증가시킬 뿐만 아니라 과신전(hyperextension)을 방지하는 역할도 동시에 수행한다.

3.2.2 관절 굽힘 커플링 인대

두 번째는 손가락 관절 사이의 굽힘 커플링을 구현하는 2개의 인대이며 [Fig. 3(c)]에 나타나 있다. 2개의 동일한 구조를 갖는 인대는 각각 MCP-PIP 관절, PIP-DIP 관절 각도를 1:1로 구속하며 결과적으로 2개의 인대가 모두 작용하는 접촉이 없는 상태에서는 MCP, PIP, DIP 관절 각도가 1:1:1로 유지되게 된다. 인장력만 작용할 수 있는 인대의 특성 때문에 관절 커플링에는 방향성이 존재한다. 예를 들어 MCP-PIP 커플링 인대의 경우 MCP 관절의 굽힘이 PIP 관절의 굽힘에 영향을 주며, PIP 관절의 펼침이 MCP 관절의 펼침에 영향을 미친다. 이로 인해 손바닥 쪽에서 발생하는 접촉력은 커플링 관계를 유지하며 버틸 수 있으며 반대로 손등 쪽에서 발생하는 접촉력은 관절의 커플링 관계를 무시하며 순응할 수 있다. 해당 메커니즘은 PIP-DIP 커플링 인대도 동일하게 적용된다.

3.2.3 구동 힘줄

세 번째는 로봇 손가락의 구동을 담당하는 힘줄로 액추에이터와 연결된 굽힘 힘줄(Actuation tendon)과 탄성 소재로 구성된 펼침 힘줄(Passive extension tendon)이다([Fig. 3(d)]). 굽힘 힘줄은 액추에이터에서 Base frame, proximal phalange를 지나 middle phalange에 고정된다. Proximal phalange에 접촉이 발생하여 MCP 관절의 위치가 고정된 경우에도 구동력은 middle phalange에 전달되어 PIP, DIP 관절을 구동하여 adaptive grasping이 가능하도록 한다. 펼침 힘줄은 탄성 소재를 적용하여 수동적으로 관절을 펼치며 3개의 관절에 동시에 작용한다.

본 연구에서 사용한 구동기의 정격 전압 5 V이며 최대 허용 전류는 1.45 A이다. Pinch grasping 자세에서 최대 손끝 힘을 측정하기 위하여 [Fig. 4(a)]와 같이 실험 장비를 구성하였으며 측정된 힘의 방향은 힘/토크 센서(F/T sensor) 표면의 수직한 방향으로 빨간색 화살표로 표현하였다. ATI사의 Axia80-M20 힘/토크 센서를 사용하였으며 pinch grasping 자세에서 로봇 손가락과 FT 센서 사이에 접촉이 일어나도록 설계하였다. 실험을 통해 측정된 최대 손끝 힘은 평균 4.80 N으로 측정되었다([Fig. 4(b)]).

[Fig. 4]

(a) Experimental setup for measuring fingertip force of the modular robotic finger, (b) Measured data of fingertip force under maximum current input in pinch grasping position

4. 사용자 손동작 맵핑 시스템 및 알고리즘

본 장에서는 새롭게 제안하는 3지 로봇 손 원격제어를 위한 시스템 구성과 사람 손 자세를 로봇 손 자세로 변환시키기 위한 맵핑 알고리즘을 소개한다.

4.1 핸드 트레킹 시스템

사람 손 자세 추정은 원격 조작을 포함하는 다양한 연구 분야에 사용되는 기술로 근전도 측정 센서(electromyography, EMG)를 이용하는 방식, IMU 센서를 이용하는 방식, flexible 저항을 이용하는 방식, 카메라 비전을 이용하는 방식, 외골격 방식(exoskeleton type)의 글러브를 이용하는 방식 등이 있다.

본 연구에서는 사용자의 손 자세를 추정하기 위해 외골격 타입의 SenseGlove를 사용하였다([Fig. 5]). 외골격 타입 시스템은 다양한 상황에서 데이터의 반복성, 안정성이 높다는 장점을 갖는다. 이는 시간에 대한 데이터의 반복성, 안정성도 포함한다. 사용자의 근육 신호를 이용하여 손 자세를 추정하는 근전도 측정 센서는 사용자와 근육의 피로도에 따라 데이터가 변화할 수 있으며 미리 분류된 손 자세를 구분하기 위해 많이 사용된다. 관성 측정 장치의 경우 같은 자세일지라도 센서의 방향에 따라 데이터에 차이가 발생할 수 있으며 시간에 따른 드리프트(drift) 현상도 발생하여 반복성을 떨어뜨린다. 카메라 비전 데이터를 이용한 손 자세 추정은 카메라에 노출된 부분에 따라 추정된 손 각도가 변화할 수 있다는 문제점을 갖는다. 실시간으로 실제 물체를 파지하고 조작이 필수적인 아바타 로봇에서는 물체 파지 안정성을 떨어뜨리는 요인으로 작용한다. 이와 비교하여 각 관절에 위치 센서를 사용하는 외골격 방식은 사용자 손의 자세, 방향 그리고 자기장과 같은 주변 환경의 영향이 앞서 설명한 시스템들과 비교하여 적다.

[Fig. 5]

Joint data names of SenseGlove and corresponding actuator names of the 3-finger robotic hand

SenseGlove는 손가락마다 4개의 관절 데이터를 반환한다. 본 연구에서는 총 20개의 관절 값 중 4개의 관절 값을 3지 로봇 손의 4개의 구동기에 대응시켜 사용한다. [Fig. 5]에서 SenseGlove의 관절 데이터와 이에 대응되는 3지 로봇 손 구동기를 확인할 수 있다. 사람의 엄지와 나머지 손가락의 해부학적 차이 때문에 로봇 손 엄지 FE 구동기는 SenseGlove 엄지 손목손허리(Carpometacarpal, CMC) 굽힘/펼침 관절과 대응된다.

4.2 맵핑 알고리즘

우리는 4개의 자유도를 갖는 3지 로봇 손을 이용하여 사용자들 사이의 신체적 차이를 보정하여 안정적인 물체 파지 자세를 구현하기 위해 5개의 캘리브레이션 자세를 이용한 손 자세 맵핑 알고리즘을 적용하였다. [Table 2]는 5개의 캘리브레이션 자세와 각 자세에서 저장하는 SenseGlove의 관절 값을 보여준다.

[Table 2]

5 hand calibration postures and corresponding joint names of SenseGlove and the robotic hand.

본 논문에 SenseGlove의 관절 값은 θ, 로봇 손가락의 관절 값은 q로 표현한다. 맵핑 알고리즘은 각 손가락의 굽힘/펼침 맵핑 알고리즘과 엄지 내전/외전 맵핑 알고리즘으로 나뉘며 각 알고리즘에 사용되는 관절 값은 위첨자 FE (Flexion/Extension), AA (Abduction/Adduction)을 이용하여 구분하였다. 굽힘/펼침 맵핑 알고리즘은 엄지, 검지 그리고 중지에 동일하게 적용된다. 각 손가락을 구분하기 위하여 앞 첨자 i = 1,2,3를 사용하였으며 순서대로 엄지, 검지, 중지를 나타낸다.

굽힘/펼침 맵핑 알고리즘은 최대 펼침 관절 값 ($$ {}^i{\theta }_e^{FE}$$), 최대 굽힘 관절 값($$ {}^i{\theta }_f^{FE}$$), pinch grasping 관절 값($$ {}^i{\theta }_p^{FE}$$)을 사용하며 각각의 데이터는 [Table 2]의 Posture 1, Posture 2, Posture 4 그리고 Posture 5를 이용하여 얻어진다.

엄지의 내전/외전 맵핑 알고리즘은 lateral pinch grasping (Posture 3)에서의 내전/외전 관절 값($$ {\theta }_{lp}^{AA}$$)과 pinch grasping (Posture 5)에서의 내전/외전 관절 값($$ {\theta }_p^{AA},q_p^{AA}$$)을 사용한다.

4.2.1 손가락 굽힘/펼침 위치 제어

각 로봇 손가락의 굽힘 관절 값은 캘리브레이션으로 얻은 SenseGlove의 최대 펼침 관절 값, pinch grasping 관절 값, 최대 굽힘 관절 값과 이에 대응되는 로봇 손가락의 최대 펼침 관절 값($$ {}^i{q}_e^{FE}$$), pinch grasping 관절 값($$ {}^i{q}_p^{FE}$$), 최대 굽힘 관절 값($$ {}^i{q}_f^{FE}$$) 사이를 선형 보간하여 계산되며 pinch grasping의 반복성을 높이기 위해 pinch grasping에 해당하는 Senseglove의 관절 값을 범위로 설정하는 dead-zone을 적용하였다([Fig. 6]). 로봇 손가락의 최대 펼침 관절 값, pinch grasping 관절 값, 최대 굽힘 관절 값은 로봇 손의 구조에 따라 미리 정해져 있다고 가정한다.

[Fig. 6]

Joint mapping graph of Flexion/Extension joint between SenseGlove and 3-finger robotic hand with four calibration postures

SenseGlove의 굽힘/펼침 관절 값(θ^FE)으로부터 얻어지는 로봇 손가락의 목표 굽힘/펼침 관절 값(q^FE)은 3개의 구간에 따라 아래의 식 (1)을 통해 계산되며 이를 그래프로 나타내면 [Fig. 6]와 같다. 손가락 인덱스 i는 생략하였다.

(1)

식 (1)의 $$ {\theta }_{plb}^{FE}$$(Pinch grasping Lower Boundary)와 $$ {\theta }^{{FE}_{plb}}$$(Pinch grasping Upper Boundary)는 pinch grasping의 반복성을 높이기 위해 지정한 SenseGlove 관절 값 dead-zone의 최솟값, 최댓값이다. 각각 식 (2), (3)를 통해 계산된다. 본 연구에서는 식 (2), (3)의 α_l, α_u에 각각 0.1, 0.15를 적용하였다.

$\[ {\theta }^{{FE}_{plb}}={\theta }^{{FE}_p}-{\alpha }_l\left({\theta }^{{FE}_p}-{\theta }^{{FE}_e}\right) \]$

(2)

$\[ {\theta }_{pup}^{FE}={\theta }^{{FE}_p}+{\alpha }_u\left({\theta }^{{FE}_f}-{\theta }^{{FE}_p}\right) \]$

(3)

[Fig. 7(a)]는 4명의 사용자가 pinch grasping을 20번 반복하였을 때 얻어지는 SenseGlove의 엄지, 검지의 굽힘 관절 값의 분포와 캘리브레이션 단계에서 사용한 pinch grasping ([Table 2]의 Posture 5) 자세 데이터를 보여준다. 각 사용자의 데이터는 서로 다른 색을 이용하여 표현하였으며 캘리브레이션에 사용된 자세는 사각형, 20번의 반복 실험 데이터는 원으로 표현하였다. 실험과정에서 4명의 사용자는 다양한 방향에서 pinch grasping을 수행하였다.

[Fig. 7]

(a) The graph of SenseGlove joint values of thumb and index finger at pinch grasping of 4 operators. It shows pinch grasping postures (filled square) used for calibration and 20 repeated pinch grasping data (circle) of each operators. (b) Pinch grasping feasible area and infeasible area of operator 4

Pinch grasping에 대응되는 입력값 주변을 dead-zone 영역으로 확장한 이유는 두 가지이다. 첫째로, pinch grasping은 한 명의 사용자에게서도 다양한 MCP, PIP, DIP 관절 자세 조합이 가능하기 때문이다. 본 연구에서는 로봇 손가락의 낮은 자유도로 인해 MCP 굽힘 관절 값만을 입력값으로 사용하기 때문에 사용자에 따라 dead-zone 없이는 pinch grasping의 반복성이 떨어질 수 있으며 [Fig. 7(a)]를 통해 사용자별로 다양하게 분포함을 확인할 수 있다.

두 번째로는 손끝을 이용하여 물체를 파지하는 pinch grasping의 경우는 사용자에게 맞는 보정이 없다면 로봇 손이 물체를 파지하기 이전에 사용자의 손가락 사이의 접촉이 발생하여 로봇 손을 이용한 pinch grasping이 실패하는 경우가 발생한다. 본 연구에서 사용한 SenseGlove와 같은 외골격 시스템을 사용할 때 사용자가 손가락을 더 굽혀 오차를 보상하려 하여도 하드웨어의 간섭으로 인해 보상이 불가능하다.

[Fig. 7(b)]는 사용자 4의 캘리브레이션 자세를 이용하여 dead-zone을 적용하였을 때, pinch grasping 가능 영역(초록색)과 불가능 영역(빨간색)을 보여준다. 불가능 영역에 데이터가 존재할 경우 앞서 설명한 하드웨어 간섭으로 인해 pinch grasping 수행이 불가능하다. 두 손가락의 dead-zone이 교차하는 진한 초록색 영역은 사용자와 로봇 손이 동시에 pinch grasping을 수행할 수 있는 영역이며 나머지 초록색 영역은 사용자의 적절한 피드백을 통해 pinch grasping 수행이 가능한 영역이다. 사용자 4는 20번의 pinch grasping 중 18번이 pinch grasping 수행 가능 영역에 위치하였다.

사용자의 캘리브레이션 과정에의 오차나 사용과정에서 SenseGlove의 미끄러짐과 같은 원인으로 인해 SenseGlove의 관절 값은 $$ {}^i{\theta }_e^{FE}$$보다 작은 값을 나타낼 수 있으며 반대로 $$ {}^i{\theta }_f^{FE}$$보다 큰 값을 가질 수 있다. 로봇의 자가충돌을 방지하기 위해 로봇 손가락의 구동 범위는 최소 $$ {}^i{q}_e^{FE}$$, 최대 $$ {}^i{q}_f^{FE}$$로 제한된다.

4.2.2 엄지 내전/외전 위치 제어

3지 로봇 손의 엄지 내전/외전 관절 값은 캘리브레이션 자세로부터 얻은 2개의 SenseGlove CMC AA관절 값($$ {\theta }_{ld}^{AA},{\theta }_p^{AA}$$)과 이에 대응되는 2개의 3지 로봇 손의 엄지 내전/외전 관절 값($$ q_{ld}^{AA},q_p^{AA}$$)을 선형 보간하여 식 (4)와 같이 제어된다 ([Fig. 8]).

$\[ q^{AA}=q_p^{AA}+\frac{\left(q_{ld}^{AA}-q_p^{AA}\right)}{\left({\theta }_{ld}^{AA}-{\theta }_p^{AA}\right)}\left({\theta }^{AA}-{\theta }_p^{AA}\right) \]$

(4)

[Fig. 8]

Joint mapping graph of Thumb Abduction/Adduction joint between SenseGlove and 3-finger robotic hand with calibration postures

로봇 손의 엄지 AA 관절의 구동 범위는 하드웨어의 자가 충돌을 고려하여 최소 –20° ($$ {\theta }_{ll}^{AA}$$), 최대 80° ($$ {\theta }_{ul}^{AA}$$)로 제한된다.

5. 3지 로봇 손 성능 평가

본 단락에서는 제안하는 3지 로봇 손을 아바타 시스템에 적용하여 성능을 검증한다. 먼저 3지 로봇 손이 사람 손을 모사하여 일상생활의 다양한 물체 파지가 가능함을 검증하기 위하여 사람 손의 물체 파지 자세를 분류한 grasp taxonomy를 모사한다. 다음으로 사용자의 제스처 동작 모사 능력을 검증한다.

5.1 물체 파지

Grasp taxonomy는 Cutkosky에 의해 분류된 사람 손의 물체 파지 자세이며 총 16개의 자세로 구분되어있다^[14]. 우리는 사람의 손동작을 모사하여야 하는 아바타 시스템의 성능을 검증하기 위하여 제안한 시스템을 이용, 사용자가 직접 로봇을 원격 조종하여 파지 자세 수행이 가능한지 검증하였다.

[Fig. 9]은 아바타 시스템을 이용하여 grasp taxonomy를 검증한 결과를 보여준다. 일상생활에서 접할 수 있는 컵, 병, 팬을 포함하는 다양한 물체를 사용하였으며 각 물체 파지 자세에서 로봇 손과 사용자의 손 자세를 동시에 확인할 수 있다. 로봇 손과 사용자의 손 자세는 실시간으로 사용자가 로봇을 조작하여 물체를 파지하고있는 상태에서 동시에 촬영되었다.

[Fig. 9]

Grasp taxonomy of 3-finger robotic hand integrated into TOCABI-AVATAR using proposed hand mapping algorithm. The robotic hand implemented 13 out of 16 grasp postures and 4 gestures, V (8-1), Okay (9-1), Pointing (16-1), Thumb up (16-2). Gestures are located next to similar grasp postures

총 16개의 파지 자세 중 13개의 자세를 모사 안정적으로 물체를 파지하였다. 불가능한 3개의 자세는 Power grasping의 Hook, Platform, Push (15), Precision grasping의 Thumb-4 finger (6), Thumb-3 finger (7) 이다. (15)의 경우 로봇 손의 AA 관절이 최대 adduction 자세에 위치하더라도 손바닥의 형상과 방향이 사람 손과 달라 구현 불가하였다. (6), (7)은 사람 손과 로봇 손의 손가락 개수의 차이로 인해 모사 불가능하였다.

Grasp taxonomy 결과 중 Small diameter (2)와 Adducted thumb (4)는 같은 물체를 다른 방식으로 파지한 것을 확인할 수 있다. (2)와 비교하였을 때, (4)의 경우 긴 물체를 파지할 때 발생할 수 있는 모멘트에 의한 외란을 줄이기 위해 사용되는 자세임을 알 수 있다. 사람이 같은 물체라도 사용 의도에 따라 파지 자세가 달라지는 것을 엄지 AA 관절이 적용된 3지 로봇 손을 이용하여 모사할 수 있음을 의미한다.

5.3 ANA AVATAR XPRIZE Semi-final 수행

ANA AVATAR XPRIZE는 시간과 공간의 물리적 한계를 극복하기 위한 아바타 로봇 시스템의 성능을 가리는 국제 대회로 대회의 목적은 다양한 아바타 시스템의 경쟁을 통한 아바타 로봇 기술의 발전, 궁극적으로 사용자가 아바타 시스템을 사용하여 원거리의 상대방과 이질감 없이 상호작용이 가능한 아바타 시스템 기술 구현에 있다.

대회는 아바타 시스템 사용자와 로봇과 상호작용하는 상대방이 느끼는 작업 수행 능력을 정량적으로 평가하였을 뿐만 아니라 원활한 의사소통, 감정 전달과 같은 요소들도 정성적으로 평가하였다.

본 논문에서 제안하는 3지 로봇 손과 맵핑 알고리즘은 TEAM SNU의 아바타 로봇 시스템(TOCABI-AVATAR)([Fig. 10])에 적용되어 ANA AVATAR XPRIZE에 참여, 대회의 평가 항목인 3가지 시나리오를 수행하였다. [Fig. 10(a)], [Fig. 10(b)], [Fig. 10(c)]는 3가지 시나리오 퍼즐 조립, 계약 체결 시나리오, 박물관 관람 시나리오가 진행되고 있는 모습을 보여준다. TEAM SNU의 아바타 시스템은 각 시나리오에서 요구되는 퍼즐 조립, 컵과 꽃병과 같은 물체를 안정적으로 파지하고 조작하는 작업을 수행하였다. 그뿐만 아니라 아바타 로봇 사용자는 상호작용 과정에서 적절한 제스처를 사용하여 자신의 의도를 더욱 명확히 표현하여 상대방과 적극적인 상호작용이 가능함을 보여주었다. [Fig. 10(d)]는 성공적인 작업 수행 후 Thumb up 제스처를 이용하여 서로의 감정을 표현하는 장면이며, [Fig. 10(e)]는 물체를 선택하는 과정에서 Pointing 제스처를 이용하여 자신의 목적을 명확히 표현하는 장면을 보여준다. 대회 수행 영상은 https://www.youtube.com/watch?v=MLmgGQWkzSo&t=153s 에서 확인할 수 있다.

[Fig. 10]

Pictures of judges performing various tasks using the avatar system (TOCABI-AVATAR) with the 3-finger robotic hands. (a) Assembling puzzle, (b) Cheers during the contract scenario, (c) Museum tour scenario, (d) Using Thumb up to celebrate completing the task, (e) Using Pointing to select the cup

대회의 평가 항목엔 아바타 시스템의 직관적인 사용성도 포함되었다. 아바타 시스템을 직접 조정하는 심사위원은 시스템의 사전 지식 없이 60분의 준비시간 후 평가를 시작하였으며 다양한 작업 수행 결과로 제안하는 시스템이 사람 손동작을 직관적으로 모사하여 다양한 작업 수행이 가능함을 확인하였다.

6. 결 론

본 논문에서는 아바타 로봇에 적용되어 손동작 모사가 가능한 3지 로봇 손과 손동작 맵핑 알고리즘을 제안하였다. 외부와의 충격을 흡수하기 위해 유연한 구름 관절을 갖는 3개의 모듈형 손가락과 1개의 엄지 AA 관절로 구성된 3지 로봇 손은 사람 손 grasping taxonomy의 16개의 자세 중 13개의 자세를 모사할 수 있었으며 엄지 AA 관절을 활용하여 다양한 제스처 표현도 가능하였다.

3지 로봇 손과 함께 5개의 캘리브레이션 자세를 이용하는 손동작 맵핑 알고리즘은 휴머노이드 로봇 TOCABI를 기반으로 한 아바타 시스템(TOCABI-AVATAR)에 적용되어 사용자 제안하는 시스템을 이용하여 직관적으로 물체를 조작하고 의사소통 과정에서 다양한 제스처를 활용 가능하였다.

본 연구의 후속 연구는 다음과 같다. 현재 제안하는 3지 로봇 손은 손가락의 개수를 포함하여 사람 손 형상과 차이를 보인다. 제안한 모듈형 손가락의 소형화 및 형상 개선과 맵핑 알고리즘 개선을 통해 더욱 직관적인 시스템을 구현할 것이다.

Acknowledgments

This work was partly supported by Institute of Information communications Technology Planning Evaluation (IITP) grant funded by the Korea government (MSIT) (No.2021-0-00896, Development of 3D collaborative teleoperation technology for unstructured work in harsh environments) and a National Research Foundation of Korea (NRF) grant funded by the Korean government (MSIT) (No. 2021R1A2C3005914)

References

• R. H. Taylor, A. Menciassi, G. Fichtinger, P. Fiorini, and P. Dario, “Medical Robotics and Computer-Integrated Surgery,” Springer Handbook of Robotics, 2nd., Springer, Berlin, Germany, 2016, pp. 1657-1684. [https://doi.org/10.1007/978-3-319-32552-1_63]
• S. Avgousti, E. G. Christoforou, A. S. Panayides, S. Voskarides, C. Novales, L. Nouaille, C. S. Pattichis, and P. Vieyres, “Medical telerobotic systems: current status and future trends,” Biomedical Engineering Online, vol. 15, no. 1, pp. 1-44, Aug., 2016. [https://doi.org/10.1186/s12938-016-0217-7]
• T. Kot and P. Novák. “Application of Virtual Reality in Teleoperation of the Military Mobile Robotic System TAROS,” International Journal of Advanced Robotic Systems, vol. 15, no. 1, pp. 1-6, Jan., 2018. [https://doi.org/10.1177/1729881417751545]
• S. Park, Y. Jung, and J. Bae, “An interactive and intuitive control interface for a tele-operated robot (AVATAR) system,” Mechatronics, vol. 55, pp. 54-62, Nov., 2018. [https://doi.org/10.1016/j.mechatronics.2018.08.011]
• M. Arduengo, A. Arduengo, A. Colomé, J. Lobo-Prat, and C. Torras, “Human to Robot Whole-Body Motion Transfer,” 2020 IEEE-RAS 20th International Conference on Humanoid Robots (Humanoids), Munich, Germany, pp. 299-305, 2021. [https://doi.org/10.1109/HUMANOIDS47582.2021.9555769]
• C. Piazza, G. Grioli, M. G. Catalano, and A. Bicchi, “A century of robotic hands,” Annual Review of Control, Robotics, and Autonomous Systems, vol. 2, pp. 1-32, May, 2019. [https://doi.org/10.1146/annurev-control-060117-105003]
• M. Bonilla, E. Farnioli, C. Piazza, M. Catalano, G. Grioli, M. Garabini, M. Gabiccini, and A. Bicchi, “Grasping with soft hands,” 2014 IEEE-RAS International Conference on Humanoid Robots (Humanoids), Madrid, Spain, pp. 581-587, 2014. [https://doi.org/10.1109/HUMANOIDS.2014.7041421]
• O. Porges, M. Connan, B. Henze, A. Gigli, C. Castellini, and M. A. Roa, “A wearable, ultralight interface for bimanual teleoperation of a compliant, whole-body-controlled humanoid robot,” Late Breaking Results Session of IEEE International Conference on Robotics and Automation (ICRA), Montreal, Canada, 2019, [Online], https://elib.dlr.de/128718/1/inProc.2019.Porges.TORO%20teleop.ICRA.pdf, .
• Shadow Dexterous Hand, [Online], https://www.shadowrobot.com/dexterous-hand-series/, , Accessed: April 18, 2022.
• S. Li, J. Jiang, P. Ruppel, H. Liang, X. Ma, N. Hendrich, F. Sun, and J. Zhang, “A mobile robot hand-arm teleoperation system by vision and imu,” 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, USA, pp. 10900-10906, 2020. [https://doi.org/10.1109/IROS45743.2020.9340738]
• C. L. Fernando, M. Furukawa, T. Kurog, S. Kamuro, K. Sato, K. Minamizawa, and S. Tachi, “Design of TELESAR V for transferring bodily consciousness in telexistence,” 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Algarve, Portugal, pp. 5112-5118, 2012. [https://doi.org/10.1109/IROS.2012.6385814]
• M. Schwarz, C. Lenz, A. Rochow, M. Schreiber, and S. Behnke, “NimbRo Avatar: Interactive immersive telepresence with force-feedback telemanipulation,” 2021 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, Czech Republic, pp. 5312-5319, 2021. [https://doi.org/10.1109/IROS51168.2021.9636191]
• S. Kim and J. Park, “Gripper with Thumb Adduction/Abduction Joint for Enhanced In-hand Orientation Manipulation,” 2018 IEEE-RAS 18th International Conference on Humanoid Robots (Humanoids), Beijing, China, pp. 1-9, 2018. [https://doi.org/10.1109/HUMANOIDS.2018.8625063]
• M. R. Cutkosky, “On grasp choice, grasp models, and the design of hands for manufacturing tasks,” IEEE Transactions on robotics and automation, vol. 5, no. 3, pp. 269-279, 1989. [https://doi.org/10.1109/70.34763]
• B. M. Hillberry and A. S. Hall, “Rolling contact joint,” US393 2045A, 1976, [Online], https://patents.google.com/patent/US3932045A/en, .
• S.-H. Kim, H. In, J.-R. Song, and K.-J. Cho, “Force characteristics of rolling contact joint for compact structure,” 2016 6th IEEE International Conference on Biomedical Robotics and Biomechatronics (BioRob), Singapore, pp. 1207-1212, 2016. [https://doi.org/10.1109/BIOROB.2016.7523795.]
• S. W. Hong, J. Yoon, T.-J. Kim, and H. S. Gong, “Novel implant design of the proximal interphalangeal joint using an optimized rolling contact joint mechanism,” Journal of Orthopaedic Surgery and Research, vol. 14, no. 1, pp. 1-13, Jul., 2019. [https://doi.org/10.1186/s13018-019-1234-6]
• Y.-J. Kim, J. Yoon, and Y.-W. Sim, “Fluid lubricated dexterous finger mechanism for human-like impact absorbing capability,” IEEE Robotics and Automation Letters, vol. 4, no. 4, pp. 3971-3978, Oct., 2019. [https://doi.org/10.1109/LRA.2019.2929988]
• C. D. Santina, C. Piazza, G. Grioli, M. G. Catalano, and A. Bicchi, “Toward Dexterous Manipulation With Augmented Adaptive Synergies: The Pisa/IIT SoftHand 2,” IEEE Transactions on Robotics, vol. 34, no. 5, pp. 1141-1156, Oct., 2018. [https://doi.org/10.1109/TRO.2018.2830407]