조작자 근육 활성도 기반 양팔 로봇의 임피던스 제어 파라미터 갱신 방법

1. 서 론

최근 제조업 또는 일상 생활에서 협동로봇이 사람의 작업을 대신하는 일이 점점 더 많아지고 있다. 그 중에서도 사람과 유사한 모습을 가진 양팔로봇의 활용도 또한 점점 중요해지고 있는 추세이다. 이러한 양팔 로봇에 특정 목적을 가진 작업을 하도록 하려면 작업 조건에 맞는 동작계획(motion planning)을 하여야 하지만 자유도가 높은 양팔 로봇의 특성상, 양팔의 작업 공간이 서로 겹치게 되어 양팔 사이의 충돌이 일어나기 쉬운 조건에서 로봇의 동작을 계획하기란 쉽지 않다. 하지만 로봇이 조작자 팔의 움직임을 실시간으로 그대로 모방할 수 있다면 이러한 문제점은 쉽게 해결될 수 있다. 따라서 본 논문은 6D-pose 정보가 측정되는 바이브-트래커(Vive-tracker) 4개를 조작자(사람)의 양 손과 팔꿈치에 각각 2개식 착용하고 조작자의 오른팔 상완에 근전도(electromyography, EMG) 신호를 측정할 수 있는 EMG센서 1개를 착용하여 16자유도 양팔로봇이 조작자의 양팔 움직임과 힘 정보를 모방하도록 한다^[1].

양팔 로봇과 같이 여자유도(redundancy)를 갖는 로봇은 self-motion이 생성되는데 이는 작업에 따른 자코비안의 영공간(null space)상의 관절 동작을 제어하는 방법으로 동작 제어를 수행할 수 있다. 양팔 로봇에서는 이러한 self-motion이 양 팔꿈치의 충돌로 이어질 수 있는데 본 논문에서는 영공간 제어를 활용하지 않고 로봇이 우선적으로 조작자의 양손을 먼저 따라가도록 하고 그 다음 로봇의 팔꿈치가 조작자의 팔꿈치의 위치를 따라가도록 하여 충돌을 예방하고 조금 더 조작자와 유사한 동작을 구현할 수 있도록 한다.

또한 로봇의 양 손에 임피던스 제어를 위한 작업 공간(task space) 질량-스프링-댐퍼 시스템을 가상으로 할당하여 임의의 외력이 들어와도 로봇의 양 손이 대응할 수 있는 임피던스 제어를 사용한다^[2]. 또한 EMG센서에서 얻게 되는 조작자 힘 정보를 이용하여 임피던스 제어 파라미터를 업데이트하고자 하는데, 이는 구현할 때 안정성 문제가 야기될 수 있다. 예를 들어 로봇의 팔이 몸통에서 멀어질수록 기구학적 특이점(singularity) 현상이 발생하게 되는데^[3], 이때 자코비안의 랭크(rank)가 떨어지면서^[4] 작업 공간 관성행렬(task space inertia)이 무한대로 커진다. 이때 EMG센서를 활용하여 힘 정보를 그대로 인가하게 되면 임피던스 파라미터가 무한대로 커진 작업 공간 관성행렬의 영향을 받아 로봇의 불안정성을 야기할 수 있다. Janelle^[1]는 EMG센서에서 얻은 8개의 값을 단순히 평균을 내어서 임피던스 파라미터 값으로 사용하였고, Simone Fani^[5]는 여러개의 EMG센서를 활용하여 관절-공간(joint space) 임피던스 파라미터를 모델링 한 후 자코비안 행렬을 이용하여 작업 공간(task space)으로 바꾸어 사용하였다. 하지만 로봇이 특이점에 가까운 상태에서 EMG센서를 활용하여 임피던스 제어를 수행한 사례는 찾기 힘들다.

따라서 본 논문에서는 로봇이 사람 팔의 위치정보와 힘 정보를 모방하여 최대한 사람의 팔과 유사하게 로봇이 작동하도록 하는 것을 목표로 한다. 하지만 로봇이 특이점에 가까워 진 상태에서 조작자의 팔에 힘을 주었을 시 로봇이 발산하는 문제가 있다. 따라서 EMG센서로 얻어지는 힘 정보 값을 관성행렬의 대각성분으로 나누어 임피던스 파라미터들에 대한 정규화를 수행하여 로봇이 특이점에 가까워져도 로봇이 발산하지 않고 동작을 구현할 수 있는 방법을 제안한다.

2. 배경 이론

2.1 로봇 동역학

본 논문에서는 양팔 로봇을 원격조종할 때 외란에 대응하기 쉬운 임피던스 제어기를 사용하였다. 외력이 작용하는 로봇의 작업 공간에서의 동역학 식은 아래와 같다^[6].

$\[ \Lambda \left(x\right)\ddot{x}+\mu \left(x,\dot{x}\right)\dot{x}+F_g\left(x\right)=J^{-T}\left(q\right){\tau }_c+F_{ext} \]$

(1)

Λ(x), $$ \mu \left(x,\dot{x}\right)\dot{x}$$, F_g(x), J, τ_c, F_ext는 순서대로 작업 공간 관성행렬, 코리올리힘, 중력, 자코비안 행렬, 토크입력, 양팔 로봇의 손에 인가되는 외력을 의미한다.

만약 로봇 손의 작업 공간 관성행렬을 Λ_d로 설정할 수 있다면 로봇의 손은 가상의 질량-스프링-댐퍼 시스템으로 모델링 할 수 있는데 이때 로봇의 손에 인가되는 외력은 다음과 같은 임피던스 제어법칙을 따라서 안정화될 수 있다.

$\[ {\Lambda }_d\left(\ddot{x_d}-\ddot{x}\right)+D_d\left(\dot{x_d}-\dot{x}\right)+K_d\left(x_d-x\right)=-F_{ext} \]$

(2)

여기서 Λ_d, D_d, K_d 는 각각 순서대로 양 손이 가져야하는 목표 관성행렬, 댐핑행렬, 탄성행렬이다. [Fig. 1]은 로봇의 양 손 을 질량-스프링-댐퍼 시스템으로 모델링 한 것을 그림으로 표현 한 것이다.

[Fig. 1]

Mass-spring-damper model for dual-arm manipulator

3. 임피던스 파라미터 업데이트

조작자의 힘 정보로부터 임피던스 제어 파라미터를 획득하기 위해, 근전도 센서를 조작자의 상완부에 착용하였다. 사용된 근전도 센서는 Thalmic Labs社의 MYO band를 사용하였으며, 이는 8채널의 전극으로 구성되어 있고 8bit의 분해능과 200Hz의 샘플링 속도를 갖는다. 측정 데이터는 최소-최대 정규화(Min-Max Normalization)를 사용하여 최소 스프링계수와 과 최대 스프링계수 사이의 값을 가진다. 이를 위해 8채널에서 각각의 채널별 신호를 50샘플씩(250 ms)을 사용하여 각 채널별 RMS (root mean squaring)값 얻고, 이를 8채널에 대해서 평균을 얻어 사용하였다.

여기서, x_r (t)는 8-채널의 RMS 평균 값이며, x_r,min 은 휴식 상태에서의 RMS 최솟값, x_r,max 상완에 최대 힘을 주어 얻은 RMS 최댓값이다. 또한 K_max와 K_min은 스프링 계수의 최대, 최솟값을 의미한다. 식 (5)을 통해 실시간 근전도 신호는 최소 및 최대 스프링 계수 사이의 스프링 계수로 매핑된다. 이렇게 계산된 근전도기반 스프링 계수 k_emg (t)를 가지고 댐핑 계수 d_emg (t)를 다음과 같은 비율로 설정한다.

또한, 근전도 센서로부터 얻어지는 스프링 계수 k_emg와 댐핑 계수 d_emg 값은 로봇 손의 위치에만 영향을 주고 회전에는 영향을 주지 않도록 아래와 같이 임피던스 스프링 및 댐핑 파라미터 행렬을 정의한다.

여기서 K_R,orn, K_L,orn, K_R,pos, K_L,pos는 오른손 방향, 왼손 방향, 오른손 위치, 왼손 위치 탄성행렬을 각각 나타내며, D_R,orn, D_L,orn, D_R,pos, D_L,pos는 오른손 방향, 왼손 방향, 오른손 위치, 왼손 위치 댐핑행렬을 각각 나타낸다. 단순히 위의 임피던스 파라미터를 그대로 사용할 수도 있지만 서론에서 언급하였듯이 작업공간 관성행렬이 기구학적 특이점에서 로봇의 불안정성을 야기할 수 있어 EMG센서로 부터 얻어지는 식 (7)과 같은 탄성행렬, 댐핑행렬을 작업공간 관성행렬의 각 축에 상응하는 대각성분으로 나누어 한번 더 정규화 과정을 거친다. 관성행렬은 양의 정부호 행렬(positive definite matrix) 성질을 가지고 있으므로 관성행렬의 대각 성분으로 나누는 연산이 가능하다. 이를 통해, 기구학적 특이점에 가까워지면 탄성행렬과 댐핑행렬이 작아지도록 만들 수 있다. 이를 EMG센서로 인한 임피던스 파라미터의 영향을 줄인다고 해석할 수 도 있는데, 이는 로봇이 특이점 상태에서 조작자의 팔에 힘을 주었을 때 무한대로 발산하는 관성행렬의 성분이 임피던스 파라미터에 주는 영향을 최소화 하기 위해 이와 같은 보수적인 방법을 사용한 것이다. 따라서 최종적으로 사용하게 되는 임피던스 파라미터는 아래 식과 같이 미리 정한 탄성행렬 K_c 및 댐핑행렬 D_c 에 작업공간 관성행렬 값으로 정규화된 근전도 센서기반 탄성행렬과 댐핑행렬을 더하여 다음과 같이 사용하게 된다.

여기서 미리 정한 탄성행렬 K_c 및 댐핑행렬 D_c는 식 (9)의 값을 사용한다.

4. 실험 및 결과

실험에 사용한 양팔 로봇은 [Fig. 2]와 같이 2-자유도를 갖는 허리와 7-자유도를 갖는 팔 2개, 총 16-자유도로 구성되어 있다. 실험 환경은 [Fig. 3]과 같이 사람의 오른팔 상완에 근전도 센서 1개, 그리고 4개의 Vive-tracker를 각각 사람의 양팔 손목과 팔꿈치에 부착하여 구성하였다. 양팔 로봇은 ROS-Gazebo를 이용하여 시뮬레이션으로 구현을 하였다.

[Fig. 2]

16-DOF Dual-arm Manipulator

[Fig. 3]

Master-slave representation of dual-arm manipulator

임피던스 제어 식 (4)에서 사용한 임피던스 파라미터 값들은 다음 식 (10)과 같다.

실험은 2개의 대조군으로 비교를 하였는데 첫 번째는 정규화하지 않은 임피던스 파라미터, 두 번째는 관성행렬로 정규화된 임피던스 파라미터를 사용했을 때, 로봇이 특이점에 가까워지는 상태인 상완에 힘을 최대한 준 상태로 팔을 앞으로 점점 뻗는 동작에서의 로봇의 상태변화를 관찰하였다.

[Fig. 4]은 반시계방향 순서대로 로봇 오른손의 x좌표, 관성행렬의 x성분, D_d(t), K_d(t) 값이다. 상완에 힘을 주었을 때부터 D_d(t), K_d(t) 값이 커졌으며 x좌표 값이 커질수록(0.9 m에 다다랐을 때) 관성행렬 값이 발산하는 모습을 볼 수 있다. 실제로 시뮬레이션 상에서도 [Fig. 5]의 (b)와 같이 로봇이 발산하는 모습을 볼 수 있었다.

[Fig. 4]

Simulation results with non-normalized impedance parameters

[Fig. 5]

Performance comparison between when using normalized impedance parameter and not

[Fig. 6]는 반시계방향 순서대로 로봇 오른손의 x좌표(빨강), 관성행렬의 x성분, D_d(t), K_d(t) 값이다. x좌표 값을 0.8~0.9 m 사이에서 주기적으로 변화시켜도 관성행렬 값은 발산하지 않고 안정적으로 업데이트되는 모습을 볼 수 있다. 추가적으로 x좌표 값이 커질수록 임피던스 파라미터 값들이 작아지는 모습을 또한 볼 수 있다.

[Fig. 6]

Simulation results with normalized impedance parameters

[Fig. 7]은 로봇이 박스를 잡는 위치를 특이점에 가깝게 하고 이때 정규화 한 임피던스 파라미터 값을 사용하여 로봇이 박스를 힘주어 잡고 옮기는 모습이다. 단순히 임피던스 제어만을 사용하면 박스가 핸드에서 미끄러져서 놓치는 경우가 있었지만 조작자의 팔에 힘을 주어 박스를 잡았을 때는 미끄러지지 않는다. 또한 특이점에 가까운 상태에서 힘을 주었음에도 불구하고 로봇이 발산하지 않고 안정적으로 박스를 잡고 옮길 수 있었다.

[Fig. 7]

Moving the box with a force on the operator’s arm when the robot is close to a singular configuration

5. 결 론

본 논문에서는 근전도센서와 Vive-tracker를 가지고 로봇을 조작할 때 근전도센서를 활용한 임피던스 파라미터 값을 그대로 사용하지 않고 작업공간 관성행렬로 정규화하여 사용하는 방법을 제안하였다. 정규화된 임피던스 파라미터를 사용한 결과 로봇이 특이점에 가까운 자세에서 근전도센서를 활용하여 로봇에 힘정보(임피던스 파라미터)를 인가하여도 로봇이 발산하지 않고 안정적인 모습을 보임을 시뮬레이션 그래프를 통해 확인하였다. 또한 시뮬레이션 상에서 힘 정보를 활용하여 특이점 위치에 가까운 박스를 잡고 옮겨보는 작업등을 할 수 있음을 확인하였다.

Acknowledgments

This work was supported in part by the National Research Foundation of Korea (NRF) grant funded by the Korea government (MSIT) (2019R1A2C1088375), and in part by the Technology Innovation Program funded by the Korean Ministry of Trade, industry and Energy (20001856), Republic of Korea

References

• J. P. Clark, G. Lentini, F. Barontini, M. G. Catalano, M. Bianchi, and M. K. O’Malley, “On the role of wearable haptics for force feedback in teleimpedance control for dual-arm rob otic teleoperation,” 2019 International Conference on Robotics and Automation (ICRA), Montreal, Canada, 2019. [https://doi.org/10.1109/ICRA.2019.8793652]
• F. Caccavale, P. Chiacchio, A. Marino, and L. Villani, “Six-DOF impedance Control of Dual-Arm Cooperative Manipulators, ” IEEE/ASME Transactions on Mechatronics, vol. 13, no. 5, Oct., 2008. [https://doi.org/10.1109/TMECH.2008.2002816]
• J. Park, “Impedance control using relative kinematics for the dual-arm manipulator” Ph.D. dissertation, Hanyang University, Ansan, South Korea, 2021, [Online], https://repository.hanyang.ac.kr/handle/20.500.11754/163641, .
• C. R. Carignan, “Trajector optimization for k inematically redundant arms,” Journal of Robotic Systems, vol. 8, no. 3, Apr., 1991. [https://doi.org/10.1002/rob.4620080206]
• S. Fani, S. Ciotti, M. G. Catalano, G. Grioli, A. Tognetti, G. Valenza, A. Ajoudani, and M. Bianchi, “Simplifying Telero botics: Wearability and Teleimpedance Improves Human-Robot Interactions in Teleo peration,” IEEE Robotics & Automation Magazine, vol. 25, no. 1, Mar., 2018. [https://doi.org/10.1109/MRA.2017.2741579]
• O. Khatib, “A unified approach for mo tion and force control of robot manipulators: The operational space formulation,” IEEE Journal on Robotics and Automation, vol. 3, no. 1, Feb., 1987. [https://doi.org/10.1109/JRA.1987.1087068]
• C. C. de Wit, B. Siciliano, and G. Bastin, “Inverse Dynamics Control,” Theory of Robot Control, 1st, Springer Science & Business Media, 2012, ch. 4, sec. 1, pp. 145-147.