범용 로봇팔과 모듈러 햅틱 컨트롤러를 사용한 수술 로봇 시스템 개발
© Korea Robotics Society. All rights reserved.
Abstract
This paper proposes a low-cost robotic surgery system composed of a general purpose robotic arm, an interface for daVinci surgical robot tools and a modular haptic controller utilizing smart actuators. The 7 degree of freedom (DOF) haptic controller is suspended in the air using the gravity compensation, and the 3D position and orientation of the controller endpoint is calculated from the joint readings and the forward kinematics of the haptic controller. Then the joint angles for a general purpose robotic arm is calculated using the analytic inverse kinematics so that that the tooltip reaches the target position through a small incision. Finally, the surgical tool wrist joints angles are calculated to make the tooltip correctly face the desired orientation. The suggested system is implemented and validated using the physical UR5e robotic arm.
Keywords:
Robotic Surgery System, General Purpose Manipulator, Low-cost Haptic Controller1. 서 론
의학과 공학기술의 발전으로 많은 수술장비들이 개발되었 고, 이로 인하여 내, 외과적 수술의 성공률은 비약적으로 상승 하였다. 현대에 이르러서는 기존과 같이 크게 절제하여 흉터 를 남기는 방법 대신 최소한으로 축소한 절개구를 통하여 기 구를 삽입하여 수술하는 방식이 개발되어, 수술의 성공 여부 에 추가하여 얼마나 흉터를 적게 남기는가 또한 의학계의 중 요한 이슈로 자리매김 하고 있다. 하지만 이러한 방법은 시술 난이도가 크게 증가하여 전문가의 숙련도에 의존하는 단점이 있어, 이를 해결하기 위하여 로봇 수술이 도입되고 있다.
대표적인 수술용 로봇으로는 미국 인튜이티스 서지컬(Intuitive Surgical) 사에서 개발된 다빈치 로봇 수술 시스템(da Vinci® Surgical System)이 있다. 이 로봇은 의사가 직접 도구를 잡고 수술하는 대신에 서전 콘솔(surgeon console)을 이용하여 수술하 는 방식으로, 인체 내부를 확대한 3D 영상을 보며 양손의 컨트롤 러를 조작하면 수술 로봇의 매니퓰레이터들이 컨트롤러의 움직 임을 그대로 따라 움직여 정교한 수술을 가능하게 해 준다[1,2].
하지만 기존 수술 로봇들은 가격이 매우 높고 설치에 넓은 공간을 필요로 하기에, 보급에 제약이 있어 대형 병원 등에서 만 사용되고 있는 한계점이 있다.
본 논문에서는 이러한 기존 로봇 수술 시스템의 문제를 해결하 기 위하여, 최근 빠른 보급을 보이고 있는 범용 로봇팔과 모듈러 햅틱 컨트롤러를 이용한 로봇 수술 시스템[Fig. 1]을 제안한다.
모듈러 액츄에이터들로 구성된 저가의 햅틱 컨트롤러는 현 재의 액츄에이터 위치들로부터 컨트롤러의 정기구학을 이용 하여 말단부의 3차원 위치와 방향을 얻어낼 수 있으며, 이 정보 와 로봇팔의 역기구학을 이용하여 범용 로봇팔에 장착된 수술 도구를 작은 절개구를 통하여 원하는 위치와 방향에 위치시킬 수 있도록 실시간으로 제어하여 로봇 수술을 수행하게 된다.
2. 모듈러 햅틱 컨트롤러
수술 로봇을 직관적으로 조작하기 위해서는, 3차원 공간상 에서 조작자의 손의 위치와 방향을 읽어들인 후 이에 대응되는 위치로 로봇을 움직이게 하는 방법이 일반적이다. 이를 위해서 일반적으로 [Fig. 2]와 같이 링크 구조를 가지는 6자유도 이상 의 컨트롤러를 사용하게 된다. 본 연구에서는 상용 컨트롤러 대신, 모듈러 액츄에이터와 3D 프린터를 이용하여 제작한 링 크를 사용하여 저가의 고자유도 햅틱 컨트롤러를 구현하였다.
2.1 모듈러 햅틱 컨트롤러의 구성
햅틱 컨트롤러는 조작자의 손의 3차원 위치와 방향을 읽을 수 있어야 하고, 피드백을 위하여 조작자의 손에 힘과 토크를 가할 수 있어야 한다. 링크 구조를 가지는 일반적인 햅틱 컨트 롤러의 경우 이를 위하여 각 관절마다 위치 센서와 액츄에이 터를 장착하여 이들 기능을 수행하게 된다[3]. 본 연구에서는 위치 센서와 모터, 제어기를 별도로 구성하는 대신 [Fig. 3]과 같이 모터, 감속기, 제어기, 센서, 인터페이스가 모두 통합된 스마트 액츄에이터 XM430-350-R과 XM540-270-R들을 사용 하여 컨트롤러의 관절에 사용하였다. 컨트롤러는 100 Hz의 속 도로 위치 정보를 읽어오고 토크를 갱신하게 된다.
관절 이외의 파츠들은 3D 프린터를 이용하여 가벼우면서 강도가 높은 Co-polyester 재질로 제작하였다. 컨트롤러는 총 7 자유도를 가지며, 어깨 부분과 손목 부분에 각각 3축이 직교하 도록 설계되어 컨트롤러 말단 부분이 특이점(singularity)의 영 향을 적게 받고 상하좌우로 자유롭게 이동할 수 있도록 하였 다. 컨트롤러의 전체 구성도는 [Fig. 4]와 같고, 컨트롤러의 D-H 파라미터는 [Table 1]과 같다.
2.2 모듈러 햅틱 컨트롤러의 제어
컨트롤러의 각 링크들의 길이를 d1, d2, d3, d4, d5, d6, d7이라 고 하고 각 관절의 각도를 θ1, θ2, θ3, θ4, θ5, θ6, θ7이라고 하면 원점으로부터 컨트롤러 말단부까지의 위치와 방향은 다음의 정기구학 식을 이용하여 얻을 수 있다
(1) |
조작자가 적은 힘으로 자유롭게 3차원 공간 상에서 컨트롤 러를 움직일 수 있게 하기 위하여, 스마트 액츄에이터의 토크 제어 모드와 토크 제한 위치 제어 모드를 사용하여 동적으로 중력을 보상하여 외력이 없을 경우 컨트롤러를 공중에 정지시 키도록 하였다. [Fig. 5]에서 컨트롤러의 중력 보상 기능과, 컨 트롤러를 사용한 다양한 위치와 각도 입력의 예를 볼 수 있다.
2.3 컨트롤러의 정밀도 및 조작성
컨트롤러는 조작자의 손의 위치와 방향을 정밀하게 인식할 수 있어야 하고, 조작자의 손에 적절한 힘과 토크를 가할 수 있 어야 한다. 반면 컨트롤러의 조작 저항이 클 경우, 사용자의 조 작 피로도를 야기할 수 있기 때문에 조작 저항은 낮을수록 좋 다. 본 논문에서 제안한 것과 같은 다관절식 컨트롤러의 경우 관절 정밀도가 같을 때 관절의 길이가 길어질수록 조작 위치 정밀도는 떨어지고 조작자의 손에 가할 수 있는 최대 힘은 감 소하게 되나, 반대로 조작 저항은 감소하게 된다. 즉 매니퓰레 이터의 적절한 길이 선정을 통하여 조작 정밀도, 최대 힘 피드 백과 조작 저항의 균형을 꾀할 수 있게 된다.
본 논문에서 사용한 스마트 액츄에이터의 경우 각도 정밀 도가 0.088도로서 [Table 1]의 D-H 파라미터를 사용할 경우 초 기 위치에서 약 0.62 mm의 위치 정밀도를 갖는다. 또한 어깨 부위 관절에 사용한 XM540-270-R 액츄에이터의 경우 최대 실속 토크 10.6 Nm을 가지는데, 초기 위치에서 수직 방향으로 40 N 이상의 피드백 힘을 가할 수 있기에, 햅틱 컨트롤러로 사 용하기에 충분한 정밀도와 힘을 가진다고 볼 수 있다.
마지막으로 컨트롤러의 조작 저항을 측정하기 위하여 다 음과 같은 실험을 수행하였다. 컨트롤러를 초기 상태에 놓은 후, X, Y, Z 축 각 방향으로 힘을 가하여 컨트롤러가 움직일때 까지의 최대 힘을 10회 반복하여 측정하여 통계를 낸 결과는 [Fig. 6]과 같다. 중력 방향과 직교한 왼쪽, 오른쪽, 전후 방향 의 경우 1.5 N 이하로 햅틱 컨트롤러로 사용하기에 무리없는 수준의 조작 저항이 측정되었다. 컨트롤러에 작용하는 중력 보상을 위하여 보다 고출력 액츄에이터를 사용한 수직 방향 의 경우 아래 방향으로는 평균 3 N, 위 방향으로는 4.3 N의 힘 이 컨트롤러를 움직이는 데에 필요하였다. 차후에는 컨트롤 러에 기계적인 중력 보상을 도입하여 수직 방향의 요구 토크 를 감소시키고 기어비가 낮은 액츄에이터를 사용하여 조작 저항을 더 줄이고자 한다.
3. 수술 도구 컨트롤러
수술로봇 제작에 있어서 기술적으로 가장 어려운 부분은 실제 체내에 삽입되는 수술 도구의 개발 및 제작이다. 따라서 본 연구에서는 이러한 수술 도구를 자체 개발하는 대신, 어댑 터를 사용하여 기존 널리 보급된 다빈치 수술 로봇의 상용 수 술도구를 재활용하는 방식을 택하였다.
3.1 수술 도구 어댑터
다빈치 로봇용 수술 도구는 말단 부분에 3자유도로 움직일 수 있는 관절을 가지며, 개폐 가능한 그리퍼가 장착되 어 있어 총 4자유도를 가진다. 수술 도구는 사용후 교체를 위하여 빠른 탈착이 가능한 마운트를 사용하여 로 봇 팔 부분과 연결되고, 여기에는 관절 부위와 케이블로 연결되어 있는 4개의 기계식 인터페이스가 포함된다.
이러한 수술도구를 결합하고 제어하기 위하여, [Fig. 7]과 같이 3D 프린터를 사용하여 다빈치 마운트에 호환되는 탈착 식 마운트를 제작하고, 스프링이 장착된 휠을 사용한 기계식 인터페이스를 구성하였다. 인터페이스를 구성하는 각 휠은 스 마트 액츄에이터에 연결하여 100 hz의 속도로 폐회로 위치 제 어가 가능하도록 하였다.
3.2 수술 도구 말단부의 제어
다빈치 로봇의 수술 도구는 4개의 와이어를 사용하여 총 4개 의 자유도[Table 2]를 제어하는데, 구조상 액츄에이터 간의 독립 성이 완벽히 보장되지 않고, 말단부가 pitch, yaw 방향으로 움직 이게 하는 두 와이어의 경우 서로 결합되어 움직이게 된다. 서로 결합된 값인 yaw, pitch의 관계를 나타내는 변수를 q1, q2라 할 때 말단부의 움직임에 따른 각 모터의 step 값 관계식은 다음과 같다.
(2) |
(3) |
(4) |
위의 식에서 n은 모터 ID, Input은 원하는 말단부 roll, pitch, yaw와 말단부 그리퍼 각도, a는 말단부 gain, b는 액츄에이터 gain, offset은 액츄에이터 옵셋, stepn은 액츄에이터의 스텝 수 인풋을 나타낸다. 구현된 말단부 제어기를 사용한 말단부 의 각 방향으로의 제어 예는 [Fig. 8]에서 볼 수 있다.
4. 범용 로봇팔의 제어
로봇팔 제어를 위해서는 각 관절의 각도로부터 그리퍼의 끝부분 좌표와 방향를 구하는 정기구학과, 반대로 그리퍼의 끝부분 좌표와 방향으로부터 각 관절의 각도를 구하는 역기구 학이 사용된다[4-6].
일반적으로 어깨와 손목부분에서 관절들이 직교하는 로봇 팔의 경우 역기구학을 쉽게 구할 수 있으나, 본 연구에서 사용 하는 협업용 로봇팔 UR5e의 관절에는 각각 위치 옵셋이 존재 하여 역기구학 계산에 어려움이 있다. 아래에서는 UR5e 로봇 의 오차가 없는 해석적인 정기구학과 역기구학 해를 얻는 과 정을 서술한다.
4.2 UR5e의 역기구학
그리퍼 끝 부분의 변환 T가 주어졌을 때 각 관절의 각도를 알기 위해서는 UR5e의 역기구학을 풀 필요가 있다[7,8]. 일반적 인 로봇팔의 경우 수치적인 방법으로 역기구학을 풀거나 자코 비안을 구하여 제어하는 경우가 많으나, 본 연구에서는 로봇 을 고속으로 정밀하게 제어하기 위하여 오차가 없는 해석적인 역기구학의 해를 구하여 사용하였다. 우선 변환 T로부터 어깨 위치부터 손목 위치까지의 변환 T′을 다음과 같이 구한다.
(6) |
그리고 T′의 상대 위치 (x',y',z')를 다음과 같이 정의할 경우 [Fig.10(a)]의 그림으로부터 다음과 같이 첫번째 조인트 각도 θ0를 구할 수 있다.
(7) |
(8) |
(9) |
(10) |
(11) |
베이스의 z축 회전각도 θ0를 구한 후에는 손목 위치의 투영 값으로부터 두번째 손목 조인트 각도 θ4를 다음과 같이 구할 수 있다.
(12) |
(13) |
(14) |
또한 식 (5)로부터 좌우변의 Y축이 같기 때문에 다음의 식 이 성립하고, 이로부터 θ5를 구할 수 있다.
(15) |
(16) |
(17) |
이제 앞에서 얻은 관절의 각도(θ0, θ4, θ5)을 식 (5)에 대입하 면 그림 [Fig. 10(b)]를 이용하여 아래의 식을 얻을 수 있다.
(18) |
(19) |
여기서 코사인 제2법칙을 사용하여 다음과 같이 θ2를 구할 수 있고
(20) |
(21) |
다시 코사인 제2법칙과 탄젠트 정의를 사용하여 [Fig. 10(b)]의 각도 γ와 ω를 구하여 θ1을 구할 수 있다.
(22) |
(23) |
(24) |
(25) |
(26) |
마지막으로 T3을 다음처럼 전개하여 θ3을 얻는다.
(27) |
(28) |
(29) |
결과적으로 얻어진 정기구학과 역기구학 해는 다양한 조인 트 위치를 사용하여 검증하였고, 모든 조인트 위치에서 오차 없이 올바른 해를 주는 것을 확인하였다.
4.3 제약조건 하에서의 UR5e 로봇팔의 제어
로봇수술의 흉터를 최소화하기 위해서는 [Fig. 11]과같이 로봇 팔에 장착된 수술 도구가 사전에 설정된 절개구를 지나 가야 한다. 이 제약조건으로 인하여 자유도 2가 감소하는데 시 스템의 총 자유도는 9이기에 여유 자유도가 발생하는데, 삽입 도구의 yaw변수를 고정하여 역기구학의 해가 단일하게 존재 하도록 하였다.
컨트롤러 말단의 원점으로부터의 상대 위치가 (rx, ry, rz) 이고 조작 배율이 kmag일 경우 기구 말단부위가 상대 위치를 축소하여 모방하게 할 수 있는 절개구로부터의 삽입 깊이 dinsert, 삽입 각도 ϕinsert과 θinsert는 다음과 같이 구할 수 있다.
(30) |
(31) |
(32) |
이 경우 로봇팔 말단부의 변환은 다음과 같다.
(33) |
UR5e 로봇의 실시간 제어에는 python-urx 리얼타임 인터페 이스를 사용하였고, 500 hz의 속도로 관절 위치와 힘-토크 센 서의 값을 읽고 속도 입력을 전달하였다.
4.4 수술 도구 말단의 반복 정밀도 계산.
다관절 로봇은 관절의 각도 오차의 누적으로 인하여 말단 부의 위치에 오차가 발생하게 된다. 본 연구에서 사용한 UR5e 의 경우 관절의 오차 범위가 주어지지 않고 말단부의 위치 반 복 정밀도만이 주어지기 때문에, 다음과 같은 과정을 통하여 수술 도구가 결합된 로봇 시스템의 수술도구 말단부 반복 정 밀도를 계산하였다.
우선 제공된 위치 반복 정밀도를 만족시키기 위한 UR5e의 관절 오차 한계를 구하기 위하여, 관절들의 최대 각도 오차를 emax이라고 가정하고 -emax ≤ ei ≤ emax의 오차를 갖는 관 절 각도들을 샘플링하였다. 관절 각도들을 UR5e의 정기구학 식 (5)에 대입하여 말단부의 위치를 얻고, 이들 위치의 분포로 부터 최대 각도 오차가 emax일 경우의 반복 정밀도를 구하여 스펙상의 반복 정밀도와 비교하였다. UR5e의 데이터 시트에 의하면 끝점의 최대 오차는 0.03 mm 이며, 이를 만족시키는 emax는 1.9 * 10-7이었다.
이제 수술 도구 말단의 반복 정밀도를 계산하기 위하여, 관 절 각도 오차 emax를 갖는 관절 값들을 샘플링한 후 다음 변환 을 사용하여 [Fig. 12]에 표기된 수술 도구 말단의 3차원 좌표 를 구하였다.
(34) |
결과적으로 수술 도구 말단의 이론적 반복 정밀도 값으로 0.043 mm를 얻을 수 있었다.
5. 실험 결과
본 연구에서 개발한 햅틱 컨트롤러와 수술 도구 말단 제어 기, UR5e의 역기구학을 사용한 제어기를 모두 통합하여 구현 한 결과, [Fig. 13]과 같이 작은 절개구를 통과한 로봇의 수술 도구의 말단 부위를 햅틱 인터페이스의 움직임에 따라 3차원 공간상의 임의의 위치와 방향으로 자유롭게 움직일 수 있는 것을 검증하였다.
개발된 시스템의 최대 레이턴시는 약 12 ms이고, 마스터 컨 트롤러의 이론적 위치 정밀도는 0.62 mm, 수술 도구 말단의 이 론적 반복 정밀도는 0.043 mm를 가진다.
6. 결 론
본 연구에서는 기존의 고가, 대형의 로봇 수술 시스템을 대 체하기 위하여, 최근 보급이 확대되고 있는 범용 로봇팔과 모 듈러 스마트 액츄에이터를 사용한 햅틱 컨트롤러를 이용한 수 술 로봇 시스템을 제안하였다. 입력받은 위치와 방향 정보에 따라, 범용 로봇팔과 로봇팔에 장착된 수술 도구 인터페이스 를 사용하여 작은 절개구를 통과하여 수술 도구 말단 부분을 직관적으로 자유롭게 움직이게 된다.
차후에는 슬레이브 로봇의 토크 센서를 활용하여 마스터 컨트롤러로 햅틱 피드백을 전달하고자 하고, 실제 수술 환경 에서 개발한 시스템을 검증하고자 한다.
사 사
이 논문은 부산대학교 기본연구지원사업(2년)에 의하여 연 구되었음.
References
- A. Park, G. Lee, F. J . Seagull, N. Meenaghan, and D. Dexter, “Patients Benefit while Surgeons Suffer: An Impeding Epidemic,” Journal of the American College of Surgeons, vol. 210, no. 3, pp. 306-313, Mar., 2010. [https://doi.org/10.1016/j.jamcollsurg.2009.10.017]
- D.-L. Chow, P. Xu, E. Tuna, S. Huang, M. C. Çavuşoğlu, and W. Newman, “Supervisory control of a DaVinci surgical robot,” 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vancouver, BC, Canada, pp. 5043-5049, 2017. [https://doi.org/10.1109/IROS.2017.8206389]
- J. J. M. Driessen, R. Featherstone, and A. E. Gkikakis, “An Actuator Design Criterion to Maximize Physical Balance Recovery,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 2829-2836, 2018. [https://doi.org/10.1109/IROS.2018.8593729]
- S. Yi, “Software Framework for an Intelligent Mobile Manipulation Robot,” 2018 International Conference on Information and Communication Technology Robotics (ICT-ROBOT), Busan, South Korea, pp. 1-4, 2018.
- T. Yamamoto, K. Terada, A. Ochiai, F. Saito, Y. Asahara, and K. Murase, “Development of the Research Platform of a Domestic Mobile Manipulator Utilized for International Competition and Field Test.,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 7675–7682, 2018. [https://doi.org/10.1109/IROS.2018.8593798]
- M. Safeea, R. Bearee, and P. Neto, “Reducing the computational complexity of mass-matrix calculation for high DOF robots,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 5614–5619, 2018. [https://doi.org/10.1109/IROS.2018.8593775]
- M. Hayashibe, N. Suzuki, M. Hashizume, Y. Kakeji, K. Konishi, S. Suzuki, and A. Hattori, “Preoperative planning system for surgical robotics setup with kinematics and haptics,” The International Journal of Medical Robotics and Computer Assisted Surgery, vol. 1, no. 3, pp 76-85, Jan., 2005, [https://doi.org/10.1002/rcs.18]
- K. P. Hawkins, Analytic Inverse Kinematics for the Universal Robots UR-5/UR-10 Arms, [Online], http://hdl.handle.net/1853/50782, Accessed: 09 10, 2019.
2008 서울대학교 기계항공공학부(학사)
2014 서울대학교 기계항공공학부(박사)
2017~현재 부산대학교 조교수
관심분야: 메커니즘 설계, 기구학 및 동역학 모델링, 의료 로봇