전자석 내장형 소프트 카테터 로봇 형상 예측 방법

1. 서 론

소프트 로봇은 전통적인 로봇과 달리 고무와 실리콘과 같이 유연하고 변형 가능한 재료로 구성된 로봇을 의미한다^[1-3]. 기존 로봇과 비교하였을 때, 소프트 로봇은 충돌 시 에너지를 흡수하여 손상을 방지하므로, 인간과의 상호작용이 필요한 환경에서 높은 안전성을 제공한다. 또한 소프트 로봇은 형상 변형에 한계가 적어, 혈관과 같은 비정형화 된 환경에서도 높은 적응력을 보이며 상황에 맞는 태스크를 수행할 수 있다^[4,5].

이러한 소프트 로봇의 우수한 인간-기계 상호적 특징들은 특히 의료분야에 소프트로봇을 적용시키려는 노력을 증진시키고 있다. 그 중에서도, 의료용기구 중 하나인 카테터는 의료환경에서 범용적으로 사용되고 특히 최소침습시술(Minimally Invasive Surgery, MIS)에 필수적인 장비이므로, 카테터에 소프트로봇 기술을 적용하는 연구가 최근 활발히 진행되고 있다^[6-9]. Dupont et al.은 동심튜브에 기반한 카테터를 선보여 MIS의 타당성을 입증했으며^[7], Carpi et al.은 자기력을 활용하여 카테터 끝 단의 비디오 카메라의 위치를 제어하는데 성공하였다^[8]. 이 외에도, Kim et al.은 강자성 카테터를 설계해 팬텀 맥관구조(phantom vasculature)모델에서 조향성을 입증했다^[9].

카테터는 혈관처럼 좁은 구간에서 환자에게 불편함을 줄여주고, 세기관지와 같이 복잡하게 분기된 곳에서 목표하는 방향으로 정확하게 이동할 수 있어야 한다. 또한 카테터는 높은 변형을 달성하여 신체 내부에서 고착되는 상황을 방지해야 하기에, 일반적으로 조향 가능한 카테터 연구는 조향성과 변형률 개선을 중점으로 이뤄진다. Haga et al.은 super-elastic alloy와 폴리머 간의 탄성 차이를 이용해 카테터 내 압력을 조절해가며 굽힘 각도를 제어하였다. 이 방법은 손쉽게 큰 변형을 가능케하지만, 변형 형상이 고정되어 조향성이 떨어진다^[10]. Ayvali et al.은 Shape Memory Alloy (SMA)를 카테터 내 등간격으로 위치시키고 SMA의 온도를 변화시켜가며 카테터의 형상을 제어하였다. 이 연구는 노드 별 제어를 통해 굽힘 형상을 다양화하였지만, 카테터의 변형을 키우기 위해선 고온이 가해져야 하는 제약이 존재한다^[11]. Kim et al.은 카테터에 magnetic particle을 섞어 자기장에 의해 굽어지는 로봇을 개발하였다. 이러한 구성은 연속적인 변형을 가능하게 하고 또한 발열이 발생하지 않지만, 카테터의 자화 방향과 세기가 고정되어 로봇의 특정 부분만을 제어하기는 어렵다^[9].

본 연구에서는 이러한 문제점들을 보완하기 위해 전자석이 삽입된 카테터를 구상하였다. 기존 방식의 제한점인 로봇 내부에 고정된 자화 방향을 전자석을 이용하여 능동적으로 자화 방향과 세기를 조절하여 카테터의 특정 부분만을 국소적으로 동작 가능케 하며, 이를 통해 카테터의 형상을 보다 다양화할 수 있다. 또한 카테터가 받는 자기력은 외부에서 가해지는 자기장의 세기에 결정되므로, 외부 시스템을 확장시킴으로써 카테터의 크기 및 발열의 한계를 극복할 수 있다. 이러한 연구는 특히 카테터의 삽입 및 조작 시 예상되는 로봇의 높은 자유도를 기반으로 정확도 높은 수술을 기대할 수 있으며, MIS실현을 가능케 한다.

본 논문의 챕터 2에서 이를 구현하기 위한 로봇 시스템을 설명하였고, 챕터 3과 4에선 각각 트래킹 알고리즘과 해석 및 시뮬레이션을 바탕으로 한 형상 예측 방법을 설명하였다. 5에선 실험결과를 나타냈으며, 챕터 6은 본 연구에 대한 결론을 내린다.

2. 시스템 모델링

2.1 시스템 구성

[Fig. 1(a)]은 전체 실험 구성을 나타낸다. 카메라는 850 mm 높이에서 카테터를 수직으로 촬영한다. [Fig. 1(b)]는 카테터와 영구자석을 포함한 Workspace를 나타낸다. 카테터 로봇 내에는 2개의 전자석이 25 mm간격으로 카테터와 평행하게 내장되어 있으며 전류 드라이버에 의해 자화 방향과 세기가 제어된다. 카테터는 Ecoflex-Gel (Smooth-On, Inc)로 제작하였다. 5개의 영구자석은 실험을 통해 카테터를 잘 변형시킬 수 있는 적절한 위치에 배치하였으며, 스텝 모터에 의해 회전하게 된다. 영구자석에 부착된 AprilTag는 영구자석의 각도를 측정한다. [Fig. 1(c)]는 모터와 전자석을 구동시키기 위한 드라이버와 MCU를 나타낸다. 컴퓨터의 메인 알고리즘은 MatLAB (r2023a, MathWorks Inc.)을 기반으로 이미지를 처리하고 전자석과 영구자석을 제어한다. 실험에 사용된 장비들의 상세한 스펙은 [Table 1]에 나타내었다.

[Fig. 1]

Experimental setup overview. (a) Experimental setup of the magnetic catheter robot and actuation system. Camera is positioned vertically above the robot. (b) Close-up view of the workspace. Permanent magnets are fixed with shaft of the step motors. The AprilTags are attached on the magnet for controlling the direction of permanent magnets. The base of the robot is fixed at the end of the workspace while the robot body is free to move. (c) Close-up view of the electric current control system for the electromagnets

[Table 1]

Specification of the experimental setup

2.2. 자기력 모델링

카테터 내 i번째 전자석들이 받는 자기장 B_i와 자기력 F_i는 Magnetic Dipole Model을 이용하여 다음과 같이 구할 수 있다^[12]. 모델 내 파라미터를 나타내기 위해 [Fig. 2]에 모델을 간소화하여 나타내었다.

$\[ \mathbf{X}=\left[\begin{array}{c}{\mathbf{B}}_{\mathbf{1}}\\ {\mathbf{B}}_{\mathbf{2}}\\ \mathbf{⋮}\\ {\mathbf{F}}_{\mathbf{1}}\\ {\mathbf{F}}_{\mathbf{2}}\\ \mathbf{⋮}\end{array}\right]=\mathbb{A}\mathbb{M} \]$

(1)

[Fig. 2]

Modeling parameters of the magnetic system

$$ \mathbb{A}$$는 Actuation map으로 아래와 식 (2)와 같이 구성 되어있다.

$\[ \mathbb{A}=\frac{{\mu }_0}{4\pi }\left[\begin{array}{cc}{\mathbb{I}}_{3\times t}& \mathbb{O}\\ \mathbb{O}& 3{\mathbb{I}}_{3\times t}\end{array}\right]\left[\begin{array}{cccc}{\mathbb{P}}_{\mathrm{1,1}}& {\mathbb{P}}_{\mathrm{2,1}}& \cdots & {\mathbb{P}}_{n,1}\\ {\mathbb{P}}_{\mathrm{1,2}}& {\mathbb{P}}_{2,2}& \cdots & {\mathbb{P}}_{n,2}\\ ⋮& ⋮& ⋮& ⋮\\ {\mathbb{P}}_{1,t}& {\mathbb{P}}_{2,t}& \cdots & {\mathbb{P}}_{n,t}\\ {\mathbb{F}}_{\mathrm{1,1}}& {\mathbb{F}}_{\mathrm{2,1}}& \cdots & {\mathbb{F}}_{n,1}\\ {\mathbb{F}}_{\mathrm{1,2}}& {\mathbb{F}}_{2,2}& \cdots & {\mathbb{F}}_{n,2}\\ ⋮& ⋮& ⋮& ⋮\\ {\mathbb{F}}_{1,t}& {\mathbb{F}}_{2,t}& \cdots & {\mathbb{F}}_{n,t}\end{array}\right] \]$

(2)

여기서 μ₀는 진공 투자율로 4π×10^-7 H/m을 가진다. $$ {\mathbb{I}}_{3\times t}$$는 행과 열의 크기가 3×t인 Identity Matrix를 의미한다. t는 제어하고자 하는 전자석의 개수를 나타내고, n은 시스템 내의 전체 자석 개수(영구자석과 전자석)를 나타낸다. 본 논문에서 사용된 시스템에서는 t = 2, n = 7이다. $$ {\mathbb{P}}_{i,j}$$와 $$ {\mathbb{F}}_{i,j}$$는 각각 i번째 자석이 j번째 자석에 가해주는 자기장, 자기력의 영향을 나타내며 식 (3)과 같이 구할 수 있다.

$\[ \begin{array}{c}{\mathbb{P}}_{i,j}=\frac{\left(3{\hat{\mathbf{p}}}_{i,j}{\hat{\mathbf{p}}}_{i,j}^{\mathrm{\top }}-\mathbb{I}\right)}{{‖{\mathbf{p}}_{i,j}‖}^3}\in {\mathbb{R}}^{3\times 3}\hfill \\ {\mathbb{F}}_{i,j}=\frac{{\mathbf{m}}_j{\hat{\mathbf{p}}}_{i,j}^{\mathrm{\top }}+{\hat{\mathbf{p}}}_{i,j}{\mathbf{m}}_j^{\mathrm{\top }}+\left({\hat{\mathbf{p}}}_{i,\dot{j}}{\mathbf{m}}_j\right)\left(\mathbb{I}-5{\hat{\mathbf{p}}}_{i,j}{\hat{\mathbf{p}}}_{i,j}^{\mathrm{\top }}\right)}{{\parallel {\mathbf{p}}_{i,j}\parallel }^4}\in {\mathbb{R}}^{3\times 3}\hfill \\ \left({\mathbb{P}}_{i,i}={\mathbb{F}}_{i,i}=\mathbb{O}\right)\hfill \end{array} \]$

(3)

p_i,j는 i번째 자석에서 j번째 자석까지의 위치벡터이며, $$ ‖{\mathbf{p}}_{i,j}‖$$와 $$ {\hat{\mathbf{p}}}_{i,j}$$는 각각 p_i,j의 L2 norm, unit vector를 나타낸다. 또한 m_j는 j번째 자석의 magnetic moment를 의미한다. $$ \mathbb{M}$$은 시스템 내 자석들의 magnetic moment를 나타내는 벡터로 $$ {\mathbb{M}}^{\mathrm{\top }}={\left[\begin{array}{cccc}{\mathbf{m}}_1^{\mathrm{\top }}& {\mathbf{m}}_2^{\mathrm{\top }}& \cdots & {\mathbf{m}}_n^{\mathrm{\top }}\end{array}\right]}^{\mathrm{\top }}$$이다.

3. 형상 인식 알고리즘

HOG, SIFT, LBP^[13,14]과 같이 흔히 사용되는 detecting 알고리즘은 이미지에서 특징을 추출하고 특징들의 분포에서 물체의 경계를 결정하는 방식으로 물체를 탐지하기에 많은 연산량이 요구된다. 따라서 우리는 코일 간 색 유사도를 이용한 간단한 알고리즘을 이용해 전자석의 위치와 방향을 검출하고, 카테터의 형상을 추정하였다.

카테터 내 전자석 위치를 알아내기 식 (4)와 같이 이미지의 한 지점(Point)에서의 색(C_pnt)과 전자석이라 예상되는 기준 색(C_ref)간의 유사도를 판단하여 전자석을 구별하였다.

실험에선 C_ref = [0.82, 0.50, 0.28], threshhold = 0.98을 사용하였다.

또한 전자석의 위치를 추적하는 동시에, 전자석들이 가까워졌을 때 위치 추정에 간섭이 발생하는 문제를 방지하고자 다음과 같은 식을 사용하였다.

x_t,i는 i시간에 추정한 t전자석의 위치이며 μ_t,i는 전자석 간 간섭을 예방하는 2차원 공분산이다. Coil_t,i는 i시간에 식 (4)를 이용해 판단한 전자석의 위치정보를 나타내며, 특정위치가 전자석이라 판단될 경우 1 아니면 0을 나타낸다. p_s는 두 전자석 간 중심을 이어주는 벡터이고, p_s,pnd는 p_s와 크기는 같고 방향은 수직한 벡터를 나타낸다. N (x_t, μ_t)는 2차원 정규분포를 나타내며, 전자석간 방향으로 홀쭉한 타원형 분포를 가지게 된다.

각 전자석이 가리키는 방향을 알아내기 위해 Coil집합의 공분산 행렬을 계산하였고, 이러한 공분산의 eigen vector를 전자석의 방향으로 나타내었다. [Fig. 3]은 본 연구에서 제시한 알고리즘으로 전자석의 위치와 방향을 추적한 예시이다.

[Fig. 3]

Captured image with the presented tracking method

4. 로봇 형상 예측 방법

로봇의 형상을 예측하기 위해 2장에서 제안한 자력 구동 모델과 초탄성 물질(Hyperelastic materials)의 유한요소해석 방법을 결합하였다. 시뮬레이션은 유한 요소법에 기반한 2D 모델 상에 구조해석만을 이용해 정상상태 해석하였고(COMSOL 6.1, COMSOL Multiphysics), 카테터가 받는 자기력과 토크는 식 (1)-(3)를 기반으로 매트랩에서 계산하였다. 이 두 프로그램 상의 해석 결과는 COMSOL– MatLAB Livelink를 통하여 연결되어 서로 결과를 주고받으면서 iterative하게 값을 수렴할 수 있도록 하였다. 초탄성 모델 중 Marechal et al.은 Ecoflex의 경우 Odgen model이 정확성이 가장 높다고 알렸기에, Body의 물성치는 [Table 2]를 참조하였다^[15].

[Table 2]

Odgen Model Parameters of body (The unit of parameter ‘μ’ is expressed in MPa)

자기력은 전자석의 위치에 따라 받는 힘이 달라지므로, 전자석의 위치와 자기력이 수렴할 때까지 iteration을 통해 정상상태 해석을 수행하였다. 또한 안정적인 수렴을 위해 Matlab으로 계산한 자기력에 Simple Moving Average를 적용하였다. 해석의 수렴은 iteration 별 자기력과 자기토크의 변화율과 전자석의 위치 및 방향 변화율에 근거하여 결정하였다. [Fig. 4]는 해석 결과의 예시를 나타낸다. 그림 내 중심을 잇는 파란 선은 카테터의 전체 형상을 간단히 나타낸 것으로, 두 전자석의 위치와 방향을 이용해 2차 Bézier 커브피팅(curve fitting)을 한 것이다.

[Fig. 4]

Example of the simulation. The grey surface shows feature of the transformed body. The blue line indicates the center line of robot predicted by the simulation represented as a Bézier curve

5. 실험과 검증

로봇 형상 예측 방법의 타당성을 검증하기 위해 실험을 진행하였다. 자석의 방향을 무작위로 세팅한 후 코일에 0.6 A이내의 랜덤전류를 보내주는 방식으로 실험을 진행하였고 총 80회 반복하였다. 실험과 동일한 조건으로 시뮬레이션을 하였으며 [Fig. 5]에 나타낸 것처럼 실험과 해석 결과를 커브피팅하여 유사성을 확인하였다.

[Fig. 5]

Samples of the comparison data with the simulation and the experiment. The red line is the result of experiment, and the blue line is the result of simulation. (a) shows the criteria of error. (b) and (c) show the samples with different shapes. (d) Overlay of the prediction from the simulation on the experimental result

[Fig. 5]는 검증 예시를 나타낸다. 임의의 전류와 자석 배치에서 로봇은 여러 형상으로 자유롭게 움직일 수 있음을 확인할 수 있었다. 또한 모델링을 기반한 해석과 실험 결과가 거의 일치하는 것을 볼 수 있었다.

이후 오차를 면밀히 분석하기 위해 로봇의 하단과 상단 전자석을 각각 EM₁, EM₂로 명칭하였다. 실험과 해석결과를 바탕으로, 각 전자석 간 거리와 방향 차이를 오차로 나타내었으며 [Fig. 5(a)]에 그 기준을 나타내었다.

[Fig. 6]은 각 전자석 별 거리 및 방향 오차의 히스토그램을 나타내고, [Table 3]는 실험 결과의 평균과 표준편차를 나타낸 것이다. EM₁이 EM₂보다 오차의 평균과 표준편차가 작은 것을 확인할 수 있는데, 이는 전자석에 폴리머가 불균일하게 접착되어 인식 성능이 낮아졌기에 발생했을 것이라 추측된다.

[Fig. 6]

Histogram of the distance and direction errors

[Table 3]

Summary of the experiment result. Mean errors were computed by absolute deviation

6. 결 론

의료환경에서 소프트 로봇을 적용시키려는 노력은 꾸준히 증대되고 있다. 본 논문에서는 특히 의료용 카테터의 조향성을 보완한 전자석 내장형 소프트 로봇을 소개하였다. 로봇은 외부 영구자석의 방향과 내부 전자석의 전류를 제어하여 구동시킬 수 있었다. Magnetic Dipole 모델을 이용해 카테터가 받는 힘과 토크를 모델링할 수 있었으며, 모델링의 타당성은 모델 기반 해석과 실험과의 비교를 통해 입증할 수 있었다.

이러한 방법은 특정 부분만 제어가능케 해 높은 자유도를 가질 수 있다. 하지만 시스템을 확장할수록 이러한 자유도를 확보하기 위해선 액추에이터의 개수가 배로 증가하게 된다. 그렇기에 로봇 형상 최적화 및 영구자석 배치 최적화 등을 통해 task에 맞는 적절한 로봇을 설계하여, 시스템의 복잡성을 줄여나가는 노력이 필요할 것이다.

Acknowledgments

This work was supported by a 2-Year Research Grant of Pusan National University

References

• C. Lee, M. Kim, Y. J. Kim, N. Hong, S. Ryu, H. J. Kim, and S. Kim, “Soft robot review,” International Journal of Control, Automation and Systems, vol. 15, pp. 3-15, Jan., 2017. [https://doi.org/10.1007/s12555-016-0462-3]
• A. Chen. R. Yin, L. Cao, C. Yuan, H. K. Ding, and W. J. Zhang, “Soft robotics: Definition and research issues,” 2017 24th IEEE international conference on mechatronics and machine vision in practice (M2VIP), Auckland, New Zealand, pp. 366-370, 2017. [https://doi.org/10.1109/M2VIP.2017.8267170]
• D. Rus and M. T. Tolley, “Design, fabrication and control of soft robots,” Nature, vol. 521, no. 7553, pp. 467-475, May, 2015. [https://doi.org/10.1038/nature14543]
• M. Cianchetti, C. Laschi, A. Menciassi, and P. Dario, “Biomedical applications of soft robotics,” Nature Reviews Materials, vol. 3, no. 6, pp. 143-153, May, 2018. [https://doi.org/10.1038/s41578-018-0022-y]
• P. Polygerinos, Z. Wang, K. C. Galloway, R. J. Wood, and C. J. Walsh, “Soft robotic glove for combined assistance and at-home rehabilitation,” Robotics and Autonomous Systems, vol. 73, pp. 135-143, Nov., 2015. [https://doi.org/10.1016/j.robot.2014.08.014]
• A. Ali, D. H. Plettenburg, and P. Breedveld, “Steerable catheters in cardiology: Classifying steerability and assessing future challenges,” IEEE Transactions on Biomedical Engineering, vol. 63, no. 4, pp. 679-693, Apr., 2016. [https://doi.org/10.1109/TBME.2016.2525785]
• P. E. Dupont, J. Lock, B. Itkowitz, and E. Butler, “Design and control of concentric-tube robots,” IEEE Transactions on Robotics, vol. 26, no. 2, pp. 209-225, Apr., 2010. [https://doi.org/10.1109/TRO.2009.2035740]
• F. Carpi and C. Pappone, “Stereotaxis Niobe® magnetic navigation system for endocardial catheter ablation and gastrointestinal capsule endoscopy,” Expert review of medical devices, vol. 6, no. 5, pp. 487-498, Jan., 2014. [https://doi.org/10.1586/erd.09.32]
• Y. Kim, G. A. Parada, S. Liu, and X. Zhao, “Ferromagnetic soft continuum robots,” Science Robotics, vol. 4, no. 33, Aug., 2019. [https://doi.org/10.1126/scirobotics.aax7329]
• Y. Haga, Y. Muyari, T. Mineta, T. Matsunaga, H. Akahori, and M. Esashi, “Small diameter hydraulic active bending catheter using laser processed super elastic alloy and silicone rubber tube,” 2005 3rd IEEE/EMBS Special Topic Conference on Microtechnology in Medicine and Biology, Oahu, HI, USA, pp. 245-248, 2005. [https://doi.org/10.1109/MMB.2005.1548439]
• E. Ayvali, C.-P. Liang, M. Ho, Y. Chen, and J. P. Desai, “Towards a discretely actuated steerable cannula for diagnostic and therapeutic procedures,” The International journal of robotics research, vol. 31, no. 5, pp. 588-603, Apr., 2012. [https://doi.org/10.1177/0278364912442429]
• J. J. Abbott, E. Diller, and A. J. Petruska, “Magnetic Methods in Robotics,” Annual Review of Control, Robotics, and Autonomous Systems, vol. 3, no. 1, pp. 57-90, May, 2020. [https://doi.org/10.1146/annurev-control-081219-082713]
• H. Yang, L. Shao, F. Zheng, L. Wang, and Z. Song, “Recent advances and trends in visual tracking: A review,” Neurocomputing, vol. 74, no. 18, pp. 3823-3831, Nov., 2011. [https://doi.org/10.1016/j.neucom.2011.07.024]
• P. P. Gundewar and H. K. Abhyankar, “A review on an obstacle detection in navigation of visually impaired,” International Organization of Scientific Research Journal of Engineering (IOSRJEN), vol. 3, no. 1, pp. 01-06, Jan., 2013, [online], http://iosrjen.org/Papers/vol3_issue1%20(part-2)/A03120106.pdf, .
• L. Marechal, P. Balland, L. Lindenroth, F. Petrou, C. Kontovounisios, and F. Bello, “Toward a common framework and database of materials for soft robotics,” Soft robotics, vol. 8, no. 3, pp. 284-297, Jun., 2021. [https://doi.org/10.1089/soro.2019.0115]