척추 바늘 삽입술 시뮬레이터 개발을 위한 인공지능 기반 척추 CT 이미지 자동분할 및 햅틱 렌더링

1. 서 론

수술 도구와 이미징 기술의 발달로 척추 수술 분야에서도 개복수술(open surgery) 대신 내시경 척추수술(Endoscopic spine surgery)이 활발히 이용되는 추세이다. 내시경 척추수술은 절개 부위, 근육 손상, 환자의 혈액 손실을 최소화 하기 때문에, 개복수술에 비해 환자의 회복이 빠르고, 흉터가 적게 남아 미용적인 측면에서 또한 장점을 가지고 있다^[1-3].

내시경 척추수술에서 가장 중요하고 어려운 과정은 내시경을 정확하게 위치시키는 것이다. 예를들어 내시경 척추 수술의 경우, 수술자는 수술 전 환자의 MRI 이미지나 CT 이미지를 이용해 환부의 위치와 내시경 삽입 위치를 파악 하고, 내시경 삽입에 앞서 가이드 바늘(guide needle)의 끝이 Kambin’s triangle에 위치 할 수 있도록 바늘 삽입을 수행한다[Fig. 1]. 내시경은 가이드 바늘을 따라 삽입이 되므로, 가이드 바늘의 정확한 삽입이 내시경의 위치를 결정한다^[3].

[Fig. 1]

Schematic explanation of endoscopic discectomy: (a) guide needle insertion, (b) Cannula insertion, and (c) guide needle extraction

가이드 바늘의 정확한 삽입을 위해 수술 중 C-arm을 이용하는 방법이 있다^[2]. CT 이미지를 통해 바늘의 위치와 환부를 확인 할 수 있기 때문에, 바늘 삽입의 정확도 및 안전성 향상을 기대 할 수 있다. 하지만 CT를 사용 할 경우 환자와 수술자에게 방사능 피폭의 문제를 야기할 수 있다. 특히 여러 건의 수술을 수행해야 하는 수술자의 경우 반복적인 방사능 노출에 위험이 있기 때문에, C-arm의 활용 횟수를 최소화 하여야 한다^[4,5]. 따라서 수술의 정밀도를 높이고, 방사능 노출을 최소화 하기 위해 수술자의 술기 향상을 위한 수술 트레이닝 및 이를 위한 시뮬레이터의 개발이 필요하다.

척추수술을 위한 햅틱 시뮬레이터는 활발하게 연구되어 왔으며[Table 1], 환자의 뼈 모양을 증강현실(augmented reality)에서 혹은 가상현실(virtual reality)에서 구현하는 방식이 적용 되었다^[6-11]. 이러한 시각화를 위해서는 환자의 CT 데이터에서 척추 뼈를 분리하는 이미지 분할(image segmentation)이 필수적이다. 그러나 기존에 연구된 논문들에서는 이미지 분할을 위해 특정 소프트웨어를 사용하거나 의사가 직접 개입하는 수동적인 분할(manual segmentation) 방법을 사용하였다. 수동적인 분할 방법의 경우 한 명의 환자 데이터의 분할을 위해, 적게는 수십, 많게는 수백장의 이미지에서 뼈의 모양을 직접 추출해야 하므로 많은 시간이 소모된다는 단점이 있다.

[Table 1]

List of spinal simulator

기존에 개발된 햅틱 시뮬레이터의 또 다른 한계점은 바늘과 조직의 상호작용력의 구현을 위해 사용된 모델이 부정확하다는 점이다. Wucherer et al.이 제시한 방법의 경우 피부와 뼈에서 작용하는 힘만을 구현하였다^[10]. Ra et al.이 제시한 방법에서는 피부, 지방, 근육, 뼈를 구분하여 힘을 구현하였지만 마찰력 모델이 적용되지 않았다는 단점이 있다^[11].

따라서 본 논문에서는 새로운 환자의 CT 데이터가 주어졌을 때, 자동으로 척추뼈와 피부를 분리하는 이미지 분할 방법과, 바늘과 조직 사이의 마찰력 모델을 포함한 시뮬레이터를 제시한다. CT에서의 척추뼈 분할의 경우 딥러닝을 이용한 이미지 분할법이 기존의 머신러닝 방법에 비해 더 좋은 분할 정밀도를 보였다는 것이 연구 된 바가 있다^[12,13]. 따라서 딥러닝 네트워크 중 의료 이미지 분할에 특화된 U-net을 이용한 척추뼈 분할을 적용하였다^[14]. 바늘과 조직 상호작용의 경우 Okamura et al.이 제시한 연조직 내에서의 바늘 힘 모델링 방법을 이용하여 바늘이 피부 외벽을 뚫는 힘(puncture force)과 마찰력을 구현하였다^[15].

본 논문의 이후 구성은 다음과 같다. 2절에서는 환자의 CT 이미지에서 척추뼈와 피부를 분할하는 방법에 대해 논하고, 분리된 이미지를 활용한 햅틱 시뮬레이터의 구현방법을 설명한다. 3절에서는 제시된 척추 뼈 분할 방법의 정확도를 측정하고 시뮬레이터의 힘 렌더링 결과에 대해 논의한다. 마지막으로 4절에서 결론에 대하여 논한다.

2. 방 법

본 논문에서 제시하는 방법의 개관은 [Fig. 2]와 같다. 척추 질환이 발병한 환자의 CT 데이터를 획득 한 뒤, 딥러닝(deep learning) 기반의 이미지 분할 네트워크를 통해 환자의 뼈 이미지를 분할 한다. 분할된 환자의 뼈와 CT 데이터를 기반으로 가상의 환경(virtual reality)에 환자의 데이터를 3차원으로 복원 한다. 복원된 환자의 데이터에 바늘을 삽입하는 햅틱 시뮬레이션을 수행하고, 마지막으로 기록된 바늘의 위치를 평가하게 된다.

[Fig. 2]

Overview of the proposed simulation method

2.1 딥러닝 기반의 CT 이미지 분할

학습과 3차원 복원에 쓰일 CT 데이터는 CSI 2014 Workshop에서 공개한 데이터로, 총 10명의 환자의 척추 CT를 포함하고 있다^[16]. CT 이미지의 평면 크기는 512 x 512 이며, 깊이 방향으로의 크기는 환자마다 상이하지만 평균적으로 500장이다. 이미지의 픽셀 해상도는 평면 이미지에서 0.31- 0.45 mm이며, 깊이 방향으로는 1 mm이다. 또한 허리뼈(lumbar vertebrae)를 분할한 이미지 마스크를 제공한다.

CT 이미지상에서 허리뼈의 분할을 위해 2차원 U-net 딥러닝 네트워크를 사용하였다. U-net은 다른 딥러닝 네트워크와 비교 하였을 때 척추 분할 정확도가 가장 높은 것으로 알려져 있다^[17,18]. 이 네트워크는 512 × 512 × 1의 평면 이미지를 입력으로 받아, 512 x 512 x 2의 분할 이미지를 출력한다. 출력 이미지에서 깊이는 척추뼈인 부분과 척추뼈가 아닌 부분의 클래스를 의미한다.

네트워크의 학습은 Python 기반의 Keras 딥러닝 프레임에서 이루어 졌다. 학습과 추론에는 1장의 GPU를 이용하였으며, 이때 활용된 GPU는 GTX 1080Ti (NVIDIA, USA) 이다. 학습에서 배치 사이즈(batch size)는 5로 설정하였으며, 아담 옵티마이저(adam optimizer)의 학습 비율(learning rate)은 0.001로 설정하였다. 마지막으로 모델의 손실함수(loss function)은 Binary cross-entropy를 이용하였다.

10명의 CT 데이터 중, 5명의 CT 데이터를 학습에 사용 하였으며, 이 때 평면데이터의 개수는 2852장이다. 5명의 학습 데이터 중, 1명의 데이터를 validation 데이터로 설정 하였으며, validation에서 가장 낮은 손실값을 갖는 모델을 이용하였다. 이때의 손실값은 0.0035로 계산되었다. 하나의 epoch를 위해 소모된 시간은 335초 였으며, 총 학습에는 14시간이 소모되었다.

환자의 피부 경계는 CT 이미지를 임계값을 이용한 이진화(binarize)를 통해 진행된다[Fig. 3]. 이미지의 이진화는 오츠 방법(Otsu method)를 통해 전역 임계값을 계산한 뒤 수행 되었다[Fig. 3(b)]. 이진화 된 이미지에서 경계 검출(boundary detection)을 통해 획득된 경계 중, 가장 길이가 긴 경계를 검출한다[Fig. 3(c)]. 그 후 사용자가 입력한 등 방향 정보를 이용하여 가장 바깥쪽의 경계를 추출 하게 된다[Fig. 3(d)].

[Fig. 3]

Process of skin boundary extraction: (a) CT image, (b) after thresholding, (c) longest contour extraction, and (d) skin boundary extraction

2.2 햅틱 시뮬레이션 환경

3차원으로 구현된 가상 환경에서 바늘의 삽입력을 구현하기 위해 Phantom desktop (3Dsystems, USA) 장비를 이용한다. 해당 장비의 작업 공간은 160 × 120 × 120 mm이며, 0.023 mm의 위치 해상도를 갖는다. 또한 최대 힘 출력은 7.9 N이고, 6 자유도의 위치 정보와 3자유도의 힘 출력이 가능한 장비이다.

OpenGL과 Chai3D를 이용하여 환자의 CT 이미지에서 추출된 뼈와 피부를 3차원으로 시각화 한다. 분할된 뼈와 피부 이미지를 각각 다른 오브젝트로 설정 한 뒤, 각 오브젝트를 등밀도면 물질(Isosurface material)로 설정한다. 뼈의 경우 최대 강성을 갖도록, 점도는 0이 되도록 설정한다.

바늘 삽입시 실제 수술과 유사한 환경을 만들기 위해, 바늘이 가해지는 힘을 재현하는 힘 렌더링(force rendering) 알고리즘이 요구된다. 사람 피부와 같은 연조직에 바늘을 삽입할 때 나타나는 바늘 깊이-힘 프로파일은[Fig. 4]과 같다^[15]. 바늘이 처음 조직의 바깥 부분을 뚫기 전 힘이 증가하고, 뚫는 순간 힘의 정점이 나타나는데 이 값을 최대 관통력(maximum puncture force) 라고 한다. 이 후 바늘이 조직 내에 삽입 되었을 때에는 조직 내부를 자르는 절삭력(cutting force)과 마찰력(friction force)이 바늘의 삽입 방향으로 작용하게 된다^[15].

[Fig. 4]

Typical force profile during the needle insertion into soft tissue

연조직-바늘 힘 모델을 적용하였을 때, 바늘의 축방향으로 작용하는 힘은 바늘이 조직의 표면부를 관통하기 전과 후로 구분하여 모델링 한다. 우선[Fig. 5(a)]와 같이 바늘이 피부의 표면을 관통하기 전에는 바늘과 피부의 접촉점(proxy point)과 실제 햅틱 끝점(haptic endpoint) 사이의 거리에 비례 하고, 이 힘이 특정 임계값(f_max)을 넘어갈 경우 바늘과 접촉한 피부 voxel을 제거하여 접촉점과 햅틱 끝점을 일치하게 만들며, 이때에는 힘이 0이 되도록 한다.

$\[ {\mathrm{F}}_{\mathrm{P}}=\left\{\begin{array}{cc}\mathrm{m}\mathrm{i}\mathrm{n}\left(a_1\left|{\overrightarrow{x}}_p-{\overrightarrow{x}}_e\right|,f_{\mathrm{m}\mathrm{a}\mathrm{x}}\right),& proxy contact\\ 0,& otherwise\end{array}\right. \]$

(1)

[Fig. 5]

Force rendering for the needle insertion simulation (a) before tissue penetration, (b) after the penetration

여기서 a₁은 조직 관통 비례 상수, $$ {\overrightarrow{x}}_p$$는 피부에 위치한 프록시 포인트, $$ {\overrightarrow{x}}_e$$는 햅틱의 끝점, 그리고 f_max는 최대 관통력을 나타낸다.

바늘의 피부 관통 순간, 관통되는 피부점은 $$ {\overrightarrow{x}}_s$$로 지정이 되며, 그때의 바늘 삽입 방향을 연장하여 삽입 가이드 라인(insertion guide line)으로 설정한다. 실제 바늘이 어느정도 삽입된 후에는 조직의 강성에 의해 바늘의 방향을 바꾸기 어렵기 때문에 시뮬레이션 과정에서도 한번 바늘이 삽입되면 이 삽입 가이드 라인을 따라서 바늘을 삽입하도록 한다.

조직 내부에서의 마찰력은 Karnopp friction model을 이용하여 구현하였다^[15].

(2)

여기에서 f_fric은 마찰력, f_a는 가해지는 f_s힘, 는 스틱션 힘(Stiction force), f_c는 쿨롱 힘(Coulomb force), v는 햅틱 끝점의 속력, δ_v는, 그리고 b_v는 점성 마찰력(viscous friction)을 나타낸다. 마찰력은 삽입된 바늘의 깊이에 비례하기 때문에, 최종적인 (2)를 통해 계산된 마찰력에 바늘의 길이를 곱하여 구한다. 이때 마찰력의 방향은 바늘의 축방향과 일치하도록 한다[Fig. 5(b)].

$\[ {\mathrm{F}}_{\mathrm{f}\mathrm{r}\mathrm{i}\mathrm{c}}=f_{fric}\left|{\overrightarrow{x}}_s-{\overrightarrow{x}}_e\right| \]$

(3)

마지막으로 바늘의 끝점이, 피부를 관통했을 때 형성된 삽입 가이드 라인을 따라가게 하기 위한 F_guide는 다음과 같이 구현한다.

$\[ F_{guide}=f_{guide}{l}_{guide}\left|{\overrightarrow{x}}_s-{\overrightarrow{x}}_e\right| \]$

(4)

여기서 f_guide는 상수, 그리고 l_guide는 햅틱 끝점에서 가이드 라인까지의 최단 거리를 나타낸다.

최종적으로 시뮬레이션 시에 바늘의 위치와 방향을 기록한 뒤 CT 데이터에 바늘의 이동 경로를 표시하고, 최종 바늘 위치를 표시한다. 이를 통해 바늘 삽입에서 소요된 시간, 바늘 끝점의 위치 정밀도, 그리고 바늘 방향의 균일성을 평가 한다.

3. 결 과

딥러닝 네트워크를 통해 얻어진 뼈 분할 이미지는 [Fig. 6]와 같다. CT 이미지 원본에서 뼈의 일부분만 보이는 불연속적인 뼈 이미지에서 분할 정확도가 특히 감소하는 것을 확인하였다. 정량적인 분석을 위해 Pixel accuracy와 IoU (intersection over union)를 이용하여 총 10명의 CT 데이터 중, 학습에 쓰이지 않은 5개의 테스트 데이터의 정량적인 분석 결과는 [Table 2]와 같다. Pixel accuracy의 경우 평균 93%로, IoU는 88%로 계산되었다. 또한 1장의 이미지를 분할하는데 소요되는 추론 시간은 평균 43.9 ± 5.5 ms로 측정 되었으며, 500장의 이미지(1명의 환자)를 분할하는 추론 시간은 21.9 s로 측정되었다.

[Fig. 6]

CT image (first column), bone segment from ground truth (second column) and from network output (third column)

[Table 2]

Result of segmentation accuracy

딥러닝 네트워크를 통해 얻어진 뼈 분할 이미지를 3차원 복원한 예는 [Fig. 7(a)]와 같다. 바늘과 피부가 접촉 할 경우 [Fig. 7(b)]와 같이 피부와 햅틱 끝점이 접촉한 voxel이 제거되어 구멍이 생기는 것을 확인 할 수 있다. 바늘 삽입시 바늘의 뱡향과 일치하는 방향으로 생기는 힘의 프로파일은 [Fig. 8]과 같다. 햅틱의 끝점이 피부와 닿는 순간부터 힘이 증가하게 되며, 힘이 f_max에 이르게 되면 피부 voxel이 제거되어 햅틱의 끝점이 피부를 관통하게 된다(f_max = 1N). 피부 관통 후, 마찰력이 작용하며 이때 급격한 힘의 감소가 나타나는 것을 확인하였다. 그리고 바늘의 삽입 깊이가 늘어남에 따라 마찰력이 증가하는 것을 확인 하였다.

[Fig. 7]

Haptic rendering results: (a) bone rendering, (b) during needle insertion, and (c) after needle extraction

[Fig. 8]

Force rendering during needle insertion

4. 결 론

기존에 개발된 척추 시뮬레이션 장비들은 CT 이미지에서 뼈의 이미지를 분할하기 위해 수동적인 분할 방법을 사용하거나 특정 소프트웨어를 이용해야만 했다. 이 경우 새로운 환자의 CT 데이터가 수집 되었을 때, 다시 뼈 이미지의 분할을 수행해야 하는 문제점이 있었다. 이를 해결하기 위해 딥러닝 분할법을 이용하여 CT 데이터에서 자동으로 뼈를 분할하는 방법을 제시 하였다. 또한 바늘 삽입시에 수술자가 느끼는 힘을 기존의 햅틱 시뮬레이터 보다 정확하게 구현하기 위하여, 바늘-연조직 상호 작용 모델을 이용하였다. 그 결과 바늘이 피부를 처음 관통하는 순간 힘이 감소하는 puncture force를 구현할 수 있었다. 논문에 제시된 시뮬레이터 이용 할 경우, 수술 전 환자의 CT 데이터를 이용하여 바늘 삽입 시뮬레이션을 할 수 있으며, 이를 이용한 수술 전 계획에도 도움이 될 것으로 기대한다.

다만 본 연구를 위해 사용한 햅틱 장치의 힘 자유도가 3축이었기 때문에, 바늘 삽입시 작용하는 토크를 구현하지 못했다는 단점이 있다. 또한 힘 구현에 필요한 상수들 역시 실제 사람의 데이터를 활용하지 못하였고, 조직과 바늘의 변형을 고려하지 못했다는 한계가 있다. 더 정밀한 햅틱 시뮬레이션을 위해 동물 ex-vivo 실험을 통해 힘 구현에 쓰이는 상수들의 측정과 실제 수술 경험이 있는 수술자의 학습 곡선을 조사하는 것이 추후 연구 방향으로 남아있다.

Acknowledgments

Industrial Technology Innovation Program (No. 10048358 and 20009396) funded by the Ministry of Trade, Industry Energy (MI, South Korea)

References

• K. H. Fuchs, “Minimally invasive surgery,” Endoscopy, vol. 34, no. 2, pp. 154-159, 2002. [https://doi.org/10.1055/s-2002-19857]
• G. Choi, C. S. Pophale, B. Patel, and P. Uniyal, “Endoscopic spine surgery,” Journal of Korean Neurosurgical Society, vol. 60, no. 5, pp. 485-497, 2017. [https://doi.org/10.3340/jkns.2017.0203.004]
• R. Assaker, R. Nicolas, P. Bruno, and P. L. Jean, “Image-guided endoscopic spine surgery: Part II: clinical applications,” Spine, vol. 26, no. 15, pp. 1711-1718, 2001, [Online], https://journals.lww.com/spinejournal/Abstract/2001/08010/Image_Guided_Endoscopic_Spine_Surgery__Part_II_.16.aspx, . [https://doi.org/10.1097/00007632-200108010-00016]
• A. F. Cristante, F. Barbieri, A. A. Rodrigues da Silva, and J. C. Dellamano, “Radiation exposure during spine surgery using C-ARM fluoroscopy,” Acta ortopedica brasileira, vol. 27, no. 1, pp. 46-49, 2019. [https://doi.org/10.1590/1413-785220192701172722]
• K. Lee, K. M. Lee, M. S. Park, B. Lee, D. G. Kwon, and C. Y. Chung, “Measurements of surgeons’ exposure to ionizing radiation dose during intraoperative use of C-arm fluoroscopy,” Spine, vol. 37, no. 14, pp. 1240-1244, 2012. [https://doi.org/10.1097/BRS.0b013e31824589d5]
• E. Archavlis, E. Schwandt, M. Kosterhon, A. Gutenberg, P. Ulrich, A. Nimer, A. Giese, and S. R. Kantelhardt, “A modified microsurgical endoscopic-assisted transpedicular corpectomy of the thoracic spine based on virtual 3-dimensional planning,” World neurosurgery, vol. 91, pp. 424-433, 2016. [https://doi.org/10.1016/j.wneu.2016.04.043]
• Z. Hu, X. Li, J. Cui, X. He, C. Li, Y. Han, J. Pan, M. Yang, J. Tan, and L. Li, “Significance of preoperative planning software for puncture and channel establishment in percutaneous endoscopic lumbar DISCECTOMY: a study of 40 cases,” International Journal of Surgery, vol. 41, pp. 97-103, 2017. [https://doi.org/10.1016/j.ijsu.2017.03.059]
• H. Yu, Z. Zhou, X. Lei, H. Liu, G. Fan, and S. He, “Mixed Reality−Based Preoperative Planning for Training of Percutaneous Transforaminal Endoscopic Discectomy: A Feasibility Study,” World neurosurgery, vol. 129, pp. 767-775, 2019. [https://doi.org/10.1016/j.wneu.2019.06.020]
• P. Wei, Q. Yao, Y. Xu, H. Zhang, Y. Gu, and L. Wang, “Percutaneous kyphoplasty assisted with/without mixed reality technology in treatment of OVCF with IVC: a prospective study,” Journal of orthopaedic surgery and research, vol. 14, no. 1, 2019. [https://doi.org/10.1186/s13018-019-1303-x]
• P. Wucherer, P. Stefan, K. Abhari, P. Fallavollita, M. Weigl, M. Lazarovici, A. Winkler, S. Weidert, T. Peters, S. de Ribaupierre, R. Eagleson, and N. Navab, “Vertebroplasty performance on simulator for 19 surgeons using hierarchical task analysis,” IEEE Transactions on Medical Imaging, vol. 34, no. 8, pp. 1730-1737, 2015. [https://doi.org/10.1109/TMI.2015.2389033]
• J. B. Ra, S. M. Kwon, J. K. Kim, J. Yi, K. H. Kim, H. W. Park, K.-U. Kyung, D.-S. Kwon, H. S. Kang, L. Jiang, K. R. Cleary, J. Zeng, and S. K. Min, “Visually guided spine biopsy simulator with force feedback,” Medical Imaging 2001, San Diego, United States, pp. 36-45, 2001. [https://doi.org/10.1117/12.428072]
• M. Vania, D. Mureja, and D. Lee, “Automatic spine segmentation from CT images using convolutional neural network via redundant generation of class labels,” Journal of Computational Design and Engineering, vol. 6, no. 2, pp. 224-232, 2019. [https://doi.org/10.1016/j.jcde.2018.05.002]
• N. Lessmann, B. van Ginneken, P. A. de Jong, and I. Išgum, “Iterative fully convolutional neural networks for automatic vertebra segmentation and identification,” Medical Image Analysis, vol. 53, pp. 142-155, 2019. [https://doi.org/10.1016/j.media.2019.02.005]
• O. Ronneberger, P. Fischer, and T. Brox, “U-net: Convolutional networks for biomedical image segmentation,” International Conference on Medical Image Computing and Computer-Assisted Intervention, pp. 234-241, 2015. [https://doi.org/10.1007/978-3-319-24574-4_28]
• A. M. Okamura, C. Simone, and Mark D. O’leary, “Force modeling for needle insertion into soft tissue,” IEEE Transactions on Biomedical Engineering, vol. 51, no. 10, pp. 1707-1716, 2004. [https://doi.org/10.1109/TBME.2004.831542]
• J. Yao, J. E. Burns, H. Muñoz, and R. M. Summers, “Detection of Vertebral Body Fractures Based on Cortical Shell Unwrapping,” International Conference on Medical Image Computing and Computer Assisted Intervention, vol. 7512, pp. 509-516, 2012. [https://doi.org/10.1007/978-3-642-33454-2_63]
• A. Sekuboyina, A. Bayat, M. E. Husseini, M. Löffler, M. Rempfler, J. Kukačka, G. Tetteh et al., “VerSe: A Vertebrae Labelling and Segmentation Benchmark,” arXiv:2001.09193 [cs.CV], 2020, [Online], https://arxiv.org/abs/2001.09193v2, .
• C. Payer, D. Stern, H. Bischof, and M. Urschler, “Coarse to Fine Vertebrae Localization and Segmentation with SpatialConfiguration-Net and U-Net,” 15th International Joint Conference on Computer Vision, Imaging and Computer Graphics Theory and Applications - Volume 5: VISAPP, pp. 124-133, 2020. [https://doi.org/10.5220/0008975201240133]