Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 20, No. 2, pp.210-218
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 30 May 2025
Received 27 Aug 2024 Revised 22 Oct 2024 Accepted 31 Oct 2024
DOI: https://doi.org/10.7746/jkros.2025.20.2.210

이력 현상 크기에 따른 텐던-쉬스 메커니즘의 RNN 기반 이력 현상 모델

박수현1, 2 ; 임한경1, 3 ; 진상록
RNN-based Hysteresis Model of Tendon-Sheath Mechanism in Hysteresis Magnitude
Su Hyeon Park1, 2 ; Hankyung Im1, 3 ; Sangrok Jin
1Researcher, School of Mechanical Engineering, Pusan National University, Busan, Korea suhyeon3302@pusan.ac.kri9i9i9kwe@gmail.com
2Engineer, HD Hyundai Engineering & Technology, Ulsan, Korea suhyeon3302@pusan.ac.kr
3Researcher, Department of weapon system improvement research, Defense Agency Technology and Quality, Jinju, Korea i9i9i9kwe@gmail.com

Correspondence to: Associate Professor, School of Mechanical Engineering, Pusan National University, Pusan, Korea ( rokjin17@pusan.ac.kr)

CopyrightⓒKROS

Abstract

The tendon-sheath mechanism is one of the key components of flexible surgical robots. It is essential for enabling remote actuation systems within the design of flexible surgical robots, thereby addressing and overcoming constraints related to size limitations. However, it simultaneously introduces a critical issue, as it causes hysteresis, which impedes the precise movements required in surgical robotics. Previous research has successfully predicted the magnitude of hysteresis based on the path of the tendon-sheath mechanism. In contrast to earlier studies, the objective of this research is to predict the behavior of hysteresis using hysteresis magnitude data. To build the hysteresis prediction model, a combination of a Recurrent Neural Network (RNN) and the Preisach model was employed. During the training process, both the hysteresis magnitude and the desired displacements are used to develop a model capable of predicting the actual output displacements. The proposed model estimated hysteresis with an RMSE within 0.0441 mm. This approach is expected to improve the reliability and performance of flexible surgical robots.

Keywords:

Tendon-Sheath Mechanism, Hysteresis Modeling, Recurrent Neural Network, Preisach Model

1. 서 론

최소 침습 수술은 환자의 외상을 줄여 빠른 회복을 가능하게 하고, 상처를 줄이고, 합병증 감소 등의 효과로 세계적으로 널리 보급되고 있다[1-3]. 초기의 최소 침습 수술은 수술도구의 구조적 한계와 제어측면에서 어려움이 있었으나, 기술의 발전으로 인해 로봇 수술을 활용하여 수술을 진행함으로써 최소 침습 수술의 어려움을 줄일 수 있었다[4,5]. 로봇 수술(robotic surgery)은 수술 도구를 움직일 수 있는 로봇을 의사가 제어하며 진행되는 수술이며, 로봇 수술에 사용되는 로봇을 수술 로봇이라고 한다. 수술 로봇은 비교적 짧은 기간에 엄청난 진전을 이룬 연구 분야[6,7]로서 주로 복강경 수술[8], 척추 수술[9] 등에서 사용되고 있다.

자연 개구(natural orifice)를 통해 진입하여 위, 대장 등의 장기를 검사하는 내시경에서 영감을 받아 유연 수술 로봇이 만들어지게 되었다. 기존의 직선형 강체 수술 로봇과 달리 자연 개구 등을 통해 진입하여 임의의 경로를 지나 수술 부위에 접근 가능하다[10,11]. 이러한 장점을 이유로 유연 수술 로봇은 활발히 개발되고 있다[12]. 유연 수술 로봇은 좁고 구부러진 경로를 통과해 움직임을 전달할 수 있는 메커니즘을 필요로 한다. Tendon-Sheath Mechanism (TSM)은 경로의 변화에도 동력전달이 가능하고, 경량화의 용이성, 수술로봇의 크기적 제약을 극복할 수 있는 장점으로 인하여 유연 수술 로봇과 같은 의료용 로봇에 자주 사용된다[11,13,14]. 하지만, TSM은 움직임을 전달할 때 텐던과 쉬스에서 발생하는 마찰력으로 인한 입력과 출력 간의 지연현상, 즉 이력 현상을 피할 수 없다[15]. 이러한 이력 현상은 텐던과 쉬스 사이에 있는 미세한 갭으로 인한 백래시, 텐던의 신장, 쉬스의 변형 등이 복합되어 발생한다. 이런 현상은 정확한 제어를 어렵게 하여 유연 수술 로봇의 조작성을 떨어트리는 결과를 초래하기 때문에[16] TSM에서 발생하는 이력 현상을 정확히 추정하고 보상하는 것이 중요하다.


2. 이론적 배경 및 관련 연구

TSM에서 발생하는 이력 현상은, TSM이 통과하는 경로의 구성과 물리적 특성에 의해 발생하게 된다. 경로에 존재하는 곡선의 각도, 위치, 곡률반경 등 다양한 요소가 TSM에서 발생하는 비선형 이력 현상을 다르게 만든다[17,18]. TSM에서 발생하는 이력 현상을 예측하고 보상하기 위한 여러 연구들이 진행되어 왔다. 이러한 연구들은 크게 모델을 활용한 연구들과 카메라 비전 및 인공지능을 활용하는 연구들로 나눌 수 있다.

모델을 활용하는 연구는, 모델도출 방식에 따라 구분된다. 수학적 모델 중 하나인 Bouc-Wen 모델을 기반으로 이력 현상을 예측하고 보상하는 연구[19], 마찰 모델 등의 단순한 모델 기반 보상 접근 방식을 활용한 연구[20], 둥근 백래시 모델을 활용한 연구[21]와 같이 다양한 방법과 접근 방식으로 모델을 기반으로 하는 연구들[16,22,23]이 진행되고 있다. 카메라를 이용한 연구는 초기에는 카메라를 통해 이미지를 얻으면 유연 수술 로봇의 말단의 자세를 인지하는 연구[24,25]부터 시작하였다. 기술의 발전으로 딥러닝 등이 발전하면서, 비전 기술과 딥러닝을 접목하여 연구를 시작하면서 다양한 연구가 시도될 수 있었다[26,27]. 하지만, 한 대의 카메라만을 이용해서 정보를 얻는 경우 정확도가 떨어지게 되면서, 이를 보완하고자 여러 대의 카메라를 사용하거나[25] 마커 등을 이용한 연구도 진행되었다[28]. 또는 마커 없이 이미지 데이터와 운동학 기반 추정 데이터를 사용한 하이브리드 학습 기방 방법이 연구가 진행되기도 하였다[29].

우리는 모델을 활용하여 TSM에서 발생하는 이력 현상을 연구를 진행해왔다. 먼저, 다양한 각도와 곡률 반경을 가진 단일 곡선 형상에서 실험을 진행하였다. 이를 통하여 TSM에 발생하는 이력 현상이 경로의 각도와 곡률반경에 영향을 받는다는 것을 확인했다. 이러한 상관관계를 통해 이력 현상 모델 중 하나인 Preisach 모델과 최적화를 사용하여 모델링을 진행하였다[30]. 후속 연구로는 Preisach 모델과 Recurrent Neural Network (RNN)를 융합하여 모델링을 진행하였고, 그 결과 최적화를 통한 모델보다 오차가 줄어들었으며, 실험한 데이터가 없는 임의의 조건에서의 이력 현상도 예측할 수 있음을 확인할 수 있었다[17]. 또한, Preisach 모델과 RNN을 융합한 이력 현상 모델을 바탕으로 수치최적화 알고리즘을 활용한 실시간 보상 알고리즘을 연구하여 성능을 검증하였다[31]. 가장 최근에 이루어진 연구[18]에서는 단일 곡선과 다중 곡선 형상에서 나타나는 이력 현상에 대해 실험을 진행하였다. 이 연구를 통해, 이력현상은 TSM의 경로상 위치하는 곡선의 각도와 곡률 반경뿐만 아니라, 해당 곡선의 위치에 의한 영향이 있음을 확인하였다. TSM의 곡선의 각도, 곡률반경 그리고 곡선의 위치를 고려한 이력현상의 비선형적 특성을 반영하여 이력 현상의 크기를 모델링하였다.

본 연구는 TSM 경로의 다양한 조건 하에서 도출한 이력현상의 크기 값을 Preisach 모델 기반의 순환신경망 모델에 학습시켜 입력신호 데이터만으로 이력현상이 고려된 출력신호를 예측하는 모델을 제안한다. TSM 경로의 형상에 따른 이력현상의 크기를 모델링한 기존 연구결과[18]와 결합하면 복잡한 형상에 대해 일일이 실험하여 학습시키지 않고도 이력현상의 크기 정보만으로 입력신호에 따른 출력신호를 실시간으로 추정할 수 있다.


3. 실험 및 데이터 수집

3.1 실험 장치 및 실험 변수 설정

먼저, 단일 곡선 형상에서는 90 deg, 60 deg, 45 deg, 30 deg 총 4가지의 곡선의 각도와 입력 모듈로부터의 거리가 200 mm, 490 mm, 775 mm인 3가지 상황을 조합하여 총 12가지 형상에서 실험을 진행하였다. 다중 곡선 형상은 크게 이중 곡선 형상과 삼중 곡선 형상으로 나누어 실험을 진행하였다. 이중 곡선 형상의 경우 [Table 1]과 같이 각도의 합이 90 deg인 3가지의 곡선 조합과 6가지의 곡선 위치를 조합하여 총 24가지의 형상에서 실험을 진행하였다. 삼중 곡선 형상은 각 곡선의 위치는 쉬스의 위치가 등분되는 위치에서 [30 deg, 45 deg, 60 deg], [45 deg, 30 deg, 60 deg], [60 deg, 30 deg, 45 deg], [60 deg, 45 deg, 30 deg]와 같이 총 4가지의 곡선 조합에서 실험을 진행하였으며, 이중 곡선, 삼중 곡선 경로의 곡률반경은 30 mm이다. 이러한 형상에서 실험을 진행하기 위해서 [Fig. 1]과 같이 입력 모듈과 출력 모듈, 곡선 가이드로 이루어진 실험 장치를 구상하였다. 곡선 가이드가 2개 이상일 때는 입력 모듈로부터 멀리 떨어진 순서로 곡선의 순서를 결정하였다.

Parameters in experiments in curve path with double segments

[Fig. 1]

Configuration of experimental apparatus

3.2 실험 결과

본 연구에서 사용되는 실험 데이터의 경우, [Fig. 2]의 (a)와 같이 입력 시간에 따른 입력 신호와 출력 신호가 나타나게 된다. 이를 정규화하여 입력-출력 그래프로 나타내면 [Fig. 2]의 (b)와 같이 나타나게 된다. 본 논문에서 정규화한 입력-출력 그래프에서 입력 변위가 0일 때를 기준으로 나타나는 출력 변위의 차이를 이력 현상의 크기로 정의한다.

[Fig. 2]

Desired-measured displacements and normalized map (a) Discrepancies between desired and measured displacements due to hysteresis. (b) Normalized desired-measured map and hysteresis magnitude

[Fig. 3]의 (a), (b)와 같이 곡선의 위치가 일정할 때, 곡선의 각도가 커진다면 이력 현상의 크기가 증가하는 것을 볼 수 있다. 또한 [Fig. 3]의 (c), (d)와 같이 곡선의 각도가 일정할 때, 곡선의 위치가 입력 모듈로부터 멀어질수록 이력 현상의 크기가 증가하는 것을 확인할 수 있었다. 이러한 현상은 다중 곡선 형상일 때도 마찬가지로 나타났다. 그리고 각 곡선의 위치에 따라 이력 현상에 영향을 주는 정도가 비선형적이라는 것을 확인할 수 있었다[18].

[Fig. 3]

Normalized displacement map with (a) Displacement – time map at varying angles (b) Desired –measured map at varying angles (c) Displacement – time map at varying distance (d) Desired –measured map at varying distance


4. RNN을 활용한 모델링

4.1 Preisach 모델과 인공신경망을 선정한 이유

이력 현상을 나타내는 대표적인 모델 중 하나인 Preisach 모델은 강자성 재료의 이력 현상 모델링에 일반적으로 사용된다[32]. Preisach 모델은 피스톤-실린더의 움직임에 비유하여 설명할 수 있다[17]. 피스톤의 움직임을 입력 신호, 실린더의 움직임을 출력 신호로 각각 정의하였을 때, 피스톤이 실린더 내부를 움직일 때는 실린더에 움직임이 발생하지 않아 백래시와 같은 현상을 모사할 수 있다. 피스톤-실린더 모델은 단순 백래시와 같은 이력 현상을 나타내며 이력 현상의 크기는 실린더의 길이와 상관이 있다. Preisach 모델은 다양한 길이의 피스톤-실린더 모델을 가중합 형태로 중첩해둔 모델로서 이력 현상의 다른 대표적 모델인 Bouc-Wen 모델 등보다 간단한 수학적 구조를 지닌다[33]. 이러한 가중합 구조 덕분에 Preisach 모델은 인공 신경망과 쉽게 결합할 수 있다[33]. 또한 Preisach 모델의 가중치를 결정할 때, 인공 신경망을 사용하는 경우에는 모델의 정확도를 향상시킬 수 있다는 결과가 연구되었다[34]. 이러한 다양한 장점들로 인하여 Preisach 모델과 인공 신경망을 융합하는 다양한 연구가 진행되어 왔다. Preisach 모델과 인공신경망을 융합하여 구성한 모델은 정적뿐만 아니라 동적 모델에서도 좋은 성능을 보여주었으며, 자기 벡터 전위를 기반으로 하는 비선형 문제 또한 해결하는 모델을 만들어낼 수 있었고[35], 강한 이력 현상이 측정되어 부정확성과 진동을 일으키는 압전 엑추에이터에서도 이력 현상의 효과를 예측하여 컨트롤을 할 수 있었다[36]. Preisach 모델을 기반으로 하는 인공 신경망의 경우 기존 모델보다 이력 현상의 비선형성을 더 정확하게 식별할 수 있음이 증명되었다[37].

우리는 이전 연구[17,18,30,31]를 통해 TSM에서 발생하는 이력 현상이 경로의 형상에 따라 다르게 나타나는 것을 확인할 수 있었으며, 이러한 이력 현상의 크기를 모델링할 수 있었다. 본 연구에서는 Preisach 모델을 활용한 딥러닝 모델을 이용하여 이력 현상의 크기를 학습시키고, 입력 신호에 따른 이력 현상을 반영한 출력 신호를 예측할 수 있는 모델을 제안한다. 비선형성을 정확하게 모사하는 특징을 지닌 모델을 활용함으로써, TSM의 특성을 잘 반영한 이력 현상 모델을 도출하고자 한다.

4.2 Preisach 모델과 인공신경망을 통한 이력 현상 모델

TSM에서 발생하는 이력 현상은 앞선 결과가 뒤에 입력될 신호에 영향을 주게 되기 때문에 Preisach 모델과 결합할 인공 신경망으로 RNN의 종류 중 하나인 Long Short-Term Memory (LSTM)를 선택한다. LSTM은 RNN 구조에 memory cell을 은닉층 뉴런에 추가함으로서 기존의 RNN이 가지고 있던 문제점인 장기 의존성 문제 등을 해결한 인공신경망이다[38].

Preisach 모델과 인공 신경망을 활용한 구조로 이력 현상 모델은 [Fig. 4]와 같이 나타난다. 11개의 LSTM의 레이어에는 각각 다른 임계값 벡터가 적용된 y1, y2, ⋯, y11를 출력하게 된다. 이렇게 출력된 y와 실험을 얻은 출력 값인 ym은 전처리 과정을 거치게 된다. 또한 이러한 데이터는 첫 번째 시간에서 마지막 시간까지 슬라이딩하면서 10개의 시간으로 그룹화 되어있다. 그룹화된 데이터에서 시간은 10개 미만이고, 데이터가 부족한 경우에는 초기 값이 이를 대체하게 된다. 각 LSTM에서의 가중치를 변경하기 위하여 yn, (n=1, ⋯, 11)의 11개의 특징을 가진 하나의 LSTM을 대신하여 LSTM에는 10개의 시간으로 그룹화된 데이터가 입력되게 된다. 그에 따라 각 LSTM에서 10개의 출력이 생성된다. 즉, 총 110개의 노드가 생성되고, 이 노드들은 flatten layer를 통과하여 Distal dense layer에 입력하게 된다. Hysteresis magnitude dense layer는 TSM에서 발생한 이력 현상의 크기에 대한 정보, H를 처리하여 Distal dense layer에 입력되게 된다. 즉 Flatten layer을 통과한 110개의 노드와 Hysteresis magnitude dense layer의 출력 노드(nHMDL)가 Distal dense layer의 입력층을 형성하게 된다. 이와 관련하여 [Table 2]와 같이 인공 신경망의 입력층과 출력층의 데이터 형상을 요약하였다.

[Fig. 4]

General architecture of the Preisach hysteresis model integrated with an artificial neural network. The yellow region represents the Preisach model, while the blue region denotes the artificial neural network

Input and output data shapes for the LSTM, Flatten, Hysteresis Magnitude Dense, and Distal Dense layers

4.3 데이터 분류 및 데이터 전처리

TSM에서 발생하는 이력 현상을 학습하기 위하여 데이터를 학습 데이터, 검증 데이터, 시험 데이터로 분류하였다. 앞선 실험을 통하여 52가지의 경로 형상에서의 실험을 진행하였으며, 이는 12가지의 단일 곡선 형상, 36가지의 이중 곡선 형상과 4가지의 삼중 곡선 형상으로 이루어져 있다. 52가지의 데이터에 대하여 무작위로 training set은 34개, validation set은 10개, test set은 8개로 나누어 학습을 진행하게 되었다. 각 데이터들은 주기는 같고 진폭이 다른 sine 형상의 입력 신호에 대한 출력 결과를 나타내고 있다.

각 데이터들을 학습하기에 앞서, 데이터의 전처리과정이 필요하다. 이력 현상의 출력을 살펴보면, 이력 구간이 나타나는데, 실제로 수술 로봇 등을 제어할 시에는 이러한 이력 구간에서의 제어가 나머지 구간보다 성능에 미치는 영향이 훨씬 크기 때문에 학습 과정에서도 이러한 이력 구간에 가중치를 부여하고자 한다. 이력 구간을 설명하기 위해서는 piston-cylinder 모델을 이용하여 설명할 수 있다. piston-cylinder 모델에서, piston이 cylinder의 크기만큼 움직인 후 cylinder가 움직이기 시작하는데, TSM에서는 이러한 현상이 입력 신호의 도함수의 부호가 바뀔 때 나타난다. 이러한 구간을 이력 구간이라고 한다. 무작위로 training set와 validation set에 대해서 이력 구간에 대한 데이터 증강을 하였다. 데이터 증강을 하여 입력되는 시계열 데이터 수는 [Table 3]과 같이 나타난다. 증강된 데이터의 길이는 원본 데이터의 길이에서 약 38%가 증가하였다.

Classification of data sets based on the length of each data set

4.4 학습 및 Hyperparameter 값 설정

모델의 훈련을 최적화하기 위하여 Adam (Adaptive moment estimation)을 사용하였으며, 학습의 손실을 알기 위한 알고리즘에는 MSE (Mean squared error)를 사용하였다. 또한 학습을 할 때, 과적합을 방지하고 학습의 효율성을 올리기 위하여, MSE가 10개의 epoch 동안 감소하지 않으면 학습을 조기 중단하고, MSE가 가장 작은 epoch의 가중치가 저장되게 설정하였다. 이전 연구[17]에서 108개의 모델에 대하여 grid search 방식을 통해서 Hyperparameter 값을 튜닝하였으며, 이는 validation set에 관한 MSE가 가장 작은 Hyperparameter의 값이다. 이에 관한 값은 [Table 4]와 같이 나타난다.

Hyperparameters of layers and their values


5. 학습 결과 및 고찰

TSM에서 발생하는 이력 현상과 이력 현상의 크기를 학습한 모델의 loss값은 [Fig. 5]와 같이 나타난다. 학습을 위하여 사용된 epoch의 개수는 34개이며, 최종적인loss의 값은 0.0028이다. Preisach 모델과 LSTM을 이용한 모델의 결과 중 일부가 [Fig. 6]과 같이 나타난다. Test set의 결과 중 랜덤하게 단일 곡선 형상 1개, 이중 곡선 형상 1개, 삼중 곡선 형상 1개를 나타낸 결과이다. [Fig. 6]에서 나타난 것과 같이 (a), (b), (c)에서의 곡선의 각도와 위치, 개수가 모두 다르며, 그에 따라 이력 현상의 크기도 모두 다른 크기로 나타나는데, Preisach 모델과 LSTM을 이용한 모델의 경우 다양한 크기의 이력 현상에 대하여 모델링이 가능함을 보여주고 있다. 전체 학습 결과는 [Table 5]와 같으며, [Table 5]의 Input – Measured RMSE는 이력현상으로 인해 발생하는 입력 신호와 측정된 출력 신호 사이의 오차에 대한 지표이고, Model – Measured RMSE는 모델에 의해 추정된 결과와 출력 신호 사이의 오차로 모델의 유효성 검증을 위한 정량적 수치로 사용하였다. 52가지 형상의 Model – Measured RMSE 중 가장 작은 값이 0.02 mm, 가장 큰 RMSE 값이 약 0.08 mm이다. Input – Measured RMSE의 전체 평균은 1.0200 mm이며, Model – Measured RMSE의 전체 평균은 약 0.0441 mm이다. 학습된 모델을 활용하여 높은 정확성으로 이력현상이 고려된 출력을 예측할 수 있다.

[Fig. 5]

LSTM Training and Validation Loss Over Epochs

[Fig. 6]

Comparison between the measured output and the output predicted by the proposed model for the test sets. (a), (b), and (c) represent comparisons across three different test set shapes. In each figure, the first, second, and third rows display the displacement over time, the input-output map, and the error over time, respectively

RMSE of Learned Model for All Shapes of the TSM

본 연구는 다양한 형태의 다중 곡선 경로를 지나는 TSM의 이력 현상 크기를 모델링한 선행 연구[18]를 실제 시스템에 적용하기 위한 후속 연구이다. FBG (Fiber Bragg Grating) 센서 등을 이용하여 TSM이 지나가는 경로의 형상을 계측하면 이력 현상의 크기를 예측할 수 있고, 본 연구에서 도출한 모델에 발생하는 이력 현상의 크기를 입력하면 입력 신호에 대한 출력 거동을 예측할 수 있다.


6. 결 론

본 연구를 통해 TSM의 이력 현상 크기와 입력 신호에 대한 정보가 있다면, 이력 현상이 반영된 출력을 예측하는 모델을 구성했다. 모델구성을 위해 Preisach 모델과 LSTM을 융합하여 사용하였으며, 이력 현상의 크기에 대한 정보를 함께 학습을 시킴으로써 이력 현상의 크기에 대한 이력 현상의 궤적을 예측할 수 있었다. 그 결과, 52가지의 형상에서 평균 0.0441 mm의 RMSE를 보이는 이력 현상 모델을 도출하였다. 본 연구 결과를 바탕으로 임의의 다중 경로에 대한 TSM의 이력 현상의 크기를 추정하고 이를 학습된 모델에 입력하여 임의의 입력에 대한 출력단의 거동을 예측할 수 있다. 또한, 모델에 의해 예측된 이력 현상은 실시간 보상 알고리즘에 활용할 수 있을 것이다.

Acknowledgments

This work was supported by a 2-Year Research Grant of Pusan National University.

References

  • A. Ahmad and M. Gagner, “Laparoscopic adrenalectomy,” Journal of British Surgery, vol. 91, no. 10, pp. 1259-1274, 2004. [https://doi.org/10.1002/bjs.4738]
  • K. Mohiuddin and S. J. Swanson, “Maximizing the benefit of minimally invasive surgery,” Journal of surgical oncology, vol. 108, no. 5, pp. 315-319, 2013. [https://doi.org/10.1002/jso.23398]
  • D. Ranev and J. Teixeira, “History of computer-assisted surgery,” Surgical Clinics of North America, vol. 100, no. 2, pp. 209-218, 2020. [https://doi.org/10.1016/j.suc.2019.11.001]
  • F. M. Khraim, “The wider scope of video-assisted thoracoscopic surgery,” AORN Journal, vol. 85, no. 6, pp. 1199-1212, 2007. [https://doi.org/10.1016/j.aorn.2007.03.001]
  • J. Bonatti, T. Schachner, O. Bernecker, O. Chevtchik, N. Bonaros, H. Ott, G. Friedrich, F. Weidinger, and G. Laufer, “Robotic totally endoscopic coronary artery bypass: program development and learning curve issues,” The Journal of Thoracic and Cardiovascular Surgery, vol. 127, no. 2, pp. 504-510, 2004. [https://doi.org/10.1016/j.jtcvs.2003.09.005]
  • B. S. Peters, P. R. Armijo, C. Krause, S. A. Choudhury, and D. Oleynikov, “Review of emerging surgical robotic technology,” Surgical Endoscopy, vol. 32, no. 4, pp. 1636-1655, 2018. [https://doi.org/10.1007/s00464-018-6079-2]
  • P. Gomes, “Surgical robotics: Reviewing the past, analysing the present, imagining the future,” Robotics and Computer-Integrated Manufacturing, vol. 27, no. 2, pp. 261-266, 2011. [https://doi.org/10.1016/j.rcim.2010.06.009]
  • H. Choi, H.-S. Kwak, Y.-A. Lim, and H.-J. Kim, “Surgical robot for single-incision laparoscopic surgery,” IEEE Transactions on Biomedical Engineering, vol. 61, no. 9, pp. 2458-2466, Sept., 2014. [https://doi.org/10.1109/TBME.2014.2320941]
  • M. D’Souza, J. Gendreau, A. Feng, L. H. Kim, A. L. Ho, and A. Veeravagu, “Robotic-assisted spine surgery: History, efficacy, cost, and future trends,” Robotic Surgery: Research and Reviews, vol. 6, pp. 9-23, Nov., 2019. [https://doi.org/10.2147/RSRR.S190720]
  • A. Molaei, E. Abedloo, H. D. Taghirad, and Z. Marvi, “Kinematic and workspace analysis of DIAMOND: An innovative eye surgery robot,” 2015 23rd Iranian Conference on Electrical Engineering, Tehran, Iran, pp. 882-887, 2015. [https://doi.org/10.1109/IranianCEE.2015.7146336]
  • L. Ott, F. Nageotte, P. Zanne, and M. de Mathelin, “Robotic assistance to flexible endoscopy by physiological-motion tracking,” IEEE Transactions on Robotics, vol. 27, no. 2, pp. 346-359, Apr., 2011. [https://doi.org/10.1109/TRO.2010.2098623]
  • J. Kim, M. de Mathelin, K. Ikuta, and D.-S. Kwon, “Advancement of flexible robot technologies for endoluminal surgeries,” IEEE, vol. 110, no. 7, pp. 909-931, Jul., 2022. [https://doi.org/10.1109/JPROC.2022.3170109]
  • M. Khoshnam and R. V. Patel, “Robotics-assisted control of steerable ablation catheters based on the analysis of tendon-sheath transmission mechanisms,” IEEE/ASME Transactions on Mechatronics, vol. 22, no. 3, pp. 1473-1484, Jun., 2017. [https://doi.org/10.1109/TMECH.2017.2688320]
  • H. M. Le, T. N. Do, and S. J. Phee, “A survey on actuators-driven surgical robots,” Sensors and Actuators A: Physical, vol. 247, pp. 323-354, 2016. [https://doi.org/10.1016/j.sna.2016.06.010]
  • Z. Sun, Z. Wang, and S. J. Phee, “Modeling and motion compensation of a bidirectional tendon-sheath actuated system for robotic endoscopic surgery,” Computer Methods and Programs in Biomedicine, vol. 119, no. 2, pp. 77-87, 2015. [https://doi.org/10.1016/j.cmpb.2015.03.001]
  • Z. Wang, Z. Sun, and S. J. Phee, “Modeling tendon-sheath mechanism with flexible configurations for robot control,” Robotica, vol. 31, no. 7, pp. 1131-1142, 2013. [https://doi.org/10.1017/S0263574713000386]
  • D. Kim, H. Kim, and S. Jin, “Recurrent neural network with Preisach model for configuration-specific hysteresis modeling of tendon-sheath mechanism,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 2763-2770, Apr., 2022. [https://doi.org/10.1109/LRA.2022.3144769]
  • S. H. Park and S. Jin, “Empirical modeling of hysteresis in a tendon–sheath mechanism on multi-segmented curves,” Intelligent Service Robotics, vol. 17, pp. 891-900, 2024. [https://doi.org/10.1007/s11370-024-00542-5]
  • Z. Zhang, G. Zhang, S. Wang, and C. Shi, “Hysteresis modeling and compensation for tendon-sheath mechanisms in robot-assisted endoscopic surgery based on the modified Bouc-Wen model with decoupled model parameters,” IEEE Transactions on Medical Robotics and Bionics, vol. 5, no. 2, pp. 218-229, May, 2023. [https://doi.org/10.1109/TMRB.2023.3249234]
  • K. Xu and N. Simaan, “Actuation compensation for flexible surgical snake-like robots with redundant remote actuation,” 2006 IEEE International Conference on Robotics and Automation (ICRA), Orlando, FL, pp. 4148-4154, 2006. [https://doi.org/10.1109/ROBOT.2006.1642340]
  • V. Agrawal, W. J. Peine, B. Yao, and S. Choi, “Control of cable actuated devices using smooth backlash inverse,” 2010 IEEE International Conference on Robotics and Automation (ICRA), Anchorage, AK, USA, pp. 1074-1079, 2010. [https://doi.org/10.1109/ROBOT.2010.5509533]
  • N. Simaan, K. Xu, W. Wei, A. Kapoor, P. Kazanzides, R. Taylor, and P. Flint, “Design and integration of a telerobotic system for minimally invasive surgery of the throat,” The International Journal of Robotics Research, vol. 28, no. 9, pp. 1134-1153, 2009. [https://doi.org/10.1177/0278364908104278]
  • S. B. Kesner and R. D. Howe, “Design and control of motion compensation cardiac catheters,” 2010 IEEE International Conference on Robotics and Automation (ICRA), Anchorage, AK, USA, pp. 1059-1065, 2010. [https://doi.org/10.1109/ROBOT.2010.5509250]
  • M. Hannan and I. Walker, “Vision based shape estimation for continuum robots,” 2003 IEEE International Conference on Robotics and Automation (ICRA), Taipei, Taiwan, vol. 3, pp. 3449-3454, 2003. [https://doi.org/10.1109/ROBOT.2003.1242123]
  • D. B. Camarillo, K. E. Loewke, C. R. Carlson, and J. K. Salisbury, “Vision based 3-D shape sensing of flexible manipulators,” 2008 IEEE International Conference on Robotics and Automation (ICRA), Pasadena, CA, USA, pp. 2940-2947, 2008. [https://doi.org/10.1109/ROBOT.2008.4543656]
  • P. Cabras, F. Nageotte, P. Zanne, and C. Doignon, “An adaptive and fully automatic method for estimating the 3D position of bendable instruments using endoscopic images,” The International Journal of Medical Robotics and Computer Assisted Surgery, vol. 13, no. 4, pp. e1812, 2017. [https://doi.org/10.1002/rcs.1812]
  • A. Reiter, A. Bajo, K. Iliopoulos, N. Simaan, and P. K. Allen, “Learning-based configuration estimation of a multi-segment continuum robot,” 2012 4th IEEE RAS & EMBS International Conference on Biomedical Robotics and Biomechatronics (BioRob), Rome, Italy, pp. 829-834, 2012. [https://doi.org/10.1109/BioRob.2012.6290702]
  • R. Reilink, S. Stramigioli, and S. Misra, “Image-based hysteresis reduction for the control of flexible endoscopic instruments,” Mechatronics, vol. 23, no. 6, pp. 652-658, 2013. [https://doi.org/10.1016/j.mechatronics.2013.06.006]
  • D. Baek, J.-H. Seo, J. Kim, and D.-S. Kwon, “Hysteresis compensator with learning-based hybrid joint angle estimation for flexible surgery robots,” IEEE Robotics and Automation Letters, vol. 5, no. 4, pp. 6837-6844, Oct., 2020. [https://doi.org/10.1109/LRA.2020.2972821]
  • H. Kim, “Configuration-specific hysteresis model for tendon-sheath mechanism,” Ph.D. dissertation, School of Mech. and Aerosp. Eng., Seoul Nat. Univ., Seoul, Korea, 2020, [Online], http://dcollection.snu.ac.kr/common/orgView/000000163393, .
  • H. Kim, D. Kim, S. H. Park, and S. Jin, “Hysteresis compensation of tendon-sheath mechanism using nonlinear programming based on Preisach model,” IEEE Robotics and Automation Letters, vol. 9, no. 6, pp. 5246-5253, Jun., 2024. [https://doi.org/10.1109/LRA.2024.3390539]
  • I. D. Mayergoyz and G. Friedman, “Generalized Preisach model of hysteresis,” IEEE Transactions on Magnetics, vol. 24, no. 1, pp. 212-217, Jan., 1988. [https://doi.org/10.1109/20.43892]
  • I. D. Mayergoyz, Mathematical Models of Hysteresis and Their Applications, Elsevier Science, 2003. [https://doi.org/10.1016/B978-0-12-480873-7.X5000-2]
  • A. A. Adly and S. K. Abd-El-Hafiz, “Using neural networks in the identification of Preisach-type hysteresis models,” IEEE Transactions on Magnetics, vol. 34, no. 3, pp. 629-635, May, 1998. [https://doi.org/10.1109/20.668057]
  • I. D. Mayergoyz, “Dynamic Preisach models of hysteresis,” IEEE Transactions on Magnetics, vol. 24, no. 6, pp. 2925-2927, Nov., 1988. [https://doi.org/10.1109/20.92290]
  • W. Guo, D. Liu, and W. Wang, “Neural network hysteresis modeling with an improved Preisach model for piezoelectric actuators,” Engineering Computations, vol. 29, no. 3, pp. 248-259, Mar., 2012. [https://doi.org/10.1108/02644401211212389]
  • M. R. Zakerzadeh, M. Firouzi, H. Sayyaadi, and S. B. Shouraki, “Hysteresis nonlinearity identification using new Preisach model-based artificial neural network approach,” Journal of Applied Mathematics, 2011. [https://doi.org/10.1155/2011/458768]
  • Y. Yu, X. Si, C. Hu, and J. Zhang, “A review of recurrent neural networks: LSTM cells and network architectures,” Neural Computation, vol. 31, no. 7, pp. 1235-1270, Jul., 2019. [https://doi.org/10.1162/neco_a_01199]
박 수 현

2022 경상국립대학교 기계융합공학과(학사)

2024 부산대학교 기계공학부(석사)

2025~현재 HD현대이엔티

관심분야: 로봇 설계 및 제어

임 한 경

2017 국립부경대학교 기계공학과(학사)

2025 부산대학교 기계공학부(석사과정)

2025~현재 국방기술품질원

관심분야: 로봇 설계 및 제어

진 상 록

2008 서울대학교 기계항공공학부(학사)

2014 서울대학교 기계항공공학부(박사)

2014~2016 서울대학교 기계항공공학부 연수연구원

2016~2017 University of Texas Health Science Center Senior Research Associate

2017~현재 부산대학교 기계공학부 부교수

관심분야: 의료용 로봇 설계 및 제어

[Fig. 1]

[Fig. 1]
Configuration of experimental apparatus

[Fig. 2]

[Fig. 2]
Desired-measured displacements and normalized map (a) Discrepancies between desired and measured displacements due to hysteresis. (b) Normalized desired-measured map and hysteresis magnitude

[Fig. 3]

[Fig. 3]
Normalized displacement map with (a) Displacement – time map at varying angles (b) Desired –measured map at varying angles (c) Displacement – time map at varying distance (d) Desired –measured map at varying distance

[Fig. 4]

[Fig. 4]
General architecture of the Preisach hysteresis model integrated with an artificial neural network. The yellow region represents the Preisach model, while the blue region denotes the artificial neural network

[Fig. 5]

[Fig. 5]
LSTM Training and Validation Loss Over Epochs

[Fig. 6]

[Fig. 6]
Comparison between the measured output and the output predicted by the proposed model for the test sets. (a), (b), and (c) represent comparisons across three different test set shapes. In each figure, the first, second, and third rows display the displacement over time, the input-output map, and the error over time, respectively

[Table 1]

Parameters in experiments in curve path with double segments

Curve Angle Combination (ϕ) Distance from Input Module
1st Curve 2nd Curve 1st Curve 2nd Curve
60 deg 30 deg 350 mm 200 mm
565 mm 415 mm
45 deg 45 deg 775 mm 625 mm
575 mm 200 mm
30 deg 60 deg 675 mm 300 mm
775 mm 400 mm

[Table 2]

Input and output data shapes for the LSTM, Flatten, Hysteresis Magnitude Dense, and Distal Dense layers

Layer Input data shape Output data shape
11 LSTM (l, 10, 1) (l, 10, 1)
Flatten layer (l, 10, 1) (l, 10)
Hysteresis magnitude dense (l, 1) (l, nHMDL)
Distal dense (l, 110+nHMDL) (l, 1)

[Table 3]

Classification of data sets based on the length of each data set

Data set Length of Data
Before augmentation After augmentation
Training set 198,066 274,906
Validation set 60,020 82,620
Test set 48,016

[Table 4]

Hyperparameters of layers and their values

Layer Hyperparameters Values
LSTM Number of LSTM layers 1
Hysteresis magnitude dense Number of nodes 4
Number of hidden layers 1
Distal dense Number of nodes 64
Number of hidden layers 1

[Table 5]

RMSE of Learned Model for All Shapes of the TSM

Number of segments 1st Curve Angle
( deg )
1st Curve Position
( mm )
2nd Curve Angle
( deg )
2nd Curve Position
( mm )
3rd Curve Angle
( deg )
3rd Curve Position
( mm )
Input – Measured
RMSE (mm)
Model – Measured
RMSE (mm)
Non-flipped
shape
Flipped
shape
Non-flipped
shape
Flipped
shape
1 30 200 - - - - 0.3175 - 0.0373 -
490 - - - - 0.4124 - 0.0321 -
775 - - - - 0.4882 - 0.0234 -
45 200 - - - - 0.4406 - 0.0247 -
490 - - - - 0.5474 - 0.0267 -
775 - - - - 0.8107 - 0.0644 -
60 200 - - - - 0.5233 - 0.0250 -
490 - - - - 0.8002 - 0.0307 -
775 - - - - 0.9829 - 0.0701 -
90 200 - - - - 0.7551 - 0.0557 -
490 - - - - 1.0422 - 0.0500 -
775 - - - - 1.4737 - 0.0494 -
2 60 350 30 200 - - 0.7387 0.8090 0.0536 0.0251
565 415 - - 1.0191 1.0283 0.0387 0.0272
775 625 - - 1.3899 1.4417 0.0611 0.0716
575 200 - - 0.9718 1.0666 0.0617 0.0570
675 300 - - 1.0735 1.0735 0.0337 0.0337
775 400 - - 1.3896 1.3896 0.0325 0.0325
45 350 45 200 - - 0.7620 0.8191 0.0531 0.0266
565 415 - - 0.9394 0.9394 0.0441 0.0441
775 625 - - 1.3264 1.3486 0.0482 0.0331
575 200 - - 0.9950 0.9963 0.0346 0.0370
675 300 - - 0.9502 0.9985 0.0543 0.0282
775 400 - - 1.3644 1.3087 0.0366 0.0364
30 350 60 200 - - 0.7629 0.8416 0.0347 0.0437
565 415 - - 0.9045 0.9069 0.0279 0.0356
775 625 - - 1.2364 1.2364 0.0367 0.0367
575 200 - - 0.8305 0.8991 0.0699 0.0546
675 300 - - 0.9075 0.8729 0.0404 0.0797
775 400 - - 1.2048 1.2072 0.0457 0.0350
3 30 245 45 490 60 730 1.4282 - 0.0353 -
45 30 60 1.5500 - 0.0417 -
60 30 45 1.6610 - 0.0367 -
60 45 30 1.8571 - 0.0304 -