평지 및 계단 환경에서 보행 속도 변화에 대응 가능한 웨어러블 로봇의 보행 위상 추정 방법

1. 서 론

우리나라에서도 노인 인구 비율이 급격하게 증가하며 고령화 문제가 사회적 문제로 대두되고 있다. 노화로 인한 신체적 기능 감소로 노인들의 독립적 생활이 힘들어지고, 사회적 활동이 줄어드는 문제가 발생한다. 이러한 문제를 로봇 기술을 통해 해결하고자 단일 관절 보조 웨어러블 로봇^[1,2]부터 다관절 보조^[3-5], 섬유 소재와 와이어 등을 사용한 소프트 타입 웨어러블 로봇^[6,7]까지 고령자를 대상으로 하는 다양한 형태의 근력 보조 웨어러블 로봇에 관한 연구가 진행되고 있다.

웨어러블 로봇의 활용처가 병원에서 가정을 포함한 일상으로 확장되면서 각 착용자의 개별 보행 특성뿐만 아니라, 일상생활 중 평지, 계단, 경사 등 다양한 보행 환경을 마주하게 되고, 보행 속도 또한 환경과 시간에 따라 변화하게 된다. 따라서 웨어러블 로봇의 최적 근력 보조를 위해서는 착용자의 수시로 변화하는 보행 상황 속에서도 정확하게 보행 위상을 추정할 수 있는 기술이 필수적으로 요구된다.

사람의 보행은 주기적으로 반복되는 움직임을 통해 수행되는데, 이러한 반복적인 움직임 중 보행 주기는 특정 이벤트를 기준으로 0-100% 사이의 값을 갖는 시간 함수로 표현한다. 보행 위상은 보행 주기 함수에서 백분율 값으로 표현할 수 있다. 많은 기존의 연구에서는 보행 중 뒤꿈치가 지면에 닿는 heel-strike 이벤트를 기준으로 보행 주기의 시작과 끝을 정의한다^[8-10]. 하지만 일반 평지에서의 보행이 아닌 계단 환경에서의 보행 시, 보행 속도 및 계단의 깊이에 따라 뒤꿈치가 계단에 닿지 않고 걷게 되는 경우가 발생하여, 앞서 말한 heel-strike와 같은 기준으로는 계단 환경에서의 보행 시 보행 위상을 추정하기 어려운 한계가 있다.

이러한 문제를 해결하기 위하여 현재까지 여러 연구기관에서 복합적인 보행 환경에서 보행 위상 추정을 하는 연구를 진행해 왔다. 조지아텍에서는 평지, 계단, 경사로를 포함하는 실내 실험 공간에서 보행에 대한 데이터를 수집하여 Convolutional Neural Network (CNN) 기법을 활용한 보행 위상 추정 기술을 개발하였다^[11]. 계단 보행에서 감지 오류가 존재하는 heel-strike 이벤트 대신, 고관절 flexion-extension (FE) 관절 각도를 활용해 한 걸음마다 고관절이 최대로 extension이 일어나는 max hip extension (MHE) 지점을 기준으로 보행 주기의 시작을 정의하고, 위상을 추정했다. 싱가포르 국립대학에서는 평지, 계단, 경사로를 포함하는 실외 실험 환경에서 보행에 대한 데이터를 수집하여, adaptive oscillator (AO) 기법 기반 보행 위상 추정 기술을 개발하였다^[12]. 위의 연구와 마찬가지로 고관절의 FE 각도를 활용했고, 매 걸음 flexion이 최대로 일어나는 max hip flexion (MHF) 지점을 기준으로 보행 주기의 시작을 정의하고, 보행 위상을 추정했다. 이처럼 다수의 연구기관에서 보행 환경의 다양성을 고려한 보행 위상 추정 기술에 관한 연구를 수행하고 있지만, 아직 보행 환경별로 큰 보행 위상 추정 오차가 발생하고, 착용자별 맞춤형 매개 변수 조절이 요구되는 단점이 존재한다.

본 연구팀은 이전 연구^[1]에서 로봇을 착용한 후 평지 환경에서 보행 속도 변화에 강인한 보행위상추정 기술을 개발하였다. 이번 논문에서는 보행 환경을 더욱 확장하여 평지뿐만 아닌 계단 보행에서 획득한 보행 속도별 보행 데이터에 기반하여, 보행 환경변화에 강인하게 동작하는 딥러닝 기반 보행 위상 추정 기법을 제안하였다. 한국과학기술연구원의 웨어러블 고관절 복합체 근력 보조 로봇의 착용형 센서를 활용하여, Long Short-Term Memory (LSTM) 기법 기반의 보행 위상 추정을 수행하였다. 선행 연구들에서 나누어져 있던 보행 주기 정의 기준인 MHE, MHF 두 가지 경우 모두에 대해, 새롭게 획득된 데이터를 기준으로 학습시킨 후 환경별 위상 추정 오차 결과를 비교해 보았다.

본 논문은 아래와 같이 구성되어 있다. 2장에서는 학습에 사용할 데이터를 얻기 위한 웨어러블 로봇 시스템에 관한 내용과 실험이 어떤 방식으로 진행되었는지를 다루고 있다. 3장에서는 보행 위상 추정을 위한 학습 모델을 구축하기 위해 ground truth를 정의한 방법과 학습 모델의 매개 변수들에 관한 자세한 설명을 하고 있다. 마지막으로 4장에서는 학습 모델을 활용한 보행 위상 추정 결과와 결과에 관한 분석을 살펴볼 것이다.

2. 학습 데이터 수집

2.1 하지 웨어러블 로봇 시스템

[Fig. 1]은 한국과학기술연구원의 웨어러블 고관절 복합 보조 로봇 MoonWalk 이다. 좌/우 고관절의 FE 및 abduction-adduction (AbAd) 관절에 각각 모터를 장착하여 보조력을 생성하는 총 4 자유도의 능동 관절을 갖고 있다. 로봇에는 착용자의 운동학적 정보를 얻기 위해 고관절 각도 센서(FE, AbAd 관절)와 등 부위에는 Inertial Measurement Unit (IMU) 센서가 장착되어 있고 보행 의도 감지 및 상체 자세 정보를 얻을 수 있다. 착용자의 양발에는 Bluetooth Low Energy (BLE) 무선 통신을 통해 로봇과 연동되는 스마트 인솔이 장착되어 있고 각기 4개의 압력 센서와 6축 IMU 센서가 포함되어 있다. 인솔 데이터는 30 Hz BLE 통신을 통해 로봇과 연동되고 인솔을 제외한 모든 센서 데이터는 100 Hz로 수집 및 저장된다.

[Fig. 1]

Hip complex assistance exoskeleton system and sensor information

2.2 실험 과정

딥러닝 학습을 위한 데이터를 수집하기 위해 총 5명의 평균 30.0 ± 6.5세, 키 1.71 ± 0.04 m, 몸무게 69.6 ± 11.6 kg의 건강한 성인(남자 4명, 여자 1명)들을 모집했고 실험에 관한 설명을 충분히 들은 후 실험을 진행했다. 그리고 로봇을 착용 후 [Fig. 2]와 같이 실외 평지 환경과 계단 환경에서 보행 시 로봇의 센서를 통해 획득되는 착용자의 보행 정보를 수집하였다. 본 실험은 한국과학기술연구원 기관 IRB의 승인을 받아 진행하였다(KIST-202209-HR-018).

[Fig. 2]

Level ground (left) and stairs (right) experimental environment for training data

트레드밀 환경이 아닌 실외 일상 환경에서는 피험자의 보행 속도를 정량적으로 제한하기 어려워, 본인에게 편한 평소의 보행 속도를 포함해 그보다 빠른 걸음, 느린 걸음을 추가 요청하여 총 3개의 세션으로 나누어 실험을 진행했다. 그리고 보행 환경별 피험자의 보행 패턴의 변화를 있는 그대로 측정하기 위해 모든 실험은 로봇 모터의 마찰 보상 제어 토크만 인가한 상태에서 실험을 진행했다.

평지 보행 데이터 획득 시에는 착용자에게 약 120 m의 직선 평지 보도를 각 보행 속도 세션에 따라 1번씩 왕복하도록 요청했고 출발점으로 왕복을 위한 회전 구간에서는 가장 큰 반경으로 걷도록 안내했다. 계단 환경에서는 총 35계단으로 이루어진 층간 계단을 충분한 양의 데이터를 수집하기 위해 각 속도 세션마다 5번씩 총 15번 왕복하도록 안내하고 실험을 진행했다. 그리고 실험 사이 사이에 피험자의 피로를 줄이기 위해 충분한 휴식을 취하게 한 후 실험을 진행했다.

3. 학습 모델 구축

3.2 보행 위상 학습 모델 구현

LSTM 기반 보행 위상 추정 모델의 학습을 위한 매개 변수(Hyper Parameter)들은 이전의 연구를 참조하여 설정했다^[1]. [Fig. 3]에 나타낸 것처럼 입력층(input layer)에는 정규화 층(batch normalization layer)을 적용해 모든 입력 데이터를 정규화시켰고, 슬라이딩 윈도우 크기(sliding window size)는 60(=0.6 s)을 사용했다. LSTM 층의 활성화 함수(activation function)는 tanh를 사용하고 은닉 상태 크기(hidden state size)는 80을 적용했다. 마지막으로 출력층(output layer)은 각 다리의 보행 위상을 극좌표계로 변환시킨 x, y 값을 출력하도록 하여 4개의 출력값을 갖는다.

[Fig. 3]

Deep learning model architecture for gait phase estimation. A total of 22 data from hip FE, trunk IMU, and foot IMU sensors are made into a 0.6 s-sized sequence dataset, normalized, and then entered into a deep learning model. Then, passing through the LSTM and dense layers, the deep learning model outputs the gait phase of each leg as the x, y value of the Cartesian coordinate using the tanh function

입력 데이터들은 이전 연구를 통해 얻어낸 보행 속도 변화 시에도 최적의 보행 위상 추정 성능을 발휘할 수 있는 센서 조합인 hip FE 관절 각도/각속도(4 data), trunk IMU(6 data), foot IMU(6*2 data)의 데이터들을 사용했다^[1]. hip FE 관절 각도 데이터의 경우, 20 data(0.2 s) 이동평균 값을 사용했고 trunk IMU, foot IMU 데이터는 차단 주파수(cutoff frequency) 10 Hz의 2차 버터워스 저주파수 필터(butterworth lowpass filter)를 사용했다.

4. 실험 결과 및 고찰

4.1 학습 결과

Hip FE 각도 센서 데이터에서 MHF 지점과 MHE 지점으로 보행 주기를 정의한 데이터를 각각 학습시켜 결과를 비교해 보았다. 학습 결과는 5-fold cross validation 방법을 사용해 예측된 출력값과 ground truth 값의 비교를 통해 RMSE 값을 계산하여 사용했다.

학습 결과는 [Fig. 4]에 표현한 그래프와 같이 나타났다. MHF 지점을 기준으로 보행 주기를 정의한 데이터를 사용해 학습한 결과 평지(Level Ground, LG) 보행에서 2.66 ± 0.49%, 계단 오르기(Stair Ascent, SA) 보행에서 2.94 ± 1.46%, 계단 내리기(Stair Descent, SD) 보행에서 3.21 ± 0.65%의 오차율이 나타났다. 그리고 MHE 지점을 기준으로 보행 주기를 정의한 데이터를 사용한 결과는 LG 보행에서 2.38 ± 0.63%, SA 보행에서 2.72 ± 0.65%, SD 보행에서 8.41 ± 2.48%의 오차율이 나타났다. MHF 기준과 MHE 기준의 모든 보행 환경 평균 오차율은 각각 2.94%, 4.51%로 MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 RMSE 값이 1.57% 낮게 나타났다.

[Fig. 4]

Gait phase estimation results of each walking environment based on LSTM. Blue bars are the results of using MHF and orange bars are the results of using MHE. The error between the ground truth and the estimated value is calculated using the cosine similarity of the x and y values on the Cartesian coordinates

4.2 고찰

Hip FE 각도에서 MHF 지점과 MHE 지점을 기준으로 각각 보행 주기를 정의한 데이터를 활용해 보행 위상 추정 모델을 학습해본 결과, MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 약 35% 정도 성능이 향상되었다. [Fig. 4]에 보이는 것처럼 LG 보행과 SA 보행에서 MHE 결과가 MHF 결과보다 RMSE 값이 더 낮게 나타났지만, SD 보행의 경우 MHE 결과가 MHF 결과보다 RMSE 값이 2배 이상 높은, 8.41%로 높게 나타남을 확인할 수 있다. 이러한 결과가 나오게 된 것은 [Fig. 5(b)]에 나타난 MHE 결과의 SD 보행에서 빠른 걸음의 오차율이 다른 결과에 비해 높게 나왔기 때문이다. [Fig. 6]에서 각 보행 속도에 따른 hip FE 각도의 궤적을 살펴보면 LG 보행과 SA 보행에서는 MHE 지점을 감지할 때 하나의 극대점(local maximum)이 명확하게 발생하는 반면, SD 보행에서는 보행 속도가 빨라질수록 MHE 지점에서 여러 개의 극대점이 발생하는 것을 볼 수 있다. 이에 따라 보행 위상을 추정하는 과정에서 이중 정점(double peak)과 같은 유사 정점(peak) 특성이 주변에 발생한 데이터가 입력되었을 때 잘못된 정점을 감지해 오차율이 크게 상승하는 결과가 나타났다. SD 보행에서 보행 속도가 빨라진 경우에는 충격 흡수를 위한 신체적인 움직임에 의해 유사 정점이 발생해 오차율이 증가한 것으로 추측된다. 그리고 두 학습 모델 모두 [Fig. 5]에 나타난 것처럼 SA 보행과 SD 보행에서 평소 보행 속도가 아닌 느린 걸음에 대한 보행 위상 추정 결과, 보통 걸음에 비해 오차율이 상승하는 경향이 나타났다. [Fig. 6(b)]에서 SA 보행 중 보행 속도가 느려졌을 때는 다음 보행을 위한 과정에서 잠시 멈춰있는 구간이 생기고, 이에 따라 MHF 지점과 MHE 지점이 평평하게 나타나 명확한 극대점을 찾기가 어려워져 오차율이 상승했다. SD 보행의 느린 걸음의 경우, 불안정한 보행으로 인해 불규칙한 움직임이 발생하고 빠른 걸음과 마찬가지로 여러 개의 유사 정점이 발생하는 경우가 생겨 오차율이 높아진 것으로 판단된다.

[Fig. 5]

Gait phase estimation results of each walking environment based according to the walking speed. (a) results of using MHF, (b) results of using MHE

[Fig. 6]

hip FE angle trajectory according to each walking speed (a) level ground, (b) stair ascent, (c) stair descent. All the lines and shaded regions represent the mean and ±standard deviation of 5 subjects’s all steps, respectively. Gait phase was defined based on MHF. And the MHE is expressed as a vertical dashed line. (+: flexion, -: extension)

이번 연구를 통해 얻어낸 가장 좋은 결과인 MHF 지점을 기준으로 보행 주기를 정의한 보행 위상 추정 모델의 결과와 비교해 조지아텍의 선행 연구 결과에서 LG 보행은 약 33.5%, SA 보행은 약 2.0%, SD 보행은 약 59.9%, 전체 환경 평균 약 41.2%의 성능이 향상된 결과가 나타났다^[11]. 그리고 싱가포르 국립대학의 연구 결과와 비교했을 때는 LG 보행에서 약 33.5%, SD 보행에서 약 46.5%, 전체 환경 평균 약 26.5%의 성능이 향상되었다^[12].

본 연구의 결과가 앞선 선행 연구들과 비교해 우수한 성능을 보일 수 있었던 이유로는 넓은 실외 실험환경에서 여러 번의 왕복을 통해 충분한 양의 보행 데이터를 얻어 학습에 활용했다는 점과 웨어러블 로봇 몸체에 장착된 센서뿐만 아니라 착용자의 발 쪽에 장착된 족저압 센서와 IMU 등 추가적인 다양한 센서의 정보를 동시에 활용한 점을 들 수 있다. 또한, 시계열 데이터 학습에 더욱 특화된 LSTM을 활용하여 CNN 혹은 AO 기법 대비 우수한 결과를 보인 것으로 판단된다.

5. 결 론

이번 연구를 통해 평지 및 계단을 포함하는 일상 환경에서 보행 속도의 변화에도 강인하게 대응할 수 있는 LSTM 기반 보행위상추정 모델의 성능을 검증하였다. 그리고 보행 중에 발생하는 MHE 또는 MHF 이벤트에 따라 보행 위상 추정 모델의 성능을 비교하였고 MHF 이벤트를 기준으로 보행 주기를 정의하는 것이 일정하게 극대점을 감지할 수 있으므로 보행 위상 추정 성능이 향상되는 것을 확인하였다. 그뿐만 아니라 기존의 연구들과도 비교해 보행 위상 추정 성능이 향상된 것을 확인할 수 있었다.

이후 진행할 연구에서는 일상생활 중 마주할 수 있는 좀 더 다양한 보행 환경에서의 데이터를 활용해 실생활 적용 가능성을 검증해 나갈 예정이다. 그리고 보행 위상 추정뿐만 아니라 보행 환경 인식 모델의 구현을 통해 착용자의 보행 환경 및 보행 속도의 변화에 따라 최적의 근력 보조 성능을 나타낼 수 있도록 하는 알고리즘의 연구가 필요할 것이다.

Acknowledgments

This work was supported in part by Korea Institute of Science and Technology Institutional Program under Grant KIST 2E31561, in part by Korea Advanced Research Program through the National Research Foundation of Korea (NRF) funded by Ministry of Science and ICT (2020M3H8A1115027)

References

• H.-B. Kim, J.-B. Lee, S.-W. Kim, S.-D. Kim, S.-S. Park, K. Kim, and J. Lee, “LSTM based Gait Phase Estimation Method Robust to Changes in Gait Speed,” Korea Information Processing Society Conference, Chuncheon, Korea, pp. 429-431, 2022. [https://doi.org/10.3745/PKIPS.y2022m11a.429]
• K. Seo, J. Lee, Y. Lee, T. Ha, and Y. Shim, “Fully autonomous hip exoskeleton saves metabolic cost of walking,” IEEE International Conference on Robotics and Automation (ICRA), Stockholm, Sweden, 2016. [https://doi.org/10.1109/ICRA.2016.7487663]
• D. J. Hyun, H. Lim, S. Park, J. Yoon, K. Jung, K. Bae, and I. Lee, “Walking propulsion generation in double stance by powered exoskeleton for paraplegics,” Robotics and Autonomous Systems, vol. 116, pp. 24-37, Jun., 2019. [https://doi.org/10.1016/j.robot.2019.03.002]
• H. Hara and Y. Sankai, “Development of HAL for lumbar support,” SCIS & ISIS SCIS & ISIS 2010, Okayama, Japan, 2010. [https://doi.org/10.14864/SOFTSCIS.2010.0.416.0]
• Y. Lee, J. Lee, B. Choi, M. Lee, S.-G. Roh, K. Kim, K. Seo, Y.-J. Kim, and Y. Shim, “Flexible gait enhancing mechatronics system for lower limb assistance (gems l-type),” IEEE/ASME Transactions on Mechatronics, vol. 24, no. 4, pp. 1520-1531, Aug., 2019. [https://doi.org/10.1109/TMECH.2019.2922977]
• J. Kim, G. Lee, R. Heimgartner, D. A. Revi, N. Karavas, D. Nathanson, I. Galiana, A. Eckert-Erdheim, P. Murphy, D. Perry, N. Menard, D. K. Choe, P. Malcolm, and C. J. Walsh, “Reducing the metabolic rate of walking and running with a versatile, portable exosuit,” Science, vol. 365, no. 6454, pp. 668-672, Aug., 2019. [https://doi.org/10.1126/science.aav7536]
• K. Schmidt, J. E. Duarte, M. Grimmer, A. Sancho-Puchades, H. Wei, C. S. Easthope, and R. Riener, “The myosuit: Bi-articular anti-gravity exosuit that reduces hip extensor activity in sitting transfers,” Frontiers in neurorobotics, vol. 11, Oct., 2017. [https://doi.org/10.3389/fnbot.2017.00057]
• I. Kang, P. Kunapuli, and A. J. Young, “Real-time neural network-based gait phase estimation using a robotic hip exoskeleton,” IEEE Transactions on Medical Robotics and Bionics, vol. 2, no. 1, pp. 28-37, Feb., 2019. [https://doi.org/10.1109/TMRB.2019.2961749]
• K. Seo, S. Hyung, B. K. Choi, Y. Lee, and Y. Shim, “A new adaptive frequency oscillator for gait assistance,” IEEE International Conference on Robotics and Automation (ICRA), Seattle, USA, 2015. [https://doi.org/10.1109/ICRA.2015.7139977]
• J. Lee, W. Hong, and P. Hur, “Continuous gait phase estimation using lstm for robotic transfemoral prosthesis across walking speeds,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 29, pp. 1470-1477, 2021. [https://doi.org/10.1109/TNSRE.2021.3098689]
• I. Kang, D. D. Molinaro, S. Duggal, Y. Chen, P. Kunapuli, and A. J. Young, “Real-time gait phase estimation for robotic hip exoskeleton control during multimodal locomotion,” IEEE robotics and automation letters, vol. 6, no. 2, pp. 3491-3497, Apr., 2021. [https://doi.org/10.1109/LRA.2021.3062562]
• Y. Qian, Y. Wang, C. Chen, J. Xiong, Y. Leng, H. Yu, and C. Fu, “Predictive locomotion mode recognition and accurate gait phase estimation for hip exoskeleton on various terrains,” IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 6439-6446, Jul., 2022. [https://doi.org/10.1109/LRA.2022.3173426]