Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 18, No. 2, pp.182-188
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 31 May 2023
Received 23 Nov 2022 Revised 09 Jan 2023 Accepted 13 Mar 2023
DOI: https://doi.org/10.7746/jkros.2023.18.2.182

평지 및 계단 환경에서 보행 속도 변화에 대응 가능한 웨어러블 로봇의 보행 위상 추정 방법

김호빈1 ; 이종복1 ; 김선우1 ; 기인호2 ; 김상도3 ; 박신석4 ; 김강건5 ; 이종원
Gait Phase Estimation Method Adaptable to Changes in Gait Speed on Level Ground and Stairs
Hobin Kim1 ; Jongbok Lee1 ; Sunwoo Kim1 ; Inho Kee2 ; Sangdo Kim3 ; Shinsuk Park4 ; Kanggeon Kim5 ; Jongwon Lee
1MS Student, KIST, Seoul, Korea msbc7085@kist.re.krljb920615@kist.re.kr122008@kist.re.kr
2Researcher, KIST, Seoul, Korea kee@kist.re.kr
3Student Researcher, KIST, Seoul, Korea sangdo322@kist.re.kr
4Professor, School of Mechanical Engineering, Korea University, Seoul, Korea drsspark@korea.ac.kr
5Senior Researcher, Center for Intelligent & Interactive Robotics, KIST, Seoul, Korea danny@kist.re.kr

Correspondence to: Senior Researcher, Corresponding author: Center for Intelligent & Interactive Robotics, KIST, Seoul, Korea ( jwlee@kist.re.kr)

CopyrightⓒKROS

Abstract

Due to the acceleration of an aging society, the need for lower limb exoskeletons to assist gait is increasing. And for use in daily life, it is essential to have technology that can accurately estimate gait phase even in the walking environment and walking speed of the wearer that changes frequently. In this paper, we implement an LSTM-based gait phase estimation learning model by collecting gait data according to changes in gait speed in outdoor level ground and stair environments. In addition, the results of the gait phase estimation error for each walking environment were compared after learning for both max hip extension (MHE) and max hip flexion (MHF), which are ground truth criteria in gait phase divided in previous studies. As a result, the average error rate of all walking environments using MHF reference data and MHE reference data was 2.97% and 4.36%, respectively, and the result of using MHF reference data was 1.39% lower than the result of using MHE reference data.

Keywords:

Gait Phase Estimation, Deep Learning, LSTM, Wearable Walking Robot, Exoskeleton

1. 서 론

우리나라에서도 노인 인구 비율이 급격하게 증가하며 고령화 문제가 사회적 문제로 대두되고 있다. 노화로 인한 신체적 기능 감소로 노인들의 독립적 생활이 힘들어지고, 사회적 활동이 줄어드는 문제가 발생한다. 이러한 문제를 로봇 기술을 통해 해결하고자 단일 관절 보조 웨어러블 로봇[1,2]부터 다관절 보조[3-5], 섬유 소재와 와이어 등을 사용한 소프트 타입 웨어러블 로봇[6,7]까지 고령자를 대상으로 하는 다양한 형태의 근력 보조 웨어러블 로봇에 관한 연구가 진행되고 있다.

웨어러블 로봇의 활용처가 병원에서 가정을 포함한 일상으로 확장되면서 각 착용자의 개별 보행 특성뿐만 아니라, 일상생활 중 평지, 계단, 경사 등 다양한 보행 환경을 마주하게 되고, 보행 속도 또한 환경과 시간에 따라 변화하게 된다. 따라서 웨어러블 로봇의 최적 근력 보조를 위해서는 착용자의 수시로 변화하는 보행 상황 속에서도 정확하게 보행 위상을 추정할 수 있는 기술이 필수적으로 요구된다.

사람의 보행은 주기적으로 반복되는 움직임을 통해 수행되는데, 이러한 반복적인 움직임 중 보행 주기는 특정 이벤트를 기준으로 0-100% 사이의 값을 갖는 시간 함수로 표현한다. 보행 위상은 보행 주기 함수에서 백분율 값으로 표현할 수 있다. 많은 기존의 연구에서는 보행 중 뒤꿈치가 지면에 닿는 heel-strike 이벤트를 기준으로 보행 주기의 시작과 끝을 정의한다[8-10]. 하지만 일반 평지에서의 보행이 아닌 계단 환경에서의 보행 시, 보행 속도 및 계단의 깊이에 따라 뒤꿈치가 계단에 닿지 않고 걷게 되는 경우가 발생하여, 앞서 말한 heel-strike와 같은 기준으로는 계단 환경에서의 보행 시 보행 위상을 추정하기 어려운 한계가 있다.

이러한 문제를 해결하기 위하여 현재까지 여러 연구기관에서 복합적인 보행 환경에서 보행 위상 추정을 하는 연구를 진행해 왔다. 조지아텍에서는 평지, 계단, 경사로를 포함하는 실내 실험 공간에서 보행에 대한 데이터를 수집하여 Convolutional Neural Network (CNN) 기법을 활용한 보행 위상 추정 기술을 개발하였다[11]. 계단 보행에서 감지 오류가 존재하는 heel-strike 이벤트 대신, 고관절 flexion-extension (FE) 관절 각도를 활용해 한 걸음마다 고관절이 최대로 extension이 일어나는 max hip extension (MHE) 지점을 기준으로 보행 주기의 시작을 정의하고, 위상을 추정했다. 싱가포르 국립대학에서는 평지, 계단, 경사로를 포함하는 실외 실험 환경에서 보행에 대한 데이터를 수집하여, adaptive oscillator (AO) 기법 기반 보행 위상 추정 기술을 개발하였다[12]. 위의 연구와 마찬가지로 고관절의 FE 각도를 활용했고, 매 걸음 flexion이 최대로 일어나는 max hip flexion (MHF) 지점을 기준으로 보행 주기의 시작을 정의하고, 보행 위상을 추정했다. 이처럼 다수의 연구기관에서 보행 환경의 다양성을 고려한 보행 위상 추정 기술에 관한 연구를 수행하고 있지만, 아직 보행 환경별로 큰 보행 위상 추정 오차가 발생하고, 착용자별 맞춤형 매개 변수 조절이 요구되는 단점이 존재한다.

본 연구팀은 이전 연구[1]에서 로봇을 착용한 후 평지 환경에서 보행 속도 변화에 강인한 보행위상추정 기술을 개발하였다. 이번 논문에서는 보행 환경을 더욱 확장하여 평지뿐만 아닌 계단 보행에서 획득한 보행 속도별 보행 데이터에 기반하여, 보행 환경변화에 강인하게 동작하는 딥러닝 기반 보행 위상 추정 기법을 제안하였다. 한국과학기술연구원의 웨어러블 고관절 복합체 근력 보조 로봇의 착용형 센서를 활용하여, Long Short-Term Memory (LSTM) 기법 기반의 보행 위상 추정을 수행하였다. 선행 연구들에서 나누어져 있던 보행 주기 정의 기준인 MHE, MHF 두 가지 경우 모두에 대해, 새롭게 획득된 데이터를 기준으로 학습시킨 후 환경별 위상 추정 오차 결과를 비교해 보았다.

본 논문은 아래와 같이 구성되어 있다. 2장에서는 학습에 사용할 데이터를 얻기 위한 웨어러블 로봇 시스템에 관한 내용과 실험이 어떤 방식으로 진행되었는지를 다루고 있다. 3장에서는 보행 위상 추정을 위한 학습 모델을 구축하기 위해 ground truth를 정의한 방법과 학습 모델의 매개 변수들에 관한 자세한 설명을 하고 있다. 마지막으로 4장에서는 학습 모델을 활용한 보행 위상 추정 결과와 결과에 관한 분석을 살펴볼 것이다.


2. 학습 데이터 수집

2.1 하지 웨어러블 로봇 시스템

[Fig. 1]은 한국과학기술연구원의 웨어러블 고관절 복합 보조 로봇 MoonWalk 이다. 좌/우 고관절의 FE 및 abduction-adduction (AbAd) 관절에 각각 모터를 장착하여 보조력을 생성하는 총 4 자유도의 능동 관절을 갖고 있다. 로봇에는 착용자의 운동학적 정보를 얻기 위해 고관절 각도 센서(FE, AbAd 관절)와 등 부위에는 Inertial Measurement Unit (IMU) 센서가 장착되어 있고 보행 의도 감지 및 상체 자세 정보를 얻을 수 있다. 착용자의 양발에는 Bluetooth Low Energy (BLE) 무선 통신을 통해 로봇과 연동되는 스마트 인솔이 장착되어 있고 각기 4개의 압력 센서와 6축 IMU 센서가 포함되어 있다. 인솔 데이터는 30 Hz BLE 통신을 통해 로봇과 연동되고 인솔을 제외한 모든 센서 데이터는 100 Hz로 수집 및 저장된다.

[Fig. 1]

Hip complex assistance exoskeleton system and sensor information

2.2 실험 과정

딥러닝 학습을 위한 데이터를 수집하기 위해 총 5명의 평균 30.0 ± 6.5세, 키 1.71 ± 0.04 m, 몸무게 69.6 ± 11.6 kg의 건강한 성인(남자 4명, 여자 1명)들을 모집했고 실험에 관한 설명을 충분히 들은 후 실험을 진행했다. 그리고 로봇을 착용 후 [Fig. 2]와 같이 실외 평지 환경과 계단 환경에서 보행 시 로봇의 센서를 통해 획득되는 착용자의 보행 정보를 수집하였다. 본 실험은 한국과학기술연구원 기관 IRB의 승인을 받아 진행하였다(KIST-202209-HR-018).

[Fig. 2]

Level ground (left) and stairs (right) experimental environment for training data

트레드밀 환경이 아닌 실외 일상 환경에서는 피험자의 보행 속도를 정량적으로 제한하기 어려워, 본인에게 편한 평소의 보행 속도를 포함해 그보다 빠른 걸음, 느린 걸음을 추가 요청하여 총 3개의 세션으로 나누어 실험을 진행했다. 그리고 보행 환경별 피험자의 보행 패턴의 변화를 있는 그대로 측정하기 위해 모든 실험은 로봇 모터의 마찰 보상 제어 토크만 인가한 상태에서 실험을 진행했다.

평지 보행 데이터 획득 시에는 착용자에게 약 120 m의 직선 평지 보도를 각 보행 속도 세션에 따라 1번씩 왕복하도록 요청했고 출발점으로 왕복을 위한 회전 구간에서는 가장 큰 반경으로 걷도록 안내했다. 계단 환경에서는 총 35계단으로 이루어진 층간 계단을 충분한 양의 데이터를 수집하기 위해 각 속도 세션마다 5번씩 총 15번 왕복하도록 안내하고 실험을 진행했다. 그리고 실험 사이 사이에 피험자의 피로를 줄이기 위해 충분한 휴식을 취하게 한 후 실험을 진행했다.


3. 학습 모델 구축

3.1 Ground Truth Labeling

0-100% 사잇값을 갖는 보행 주기 함수는 반복되는 특정 이벤트를 기준으로 두 이벤트 발생 지점을 1차 함수 형태로 이어 표현할 수 있다. 특정 이벤트가 발생하는 시점은 보행 주기의 시작점이자 끝점으로 0%와 100% 값을 동시에 갖는다. 하지만 discrete data를 다루기 때문에 이벤트가 발생하는 시점을 100%로 설정하고 그다음 데이터를 0%로 설정했다.

보행 주기 함수를 정의하기 위한 Ground Truth Labeling 시 웨어러블 로봇을 통해 들어오는 hip FE 각도 센서값에 20 data(0.2 s) 이동평균 값을 사용해 잡음이 제거된 데이터를 기준으로 MHE와 MHF 지점의 Labeling을 각각 수행하였다. 위 기준에 따라 보행 주기를 정의한 후에는 0-100% 사이의 값을 갖는 시간 함수 내 MHE와 MHF 지점에서 발생하는 불연속성에 의해 보행 주기의 시작점 및 끝점에서 절대 오차가 크게 나타나는 문제를 보완하기 위해, 극좌표 변환을 통해 각 다리의 보행 위상을 직교좌표계 상의 x, y 값으로 표현했다. 이후 x, y 값을 활용해 출력값과의 평균 제곱근 오차(Root Mean Square Error: RMSE)를 계산한 후 다시 0-100% 사이의 값을 갖는 시간 함수로 변환하여 표현하도록 했다.

3.2 보행 위상 학습 모델 구현

LSTM 기반 보행 위상 추정 모델의 학습을 위한 매개 변수(Hyper Parameter)들은 이전의 연구를 참조하여 설정했다[1]. [Fig. 3]에 나타낸 것처럼 입력층(input layer)에는 정규화 층(batch normalization layer)을 적용해 모든 입력 데이터를 정규화시켰고, 슬라이딩 윈도우 크기(sliding window size)는 60(=0.6 s)을 사용했다. LSTM 층의 활성화 함수(activation function)는 tanh를 사용하고 은닉 상태 크기(hidden state size)는 80을 적용했다. 마지막으로 출력층(output layer)은 각 다리의 보행 위상을 극좌표계로 변환시킨 x, y 값을 출력하도록 하여 4개의 출력값을 갖는다.

[Fig. 3]

Deep learning model architecture for gait phase estimation. A total of 22 data from hip FE, trunk IMU, and foot IMU sensors are made into a 0.6 s-sized sequence dataset, normalized, and then entered into a deep learning model. Then, passing through the LSTM and dense layers, the deep learning model outputs the gait phase of each leg as the x, y value of the Cartesian coordinate using the tanh function

입력 데이터들은 이전 연구를 통해 얻어낸 보행 속도 변화 시에도 최적의 보행 위상 추정 성능을 발휘할 수 있는 센서 조합인 hip FE 관절 각도/각속도(4 data), trunk IMU(6 data), foot IMU(6*2 data)의 데이터들을 사용했다[1]. hip FE 관절 각도 데이터의 경우, 20 data(0.2 s) 이동평균 값을 사용했고 trunk IMU, foot IMU 데이터는 차단 주파수(cutoff frequency) 10 Hz의 2차 버터워스 저주파수 필터(butterworth lowpass filter)를 사용했다.


4. 실험 결과 및 고찰

4.1 학습 결과

Hip FE 각도 센서 데이터에서 MHF 지점과 MHE 지점으로 보행 주기를 정의한 데이터를 각각 학습시켜 결과를 비교해 보았다. 학습 결과는 5-fold cross validation 방법을 사용해 예측된 출력값과 ground truth 값의 비교를 통해 RMSE 값을 계산하여 사용했다.

학습 결과는 [Fig. 4]에 표현한 그래프와 같이 나타났다. MHF 지점을 기준으로 보행 주기를 정의한 데이터를 사용해 학습한 결과 평지(Level Ground, LG) 보행에서 2.66 ± 0.49%, 계단 오르기(Stair Ascent, SA) 보행에서 2.94 ± 1.46%, 계단 내리기(Stair Descent, SD) 보행에서 3.21 ± 0.65%의 오차율이 나타났다. 그리고 MHE 지점을 기준으로 보행 주기를 정의한 데이터를 사용한 결과는 LG 보행에서 2.38 ± 0.63%, SA 보행에서 2.72 ± 0.65%, SD 보행에서 8.41 ± 2.48%의 오차율이 나타났다. MHF 기준과 MHE 기준의 모든 보행 환경 평균 오차율은 각각 2.94%, 4.51%로 MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 RMSE 값이 1.57% 낮게 나타났다.

[Fig. 4]

Gait phase estimation results of each walking environment based on LSTM. Blue bars are the results of using MHF and orange bars are the results of using MHE. The error between the ground truth and the estimated value is calculated using the cosine similarity of the x and y values on the Cartesian coordinates

4.2 고찰

Hip FE 각도에서 MHF 지점과 MHE 지점을 기준으로 각각 보행 주기를 정의한 데이터를 활용해 보행 위상 추정 모델을 학습해본 결과, MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 약 35% 정도 성능이 향상되었다. [Fig. 4]에 보이는 것처럼 LG 보행과 SA 보행에서 MHE 결과가 MHF 결과보다 RMSE 값이 더 낮게 나타났지만, SD 보행의 경우 MHE 결과가 MHF 결과보다 RMSE 값이 2배 이상 높은, 8.41%로 높게 나타남을 확인할 수 있다. 이러한 결과가 나오게 된 것은 [Fig. 5(b)]에 나타난 MHE 결과의 SD 보행에서 빠른 걸음의 오차율이 다른 결과에 비해 높게 나왔기 때문이다. [Fig. 6]에서 각 보행 속도에 따른 hip FE 각도의 궤적을 살펴보면 LG 보행과 SA 보행에서는 MHE 지점을 감지할 때 하나의 극대점(local maximum)이 명확하게 발생하는 반면, SD 보행에서는 보행 속도가 빨라질수록 MHE 지점에서 여러 개의 극대점이 발생하는 것을 볼 수 있다. 이에 따라 보행 위상을 추정하는 과정에서 이중 정점(double peak)과 같은 유사 정점(peak) 특성이 주변에 발생한 데이터가 입력되었을 때 잘못된 정점을 감지해 오차율이 크게 상승하는 결과가 나타났다. SD 보행에서 보행 속도가 빨라진 경우에는 충격 흡수를 위한 신체적인 움직임에 의해 유사 정점이 발생해 오차율이 증가한 것으로 추측된다. 그리고 두 학습 모델 모두 [Fig. 5]에 나타난 것처럼 SA 보행과 SD 보행에서 평소 보행 속도가 아닌 느린 걸음에 대한 보행 위상 추정 결과, 보통 걸음에 비해 오차율이 상승하는 경향이 나타났다. [Fig. 6(b)]에서 SA 보행 중 보행 속도가 느려졌을 때는 다음 보행을 위한 과정에서 잠시 멈춰있는 구간이 생기고, 이에 따라 MHF 지점과 MHE 지점이 평평하게 나타나 명확한 극대점을 찾기가 어려워져 오차율이 상승했다. SD 보행의 느린 걸음의 경우, 불안정한 보행으로 인해 불규칙한 움직임이 발생하고 빠른 걸음과 마찬가지로 여러 개의 유사 정점이 발생하는 경우가 생겨 오차율이 높아진 것으로 판단된다.

[Fig. 5]

Gait phase estimation results of each walking environment based according to the walking speed. (a) results of using MHF, (b) results of using MHE

[Fig. 6]

hip FE angle trajectory according to each walking speed (a) level ground, (b) stair ascent, (c) stair descent. All the lines and shaded regions represent the mean and ±standard deviation of 5 subjects’s all steps, respectively. Gait phase was defined based on MHF. And the MHE is expressed as a vertical dashed line. (+: flexion, -: extension)

이번 연구를 통해 얻어낸 가장 좋은 결과인 MHF 지점을 기준으로 보행 주기를 정의한 보행 위상 추정 모델의 결과와 비교해 조지아텍의 선행 연구 결과에서 LG 보행은 약 33.5%, SA 보행은 약 2.0%, SD 보행은 약 59.9%, 전체 환경 평균 약 41.2%의 성능이 향상된 결과가 나타났다[11]. 그리고 싱가포르 국립대학의 연구 결과와 비교했을 때는 LG 보행에서 약 33.5%, SD 보행에서 약 46.5%, 전체 환경 평균 약 26.5%의 성능이 향상되었다[12].

본 연구의 결과가 앞선 선행 연구들과 비교해 우수한 성능을 보일 수 있었던 이유로는 넓은 실외 실험환경에서 여러 번의 왕복을 통해 충분한 양의 보행 데이터를 얻어 학습에 활용했다는 점과 웨어러블 로봇 몸체에 장착된 센서뿐만 아니라 착용자의 발 쪽에 장착된 족저압 센서와 IMU 등 추가적인 다양한 센서의 정보를 동시에 활용한 점을 들 수 있다. 또한, 시계열 데이터 학습에 더욱 특화된 LSTM을 활용하여 CNN 혹은 AO 기법 대비 우수한 결과를 보인 것으로 판단된다.


5. 결 론

이번 연구를 통해 평지 및 계단을 포함하는 일상 환경에서 보행 속도의 변화에도 강인하게 대응할 수 있는 LSTM 기반 보행위상추정 모델의 성능을 검증하였다. 그리고 보행 중에 발생하는 MHE 또는 MHF 이벤트에 따라 보행 위상 추정 모델의 성능을 비교하였고 MHF 이벤트를 기준으로 보행 주기를 정의하는 것이 일정하게 극대점을 감지할 수 있으므로 보행 위상 추정 성능이 향상되는 것을 확인하였다. 그뿐만 아니라 기존의 연구들과도 비교해 보행 위상 추정 성능이 향상된 것을 확인할 수 있었다.

이후 진행할 연구에서는 일상생활 중 마주할 수 있는 좀 더 다양한 보행 환경에서의 데이터를 활용해 실생활 적용 가능성을 검증해 나갈 예정이다. 그리고 보행 위상 추정뿐만 아니라 보행 환경 인식 모델의 구현을 통해 착용자의 보행 환경 및 보행 속도의 변화에 따라 최적의 근력 보조 성능을 나타낼 수 있도록 하는 알고리즘의 연구가 필요할 것이다.

Acknowledgments

This work was supported in part by Korea Institute of Science and Technology Institutional Program under Grant KIST 2E31561, in part by Korea Advanced Research Program through the National Research Foundation of Korea (NRF) funded by Ministry of Science and ICT (2020M3H8A1115027)

References

  • H.-B. Kim, J.-B. Lee, S.-W. Kim, S.-D. Kim, S.-S. Park, K. Kim, and J. Lee, “LSTM based Gait Phase Estimation Method Robust to Changes in Gait Speed,” Korea Information Processing Society Conference, Chuncheon, Korea, pp. 429-431, 2022. [https://doi.org/10.3745/PKIPS.y2022m11a.429]
  • K. Seo, J. Lee, Y. Lee, T. Ha, and Y. Shim, “Fully autonomous hip exoskeleton saves metabolic cost of walking,” IEEE International Conference on Robotics and Automation (ICRA), Stockholm, Sweden, 2016. [https://doi.org/10.1109/ICRA.2016.7487663]
  • D. J. Hyun, H. Lim, S. Park, J. Yoon, K. Jung, K. Bae, and I. Lee, “Walking propulsion generation in double stance by powered exoskeleton for paraplegics,” Robotics and Autonomous Systems, vol. 116, pp. 24-37, Jun., 2019. [https://doi.org/10.1016/j.robot.2019.03.002]
  • H. Hara and Y. Sankai, “Development of HAL for lumbar support,” SCIS & ISIS SCIS & ISIS 2010, Okayama, Japan, 2010. [https://doi.org/10.14864/SOFTSCIS.2010.0.416.0]
  • Y. Lee, J. Lee, B. Choi, M. Lee, S.-G. Roh, K. Kim, K. Seo, Y.-J. Kim, and Y. Shim, “Flexible gait enhancing mechatronics system for lower limb assistance (gems l-type),” IEEE/ASME Transactions on Mechatronics, vol. 24, no. 4, pp. 1520-1531, Aug., 2019. [https://doi.org/10.1109/TMECH.2019.2922977]
  • J. Kim, G. Lee, R. Heimgartner, D. A. Revi, N. Karavas, D. Nathanson, I. Galiana, A. Eckert-Erdheim, P. Murphy, D. Perry, N. Menard, D. K. Choe, P. Malcolm, and C. J. Walsh, “Reducing the metabolic rate of walking and running with a versatile, portable exosuit,” Science, vol. 365, no. 6454, pp. 668-672, Aug., 2019. [https://doi.org/10.1126/science.aav7536]
  • K. Schmidt, J. E. Duarte, M. Grimmer, A. Sancho-Puchades, H. Wei, C. S. Easthope, and R. Riener, “The myosuit: Bi-articular anti-gravity exosuit that reduces hip extensor activity in sitting transfers,” Frontiers in neurorobotics, vol. 11, Oct., 2017. [https://doi.org/10.3389/fnbot.2017.00057]
  • I. Kang, P. Kunapuli, and A. J. Young, “Real-time neural network-based gait phase estimation using a robotic hip exoskeleton,” IEEE Transactions on Medical Robotics and Bionics, vol. 2, no. 1, pp. 28-37, Feb., 2019. [https://doi.org/10.1109/TMRB.2019.2961749]
  • K. Seo, S. Hyung, B. K. Choi, Y. Lee, and Y. Shim, “A new adaptive frequency oscillator for gait assistance,” IEEE International Conference on Robotics and Automation (ICRA), Seattle, USA, 2015. [https://doi.org/10.1109/ICRA.2015.7139977]
  • J. Lee, W. Hong, and P. Hur, “Continuous gait phase estimation using lstm for robotic transfemoral prosthesis across walking speeds,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 29, pp. 1470-1477, 2021. [https://doi.org/10.1109/TNSRE.2021.3098689]
  • I. Kang, D. D. Molinaro, S. Duggal, Y. Chen, P. Kunapuli, and A. J. Young, “Real-time gait phase estimation for robotic hip exoskeleton control during multimodal locomotion,” IEEE robotics and automation letters, vol. 6, no. 2, pp. 3491-3497, Apr., 2021. [https://doi.org/10.1109/LRA.2021.3062562]
  • Y. Qian, Y. Wang, C. Chen, J. Xiong, Y. Leng, H. Yu, and C. Fu, “Predictive locomotion mode recognition and accurate gait phase estimation for hip exoskeleton on various terrains,” IEEE Robotics and Automation Letters, vol. 7, no. 3, pp. 6439-6446, Jul., 2022. [https://doi.org/10.1109/LRA.2022.3173426]
김 호 빈

2021 서울과학기술대학교 기계시스템디자인공학과(학사)

2021~현재 고려대학교 기계공학과(석사)

관심분야: wearable robot, health care robotics, Robot control

이 종 복

2017 국민대학교 기계시스템공학부(학사)

2021~현재 고려대학교 기계공학과(석사)

관심분야: Healthcare robot, Wearable robot, Medical robot, Robot mechanism design

김 선 우

2021 광운대학교 로봇학부(학사)

2022~현재 고려대학교 전자전기공학부(석사)

관심분야: wearable robot, health care robotics ,embedded system

기 인 호

2022 연세대학교 기계공학부(학사)

2022~현재 한국과학기술연구원 인턴

관심분야: wearable robot, health care Robotics, Rehabilitation Robot

김 상 도

2015~현재 서울과학기술대학교 기계자동차공학부(학사)

관심분야: Robot mechanism design and control

박 신 석

1999 MIT 기계공학 박사

2000 Nissan 자동차 방문연구원

2002 Harvard 대학교 Postdoctor

2004 Keio 대학교 방문 교수

2011 Harvard 의대 방문교수

2004~현재 고려대 기계공학부 교수

관심분야: Robot Manipulator, Haptics/Force Feedback, Augmented Reality, Human-Machine Interface, Human-Machine Interface, EMG – FES System

김 강 건

2004 서울대학교 기계공학과(학사)

2008 서울대학교 기계공학과(석사)

2018 USC 컴퓨터 과학과(박사)

2008~현재 한국과학기술연구원 선임연구원

관심분야: Robot Vision, Computer Vision, Image Processing, Face Recognition, Machine Learning, and Deep Learning

이 종 원

2005 POSTECH 기계공학과(학사)

2007 POSTECH 기계공학과(석사)

2012 POSTECH 기계공학과(박사)

2020 삼성종합기술원 책임연구원

2020~현재 한국과학기술연구원 선임연구원

관심분야: Wearable Robot, Rehabilitation Robot, Robot Mechanism Design

[Fig. 1]

[Fig. 1]
Hip complex assistance exoskeleton system and sensor information

[Fig. 2]

[Fig. 2]
Level ground (left) and stairs (right) experimental environment for training data

[Fig. 3]

[Fig. 3]
Deep learning model architecture for gait phase estimation. A total of 22 data from hip FE, trunk IMU, and foot IMU sensors are made into a 0.6 s-sized sequence dataset, normalized, and then entered into a deep learning model. Then, passing through the LSTM and dense layers, the deep learning model outputs the gait phase of each leg as the x, y value of the Cartesian coordinate using the tanh function

[Fig. 4]

[Fig. 4]
Gait phase estimation results of each walking environment based on LSTM. Blue bars are the results of using MHF and orange bars are the results of using MHE. The error between the ground truth and the estimated value is calculated using the cosine similarity of the x and y values on the Cartesian coordinates

[Fig. 5]

[Fig. 5]
Gait phase estimation results of each walking environment based according to the walking speed. (a) results of using MHF, (b) results of using MHE

[Fig. 6]

[Fig. 6]
hip FE angle trajectory according to each walking speed (a) level ground, (b) stair ascent, (c) stair descent. All the lines and shaded regions represent the mean and ±standard deviation of 5 subjects’s all steps, respectively. Gait phase was defined based on MHF. And the MHE is expressed as a vertical dashed line. (+: flexion, -: extension)