[Fig. 1]은 한국과학기술연구원의 웨어러블 고관절 복합 보조 로봇 MoonWalk 이다. 좌/우 고관절의 FE 및 abduction-adduction (AbAd) 관절에 각각 모터를 장착하여 보조력을 생성하는 총 4 자유도의 능동 관절을 갖고 있다. 로봇에는 착용자의 운동학적 정보를 얻기 위해 고관절 각도 센서(FE, AbAd 관절)와 등 부위에는 Inertial Measurement Unit (IMU) 센서가 장착되어 있고 보행 의도 감지 및 상체 자세 정보를 얻을 수 있다. 착용자의 양발에는 Bluetooth Low Energy (BLE) 무선 통신을 통해 로봇과 연동되는 스마트 인솔이 장착되어 있고 각기 4개의 압력 센서와 6축 IMU 센서가 포함되어 있다. 인솔 데이터는 30 Hz BLE 통신을 통해 로봇과 연동되고 인솔을 제외한 모든 센서 데이터는 100 Hz로 수집 및 저장된다.

[Fig. 1] 
Hip complex assistance exoskeleton system and sensor information

딥러닝 학습을 위한 데이터를 수집하기 위해 총 5명의 평균 30.0 ± 6.5세, 키 1.71 ± 0.04 m, 몸무게 69.6 ± 11.6 kg의 건강한 성인(남자 4명, 여자 1명)들을 모집했고 실험에 관한 설명을 충분히 들은 후 실험을 진행했다. 그리고 로봇을 착용 후 [Fig. 2]와 같이 실외 평지 환경과 계단 환경에서 보행 시 로봇의 센서를 통해 획득되는 착용자의 보행 정보를 수집하였다. 본 실험은 한국과학기술연구원 기관 IRB의 승인을 받아 진행하였다(KIST-202209-HR-018).

[Fig. 2] 
Level ground (left) and stairs (right) experimental environment for training data

트레드밀 환경이 아닌 실외 일상 환경에서는 피험자의 보행 속도를 정량적으로 제한하기 어려워, 본인에게 편한 평소의 보행 속도를 포함해 그보다 빠른 걸음, 느린 걸음을 추가 요청하여 총 3개의 세션으로 나누어 실험을 진행했다. 그리고 보행 환경별 피험자의 보행 패턴의 변화를 있는 그대로 측정하기 위해 모든 실험은 로봇 모터의 마찰 보상 제어 토크만 인가한 상태에서 실험을 진행했다.

평지 보행 데이터 획득 시에는 착용자에게 약 120 m의 직선 평지 보도를 각 보행 속도 세션에 따라 1번씩 왕복하도록 요청했고 출발점으로 왕복을 위한 회전 구간에서는 가장 큰 반경으로 걷도록 안내했다. 계단 환경에서는 총 35계단으로 이루어진 층간 계단을 충분한 양의 데이터를 수집하기 위해 각 속도 세션마다 5번씩 총 15번 왕복하도록 안내하고 실험을 진행했다. 그리고 실험 사이 사이에 피험자의 피로를 줄이기 위해 충분한 휴식을 취하게 한 후 실험을 진행했다.

0-100% 사잇값을 갖는 보행 주기 함수는 반복되는 특정 이벤트를 기준으로 두 이벤트 발생 지점을 1차 함수 형태로 이어 표현할 수 있다. 특정 이벤트가 발생하는 시점은 보행 주기의 시작점이자 끝점으로 0%와 100% 값을 동시에 갖는다. 하지만 discrete data를 다루기 때문에 이벤트가 발생하는 시점을 100%로 설정하고 그다음 데이터를 0%로 설정했다.

보행 주기 함수를 정의하기 위한 Ground Truth Labeling 시 웨어러블 로봇을 통해 들어오는 hip FE 각도 센서값에 20 data(0.2 s) 이동평균 값을 사용해 잡음이 제거된 데이터를 기준으로 MHE와 MHF 지점의 Labeling을 각각 수행하였다. 위 기준에 따라 보행 주기를 정의한 후에는 0-100% 사이의 값을 갖는 시간 함수 내 MHE와 MHF 지점에서 발생하는 불연속성에 의해 보행 주기의 시작점 및 끝점에서 절대 오차가 크게 나타나는 문제를 보완하기 위해, 극좌표 변환을 통해 각 다리의 보행 위상을 직교좌표계 상의 x, y 값으로 표현했다. 이후 x, y 값을 활용해 출력값과의 평균 제곱근 오차(Root Mean Square Error: RMSE)를 계산한 후 다시 0-100% 사이의 값을 갖는 시간 함수로 변환하여 표현하도록 했다.

LSTM 기반 보행 위상 추정 모델의 학습을 위한 매개 변수(Hyper Parameter)들은 이전의 연구를 참조하여 설정했다^[1]. [Fig. 3]에 나타낸 것처럼 입력층(input layer)에는 정규화 층(batch normalization layer)을 적용해 모든 입력 데이터를 정규화시켰고, 슬라이딩 윈도우 크기(sliding window size)는 60(=0.6 s)을 사용했다. LSTM 층의 활성화 함수(activation function)는 tanh를 사용하고 은닉 상태 크기(hidden state size)는 80을 적용했다. 마지막으로 출력층(output layer)은 각 다리의 보행 위상을 극좌표계로 변환시킨 x, y 값을 출력하도록 하여 4개의 출력값을 갖는다.

[Fig. 3] 
Deep learning model architecture for gait phase estimation. A total of 22 data from hip FE, trunk IMU, and foot IMU sensors are made into a 0.6 s-sized sequence dataset, normalized, and then entered into a deep learning model. Then, passing through the LSTM and dense layers, the deep learning model outputs the gait phase of each leg as the x, y value of the Cartesian coordinate using the tanh function

입력 데이터들은 이전 연구를 통해 얻어낸 보행 속도 변화 시에도 최적의 보행 위상 추정 성능을 발휘할 수 있는 센서 조합인 hip FE 관절 각도/각속도(4 data), trunk IMU(6 data), foot IMU(6*2 data)의 데이터들을 사용했다^[1]. hip FE 관절 각도 데이터의 경우, 20 data(0.2 s) 이동평균 값을 사용했고 trunk IMU, foot IMU 데이터는 차단 주파수(cutoff frequency) 10 Hz의 2차 버터워스 저주파수 필터(butterworth lowpass filter)를 사용했다.

Hip FE 각도 센서 데이터에서 MHF 지점과 MHE 지점으로 보행 주기를 정의한 데이터를 각각 학습시켜 결과를 비교해 보았다. 학습 결과는 5-fold cross validation 방법을 사용해 예측된 출력값과 ground truth 값의 비교를 통해 RMSE 값을 계산하여 사용했다.

학습 결과는 [Fig. 4]에 표현한 그래프와 같이 나타났다. MHF 지점을 기준으로 보행 주기를 정의한 데이터를 사용해 학습한 결과 평지(Level Ground, LG) 보행에서 2.66 ± 0.49%, 계단 오르기(Stair Ascent, SA) 보행에서 2.94 ± 1.46%, 계단 내리기(Stair Descent, SD) 보행에서 3.21 ± 0.65%의 오차율이 나타났다. 그리고 MHE 지점을 기준으로 보행 주기를 정의한 데이터를 사용한 결과는 LG 보행에서 2.38 ± 0.63%, SA 보행에서 2.72 ± 0.65%, SD 보행에서 8.41 ± 2.48%의 오차율이 나타났다. MHF 기준과 MHE 기준의 모든 보행 환경 평균 오차율은 각각 2.94%, 4.51%로 MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 RMSE 값이 1.57% 낮게 나타났다.

[Fig. 4] 
Gait phase estimation results of each walking environment based on LSTM. Blue bars are the results of using MHF and orange bars are the results of using MHE. The error between the ground truth and the estimated value is calculated using the cosine similarity of the x and y values on the Cartesian coordinates

Hip FE 각도에서 MHF 지점과 MHE 지점을 기준으로 각각 보행 주기를 정의한 데이터를 활용해 보행 위상 추정 모델을 학습해본 결과, MHF 기준 데이터를 사용한 결과가 MHE 기준 데이터를 사용한 결과보다 약 35% 정도 성능이 향상되었다. [Fig. 4]에 보이는 것처럼 LG 보행과 SA 보행에서 MHE 결과가 MHF 결과보다 RMSE 값이 더 낮게 나타났지만, SD 보행의 경우 MHE 결과가 MHF 결과보다 RMSE 값이 2배 이상 높은, 8.41%로 높게 나타남을 확인할 수 있다. 이러한 결과가 나오게 된 것은 [Fig. 5(b)]에 나타난 MHE 결과의 SD 보행에서 빠른 걸음의 오차율이 다른 결과에 비해 높게 나왔기 때문이다. [Fig. 6]에서 각 보행 속도에 따른 hip FE 각도의 궤적을 살펴보면 LG 보행과 SA 보행에서는 MHE 지점을 감지할 때 하나의 극대점(local maximum)이 명확하게 발생하는 반면, SD 보행에서는 보행 속도가 빨라질수록 MHE 지점에서 여러 개의 극대점이 발생하는 것을 볼 수 있다. 이에 따라 보행 위상을 추정하는 과정에서 이중 정점(double peak)과 같은 유사 정점(peak) 특성이 주변에 발생한 데이터가 입력되었을 때 잘못된 정점을 감지해 오차율이 크게 상승하는 결과가 나타났다. SD 보행에서 보행 속도가 빨라진 경우에는 충격 흡수를 위한 신체적인 움직임에 의해 유사 정점이 발생해 오차율이 증가한 것으로 추측된다. 그리고 두 학습 모델 모두 [Fig. 5]에 나타난 것처럼 SA 보행과 SD 보행에서 평소 보행 속도가 아닌 느린 걸음에 대한 보행 위상 추정 결과, 보통 걸음에 비해 오차율이 상승하는 경향이 나타났다. [Fig. 6(b)]에서 SA 보행 중 보행 속도가 느려졌을 때는 다음 보행을 위한 과정에서 잠시 멈춰있는 구간이 생기고, 이에 따라 MHF 지점과 MHE 지점이 평평하게 나타나 명확한 극대점을 찾기가 어려워져 오차율이 상승했다. SD 보행의 느린 걸음의 경우, 불안정한 보행으로 인해 불규칙한 움직임이 발생하고 빠른 걸음과 마찬가지로 여러 개의 유사 정점이 발생하는 경우가 생겨 오차율이 높아진 것으로 판단된다.

[Fig. 5] 
Gait phase estimation results of each walking environment based according to the walking speed. (a) results of using MHF, (b) results of using MHE

[Fig. 6] 
hip FE angle trajectory according to each walking speed (a) level ground, (b) stair ascent, (c) stair descent. All the lines and shaded regions represent the mean and ±standard deviation of 5 subjects’s all steps, respectively. Gait phase was defined based on MHF. And the MHE is expressed as a vertical dashed line. (+: flexion, -: extension)

이번 연구를 통해 얻어낸 가장 좋은 결과인 MHF 지점을 기준으로 보행 주기를 정의한 보행 위상 추정 모델의 결과와 비교해 조지아텍의 선행 연구 결과에서 LG 보행은 약 33.5%, SA 보행은 약 2.0%, SD 보행은 약 59.9%, 전체 환경 평균 약 41.2%의 성능이 향상된 결과가 나타났다^[11]. 그리고 싱가포르 국립대학의 연구 결과와 비교했을 때는 LG 보행에서 약 33.5%, SD 보행에서 약 46.5%, 전체 환경 평균 약 26.5%의 성능이 향상되었다^[12].

본 연구의 결과가 앞선 선행 연구들과 비교해 우수한 성능을 보일 수 있었던 이유로는 넓은 실외 실험환경에서 여러 번의 왕복을 통해 충분한 양의 보행 데이터를 얻어 학습에 활용했다는 점과 웨어러블 로봇 몸체에 장착된 센서뿐만 아니라 착용자의 발 쪽에 장착된 족저압 센서와 IMU 등 추가적인 다양한 센서의 정보를 동시에 활용한 점을 들 수 있다. 또한, 시계열 데이터 학습에 더욱 특화된 LSTM을 활용하여 CNN 혹은 AO 기법 대비 우수한 결과를 보인 것으로 판단된다.