Tactile 센서 및 딥러닝 모델 기반 새로운 신체 압력중심점(CoP) 추정 시스템 개발

1. 서 론

전 세계적으로 고령화가 급속히 진행되면서 낙상이 주요 공중보건 문제 중 하나로 부상하고 있다. 세계보건기구(World Health Organization)는 2030년까지 전 세계 인구의 약 16%가 60세 이상이 될 것으로 예측하고 있으며, 낙상은 고령자들에게 발생률이 높을 뿐만 아니라 신체손상 및 자신감 하락 등의 문제를 일으킬 위험이 높다^[1,2].나이가 들면서 감각 시스템, 근골격계, 그리고 인지적 기능의 저하로 인해 균형 조절 능력이 약화되기 때문이다^[3-5].

이러한 신체의 균형 상태를 평가하는데 있어 압력중심점(Center of Pressure, CoP)은 중요한 지표로 작용한다. CoP는 지면 반발력에 기반하여 균형 상태를 반영하며, 균형 유지 능력을 평가하는 척도로 널리 사용되고 있다. 또한, CoP의 분석은 낙상 위험을 예측하고 균형 상태를 추적하는데 중요한 역할을 한다^[6]. 일반적으로 CoP는 힘판(Force Plate)의 3축 힘과 모멘트 값을 기반으로 높은 정확도로 측정이 되지만, 높은 비용으로 접근성이 낮다는 한계점이 있다^[7]. 관성 측정 장치(Inertial Measurement Unit, IMU)를 사용한 CoP 추정 방식은 IMU 센서를 통해 얻어진 선속도와 각속도를 기반으로 CoP를 계산하지만, 외란에 의한 잡음과 표류 현상으로 인해 실시간 분석에 어려움이 있다^[8,9]. 또한, 인솔 압력 센서(Insole Pressure Sensor, IPS)를 사용해 CoP를 추정하는 방식은 아웃솔의 강성에 영향을 받으며, 발이 공중에 떠 있는 경우에도 0이 아닌 값을 나타내는 등의 한계점이 존재한다^[10]. 또한, 저비용 센서 기반의 기존 연구에서는 FSR (Force Sensitive Resister) 또는 인솔 압력 센서를 활용해 발의 CoP(압력중심)를 추정하였으나^[11,12], 신체 CoP값과는 차이가 있을 뿐만 아니라 CoP 추정의 중요한 지표인 ML(내측-외측) 거리를 측정할 때 단순히 신발 크기의 절반을 ML 거리로 가정하는 방법이 사용된다^[12].

이를 보완하기 위해, 최안렬 외 4명은 보행 중 한발 지지 상태에서 각 발의 CoP를 통합 좌표계로 변환하는 신경망 모델을 제안하기도 하였으나^[13], 인솔 센서의 단점이 여전히 존재한다. J. Goetschius는 수직방향 압력 측정만 가능한 상용 압력매트로부터 계산된 신체 CoP 측정의 유효성을 평가하였으며, 움직이는 변위가 커질수록 CoP 측정에서 오차가 증가하는 단점이 존재하였다^[14]. 따라서 동적 CoP를 정확도 높게 측정할 수 있는 접근성 높은 시스템이 요구된다. 이전 연구에서 우리는 Tactile 센서의 각 셀에서 측정한 위치와 압력 값을 기반으로, 위치와 압력의 곱을 압력 값의 합으로 나누는 가중 평균 방식을 사용하여 정적 CoP를 높은 정확도로 계산할 수 있음을 보였다^[15]. 따라서 본 연구에서는 정확도 높은 동적 CoP 추정이 가능한 Tactile 센서와 딥러닝 모델 기반의 신체 CoP 추정 시스템을 제안하고자 한다. 고해상도 압력 측정이 가능한 Tactile 센서는 저렴한 비용과 모듈형 구조를 통해 확장 가능성이 높은 특성을 가지고, 기존 고가의 장비에 비해 접근성을 크게 향상시킬 수 있는 장점이 있다^[15,16].

본 연구에서는 Tactile 센서 및 CNN-Bi-LSTM 모델 기반 신체 압력중심점 측정 시스템을 새롭게 제안하고, 기존의 인솔 압력 센서 기반 CoP 추정 모델(CNN-LSTM, Bi-LSTM)들과 더불어 각 모델의 신체 CoP 추정 성능을 비교 및 분석하였다. 실험에는 건강한 성인 남성 10명이 참가하였으며, 동적 균형 검사 프로토콜을 수행하였다. 가중 평균 방식을 통해 계산된 CoP 값을 정답으로 설정하여 각 모델을 학습시켰다. 모델의 성능을 검증하기 위해 LOOCV (Leave-One-Out Cross-Validation) 방법을 적용하였으며, LOOCV 과정에서 각 모델의 성능은 평균 제곱근 오차(Root-Mean-Squared Error, RMSE) 및 결정 계수(R²)로 평가되었다. 해당 결과를 통해 각 모델의 CoP 추정 성능을 비교 분석함으로써 Tactile 센서와 딥러닝 기반으로 신체 CoP를 정확하게 추정할 수 있는 최적의 방식을 탐구하였다.

2. CoP 추정 방법

2.1 Tactile 센서

Tactile 센서를 통해 CoP를 추정하기 위해 각 센서 셀에서 측정된 압력 값을 기반으로 압력 이미지를 수집한다. 각 센서는 [Fig. 1]의 (a)와 같이 32 × 32의 격자로 구성되어 있으며, 상업용 압전저항 필름의 양면에 직교로 배열된 전극의 교차점에서 발생하는 저항 변화를 통해 최대 14 kPa의 압력을 측정할 수 있다^[16]. [Fig. 1]의 (b)에서 볼 수 있듯 네 개의 Tactile 센서는 64 × 64의 센서 배열을 형성하며, 각각 약 40 cm × 30 cm 크기로 총 약 80 cm (L) × 60 cm (W) 의 영역에서 압력 분포를 포착한다.

[Fig. 1]

(a) The internal orthogonal structure of copper wires in the Tactile sensor, (b) Tactile sensor (80 cm (L) × 60 cm (W))

2.2 Tactile 센서 초기화 및 CoP 시각화

2.2.1 Tactile 센서 초기화

네 개의 Tactile 센서를 통해 수집된 압력 데이터는 64 × 64 크기로 통합된다. 각 센서의 초기값이 서로 다를 수 있으므로, 이를 0으로 맞추기 위해 무게가 가해지지 않은 상태에서 각 셀의 평균값을 계산하고, 실시간 데이터에서 차감하여 초기값 차이를 보정한다. 이후 매우 낮은 값은 노이즈로 간주해 0으로 설정하였으며, Min-Max 스케일링을 적용해 각 셀의 값을 0에서 1 사이로 정규화 후 255를 곱해 그레이 스케일 이미지로 변환한다^[15]. 그레이 스케일 이미지에 남아 있을 수 있는 소금 후추 노이즈(Salt and Pepper Noise)는 이전 연구에서 개발된 노이즈 제거 알고리즘을 적용하였다^[15].

2.2.2 가중평균 방식의 CoP 계산과 시각화

신체 CoP를 추정하는 데 가중 평균 접근법을 사용하였으며, 인솔 압력 센서와 같은 다양한 압력 측정 장치에서 일반적으로 사용되었다^[11,17]. 신체 CoP 계산은 Tactile 센서로부터 수집된 압력 이미지를 이용하여, 식 (1)을 통해 2차원 좌표로 산출된다^[11,17]. 압력 이미지의 각 픽셀 값 (w_i)과 해당 픽셀의 좌표 (x_i, y_i) 그리고 Tactile 센서 기반 CoP 측정 시스템의 실제 길이 L과 너비 W를 고려하여 산출된다.

$\[ \begin{array}{c}CO{P}_X=\frac{\sum _{i=0}^{63}{x}_i{w}_i}{\sum _{i=0}^{63}{w}_i}\times \frac{L}{64}\hfill \\ CO{P}_Y=\frac{\sum _{i=0}^{63}{y}_i{w}_i}{\sum _{i=0}^{63}{w}_i}\times \frac{W}{64}\hfill \end{array} \]$

(1)

[Fig. 2]는 실시간 신체 CoP 위치(십자 선)와 압력 정보를 나타낸다. 압력 이미지와 CoP 위치를 시각화하기 위해 OpenCV의 ‘rezise’ 함수 및 ‘applyColor-map’ 함수를 사용하여 64 × 64 크기의 그레이 스케일 이미지를 628 × 476 크기의 ‘jet’ 컬러 맵 이미지로 변환하였다.

[Fig. 2]

Pressure and COP position visualization

2.3 CoP 추정 모델

본 연구에서는 CoP 추정을 위해 Bi-LSTM, CNN-LSTM, 그리고 CNN-Bi-LSTM의 세 가지 딥러닝 모델을 적용하였다. 각 모델은 서로 다른 시퀀스 길이의 64 × 64 크기의 압력 이미지를 입력으로 받고, 시퀀스 내 모든 프레임에서 2차원 CoP 좌표 (COP_X, COP_Y)를 예측한다. CoP 좌표의 정답값은 각 프레임에서 Tactile 센서로 수집된 압력 데이터를 기반으로 가중 평균 방식으로 계산되며, 모델은 이 정답값과 추정값 간의 평균 제곱 오차(MSE, Mean Squared Error)를 최소화하도록 학습된다. 이렇게 하여 모델이 CoP 좌표를 보다 정확히 예측할 수 있게 된다. 이때 CoP의 x축은 신체의 좌우(ML, Medio-Lateral) 방향을 나타내며, y축은 앞뒤(AP, Antero-Posterior) 방향을 나타낸다.

2.3.1 Bi-LSTM

Bi-LSTM (Bidirectional Long Short-Term Memory)은 시계열 데이터를 양방향으로 처리하여 과거와 미래의 정보를 동시에 학습할 수 있는 모델이다^[12,18]. 기존 LSTM과 다르게 Bi-LSTM은 순방향과 역방향 데이터를 모두 학습하여 시간적 종속성을 보다 효과적으로 학습할 수 있다. 기존 연구에서 Bi-LSTM이 가우스 프로세스 회귀(GPR)보다 우수한 CoP 추정 성능을 보인 바 있다^[12].

본 연구에서 사용된 Bi-LSTM의 전체 구조는 [Fig. 3]과 같으며, 입력에 해당하는 시퀀스 길이만큼의 64 × 64 크기의 압력 이미지를 시퀀스 길이만큼의 4096 크기의 1차원 벡터로 변환하여 Bi-LSTM에 입력한다. 이후, Bi-LSTM을 거쳐 Fully Connected Layer를 통해 시퀀스 길이만큼의 CoP 좌표 (COP_X, COP_Y)를 추정한다.

[Fig. 3]

Bi-LSTM model Configuration

2.3.2 CNN-LSTM

CNN-LSTM (Convolutional Neural Network - Long Short-Term Memory) 모델은 시계열 데이터의 공간적, 시간적 종속성을 동시에 학습할 수 있는 강력한 아키텍처이다^[11]. CNN은 입력 데이터의 고차원적 공간적 특징을 추출하고, LSTM은 이를 기반으로 시간적 종속성을 학습한다. 기존 연구에서 CNN-LSTM은 다양한 다차원 시계열 데이터의 예측 문제에서 우수한 성능을 보인 바 있으며, CoP 추정에도 성공적으로 적용되었다^[11].

CNN-LSTM 모델의 전체적인 구조는 [Fig. 4]와 같으며, 해당 모델을 통해 Tactile 센서로부터 얻은 2차원 압력 이미지의 공간적 특징을 추출하기 위해 2차원 CNN과 풀링 기법이 적용된 CNN 인코더를 설계하였다. 이를 통해 각 프레임별로 압력 이미지의 공간적 특징을 추출한 후, 이를 LSTM 디코더에 시퀀스 길이만큼의 1차원 벡터로 변환하여 입력한다. 마지막으로 Fully Connected Layer를 통해 시퀀스 길이만큼의 CoP 좌표 (COP_X, COP_Y)를 추정한다.

[Fig. 4]

CNN-LSTM model Configuration

2.3.3 CNN-Bi-LSTM

CNN-Bi-LSTM (Convolutional Neural Network - Bidirectional Long Short-Term Memory)은 본 연구에서 CoP 추정을 위해 새롭게 적용된 모델이다. 기존 CNN-LSTM 모델은 LSTM이 데이터를 단방향으로만 처리하여 시간적 종속성을 완전하게 학습하지 못하는 한계를 가진다. 이에 반해, CNN-Bi-LSTM은 Bi-LSTM을 결합하여 양방향 정보를 동시에 학습할 수 있어 시간적 종속성에 대한 더욱 효과적인 학습이 가능하다.

이전의 연구에서 CNN-Bi-LSTM이 기존 모델에 비해 우수한 성능을 보였음이 입증되었다. G. Gao는 가축 행동 분류 연구에서 CNN-Bi-LSTM을 사용하여 CNN-LSTM보다 더 높은 정확도를 기록하였으며, 이 모델이 시간적 패턴을 양방향으로 학습함으로써 성능이 크게 개선되었음을 보고하였다^[19]. 또한, T. H. T. Nguyen의 풍속 예측 연구에서도 CNN 및 Bi-LSTM과의 비교를 통해 CNN-Bi-LSTM이 더 낮은 MAPE (Mean Absolute Percentage Error)를 기록하며, 비선형적 시계열 데이터를 더욱 정밀하게 예측할 수 있었음을 보고하였다^[20].

이러한 연구를 바탕으로, 본 연구의 CNN-Bi-LSTM 모델도 CoP 추정에서 유사한 성능 개선을 기대할 수 있다. CoP 데이터는 시간적 의존성이 중요한 요소이기 때문에, Bi-LSTM의 양방향 학습이 예측의 정밀도를 높이는 데 중요한 역할을 할 것으로 판단된다. [Fig. 5]는 이러한 CNN-Bi-LSTM의 전체 구조를 나타낸다.

[Fig. 5]

CNN-Bi-LSTM model Configuration

3. 실험 및 결과

3.1 실험 방법

[Fig. 6]에 보이듯이, 신체 CoP 추정을 위해 세가지 정적 동적 균형 자세를 실험 참가자에게 수행하도록 하였다. 실험 참가자는 총 10명의 건강한 성인 남성(나이: 24 ± 1.15세, 키: 1.74 ± 0.03 m, 몸무게: 71.54 ± 6.76 kg)으로 구성되었다.

[Fig. 6]

Experiment Environment. (a) One-Leg Stance Test, (b) Squat Test, (c) Walking-In-Place Test

프로토콜은 크게 정적 균형 자세(한발서기)과 동적 균형 자세(스쿼트, 제자리 걷기)로 분류되며, 균형 평가 시 흔히 수행되는 자세에 해당된다. 한발서기는 참가자가 우세한 한쪽 다리로 서서 균형을 유지하도록 요청하였다. 스쿼트 자세는 참가자가 동작을 3초에 하나씩 일정하게 수행하도록 요청하였고, 제자리 걸음은 참가자가 편한 속도로 일정하게 수행하도록 요청하였다. 실험 참가자에게 제자리 걸음을 제외한 모든 조건에서 가슴 위로 팔을 교 차하도록 요청하였으며, 발의 우세성은 피험자가 공을 차는 것을 선호하는 발을 통해 결정되었다^[21].

데이터 수집은 각 프로토콜당 80초 동안 수행되었으며, 각 동작은 두 번 반복하여 측정하였다. 같은 동작 사이에는 30초의 휴식 시간을 부여하였고, 서로 다른 동작 간에는 60초의 휴식 시간을 부여하여 피험자들이 충분히 회복할 수 있도록 하였다. 실험 참가자들은 [Fig. 6]과 같이, 10 mm 두께의 실리콘 매트를 Tactile 센서 위에 올린 상태에서 실험을 수행하였다. 매트는 실험 참가자의 편의를 높이고, 장기적인 센서 성능 저하를 방지하기 위해 적용되었다. 전체 압력 분포의 균형은 크게 변화하지 않아 CoP 위치의 본질적인 차이가 발생하지 않을 것으로 사료된다. 기존의 Tactile 센서를 활용한 연구에서도 동일한 10 mm 두께의 매트를 적용해 성공적인 결과를 얻은 사례를 참고하여 이를 본 연구에 적용하였다^[16]. 또한, 모든 실험 참가자가 동일한 조건에서 실험을 수행함으로써 수집되는 데이터의 일관성을 확보하였다.

연속된 압력 이미지 프레임 중 불규칙하게 손실된 프레임 정보를 보완하기 위해 선형 보간법(linear interpolation)을 적용하였다. 선형 보간법은 간단하고 효율적으로 연속된 데이터 사이의 값을 추정하며, 데이터의 일관성을 유지하는 데 적합하다^[22]. 이를 통해 안정적으로 약 13 FPS의 속도로 압력 이미지 데이터를 확보하여, 실험 참가자 10명에 대하여 총 64,122 프레임의 압력 이미지를 수집하였다. 학습된 모델은 LOOCV 방법을 사용하여 검증되었다. LOOCV는 모든 참가자가 한 번씩 Validation data로 사용되도록 하여 교차 검증 환경에서 모델 성능을 견고하게 평가할 수 있다^[12].

3.2 실험 결과 및 분석

학습된 CNN-LSTM, Bi-LSTM, CNN-Bi-LSTM 세 모델의 신체 CoP 추정 성능을 비교 분석하였다. 각 모델의 성능은 평균 제곱근 오차(RMSE)와 결정 계수(R²)를 통해 평가되었으며, LOOCV 방식으로 각 참가자를 검증 데이터로 사용하여 총 10회 평가한 결과를 토대로 분석하였다.

[Table 1]은 전체 실험 결과를 나타낸다. CNN-Bi-LSTM 모델은 ML 및 AP 방향에서 각각 7.09 mm와 4.69 mm의 평균 RMSE와 0.99의 R² 값을 기록하여 가장 우수한 성능을 보였다. CNN-LSTM 모델은 ML 및 AP 방향에서 각각 11.59 mm와 8.81 mm의 RMSE와 0.98의 R² 값을 기록하며, CNN-Bi-LSTM에 비해 성능이 다소 낮았다. Bi-LSTM 모델은 ML 및 AP 방향에서 각각 25.52 mm와 10.90 mm의 RMSE 및 0.77과 0.95의 R² 값을 기록하여 가장 높은 오차와 낮은 정확도를 보였다. 특히, ML 방향에서의 표준편차가 38.91 mm로 큰 변동성을 보였으며, AP 방향에서도 8.88 mm로 변동성이 컸다.

[Table 1]

Overall Experiment Result

T. T. Duong 외 5명의 연구에서는 건강한 참가자 13명을 대상으로 인솔 센서(8개의 FSR)와 9-DOF IMU 센서를 사용해 발의 CoP를 Bi-LSTM 모델을 통해 추정한 결과, AP 및 ML 방향에서 각각 RMSE 14.4 mm와 5.1 mm를 기록하였다^[12]. AP와 ML 결과 값의 상관계수는 각각 0.97과 0.51로 나타났으며, 본 연구에서 Bi-LSTM 모델이 ML 방향에서 큰 변동성을 보이는 경향과 유사하다. 그러나 본 연구의 CNN-Bi-LSTM 모델은 전체 실험 결과에서 ML 및 AP 방향 모두에서 0.99의 높은 R² 값을 기록하여, 두 방향에서의 차이가 거의 없음을 보여주었다.

[Table 2]는 정적 자세에서의 실험 결과를 나타낸다. CNN-Bi-LSTM 모델은 ML 및 AP 방향에서 각각 4.12 mm와 4.23 mm의 RMSE와 0.96과 0.98의 R²값을 기록하며 가장 안정적인 성능을 나타냈다. CNN-LSTM 모델은 ML 및 AP 방향에서 각각 5.71 mm와 7.00 mm의 RMSE와 0.87 및 0.91의 R²값을 기록하였으며, CNN-Bi-LSTM에 비해 낮은 성능을 보였다. Bi-LSTM 모델은 ML 및 AP 방향에서 각각 4.96 mm와 5.42 mm의 RMSE 및 0.94와 0.96의 R²값을 기록하였으나, ML 방향에서 7.39 mm와 AP 방향에서 7.30 mm의 표준편차를 보이며 일부 변동성을 나타냈다.

[Table 2]

Experiment Result in static posture

[Table 3]는 동적 자세에서의 실험 결과를 나타낸다. CNN-Bi-LSTM 모델은 ML 및 AP 방향에서 각각 7.71 mm와 4.72 mm의 RMSE와 0.99의 R²값을 기록하며, 정적 자세와 비교해도 성능의 일관성을 유지하였다. CNN-LSTM 모델은 ML 및 AP 방향에서 각각 13.44 mm와 9.34 mm의 RMSE 및 0.97과 0.98의 R²값을 보였으며, CNN-Bi-LSTM에 비해 높은 RMSE와 큰 표준편차를 기록하며 상대적으로 낮은 성능을 보였다. Bi-LSTM 모델은 ML 방향에서 28.23 mm의 RMSE와 0.71의 R²값을 기록하며 가장 큰 오차와 불안정한 성능을 보였으며, ML 방향의 RMSE 표준편차가 51.55 mm로 예측 성능의 큰 변동성을 보였다. AP 방향에서도 10.71 mm의 RMSE와 0.96의 R²값을 기록하며 앞선 두 모델에 비해 낮은 성능을 보였다.

[Table 3]

Experiment Result in dynamic posture

[Fig. 7]에 보이듯이, 각 모델의 RMSE 값을 박스플롯(Boxplot)으로 시각화 하였고, y축 범위를 벗어나는 이상치는 빨간색으로 수치와 함께 그래프 상단에 표시하였다. (a)와 (b)는 전체 실험 결과를 나타내며, CNN-Bi-LSTM이 가장 작은 RMSE와 좁은 수염(whisker)을 보여주어 일관된 성능을 나타냈다. CNN-LSTM은 CNN-Bi-LSTM에 비해 더 넓은 수염을 보였으며, 이는 변동성이 크다는 것을 의미한다. Bi-LSTM은 특히 ML 방향에서 극단적으로 큰 이상치와 넓은 수염을 보였으며, AP 방향에서도 큰 오차가 나타났다. ML 방향의 이상치는 133.4 mm, AP 방향에서는 32.2 mm에 이르는 큰 값이 관찰되었다. (c)와 (d)는 정적 자세에서의 결과를 나타낸다. CNN-Bi-LSTM 모델은 가장 낮은 RMSE와 짧은 수염을 유지하여 안정적인 성능을 나타냈으며, CNN-LSTM 모델은 다소 큰 변동성을 보였다. Bi-LSTM 모델은 일부 상황에서 변동성이 더 컸으며, 이상치가 눈에 띄게 나타났다. (e)와 (f)는 동적 자세에서의 결과를 나타내며, CNN-Bi-LSTM이 여전히 가장 안정적이었다. Bi-LSTM은 ML 방향에서 특히 극단적인 변동성과 최대 이상치가 173.6 mm로 큰 이상치를 보였으며, AP 방향에서도 CNN 인코더를 적용한 모델에 비해 성능이 떨어졌다. AP 방향의 이상치는 42.4 mm로 관찰되었다.

[Fig. 7]

Boxplot of Experiment Result (a) Overall RMSE(ML), (b) Overall RMSE(AP), (c) RMSE(ML) in static posture, (d) RMSE(AP) in static posture, (e) RMSE(ML) in dynamic posture, (f) RMSE(AP) in dynamic posture

4. 결 론

본 연구에서는 동적 신체 CoP를 보다 정확하게 추정할 수 있는 Tactile 센서 및 딥러닝 모델 기반의 CoP 추정 시스템을 새롭게 제안하였다. 특히, 제안된 CNN-Bi-LSTM 모델의 성능을 기존 발 CoP 추정 모델인 CNN-LSTM 및 Bi-LSTM과 비교하여 정적 및 동적 상황에서의 성능을 평가하였다. 이를 위해 10명의 건강한 성인 남성이 실험에 참여하여 정적 및 동적 균형 자세 프로토콜을 수행하였으며, LOOCV 방법을 사용하여 산출된 RMSE와 R² 값을 기반으로 모델 성능을 검증하였다.

실험 결과, CNN-Bi-LSTM 모델은 ML 및 AP 방향에서 각각 7.09 mm와 4.69 mm의 평균 RMSE와 0.99의 R²값을 기록하며, 세 모델 중 가장 우수한 성능을 보였다. 특히, CNN-Bi-LSTM 모델은 ML과 AP 방향의 결과 값과 상관계수에서 차이가 거의 없어 높은 일관성과 정밀도를 나타냈다. CNN-LSTM 모델은 CNN-Bi-LSTM에 비해 RMSE 값이 높고 변동성이 더 컸으며, Bi-LSTM 모델은 ML 방향에서 큰 오차와 변동성을 보였다. 동적 상황에서 Bi-LSTM 모델의 RMSE는 최대 173.6 mm에 이르렀으며, AP 방향에서도 성능 저하가 관찰되어 공간적 특징 학습의 부족함을 보였다. 이러한 결과는 CNN-Bi-LSTM 모델의 구조적 장점, 즉 CNN 인코더가 압력 이미지의 공간적 특징을 효과적으로 학습하고 Bi-LSTM이 시간적 패턴을 양방향으로 학습하는 메커니즘이 결합되어 CoP 예측 성능이 크게 향상되었음을 시사한다. 반면, CNN-LSTM 및 Bi-LSTM 모델은 공간적 특징 또는 시간적 특징 학습의 한계로 인해 CoP 추정에서 더 큰 오차와 변동성을 보였다. 특히, Bi-LSTM 모델의 성능 저하는 CNN 인코더의 부재로 인해 공간적 특징을 충분히 학습하지 못한 점에서 기인한 것으로 사료된다.

결론적으로, 본 연구에서 제안한 Tactile 센서와 CNN-Bi-LSTM 모델을 결합한 CoP 추정 시스템은 정적 상황 뿐만 아니라 동적 상황에서도 높은 정확도의 CoP 추정 성능을 제공할 가능성을 제시하였다. 향후 연구에서는 시스템을 확장하여 보행 CoP에 대한 임상실험을 수행할 계획이다.

Acknowledgments

This work was supported in part by the Glocal University 30 Project Fund of Gyeongsang National University in 2024, and in part by “Leaders in INdustry-university Cooperation 3.0” Project funded by the Ministry of Education and National Research Foundation of Korea, and in part by the GIST-MIT Research Collaboration grant funded by the GIST in 2024.

References

• World Health Organization, Ageing and health, [Online], https://www.who.int/news-room/fact-sheets/detail/ageing-and-health, , [Online], https://www.who.int/news-room/fact-sheets/detail/ageing-and-health, , Accessed: Oct. 13, 2024.
• World Health Organization, Falls, [Online], https://www.who.int/news-room/fact-sheets/detail/falls, , Accessed: Oct. 13, 2024.
• G. F. Papalia, R. Papalia, L. A. Diaz Balzani, G. Torre, B. Zampogna, S. Vasta, C. Fossati, A. M. Alifano, and V. Denaro, “The effects of physical exercise on balance and prevention of falls in older people: A systematic review and meta-analysis,” Journal of clinical medicine, vol. 9, no. 8, Aug., 2020. [https://doi.org/10.3390/jcm9082595]
• A. Dunsky, “The effect of balance and coordination exercises on quality of life in older adults: a mini-review,” Frontiers in aging neuroscience, vol. 11, Nov., 2019. [https://doi.org/10.3389/fnagi.2019.00318]
• E. Thomas, G. Battaglia, A. Patti, J. Brusa, V. Leonardi, A. Palma, and M. Bellafiore, “Physical activity programs for balance and fall prevention in elderly: A systematic review,” Medicine, vol. 98, no. 27, pp. e16218, 2019. [https://doi.org/10.1097/MD.0000000000016218]
• S. B. Richmond, B. W. Fling, H. Lee, and D. S. Peterson, “The assessment of center of mass and center of pressure during quiet stance: Current applications and future directions,” Journal of Biomechanics, vol. 123, 2021. [https://doi.org/10.1016/j.jbiomech.2021.110485]
• V. M. Santos, B. B. Gomes, M. A. Neto, and A. M. Amaro, “A Systematic Review of Insole Sensor Technology: Recent Studies and Future Directions,” Applied Sciences, vol. 14, no. 14, Jul., 2024. [https://doi.org/10.3390/app14146085]
• S. Godha and G. Lachapelle, “Foot mounted inertial system for pedestrian navigation,” Measurement Science and Technology, vol. 19, no. 7, May., 2008. [https://doi.org/10.1088/0957-0233/19/7/075202]
• A. Salarian, H. Russmann, F. J. G. Vingerhoets, C. Dehollain, Y. Blanc, P. R. Burkhard, and K. Aminian, “Gait assessment in Parkinson’s disease: toward an ambulatory system for long-term monitoring,” IEEE transactions on biomedical engineering, vol. 51, no. 8, pp. 1434-1443, Aug., 2004. [https://doi.org/10.1109/TBME.2004.827933]
• H. Prasanth, M. Caban, U. Keller, G. Courtine, A. Ijspeert, H. Vallery, and J. von Zitzewitz, “Wearable sensor-based real-time gait detection: A systematic review,” Sensors, vol. 21, no. 8, Apr., 2021. [https://doi.org/10.3390/s21082727]
• H. S. Choi, S. Yoon, J. Kim, H. Seo, and J. K. Choi, “Calibrating Low-Cost Smart Insole Sensors with Recurrent Neural Networks for Accurate Prediction of Center of Pressure,” Sensors, vol. 24, no. 15, 2024. [https://doi.org/10.3390/s24154765]
• T. T. H. Duong, D. Uher, S. D. Young, R. Farooquee, A. Druffner, A. Pasternak, C. Kanner, M. Fragala-Pinkham, J. Montes, and D. Zanotto, “Accurate cop trajectory estimation in healthy and pathological gait using multimodal instrumented insoles and deep learning models,” IEEE Transactions on Neural Systems and Rehabilitation Engineering, vol. 31, pp. 4801-4811, 2023. [https://doi.org/10.1109/TNSRE.2023.3338519]
• A. Choi, H. Jung, K. Y. Lee, S. Lee, and J. H. Mun, “Machine learning approach to predict center of pressure trajectories in a complete gait cycle: a feedforward neural network vs. LSTM network,” Medical & biological engineering & computing, vol. 57, pp. 2693-2703, Nov., 2019. [https://doi.org/10.1007/s11517-019-02056-0]
• J. Goetschius, M. A. Feger, J. Hertel, and J. M. Hart, “Validating center-of-pressure balance measurements using the MatScan® pressure mat,” Journal of sport rehabilitation, vol. 27, no. 1, 2018. [https://doi.org/10.1123/jsr.2017-0152]
• J. Baik, S. Park, Y. Choi, K.-J. Kim, and H. Lee, “The Measurement Algorithm of the Center of Pressure Based on the Tactile Sensor,” 2024 International Workshop on Intelligent Systems (IWIS), Ulsan, Republic of Korea, pp. 1-4, 2024. [https://doi.org/10.1109/IWIS62722.2024.10706055]
• Y. Choi, D.-H. Park, S. Lee, I. Han, E. Akan, H.-C. Jeon, Y. Luo, S. Kim, W. Matusik, D. Rus, and K.-J. Kim, “Seamless-walk: natural and comfortable virtual reality locomotion method with a high-resolution tactile sensor,” Virtual Reality, vol. 27, pp. 1431-1445, 2023. [https://doi.org/10.1007/s10055-023-00750-x]
• X. Hu, J. Zhao, D. Peng, Z. Sun, and X. Qu, “Estimation of foot plantar center of pressure trajectories with low-cost instrumented insoles using an individual-specific nonlinear model,” Sensors, vol. 18, no. 2, Feb., 2018. [https://doi.org/10.3390/s18020421]
• M. J. Hamayel and A. Y. Owda, “A novel cryptocurrency price prediction model using GRU, LSTM and bi-LSTM machine learning algorithms,” AI, vol. 2, no. 4, pp. 477-496, Oct., 2021. [https://doi.org/10.3390/ai2040030]
• G. Gao, C. Wang, J. Wang, Y. Lv, Q. Li, Y. Ma, X. Zhang, Z. Li, and G. Chen, “CNN-Bi-LSTM: A complex environment-oriented cattle behavior classification network based on the fusion of CNN and Bi-LSTM,” Sensors, vol. 23, no. 18, Sept., 2023. [https://doi.org/10.3390/s23187714]
• T. H. T. Nguyen and Q. B. Phan, “Hourly day ahead wind speed forecasting based on a hybrid model of EEMD, CNN-Bi-LSTM embedded with GA optimization,” Energy Reports, vol. 8, pp. 53-60, Nov., 2022. [https://doi.org/10.1016/j.egyr.2022.05.110]
• H. Lee, A. Eizad, J. Park, Y. Kim, S. Hwang, M.-K. Oh, and J. Yoon, “Development of a novel 2-dimensional neck haptic device for gait balance training,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 2511-2518, Apr., 2022. [https://doi.org/10.1109/LRA.2022.3143568]
• M. Lepot, J.-B. Aubin, and F. H.L.R. Clemens, “Interpolation in time series: An introductive overview of existing methods, their performance criteria and uncertainty assessment,” Water, vol. 9, no. 10, Oct., 2017. [https://doi.org/10.3390/w9100796]