침대 로봇의 3차원 자세 추정 및 개선을 위한 자세 천이 필터 설계 연구

1. 서 론

최근 우리나라의 65세 이상 노인 인구가 고령사회로 진입 하면서 다양한 질병으로 인해 병원에 상주하는 와상 환자의 수가 지속적으로 증가하고 있다^[1]. 이에 비례하여 욕창 발생률 이 증가하고 있으며, 이를 예방하기 위한 다양한 의료기기 개 발 연구가 수행되고 있다^[2,3]. 특히 직접적인 예방을 위한 방법 으로 환자의 자세를 변경시켜주는 전동 침대와 환자의 접촉면 을 가변 할 수 있는 욕창 예방 매트리스 등과 같은 능동적인 제 어 가능한 침대 로봇(robotic bed) 연구가 활발히 이루어지고 있다^[4-7].

침대 로봇은 환자의 자세 정보를 다양한 센서와 계측 기법 으로 인지할 수 있지만, 현장의 적용 문제로 체압 데이터의 활 용이 적합한 방법으로 판단하고 있다^[8-10].

최근 연구에 의하면, Clever^[8]는 3차원 자세 추정을 위해 두 개의 인공 신경망 구조를 이용, 주요 관절의 위치를 예측하였 다. 해당 논문은 신경망의 구조와 모델링 관점에서 문제를 다 룬다. Matar^[9]는 인공 신경망 구조를 이용, 체압 데이터 기반의 자세 분류에 대한 연구를 수행하였다. Komagata^[10]는 이미지 센서를 침대 외부에 부착, 환자 자세 예측과 침대에서 추락 가 능 상태 감시 시스템을 제안하고 있다.

선행 연구를 살펴보면, 대부분의 욕창 예방 관련 연구는 압 력 또는 이미지 데이터를 활용하여 자세를 예측하는 연구가 일반적이다. 또한 두 연구^[8,9] 모두 인공 신경망 기반의 관절 위 치 예측과 자세 분류에 초점을 두었으며, 정확도를 향상시킬 수 있는 학습 모델에 대해서 집중적으로 다루고 있다. 하지만 입력된 압력 데이터의 적절한 전처리 과정으로 높은 수준의 데이터 활용 방안에 대해선 고려하지 않았다.

본 논문에서는 자세 예측을 위한 체압 데이터 분석 및 효과 적인 전처리 과정에 대해서 다루고자 한다. 일반적인 분류 기 법은 환자 자세 정보를 정밀하게 표현하기 어렵고 분류의 범 주를 늘려야 한다는 문제가 발생한다. 또한 학습 데이터에 의 존적이고 자세 천이(transition)구간에서 큰 오차가 발생할 수 있는 점 등이 인공 신경망 적용 시 발생할 수 있는 문제가 있다. 이러한 문제점을 해결하기 위하여 자세가 크게 변화하는 구간 과 안정화 구간을 구분할 수 있는 체압 데이터 기반의 동적 모 션 인식과 필터 설계에 관한 알고리즘을 제안하였다. 또한 제 안된 방법을 이용하여 구분된 자세 천이 구간에 필터를 설계 하고, 이에 따른 자세 예측 오차에 대해서 분석하였다.

본 논문의 2장에서는 침대 로봇의 자세 예측 알고리즘 설명 을 기술하였고, 3장에서는 압력 기반의 자세 천이 구간 필터 설계에 관해 기술하였다. 4장에서는 제안된 필터를 적용하여 결과를 비교하였다.

2. 자세 예측 알고리즘

2.1 자세 예측 시스템

[Fig. 1]은 환자의 체압 데이터를 기반으로 하는 실시간 자 세 예측을 위한 알고리즘 구조를 보여주고 있다.

[Fig. 1]

Block diagram of posture estimation system

침대 로봇의 매트리스에 분포된 압력 센서를 통하여 64 x 192 크기의 압력 분포 데이터가 1 Hz로 계측되어 입력된다. 이 후 기 학습된 딥 러닝 모델에 인가되어 환자의 자세한 공간 데 이터 즉, 센서의 부착 위치(p)에 따른 위치 벡터( $$ r^p\in R^{3\times 1}$$), 자 세 행렬($$ A^p\in R^{3\times 3}$$)이 출력된다. 출력된 위치와 자세 데이터 를 이용하여 후처리 과정을 통해서 환자의 자세를 확인할 수 있도록 구성하였다.

여기서 환자의 체압 데이터 측정을 위한 압력 센서는 압력 측 정이 가능한 매트리스 형태의 ㈜테크스톰 사의 BPMS 매트리 스 센서를 사용했다^[11]. 해당 매트리스 센서 전체 영역에 가해 지는 압력 값은 csv 확장자를 가진 파일 형식으로 저장되며 환 자의 신체 부위 별 가해지는 압력의 수치를 취득할 수 있다.

환자의 자세와 관련된 데이터를 획득하기 위해 E2BOX사 의 IMU 센서를 사용한다. IMU 센서로부터 취득한 데이터는 bvh 확장자를 가진 파일 형식으로 저장되며, 해당 파일을 분석 하여 환자의 관절 별 다양한 자세 데이터(roll, pitch, yaw)를 취 득할 수 있다.

후 처리를 위해 사용된 인체 모델은 E2BOX에서 제공하는 인 체 기구학 모델로서 사람의 평균 신체 크기 데이터를 기반으로 하는 순환 공식(recursive formulation)으로 개발된 기구학 모델 이다^[12]. 끝으로, 개발된 딥 러닝 모델은 다음절에 기술하였다.

2.2 학습 모델

본 논문에서 개발된 자세 예측을 위한 딥 러닝 기반 학습 모델은 [Fig. 2]와 같은 구조로 구성되었다. 개발된 학습 모델 은 공간 데이터 확보에 유리한 캡슐 네트워크 기법으로 개발 하였다^[13].

[Fig. 2]

Structure of deep learning model based on capsule network

학습 모델은 합성곱 층(Convolution layer), 초기 캡슐 층 (Primary capsule layer), 자세 캡슐 층(posture capsule layer)으로 3개로 구분되어 있다. 여기서, 합성곱 층은 입력된 체압 분포 데이터의 특징을 효율적으로 추출하기 위해 크기가 다른 필터 병렬로 적용하였다^[14]. 초기 캡슐층에서는 특징의 벡터 화를 수행하고, j번째 캡슐의 스쿼시함수는 식 (1)을 이용하여 일반 화된 확률 값으로 변환시킨다^[13].

$\[ v_j=\left(\frac{s_j}{\Vert s_j\Vert }\right)\left(\frac{s_j^2}{1+s_j^2}\right) \]$

(1)

여기서, s는 캡슐의 예측 벡터와 결합 계수를 곱해서 얻은 값 이며, 스쿼시 함수의 결과는 1이하로 해당 속성이 존재할 확률 을 의미한다. 또한 자세에 대한 공간 데이터 예측을 위하여 적 응형 라우팅 방식으로 자세의 캡슐과 연결되는데, 본 논문에 서는 최종 적인 공간에 대한 자세 데이터는 인체 기구학 모델 의 허리, 양쪽 허벅지, 종아리, 가슴으로 총 6개의 3축 회전 값 으로 결정하였다. 이는 환자의 체압 분포가 어깨, 등, 엉덩이, 종아리에 집중되기 때문이다^[15].

3. 동적 모션 인식 및 필터 설계

3.1 자세 예측 실험

[Fig. 3]은 자세 예측 시스템의 실험 환경을 보여준다. 실험 환경은 압력 측정 매트리스와 피실험자, 데이터 통합 취득을 위한 데이터 수집 장치로 구성되었다. 여기서 압력 측정 매트 리스는 총 64 x 192의 데이터가 1 Hz 샘플링 주기로 입력된다.

[Fig. 3]

Experiment environment of posture estimation system

자세 데이터 취득 목적의 IMU 센서는 총 10개이다. 각각의 센서는 가슴 1개, 허리 1개, 좌(우)측 팔 총 4개, 좌(우)측 다리 총 4개를 부착한다. IMU 센서는 총 10개로 6 × 10이 50 Hz 샘 플링 주기로 계측된다. 피실험자의 자세는 [Fig. 4]와 같이 바 로 누운 자세, 좌측으로 누운 자세, 앉은 자세 3가지로 분류하 였고, 바로 누운 자세에서 다른 자세로의 천이 과정에 대해서 압력과 모션 데이터를 취득하였다.

[Fig. 4]

Test posture

본 논문에서는 누워있는 자세와 자세 천이 구간의 데이터 취득을 위하여 [Table 1]과 같이 두 가지 모션을 설정하였다. 첫 번째 모션은 바로 누운 자세에서 앉는 자세로 전환하는 경 우이고, 두 번째 모션은 왼쪽으로 돌아눕는 경우이다.

[Table 1]

Definition of test motion of posture transition

3.2 자세 예측 결과 분석

[Fig. 5]는 실험 #1의 경우이며 그림 상단부터 순서대로 각 자 세의 압력 분포, 관절의 자세 값을 의미하며 아래 그래프는 총 압 력 변화량과 엉덩이의 피치(pitch) 값에 대한 관계를 보여준다.

[Fig. 5]

Posture transition of test #1

압력 측정 매트리스로부터 취득한 압력 분포 값을 학습 모델 에 대입하게 되면 관절의 자세 값을 획득할 수 있다. 총 압력 변화 량의 변화에 따른 피실험자의 자세 전환 방향을 분석하기 위해 전체 관절의 기준 역할을 하는 엉덩이의 피치 값을 이용하였다.

취득한 체압 분포 데이터는 바로 누운 자세의 경우 주로 엉 덩이, 허벅지, 종아리, 발목으로 압력이 가해지고, 앉은 자세의 경우 엉덩이, 양손, 발목에서 압력이 가해지는 것을 알 수 있 다. 총 압력 변화량은 식 (2)와 같은 방법으로 계산되었는데, 값이 클수록 모션의 변화가 발생함을 의미한다.

$\[ \overline{P}={\displaystyle \sum _{i=1}^n{\displaystyle \sum _{j=1}^m{\left\{{\displaystyle \sum _{k=1}^l\left|P^{k+1}-P^k\right|}\right\}}_{ij}}} \]$

(2)

여기서, P^j는 압력 센서로부터 계측된 매트리스 형태의 데이 터를 의미하고, i, j는 는 압력 데이터 가로와 세로의 수, k는 취 득된 압력 데이터 셋의 수를 의미한다.

실험 #1의 총 압력 크기와 피치 모션 결과를 비교해보면, 자 세 천이 구간(2~4초, 9~11초)에서 압력의 변화가 크게 나타난 다. 여기서 음영 처리된 구간이 자세 천이 구간을 나타낸다. 예 를 들어 [Fig. 5]에 필터를 적용하면 2, 3, 4, 9, 10, 11초의 입력 과 출력 데이터 제거되고, 나머지 데이터만 남게 되어 양질의 데이터를 얻을 수 있다.

[Fig. 6]에서는 개발된 학습 모델의 예측 결과와 실험 결 과를 비교하였다. [Fig. 6]과 같이 자세 천이 구간에서 오차 의 변화가 다른 구간과 비교하여 크게 발생한다. 여기서 오 차율은 식 (3)과 같이 계산하였다. 여기서,∈는 오차율, ϕ_m는 계측된 각도 값, ϕ_p는 추정된 각도 값을 각각 의미한다.

$\[ \in =\left(\frac{{\varphi }_m-{\varphi }_p}{{\varphi }_m}\right)\times 100 \]$

(3)

[Fig. 6]

Pitch angle error rates of hip at test #1

[Fig. 7]은 실험 #2의 경우이며 그림 상단부터 순서대로 각 자세의 압력 분포, 관절의 자세 값을 의미하며 아래 그래프는 총 압력 변화량과 엉덩이의 롤(roll) 값에 대한 관계를 보여준 다. 좌측 누운 자세에서는 어깨, 엉덩이, 허벅지, 발목에 주로 압력이 분포한다. 해당 실험의 자세 천이 구간은 각각 2~6초, 12~16초이며, 총 압력 변화량이 크게 변하는 특징을 가진다.

[Fig. 7]

Posture transition of test #2

[Fig. 8]과 같이 엉덩이의 롤 예측 오차는 자세 천이 구간인 약 2~6초, 12~16초 에서 급격하게 변하는 것을 확인할 수 있다. 결과적으로 총 압력 변화량의 큰 구간에서 자세 천이가 발생했 다고 판단할 수 있으며, 작은 구간은 정상상태로 판단할 수 있다.

[Fig. 8]

Roll angle error rates of hip at test #2

[Table 2]는 자세 천이 구간 압력 데이터의 필터를 고려했을 경우 압력 데이터의 표준편차를 비교한 것이다. 초기 측정된 압력 데이터의 표준편차에 비해 약 60 ~ 80% 정도의 감소를 보 인다. 따라서 자세 천이 구간 필터를 적용하여 정확한 예측 결 과를 기대할 수 있다.

[Table 2]

Comparison of standard deviation depending on filter

3.3 자세천이구간 필터 설계

이번 절에서는 앞선 실험 결과를 바탕으로 압력 데이터 를 이용한 자세 천이 구간 필터 설계에 대해서 다룬다. 제안 된 자세 천이 구간의 필터는 식 (2)와 같이 매트리스에서 측 정된 체압 분포 데이터의 변화 크기(P)를 계산하고, 임계치 (threshold)을 넘을 시 체압 데이터를 0으로 간주하였다. 여기 서, n과 m은 압력 센서의 가로, 세로의 수를 의미하고, ∈_thres는 압력 변화량의 최대 크기에 각각 25, 50, 75% 로 설정하였다. 여기서 임계치는 자세 변위와 피 실험체에 의해서 달라 질 수 있으므로 본 논문에서는 경향성만 분석하고자 한다.

[Fig. 9]는 실험 #1의 총 압력 변화량을 바탕으로 설정한 예 이다. 임계치는 변화에 따라서 [Table 3]과 같이 여과된 시간 영역을 분석하였다. 여기서 오차는 기준 시간과 대비하여 시 작 및 끝점의 오차의 합으로 표현되었다. 따라서 오차가 작을 수록 자세 천이 구간의 압력을 걸러낼 수 있다. 여과의 비율이 낮을 때 오히려 오차 값이 크게 나타나며, 50%부근에서 오차 가 가장 적게 나타난다. 이와 같은 방법을 이용하여 동작 별 오 차 분석을 통해서 자세 별 적절한 임계치를 결정할 수 있다.

[Fig. 9]

Posture transition filter based on the pressure

[Table 3]

Results of filter out depending on threshold

3.4 자세 천이 구간 필터 적용 결과

실험 #1과 #2에 대해서 각각의 자세 천이 필터를 적용하였다.

[Fig. 10]의 (a)와 같이 자세 천이 구간(2~4초, 9~11초)에 대 해서 제거되었고, 앉은 자세인 4초에서 9초까지의 안정된 값 이 출력된다.

[Fig. 10]

Comparison of with respect to applying filter

또한 [Fig. 10]의 (b)와 같이 자세 천이 구간과 유사하게 제 거되었고, 돌아누운 자세인 6~11초 에서 안정된 데이터가 출력 된다. 여기서 예측된 값의 오차는 학습 모델의 정확성에 관련 이 있기 때문에 데이터 셋의 수를 높이면 오차를 줄일 수 있다.

[Fig. 11]은 기존의 데이터 셋의 수 350개에서 700개로 확장 했을 때의 예측 결과를 보여준다. 이때 앞서 개발된 자세 천이 필터가 적용되었다.

[Fig. 11]

Posture estimation depending on number of data set

두 실험의 RMS 오차가 [Table 4]와 같이 각각 약 32%, 20% 감소하였다. 결과적으로 학습의 오차는 학습데이터의 수를 증 가시켜 줄일 수 있다.

[Table 4]

RMS error depending on number of data set

4. 결론 및 추후 연구

욕창 예방을 위한 침대 로봇은 일반적으로 환자의 체압을 분산시키기 위한 목적으로 환자의 자세를 추정하는 네트워크 기반의 예측 모델을 사용한다. 네트워크 기반 예측 모델은 환 자의 자세가 변화하는 동적 구간에서 주로 오차율이 높게 발 생하며 채터링이 발생한다. 이러한 문제를 해결하기 위하여 본 논문에서는 압력 데이터 기반의 동적 구간 필터의 설계를 제안하였다.

제안된 자세 천이 필터를 이용하여 앉는 모션과 왼쪽으로 돌아눕는 모션 시험에 적용하였다. 실험 결과 자세 예측 결과 가 기존의 결과 보다 안정적으로 출력되었다. 이 결과를 이용 하여 추후 환자 자세 분류로 활용 가능함을 검증하였다. 또한 데이터 셋의 수를 증가시켜 학습 모델의 정확성을 향상됨을 확인하였다. 본 연구에서 제안하는 자세 천이 필터를 사용할 경우 환자의 자세 천이 모션 속도와 임계치의 관계가 있으므 로 적절한 변화가 필요하다.

추후, 자세 예측 시스템을 확장하여 네트워크 기반의 자세 분류 모델을 개발하고, 제안된 자세 천이 필터를 적용한 효용 성 분석을 수행할 예정이다.

Acknowledgments

This work was supported by the Technology Innovation Program (or Industrial Strategic Technology Development Program) (Development of Autonomous Bed Robot for Bed sore Prevention Based on Artificial Intelligence, 20005004) funded By the Ministry of Trade, Industry & Energy (MOTIE, Korea)

References

• A. Jo, “Prevalence, Incidence and Affecting factors of Pressure Ulcer for Elderly patients Admitted through Emergency Department of One Tertiary hospital,” Master’s thesis, Seoul National Univ., Korea, 2017, [Online], https://primoapac01.hosted.exlibrisgroup.com/permalink/f/1l6eo7m/82SNU_INST21574595870002591.
• D. M. Minteer, P. Simon, D. P. Taylor, W. Jia, Y. Li, M. Sun, and J. P. Rubin, “Pressure Ulcer Monitoring Platform—A Prospective, Human Subject Clinical Study to Validate Patient Repositioning Monitoring Device to Prevent Pressure Ulcers,” Advances in Wound Care, vol. 9, no. 1, pp. 28-33, 2019, [https://doi.org/10.1089/wound.2018.0934]
• A. Levy, K. Kopplin, and A. Gefen, “Device-related pressure ulcers from a biomechanical perspective,” Journal of Tissue Viability, vol. 26, no. 1, pp. 57-68, Feb, 2017, [https://doi.org/10.1016/j.jtv.2016.02.002]
• A. Kapusta, Y. Chitalia, D. Park, and C. C. Kemp, “Collaboration between a robotic bed and a mobile manipulator may improve physical assistance for people with disabilities,” 2016, [Online], http://pwp.gatech.edu/hrl/wp-content/uploads/sites/231/2016/07/collaboration-robotic-bed.pdf.
• Z. Guo, X. Xiao, and H. Yu, “Design and Evaluation of a Motorized Robotic Bed Mover With Omnidirectional Mobility for Patient Transportation,” IEEE Journal of Biomedical and Health Informatics, vol. 22, no. 6, pp. 1775-1785, Nov., 2018, [https://doi.org/10.1109/JBHI.2018.2849344]
• M. Ning, M. Ren, Q. Fan, and L. Zhang, “Mechanism design of a robotic chair/bed system for bedridden aged,” Advances in Mechanical Engineering, vol. 9, no. 3, 2017, [https://doi.org/10.1177/1687814017695691]
• H. Komagata, T. Hattori, R. Ohshima, E. Kakinuma, M. Ishikawa, K. Shinoda, and N. Kobayashi, “Development of Human Behavior Monitoring System Around Bed Using Infrared Depth Sensor,” 2019 IEEE 1^st Global Conference on Life Sciences and Technologies (LifeTech), pp. 117-118, 2019, [https://doi.org/10.1109/LifeTech.2019.8884068]
• H. M. Clever, A. Kapusta, D. Park, Z. Erickson, Y. Chitalia, and C. C. Kemp, “3D Human Pose Estimation on a Configurable Bed from a Pressure Image,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems ( IROS), pp. 54-61, Madrid, Spain, 2018, [https://doi.org/10.1109/IROS.2018.8593545]
• G. Matar, J. Lina, and G. Kaddoum, “Artificial neural network for in-bed posture classification using bed-sheet pressure sensors,” IEEE Journal of Biomedical and Health Informatics, pp. 101-110, 2019, [https://doi.org/10.1109/JBHI.2019.2899070]
• H. Komagata, E. Kakinuma, M. Ishikawa, K. Shinoda, and N. Kobayashi, “Semi-Automatic Calibration Method for a Bed- Monitoring System Using Infrared Image Depth Sensors,” Sensors, vol. 19, no. 20, pp. 4581, 2019, [https://doi.org/10.3390/s19204581]
• BPMS-TechStrom, [Online], http://www.techstorm.co.kr/products/#products-bpms, Accessed: June 20, 2019.
• Wireless AHRS EBIMU24GV3-E2BOX, [Online], https://www.e2box.co.kr/entry/Wireless-AHRS-EBIMU24GV3, Accessed: May 14, 2019.
• S. Sabour, N. Frosst, and G. E. Hinton, “Dynamic routing between capsules”, Advances in Neural Information Processing System 30 (NIPS 2017), pp. 3856-3866, 2017, [Online], http://papers.nips.cc/paper/6975-dynamic-routing-between-capsules
• S. Han, Z. Meng, Z. Li, J. O’Reilly, J. Cai. X. Wang, and Y. Tong, “Optimizing filter size in convolutional neural networks for facial action unit recognition,” CVPR 2018, pp. 5070-5078,2018, [Online], http://openaccess.thecvf.com/content_cvpr_2018/html/Han_Optimizing_Filter_Size_CVPR_2018_paper.html. [https://doi.org/10.1109/CVPR.2018.00532]
• K. H. Seo, T. Y. Choi, and C. Oh, “Development of a robotic system for the bed-ridden,” Mechatronics, vol. 21, no. 1, pp. 227-238, Feb., 2010, [https://doi.org/10.1016/j.mechatronics.2010.10.011]