[Fig. 1]은 환자의 체압 데이터를 기반으로 하는 실시간 자 세 예측을 위한 알고리즘 구조를 보여주고 있다.

[Fig. 1] 

Block diagram of posture estimation system

침대 로봇의 매트리스에 분포된 압력 센서를 통하여 64 x 192 크기의 압력 분포 데이터가 1 Hz로 계측되어 입력된다. 이 후 기 학습된 딥 러닝 모델에 인가되어 환자의 자세한 공간 데 이터 즉, 센서의 부착 위치(p)에 따른 위치 벡터( rp∈R3×1), 자 세 행렬(Ap∈R3×3)이 출력된다. 출력된 위치와 자세 데이터 를 이용하여 후처리 과정을 통해서 환자의 자세를 확인할 수 있도록 구성하였다.

여기서 환자의 체압 데이터 측정을 위한 압력 센서는 압력 측 정이 가능한 매트리스 형태의 ㈜테크스톰 사의 BPMS 매트리 스 센서를 사용했다^[11]. 해당 매트리스 센서 전체 영역에 가해 지는 압력 값은 csv 확장자를 가진 파일 형식으로 저장되며 환 자의 신체 부위 별 가해지는 압력의 수치를 취득할 수 있다.

환자의 자세와 관련된 데이터를 획득하기 위해 E2BOX사 의 IMU 센서를 사용한다. IMU 센서로부터 취득한 데이터는 bvh 확장자를 가진 파일 형식으로 저장되며, 해당 파일을 분석 하여 환자의 관절 별 다양한 자세 데이터(roll, pitch, yaw)를 취 득할 수 있다.

후 처리를 위해 사용된 인체 모델은 E2BOX에서 제공하는 인 체 기구학 모델로서 사람의 평균 신체 크기 데이터를 기반으로 하는 순환 공식(recursive formulation)으로 개발된 기구학 모델 이다^[12]. 끝으로, 개발된 딥 러닝 모델은 다음절에 기술하였다.

본 논문에서 개발된 자세 예측을 위한 딥 러닝 기반 학습 모델은 [Fig. 2]와 같은 구조로 구성되었다. 개발된 학습 모델 은 공간 데이터 확보에 유리한 캡슐 네트워크 기법으로 개발 하였다^[13].

[Fig. 2] 

Structure of deep learning model based on capsule network

학습 모델은 합성곱 층(Convolution layer), 초기 캡슐 층 (Primary capsule layer), 자세 캡슐 층(posture capsule layer)으로 3개로 구분되어 있다. 여기서, 합성곱 층은 입력된 체압 분포 데이터의 특징을 효율적으로 추출하기 위해 크기가 다른 필터 병렬로 적용하였다^[14]. 초기 캡슐층에서는 특징의 벡터 화를 수행하고, j번째 캡슐의 스쿼시함수는 식 (1)을 이용하여 일반 화된 확률 값으로 변환시킨다^[13].

여기서, s는 캡슐의 예측 벡터와 결합 계수를 곱해서 얻은 값 이며, 스쿼시 함수의 결과는 1이하로 해당 속성이 존재할 확률 을 의미한다. 또한 자세에 대한 공간 데이터 예측을 위하여 적 응형 라우팅 방식으로 자세의 캡슐과 연결되는데, 본 논문에 서는 최종 적인 공간에 대한 자세 데이터는 인체 기구학 모델 의 허리, 양쪽 허벅지, 종아리, 가슴으로 총 6개의 3축 회전 값 으로 결정하였다. 이는 환자의 체압 분포가 어깨, 등, 엉덩이, 종아리에 집중되기 때문이다^[15].

[Fig. 3]은 자세 예측 시스템의 실험 환경을 보여준다. 실험 환경은 압력 측정 매트리스와 피실험자, 데이터 통합 취득을 위한 데이터 수집 장치로 구성되었다. 여기서 압력 측정 매트 리스는 총 64 x 192의 데이터가 1 Hz 샘플링 주기로 입력된다.

[Fig. 3] 

Experiment environment of posture estimation system

자세 데이터 취득 목적의 IMU 센서는 총 10개이다. 각각의 센서는 가슴 1개, 허리 1개, 좌(우)측 팔 총 4개, 좌(우)측 다리 총 4개를 부착한다. IMU 센서는 총 10개로 6 × 10이 50 Hz 샘 플링 주기로 계측된다. 피실험자의 자세는 [Fig. 4]와 같이 바 로 누운 자세, 좌측으로 누운 자세, 앉은 자세 3가지로 분류하 였고, 바로 누운 자세에서 다른 자세로의 천이 과정에 대해서 압력과 모션 데이터를 취득하였다.

[Fig. 4] 

Test posture

본 논문에서는 누워있는 자세와 자세 천이 구간의 데이터 취득을 위하여 [Table 1]과 같이 두 가지 모션을 설정하였다. 첫 번째 모션은 바로 누운 자세에서 앉는 자세로 전환하는 경 우이고, 두 번째 모션은 왼쪽으로 돌아눕는 경우이다.

[Fig. 5]는 실험 #1의 경우이며 그림 상단부터 순서대로 각 자 세의 압력 분포, 관절의 자세 값을 의미하며 아래 그래프는 총 압 력 변화량과 엉덩이의 피치(pitch) 값에 대한 관계를 보여준다.

[Fig. 5] 

Posture transition of test #1

압력 측정 매트리스로부터 취득한 압력 분포 값을 학습 모델 에 대입하게 되면 관절의 자세 값을 획득할 수 있다. 총 압력 변화 량의 변화에 따른 피실험자의 자세 전환 방향을 분석하기 위해 전체 관절의 기준 역할을 하는 엉덩이의 피치 값을 이용하였다.

취득한 체압 분포 데이터는 바로 누운 자세의 경우 주로 엉 덩이, 허벅지, 종아리, 발목으로 압력이 가해지고, 앉은 자세의 경우 엉덩이, 양손, 발목에서 압력이 가해지는 것을 알 수 있 다. 총 압력 변화량은 식 (2)와 같은 방법으로 계산되었는데, 값이 클수록 모션의 변화가 발생함을 의미한다.

여기서, P^j는 압력 센서로부터 계측된 매트리스 형태의 데이 터를 의미하고, i, j는 는 압력 데이터 가로와 세로의 수, k는 취 득된 압력 데이터 셋의 수를 의미한다.

실험 #1의 총 압력 크기와 피치 모션 결과를 비교해보면, 자 세 천이 구간(2~4초, 9~11초)에서 압력의 변화가 크게 나타난 다. 여기서 음영 처리된 구간이 자세 천이 구간을 나타낸다. 예 를 들어 [Fig. 5]에 필터를 적용하면 2, 3, 4, 9, 10, 11초의 입력 과 출력 데이터 제거되고, 나머지 데이터만 남게 되어 양질의 데이터를 얻을 수 있다.

[Fig. 6]에서는 개발된 학습 모델의 예측 결과와 실험 결 과를 비교하였다. [Fig. 6]과 같이 자세 천이 구간에서 오차 의 변화가 다른 구간과 비교하여 크게 발생한다. 여기서 오 차율은 식 (3)과 같이 계산하였다. 여기서,∈는 오차율, ϕ_m는 계측된 각도 값, ϕ_p는 추정된 각도 값을 각각 의미한다.

[Fig. 6] 

Pitch angle error rates of hip at test #1

[Fig. 7]은 실험 #2의 경우이며 그림 상단부터 순서대로 각 자세의 압력 분포, 관절의 자세 값을 의미하며 아래 그래프는 총 압력 변화량과 엉덩이의 롤(roll) 값에 대한 관계를 보여준 다. 좌측 누운 자세에서는 어깨, 엉덩이, 허벅지, 발목에 주로 압력이 분포한다. 해당 실험의 자세 천이 구간은 각각 2~6초, 12~16초이며, 총 압력 변화량이 크게 변하는 특징을 가진다.

[Fig. 7] 

Posture transition of test #2

[Fig. 8]과 같이 엉덩이의 롤 예측 오차는 자세 천이 구간인 약 2~6초, 12~16초 에서 급격하게 변하는 것을 확인할 수 있다. 결과적으로 총 압력 변화량의 큰 구간에서 자세 천이가 발생했 다고 판단할 수 있으며, 작은 구간은 정상상태로 판단할 수 있다.

[Fig. 8] 

Roll angle error rates of hip at test #2

[Table 2]는 자세 천이 구간 압력 데이터의 필터를 고려했을 경우 압력 데이터의 표준편차를 비교한 것이다. 초기 측정된 압력 데이터의 표준편차에 비해 약 60 ~ 80% 정도의 감소를 보 인다. 따라서 자세 천이 구간 필터를 적용하여 정확한 예측 결 과를 기대할 수 있다.

이번 절에서는 앞선 실험 결과를 바탕으로 압력 데이터 를 이용한 자세 천이 구간 필터 설계에 대해서 다룬다. 제안 된 자세 천이 구간의 필터는 식 (2)와 같이 매트리스에서 측 정된 체압 분포 데이터의 변화 크기(P)를 계산하고, 임계치 (threshold)을 넘을 시 체압 데이터를 0으로 간주하였다. 여기 서, n과 m은 압력 센서의 가로, 세로의 수를 의미하고, ∈_thres는 압력 변화량의 최대 크기에 각각 25, 50, 75% 로 설정하였다. 여기서 임계치는 자세 변위와 피 실험체에 의해서 달라 질 수 있으므로 본 논문에서는 경향성만 분석하고자 한다.

[Fig. 9]는 실험 #1의 총 압력 변화량을 바탕으로 설정한 예 이다. 임계치는 변화에 따라서 [Table 3]과 같이 여과된 시간 영역을 분석하였다. 여기서 오차는 기준 시간과 대비하여 시 작 및 끝점의 오차의 합으로 표현되었다. 따라서 오차가 작을 수록 자세 천이 구간의 압력을 걸러낼 수 있다. 여과의 비율이 낮을 때 오히려 오차 값이 크게 나타나며, 50%부근에서 오차 가 가장 적게 나타난다. 이와 같은 방법을 이용하여 동작 별 오 차 분석을 통해서 자세 별 적절한 임계치를 결정할 수 있다.

[Fig. 9] 

Posture transition filter based on the pressure

실험 #1과 #2에 대해서 각각의 자세 천이 필터를 적용하였다.

[Fig. 10]의 (a)와 같이 자세 천이 구간(2~4초, 9~11초)에 대 해서 제거되었고, 앉은 자세인 4초에서 9초까지의 안정된 값 이 출력된다.

[Fig. 10] 

Comparison of with respect to applying filter

또한 [Fig. 10]의 (b)와 같이 자세 천이 구간과 유사하게 제 거되었고, 돌아누운 자세인 6~11초 에서 안정된 데이터가 출력 된다. 여기서 예측된 값의 오차는 학습 모델의 정확성에 관련 이 있기 때문에 데이터 셋의 수를 높이면 오차를 줄일 수 있다.

[Fig. 11]은 기존의 데이터 셋의 수 350개에서 700개로 확장 했을 때의 예측 결과를 보여준다. 이때 앞서 개발된 자세 천이 필터가 적용되었다.

[Fig. 11] 

Posture estimation depending on number of data set

두 실험의 RMS 오차가 [Table 4]와 같이 각각 약 32%, 20% 감소하였다. 결과적으로 학습의 오차는 학습데이터의 수를 증 가시켜 줄일 수 있다.