전통적으로, 모바일 로봇의 자세 예측 정확도를 향상시키기 위해 채택된 방법은 바퀴 엔코더와 IMU 데이터를 이용해 Extended Kalman Filter (EKF)를 사용해 예측하는 것이었다^[11]. 이는 바퀴 엔코더만을 이용해 자세를 예측하는 것보다는 오차가 적지만, IMU 센서에 noise나 bias 뿐만 아니라 모델링 하기 힘든 외부 환경 요인으로 인해 정확도를 향상시키는 데에 한계가 존재하였다.

최근에는 다양한 분야에서 위치나 회전 방향의 예측 정확도를 높이기 위해 학습 모델을 이용하기 시작했다^[12-19]. WhONet^[12]의 경우 자동차의 바퀴 엔코더 데이터를 입력값으로 이용하여 위치를 출력값으로 내보내는 학습 모델을 이용한다. 하지만, 바퀴 엔코더 데이터만을 이용할 경우 시스템적 오차인 기구학적 모델링과 관련된 오차만 파악이 가능하다. 비시스템적 오차를 파악할 수 있는 IMU, 카메라, 라이다 등의 외부 센서를 이용하지 않았기에 모델링 되지 않은 오차를 잡기에는 한계가 있다.

이와 달리 IMU 데이터만을 이용해 위치나 회전 방향을 예측하는 연구들이 있다^[13-18]. AI-IMU^[13]는 IMU 데이터를 학습모델의 입력값으로 이용하여, EKF의 파라미터를 학습하는 데 사용하였다. Orinet^[14]과 M. Brossard의 연구^[15]는 오직 IMU 데이터를 이용하여 회전 방향을 예측하는 데 학습 모델을 이용하였다. Ronin^[16]과 Tlio^[17]의 경우에도 IMU 데이터를 입력값으로 이용해 ResNet 학습 모델을 통해서 위치를 계산하는 end-to-end 학습 방법을 사용한다. 이 방법은 학습 모델 내부에 위치를 계산하기 위한 적분식이 포함되게 된다. M. Zhang의 연구^[18]에서 적분식이 학습 모델에 포함될 경우 자세 예측 성능이 떨어짐을 보였다. 따라서 M. Zhang의 연구^[18]에서는 입력값을 IMU 데이터로 이용하여 end-to-end로 위치를 출력하는 것이 아닌 입력값을 보정하는데 LSTM 학습 모델을 결합하였다^[18]. 하지만 IMU 데이터만을 이용해 자세를 예측할 경우 IMU와 바퀴 엔코더 데이터를 이용한 기존의 EKF 방식보다 자세 예측 정확도가 낮았다.

LWOI는 바퀴 엔코더 데이터와 자이로, 그리고 IMU 데이터를 사용하여 자세 예측을 진행한다. Gaussian Process (GP)의 파라미터를 학습시키는데 학습 모델을 이용하였다. GP를 통과시킨 데이터를 이용해 EKF로 자세를 예측한다.

제안하는 방법은 LSTM을 기반으로 한 학습 모델을 통해 속도와 각속도 데이터를 구한 후 적분을 통해 자세를 구하게 된다. 속도 데이터는 바퀴 엔코더와 외부 환경의 변화에 영향을 적게 받으면서 데이터를 얻을 수 있는 IMU를 추가로 이용하여 취득하였다. LSTM의 손실 함수는 회전 방향과 위치가 적분을 통해 계산되므로 시간이 지남에 따라 누적된다는 특징을 이용하여 설계하였다. 학습된 모델은 다양한 바닥 상황에 대해서도 미끄러짐에 대한 특성을 잘 반영하여 위치 뿐만 아니라 회전 각도에 대해서 정확도를 향상했다.

본 연구에서 사용하는 신경망은 LSTM을 이용한다. LSTM의 경우 이전 정보를 가지고 있으면서 새로운 정보를 받아 학습을 진행하는 특징이 있다. 로봇의 자세는 속도 v와 각속도 ω를 계산을 통해 누적해 얻어지는 위치와 회전 방향이다. 로봇의 자세 또한 이전 정보의 누적으로 구성됐기에 LSTM의 학습 방식이 적절하다고 생각하였다. 또한 미끄러짐이 한 순간의 데이터에만 영향을 받는 것이 아닌 그 시점 이전의 데이터들도 영향을 끼칠 것이라 생각하여 LSTM을 이용하였다.

제안하는 네트워크는 stacked unidirectional LSTM을 사용한다. LSTM의 경우 레이어는 3개, 각 레이어 당 크기는 120으로 돼 있다. 네트워크를 이용한 자세를 예측하는 전체적인 과정은 [Fig. 1]에 나와 있다. 입력값으로 바퀴 엔코더 데이터를 이용해 구한 모바일 로봇의 직진 방향 속도 v_x, IMU의 각속도 ω_x,ω_y,ω_z, 가속도 a_x,a_y,a_z를 사용한다. 입력값이 LSTM을 통과하면 출력값으로 보정된 속도 v^x,v^y, 보정된 IMU 각속도 ω^x,ω^y,ω^z가 나오게 된다. v_x가 들어가서 v^x,v^y가 나오는 이유는 본 연구에서 사용하는 로봇은 입력으로 직진 속도 v_x만 주어지고 실제 로봇의 속도는 미끄러짐으로 인한 v_y도 존재하기 때문이다. 출력값을 적분하여 평면 상의 위치 변화값을 구하고, 값들을 누적시켜 자세를 예측하게 된다. v^z를 예측하지 않는 이유는 z축에 대한 데이터는 IMU의 가속도 a_z뿐이므로 가속도 데이터만으로 속도를 예측하게 되면 네트워크 내부에 적분식이 포함돼 성능이 떨어지게 되기 때문이다.

[Fig. 1] 
Proposed pose estimation architecture

p는 ground truth의 회전 행렬 R과 속도 v를 이용하여 적분을 통해서 구한 위치다. p^는 네트워크 출력값의 회전 행렬 R^과 속도 v̂를 이용하여 적분을 통해서 구한 위치다.

R은 ground truth 각속도 ω를 이용해 구한 회전 행렬이다. R^는 네트워크의 출력값 각속도 ω^를 이용해 구한 회전 행렬이다. exp_SO(3)는 SO(3)에서의 exponential map으로 3자유도 각도값을 회전 행렬로 변환시켜준다. 식 (3)과 식 (4)의 경우 매번 회전 행렬끼리 곱셈을 진행하게 될 때 아주 작은 오차들이 누적되면서 값이 틀어지는 현상이 발생했다. 따라서 매번 행렬 곱셈을 할 때마다 특이값 분해 (SVD)를 이용해 회전 행렬을 정규화 작업을 하였고, 식 (3)의 R을 ground truth 회전 행렬 R과 비교했을 때 일치하는 것을 확인하였다.

Ground truth의 p와 R를 데이터셋에서 측정된 값을 사용하지 않고 계산을 통해서 구하는 이유는 학습 시 overfitting을 막으면서 학습 성능을 높여주기 위해 training 데이터셋을 재정렬하는 작업을 진행하기 때문이다. 매번 같은 training 데이터를 이용해 학습을 진행하면 overfitting이 발생할 가능성이 높아진다. 따라서 일정한 시간 간격으로 나눈 training 데이터셋을 매번 학습 시 재정렬한다. 재정렬된 데이터의 속도 v와 각속도 ω에 따라 회전 방향과 위치가 바뀌게 돼 ground truth에서 구한 회전 방향과 위치를 그대로 사용할 수 없다. 따라서 식 (2)와 식 (4)와 같이 p와 R를 계산하여 사용한다.

손실 함수를 어떻게 설계하느냐에 따라 학습 모델의 성능이 달라질 수 있다. 학습 모델은 로봇의 속도 v^x,v^y, 로봇의 각속도 ω^x,ω^y,ω^z를 출력하므로 각각에 대해서 손실 함수를 만들 수 있다.

손실함수 L는 회전 손실 함수 L_ω와 위치 손실 함수 L_p를 더해서 구한다. 각속도를 이용해 회전 손실 함수 L_ω를 구하고, 속도를 이용해 위치 손실 함수 L_p를 구한 후 합하여 사용한다. 손실 함수를 두 개로 나누어 진행한 이유는 네트워크에서 출력된 각속도와 속도를 같이 이용해 위치를 계산하여 학습을 진행할 경우 학습 성능이 떨어졌기 때문이다. 이는 속도와 각속도를 적분해 위치를 구하게 되면 두 데이터가 위치 예측에 영향을 끼치는 정도가 다르므로 한쪽에만 우세하게 학습이 진행된다. 따라서 속도와 각속도 각각에 대해서 위치 손실 함수 L_p와 회전 손실 함수 L_ω를 만들어 가중치 파라미터 k를 이용해 둘 다 적절히 학습이 될 수 있도록 하였다. 회전 손실 함수의 경우 각도 단위가 radian으로 되어있어 손실의 크기가 작았고, IMU의 각속도 데이터로 인한 오차가 바퀴 엔코더 속도로 인한 오차에 비해 적었기에 회전 손실 함수에 k를 곱하여 사용하였다. 본 논문에서는 k = 1500을 이용하였다.

회전 행렬과 위치의 경우 적분을 통해 계산되므로 시간이 지남에 따라 누적할 수 있는 특징이 있다. 이 특징을 이용하여 회전 손실 함수와 위치 손실 함수를 정의하였다. 먼저 회전 손실 함수는 다음과 같이 정의된다:

L_ω,j는 학습에 이용되는 N개의 총 데이터에서 j의 간격만큼 회전 행렬을 누적시킨 후의 손실을 나타낸다. ρ는 Huber 손실 함수를 나타내고 log_SO(3)는 SO(3)에서의 logarithm map으로 회전 행렬 R을 각도 ϕ∈R3로 변환시켜준다. δRi,i+j와 δR^i,i+j은 각각 ground truth와 네트워크의 출력값으로 구한 j간격 동안 회전한 회전 행렬들이다.

회전 손실 함수 L_ω에는 하나의 L_ω,j만 사용하지 않고 여러 개를 더하여 사용한다. 이는 L_ω,j에서 j가 작을 때와 클 때의 단점을 상쇄시키기 위한 방식이다. L_ω,1처럼 j가 작을 때는 매 순간의 출력 회전 행렬이 ground truth에 비해 오차가 적게 발생하였지만, 회전 행렬을 누적시킨 후 비교하였을 때 출력 회전 행렬이 ground truth에 비해 오차가 크게 발생하였다. 반대로 L_ω,16처럼 j가 클 때는 매 순간의 출력 회전 행렬이 ground truth에 비해 오차가 많이 발생했지만, 회전 행렬을 누적시킨 후 비교하였을 때 출력 회전 행렬이 ground truth에 비해 오차가 적게 발생하였다. 따라서 L_ω과 같이 j가 작을 때와 클 때 모두를 이용하여 손실 함수를 사용할 때 매 순간의 데이터와 누적 데이터의 오차가 적었다.

위치 손실 함수 L_p는 다음과 같이 정의된다:

L_p,j는 N개의 데이터가 있을 때 j개의 간격만큼 위치를 누적시킨 후의 δp¯과 δp을 이용하여 구한 손실이다. δpi,i+j와 δp¯i,i+j는 각각 p와 p¯를 이용해 구한 j개의 간격동안 이동한 위치 변화값들이다. 위치 손실 함수 L_p도 회전 손실 함수 L_w과 같이 하나의 L_p,j만을 이용하지 않고 여러 개를 더하여 사용하였다. L_p,1과 같이 j가 작을 경우 매 순간의 출력 속도값은 ground truth와의 오차가 작았지만, 속도값을 이용해 누적된 위치를 구했을 경우엔 오차가 크게 발생하였다. 반대로 L_p,4와 같이 j가 클 경우 매 순간의 출력 속도값은 ground truth와의 오차가 컸지만, 속도값을 이용해 누적된 위치를 구했을 경우엔 오차가 적게 발생하였다. 따라서 L_p와 같이 j를 작을 때와 클 때 모두 이용해 손실 함수를 만들어 매 순간의 출력 속도와 누적 위치 데이터의 오차를 줄였다.

위치 손실을 계산할 때는 p^n대신 p-n을 이용한다. p^n에서 속도는 네트워크의 출력값 v̂을 이용하지만, 회전 행렬은 식 (3)의 R을 이용한다는 특징이 있다. 학습 시에 p̂는 출력값의 속도와 회전 행렬 모두에 영향을 받지만, p¯는 출력값의 속도에 대해서만 영향을 받는다. 또한 R^n은 출력값을 누적시키는 계산이 필요하지만, R_n은 이미 알고 있는 데이터이기에 위치를 구할 때 계산 시간이 줄어드는 장점이 있다. 따라서 위치 손실 함수 L_p에서 출력값의 속도에 대해서만 손실을 계산하기 위해 p̂ 대신 p¯를 사용한다.

PyTorch^[25]를 통해 학습을 진행하였다. Optimizer는 Adam^[26]을 사용하였고, 학습률은 0.02로 시작하였다. 학습을 진행할 때 validation 손실 값이 50 epochs동안 줄어들지 않으면 학습률에 0.75를 곱해 크기를 낮춰 학습을 진행하였다. 총 epochs는 2000번으로 잡았고, dropout의 경우 없을 때 성능이 더 좋게 나와 dropout 없이 사용하였다.

매 학습 시 training 데이터셋을 8초 시간 간격으로 나눈 후 그 중 일부를 무작위로 재정렬하여 새로운 입력 데이터셋을 만들었다. 이를 통해 입력 데이터셋의 양을 증가시켜 학습에 이용하였고 학습의 성능을 향상시켰다.

자세 예측 성능을 비교할 대상으로는 제안하는 방식과 같이 바퀴 엔코더와 IMU 데이터를 둘 다 사용하여 자세를 예측하는 EKF와 기존 학습 방법인 LWOI를 사용하였다. 제작된 데이터셋을 이용하여 성능 비교를 하였다. LWOI의 경우 자세를 예측할 때 IMU 뿐만 아니라 추가적인 자이로 센서를 이용하지만, 본 연구에서 제작한 데이터셋의 경우 IMU의 각속도 데이터만 가지고 있다. 따라서 같은 데이터셋을 이용한 자세 예측 성능 비교를 위해 LWOI에서 필요한 자이로 데이터(ω_x,ω_y,ω_z)를 IMU 데이터의 각속도로 대체하여 사용하였다.

각 방법에 대해서 test 데이터셋인 Even 05, 06와 Uneven 17, 18, 19, 20, 21에 대해서 위치에 대한 평가와 회전 방향에 대한 평가를 진행한다. 자세 예측 성능 평가 지표는 V. Peretroukhin의 연구^[27]를 참고하였다.

eATE∈R6는 Absolute Trajectory Error (ATE)이다. e_ATE는 시작 지점부터 도착 지점까지의 네트워크의 출력값 T^과 ground truth T의 차이를 평균 낸 오차이다. T_i,i+j∈SE(3)는 ground truth의 회전 행렬 R과 위치 p로 이루어진 i와 i+j 사이에서의 변환 행렬을 의미한다. T^i,i+j∈SE3는 네트워크의 출력값 회전 행렬 R^과 위치 p̂로 이루어진 i와 i+j 사이에서의 변환 행렬을 의미한다. 여기서 쓰인 log_SE(3)는 SE(3)에서의 logarithm map으로 T를 ξ∈R6로 변환시켜준다. ξ의 첫 3개 항은 위치 φ∈R3, 나머지 3개 항은 각도 ϕ∈R3를 의미한다.

eRTE∈R6는 Relative Trajectory Error (RTE)이다. ATE의 경우 경로가 겹치면 오차가 줄어들 가능성이 존재한다. 이를 방지하기 위해 k 만큼의 시간 간격 동안 움직인 이동 경로의 차이를 구한 뒤 평균 내 오차를 구하는 방법이 RTE다. 고정된 시간 간격을 이용하여 상대적인 경로 오차를 확인하는 방법이다. 본 실험에서는 제작된 데이터셋을 이용했으므로 60초 간격으로 RTE를 구하기 위해 k = 6000를 이용하였다.

3.4.1 위치 예측 평가

[Table 2]를 통해 test 데이터셋의 전체 평균 ATE translation과 RTE translation 값을 확인할 수 있다. LWOI와 제안하는 방법이 EKF보다 ATE와 RTE 모두 수치상으로 오차가 적은 것을 확인할 수 있고, 제안하는 방법이 LWOI보다 오차가 적다. [Fig. 4]를 통해 각 데이터셋에 대한 RTE translation 값을 확인할 수 있다.

[Table 2] 
Average translation error

Comparison methods	ATE translation (m)	RTE translation (m)
EKF	0.112	0.126
LWOI	0.103	0.114
Proposed	0.067	0.076

[Fig. 4] 
Relative trajectory error translation

3.4.2 회전 예측 평가

모바일 로봇이 작업을 하기 위해서는 정확한 위치를 예측하는 것 뿐만 아니라 로봇의 회전 방향도 정확히 예측해야 하므로 ATE와 RTE의 rotation 값도 성능 평가에 중요한 요소이다. [Table 3]를 통해 test 데이터셋의 전체 평균 ATE rotation과 RTE rotation 값을 확인할 수 있다. Rotation의 경우에도 translation과 같이 EKF, LWOI, 제안하는 방법 순으로 평균 오차가 더 적은 것을 확인할 수 있다. [Fig. 5]를 통해 각 데이터셋에 대한 RTE rotation 값을 확인할 수 있다.

[Table 3] 
Average rotation error

Comparison methods	ATE rotation (deg)	RTE rotation (deg)
EKF	1.19	1.40
LWOI	1.00	1.18
Proposed	0.83	0.95

[Fig. 5] 
Relative trajectory error rotation

3.4.4 속도 분석

[Fig. 6]~[Fig. 9]를 통해서 미끄러짐이 얼마나 발생하는지와 속도 예측 성능을 확인할 수 있다. 모션 캡쳐 데이터와 같이 출력값이 100 Hz로 나오는 EKF와 제안하는 방식과는 다르게 LWOI의 출력값은 25 Hz로 나오기에 속도 데이터의 직접적인 비교가 힘들어 LWOI는 속도 비교에서 제외하였다. 속도 v_x와 v_y는 로봇 좌표계 기준으로 표현된 것으로, 미끄러짐이 발생하지 않았다면 속도 v_y는 0이라고 볼 수 있다. [Fig. 7]에서 속도 v_y가 0이 아니므로 평평한 바닥에서도 로봇이 옆으로 미끄러짐을 알 수 있고, [Fig. 9]를 보면 속도 v_y가 크게 변하는 것을 확인할 수 있어 울퉁불퉁한 바닥에서 미끄러짐이 크게 발생하는 것을 알 수 있다. 또한 [Fig. 6]~[Fig. 9]를 통해서 제안하는 방식과 EKF의 데이터를 ground truth와 비교하였을 때 모든 바닥 상황에서 제안하는 방식이 EKF보다 ground truth에 가까운 것을 볼 수 있다. 이는 제안하는 방식이 미끄러짐을 효과적으로 파악하여 자세 예측 성능을 올릴 수 있었음을 의미한다.

[Fig. 6] 
v_x in Even 05 (left) and v_x in Even 06 (right)

[Fig. 7] 
v_y in Even 05 (left) and v_y in Even 06 (right)

[Fig. 8] 
v_x in Uneven 20 (left) and v_x in Uneven 21 (right)

[Fig. 9] 
v_y in Uneven 20 (left) and v_y in Uneven 21 (right)