최근 주변 환경의 조명 변화에 강건한 열화상 이미지의 장점을 활용하여 visual odometry를 수행하는 여러 알고리즘들이 제안되었다. Borges et al.^[6]은 NUC에 의한 tracking 성능 저하를 보완하는 NUC trigger manager를 적용하여 열화상 이미지에 적용 가능한 semi-dense optical flow를 수행하였다. Vidas et al.^[7]는 프레임의 최솟값과 최댓값의 평균을 중심으로 픽셀 값의 차이가 256 이내에 위치한 픽셀들을 표준화한 후, GFTT detector와 optical flow를 통해 움직임을 추정하였다. Nilsson et al.^[8]는 Harris corner detector를 통하여 특징점을 검출한 뒤, 주위 패치의 normalized cross correlation을 최소화하는 6 DOF 움직임을 계산하였다. 그러나 이러한 방법들은 표준화된 이미지의 픽셀 값을 직접적으로 비교하고 brightness consistency 가정을 사용하기 때문에 이미지의 표준화 방법에 크게 의존하며 노이즈에 강건하지 않다. 이러한 문제점들을 극복하고자 [9,10]은 표준화를 적용하지 않은 14-bit 이미지의 radiometric error를 최소화하였고, [9,11]은 IMU의 측정값을 prior로 설정하여 특징점 tracking을 수행하였다. 또한 동일한 장면에 대한 가시광선 영역과 적외선 영역의 정보를 모두 활용하고자 DWT (Discrete Wavelet Transform)로 두 이미지를 합성하거나^[12] 각각의 이미지에서 추출한 특징점을 함께 사용하는 시도가 있었다^[13-15]. 이 방법들은 특징점 tracking에 IMU, RGB 카메라와 같은 추가적인 센서를 이용한 것으로, 열화상 이미지만을 사용하여 매칭을 수행하는 본 연구의 방법과 달리 센서 데이터를 결합하는 추가적인 과정이 필요하다. Mouats et al.^[16]는 열화상 이미지에서 여러 특징점 추출 알고리즘의 성능을 매칭 점수를 통해 비교하고 연속된 시퀀스에서 왼쪽과 오른쪽 이미지의 reprojection error의 합을 동시에 최소화하는 pose를 추정하였으며, 평균적으로 4% 이하의 travelled error를 얻었다. 그러나 위 연구를 수행한 직선 경로가 많고 정형화된 환경과 다르게 정형화되지 않은 환경에서 [3-5]와 같이 RGB 이미지에 적용되는 알고리즘은 안정적인 성능을 보여주지 못한다.

Deep learning을 visual odometry에 적용하여 기존의 방법이 지니는 여러 한계점을 극복하고자 하는 연구가 활발히 진행되고 있다. 그 중 한 예로, end-to-end learning의 방법으로 카메라의 움직임을 추정하는 여러 네트워크들이 제안되었다^[17-20]. 그러나 이는 실제 데이터셋에 적용하였을 때 경쟁력 있는 성능을 보여주지 못했으며, 지도 작성이 불가능하고 학습된 환경에 대해서만 카메라의 위치 추정이 가능하다는 단점이 있다. 특히 이미지의 텍스쳐 정보와 특징점이 적은 열화상 카메라의 경우, 움직임 추정에 이러한 방법들을 적용하기 불가능하다. 한편, 신경망을 기반으로 특징점을 추출하여 이미지의 품질에 대한 강건함을 확보하고자 하는 시도들이 있었다^[1,21-23]. Li et al.^[24], Tang et al.^[25]은 이러한 장점을 활용하여 ORB-SLAM2^[26]의 특징점 추출 방법을 학습 기반의 네트워크로 대체하여 위치 추정 성능을 개선하였다. Liang et al.^[27]는 이미지의 visual saliency를 계산하여 semantic 정보가 높은 영역의 점을 추출하도록 Direct Sparse Odometry (DSO)^[28]를 개선하여 이미지 그래디언트가 낮은 환경에서도 안정적으로 특징점을 추출하여 위치 추정을 수행하였다.

전체적인 시스템에 대한 diagram은 [Fig. 1]와 같다. 100 Hz로 취득 가능한 IMU 데이터를 전달받아 IMU motion model에 의하여 state와 covariance를 propagate 하는 데에 사용한다. 14-bit 열화상 이미지는 본 논문에서 제시한 전처리 방법을 통해 8-bit 이미지로 변환 후, SuperPoint 특징점을 추출, 이전 프레임과 SuperGlue 알고리즘으로 이를 매칭한다. 매칭된 픽셀 쌍과 propagated IMU state로부터 시스템의 정지 여부를 검증한 뒤 특정 횟수 이상 tracking된 특징점은 triangulation을 통해 3D 좌표를 구하고, zero velocity test 결과에 맞게 measurement model을 설정하여 시스템의 state update를 진행한다.

[Fig. 1] 
Block diagram illustrating pipeline of proposed algorithm. SuperGlue outdoor weight is used to match feature points of 8-bit converted thermal images

전체 시퀀스에 대한 히스토그램을 나타낸 결과는 [Fig. 2]의 (a)와 같으며, 이로부터 피크점이 위치하여 근방에 많은 픽셀이 분포하는 총 3개의 지점을 확인하였다. 각 지점 근방의 픽셀들이 이미지에서 나타내는 영역을 직접 확인하기 위해 먼저 전체 히스토그램을 각 피크점을 중심으로 하는 총 3개의 Gaussian의 합으로 근사하였다. 이때, i번째 Gaussian의 (i = 1,2,3) 평균을 m_i, 표준편차를 σ_i라 하고, mi-kiσi,mi+kiσi에 위치한 픽셀들을 표준화한 결과, [Fig. 2]의 (b)와 같은 세 장의 8-bit 이미지를 얻었다(k_i는 상수). 첫번째 정점을 기준으로 이미지를 표준화한 결과, 해당 영역은 주로 하늘과 구름에 해당하는 픽셀, 두번째 정점은 산과 같은 뒷부분의 배경을 포함한 픽셀, 마지막 정점은 visual odometry에 필요한 텍스처 정보가 풍부한 물체들을 포함한 픽셀이 주로 분포함을 확인하였다. 위의 결과로부터 한 장의 열화상 이미지를 세 개의 영역으로 분류할 수 있음을 확인하였으며, 각 이미지가 포함하고 있는 semantic 정보에 따라 각기 다른 가중치 σ_i를 두어 아래와 같이 최종 이미지 I_AGC를 얻었다. 세 장의 이미지를 합한 뒤엔 CLAHE를 적용하여 이미지의 전체적인 대비를 높였다.

[Fig. 2] 
Proposed multiple Gaussian fitting-based thermal infrared image conversion. (a) Histogram of 14-bit raw image pixels with three peaks and fitted result by Gaussians. (b) Dominant region of each peak from the image. (c) Converted 8-bit image by proposed method (left), and clipping method (right)

첫번째 이미지에 주로 나타나는 구름에서 추출된 특징점은 먼 거리에 위치하여 시스템이 크게 움직일 때에도 disparity가 0에 가까워 위치 추정에 부정적인 영향을 미친다. 따라서 첫번째 이미지의 가중치를 0으로, 세번째 이미지의 가중치를 가장 높게 설정하여 visual odometry에 적합한 8-bit 이미지를 얻을 수 있다. 제안한 방법을 적용하였을 때, 단일 구간을 임의로 설정하여 표준화하는 기존의 clipping 방법에 비해 배경의 잡음이 제거되고 차량과 같은 물체의 대비는 강조된 것을 확인할 수 있다.

본 논문에서는 IMU 측정값과 열화상 이미지에서 추출한 특징점 매칭 결과를 필터링 기반의 방법인 Multi-Sate Constraint Kalman Filter (MSCKF)^[29]를 통해 결합한다. MSCKF는 기존 Extended Kalman Filter (EKF) 기반의 VIO와 다르게 Gaussian으로 표현되는 특징점들의 3D 좌표 대신 이전 시간 대의 IMU pose를 state에 추가하여 특징점의 개수에 선형적인 계산 복잡도를 가지며, 큰 스케일의 환경에서도 정밀한 pose 추정이 가능하다. 본 논문에서 사용할 시간 t_k에서의 IMU state 표현은 아래와 같다:

각 문자는 순서대로 global 좌표계 {G}에 대한 IMU rotation의 unit quaternion, 위치, 속도 그리고 각속도와 선 가속도의 bias에 해당한다. 이로부터 시스템의 전체 state X_k는 다음과 같다.

X_C는 위치와 unit quaternion으로 표현되는 sliding window 내 과거 n - 1개의 camera state이다.

만일 여러 센서 정보로부터 시스템의 정지 상태를 확실하게 감지할 수 있다면 선 가속도와 각속도의 참값을 0으로 설정 후, IMU measurement model을 filter의 measurement model로 설정하여 state uncertainty를 줄일 수 있을 것이다. 이를 zero velocity update라 하고, 시스템의 정지 여부를 판단하는 방법은 크게 IMU의 선 가속도, 각속도 측정값을 통해 판단하는 방법과 특징점 사이의 disparity를 통해 판단하는 방법이 있다. OpenVINS^[31]는 아래의 두 방법으로 이를 구현하였다.

먼저 IMU 측정값의 참값을 0으로 두었을 때 residual z~는 다음과 같다.

이때, n_a, n_r은 각각 IMU 선 가속도 측정값, 각속도 측정값에 대한 노이즈이다. 이에 대한 IMU state (rotation, bias)의 Jacobian H와 이를 선형화한 결과는 아래와 같다.

IMU state의 covariance을 P, 측정값의 노이즈 covariance를 R라 하면, 적절한 파라미터 ϵ과 χ²을 설정하여 아래와 같은 chi-squared test를 통해 zero velocity 가정의 타당성을 검정할 수 있다.

그러나 이 방법은 시스템이 등속도로 움직이는 경우에도 선 가속도와 각속도의 측정값이 0에 가까워 정지 상태와 구분할 수 없다는 문제점이 있다.

다음으로 아래와 같이 tracking된 픽셀 쌍의 disparity norm의 평균을 계산하여 threshold α와 비교 후, 시스템의 정지 여부를 판단하는 방법이 있다.

이때, N은 두 프레임 사이 tracking된 특징점의 개수, u₀, u₁은 각 프레임에서 특징점의 픽셀 좌표이다. 이 방법 역시 주위에 움직이는 물체가 많은 경우, 정지 상태와 움직이는 상태를 구분하기 힘들다는 문제점이 있다. 두 방법을 병행하여 사용할 때에도 카메라 시야에 잡히는 모든 물체가 시스템과 동일한 속도로 움직이는 경우에는 시스템의 운동 상태를 결정할 수 없게 된다. 따라서 본 연구에서는 IMU의 측정값으로부터 계산된 시스템의 state 변화를 고려하였을 때, 신뢰성 있는 disparity를 보이는 픽셀 쌍에 대해서만 disparity의 평균을 계산하는 새로운 방법을 제안한다. Disparity를 통해 시스템의 정지 여부를 판단할 때에 움직이거나 너무 먼 거리에 위치한 물체에 놓인 픽셀은 평균을 계산하는 과정에 포함하지 않아야 한다.

먼저, 시간 t₀, t₁에서 정지한 물체 위에 놓인 동일한 특징점을 관측하였다는 가정하에 아래와 같은 projection geometry가 성립한다.

이때, z_ci는 시간 t_i의 카메라 좌표계에서 측정한 특징점의 depth, K는 카메라의 intrinsic matrix, P_w는 기준 좌표계에 대한 특징점의 3D 좌표, R_c,w, t_c,w는 기준 좌표계에 대한 카메라의 pose이다. i = 0인 경우의 식 (19)을 P_w에 대하여 정리하면 아래와 같다.

식 (20)을 시간 t₁에서의 식 (19)에 대입하면 아래와 같은 관계식을 얻는다.

두 프레임 간 시간 차이 t₁ - t₀ ≪ 1라는 가정하에 각각의 좌표계에서 측정한 depth 값의 차이는 매우 적으므로 zc0zc1≈1라 가정할 수 있으며, 최종적으로 아래의 식이 성립한다.

IMU propagation을 통해 얻은 두 좌표계 간의 rotation R_c1c0와 두 프레임의 기준 좌표계에 대한 위치 t_c1w, t_c0w, 특징점 매칭을 통해 얻은 두 픽셀 좌표 u₁, u₀를 통해 오른쪽 항의 z_c1를 제외한 값을 모두 계산할 수 있다. 따라서 좌변과 우변의 벡터는 평행하므로 cosine similarity를 계산 후, 특정 threshold θ_thresh와 비교를 통해 정지 물체 관측에 대한 가정의 타당성을 확인할 수 있다.

만일 위와 같은 가정을 통해 정지 상태를 확인하게 되면, 식 (14)을 measurement model로 하여 state를 update한다.

평가에 사용한 데이터셋은 STheReo Valley Morning (1011.287 m), Evening (1006.383 m) Sequence, 그리고 같은 센서 구성으로 학교 캠퍼스 환경 내 동일한 장소의 낮(697.46 m)과 밤(702.648 m)을 촬영한 SNU Sequence로 구성되어 있다. 두 데이터셋은 차량에 설치된 두 스테레오 열화상 카메라(FLIR, fA-65, 10 Hz)와 IMU (Xsens, MTi-300, 100 Hz)로부터 얻어졌으며, 본 연구에서는 단일 카메라의 이미지만을 사용했다. Valley Sequence는 긴 직진 구간과 급격한 회전으로 이루어져 있으며, SNU Sequence는 짧은 거리에 비해 많은 회전 구간으로 이루어져 있다. 특히 SNU Evening Sequence는 초반 좌회전 교차로에서 정지 후, 많은 동적 물체를 촬영하기 때문에 이를 통해 제안된 zero velocity detection 알고리즘의 유효성을 검증하기 적합하다.

제안된 8-bit 열화상 이미지 변환 알고리즘의 유효성은 clipping 방법을 적용했을 때와의 매칭 inlier 수 평균과 Absolute Trajectory Error (ATE)의 비교를 통해 이루어졌다. 또한 추가적으로 두 개의 이미지에 각각의 방법을 적용하였을 때 SuperGlue 매칭 성능을 정성적으로 분석하였다. 제안한 알고리즘의 위치 추정 성능은 특징점 매칭 방법으로 LK optical flow와 기존 disparity 기반의 zero velocity detection을 이용한 OpenVINS^[31], 단안 카메라와 IMU를 사용하는 state-of-the-art VIO 알고리즘인 VINS-Mono^[32]와의 translational, rotational error의 비교를 통해 검증하였으며, 두 알고리즘에서 14-bit 이미지는 clipping 방법으로 변환하였다.

두 방법의 매칭 결과를 이미지를 통해 직접 비교한 결과, 제안된 변환 방법을 적용하였을 때, 잘못된 매칭이 감소할 뿐만 아니라 이미지의 전영역에서 더 많은 특징점을 추출하여 올바르게 매칭함을 [Fig. 3]의 (a)를 통해 확인하였다. 추가적으로, Visual SLAM에서 많이 사용되는 특징점 추출 알고리즘인 SIFT, ORB과의 성능 비교를 통해 제안한 방법이 기존의 방법에 비해서도 우수한 결과를 나타냄을 보았다. Tracking 단계에서 매칭된 특징점들의 RANSAC inlier 개수를 평균한 결과와 ATE는 [Table 1], [Table 2]와 같다.

[Fig. 3] 
Comparison of feature matching performance between various algorithms. (a) Clipping method (top) and proposed method (bottom) with SuperGlue. (b) Proposed method with SuperGlue (top), SIFT (medium), and ORB (bottom)

비교 결과, 제안된 알고리즘이 기존의 clipping 기법에 비해 모든 시퀀스에서 평균적으로 16.83% 높은 매칭 inlier를 보였다. 즉, 히스토그램 fitting을 통한 8-bit 변환 방법이 단일 구간으로 표준화하는 기존의 방법에 비해 노이즈와 정보 손실에 강건한 열화상 이미지 변환 방법임을 확인하였다. 이는 특정 시점이 아닌 시퀀스의 전 시간 대에 걸쳐 이루어졌음을 [Fig. 4]를 통해 확인할 수 있다. 이러한 이미지 품질 개선 효과는 [Table 2]의 RMSE 비교 결과에서 볼 수 있듯이 VIO 알고리즘을 통한 위치 추정의 정확도 향상으로 이어졌다.

[Fig. 4] 
Comparison of matching inliers between proposed preprocessing method and existing clipping method in Valley Morning sequence

주어진 데이터셋 내에서 차량의 정지 시점에 대해 판단할 수 있는 정량적인 기준을 얻기 어려운 관계로 본 논문에서는 정성적인 방법으로 제시된 zero velocity detection 알고리즘의 성능을 평가하였다. [Fig. 5]는 IMU 측정값으로 얻은 움직임에 부합하는 픽셀들의 tracking 결과를 나타낸 것이다. 왼쪽 이미지는 교차로에서 시스템이 정지하였을 때, 빠른 속도로 움직이는 버스 위의 픽셀을, 오른쪽 이미지는 움직이는 차량과 원거리 물체 위 픽셀을 구분하여 나타낸 것이다. 이로부터 제안된 알고리즘이 동적물체 위의 픽셀과 정지하지 않은 상황임에도 disparity의 평균을 낮추는 원거리의 픽셀을 효과적으로 제거하였음을 확인할 수 있다. 특히 왼쪽의 이미지는 SNU Evening 시퀀스의 교차로에서 차량이 잠시 정지한 상황으로, 기존의 zero velocity detection 알고리즘에서는 움직이는 버스 위의 픽셀에 의해 [Fig. 6]와 같이 grountruth에서 크게 어긋난 trajectory가 계산된 반면, 본 논문의 detection 방법은 불과 cm 단위의 떨림만이 존재하였다.

[Fig. 5] 
Visualized results of the proposed pixel rejection algorithm. Pixels on dynamic or far objects are colored red

[Fig. 6] 
Effect of dynamic objects for pose estimation of each algorithm. Proposed zero velocity detection method effectively relieves unstable estimation by forcing zero-value measurement