열화상 이미지는 빛이 적은 환경에서도 강건하나 질감이 부족하고 어두운 부분과 밝은 부분의 차이가 적으며 열화상 카메라에서 갖는 열로 인한 노이즈가 생긴다는 단점이 있다. 이를 해결하기 위해 Dulski^[3]는 histogram equalization를 이용한 열화상 품질 개선 연구를 하였다. Tran^[4]는 histogram equalization 방법에 입력 데이터를 기반으로 하는 bi-dimensional 함수를 만들어 분석하는 방법(BEMD, Bidimensional empirical mode decomposition)을 사용하였다. Histogram을 기반으로 한 방법들은 장면에 영향을 받아 같은 온도임에도 장면마다 다른 값을 갖게 되어 특징 매칭에 어려움을 준다. Agaian와 Roopaei^[5]은 sigmoid 기반 비선형 함수로 이미지의 값을 바꾸어 이미지 품질을 향상시켰으나 온도 범위가 넓은 큰 실외 환경에서는 적합하지 않다. 최근에는 딥 러닝을 기반으로 열화상 이미지 품질을 개선하려는 방향으로 연구가 활발히 진행되고 있다. Choi^[6]는 합성곱 신경망(CNN, Convolutional neural network)을 기반으로 열화상 이미지에 RGB 이미지를 학습시켜 이미지 품질을 개선하였으며 Lee^[7]는 밝기 영역을 통합하여 열화상 이미지 품질을 개선하였다. 이러한 방법들은 학습에 열화상 이미지 이외에 RGB 이미지가 추가적으로 더 필요하기에 데이터 셋에 열화상 이미지만 존재한다면 학습을 시킬 수 없다는 큰 문제가 있다. 본 논문에서는 실외 환경에서 열화상 품질을 높이면서 장면에 영향을 받지 않는 열화상 재 매핑 함수를 제안한다.

깊이 추정은 다양한 분야에 쓰이기에 오래전부터 많은 연구가 지속되어 왔다. Shah와 Aggarwal^[8]은 스테레오 fish-eye 렌즈를, Rajagopalan^[9]은 defocused 스테레오 쌍을 이용하여 깊이를 추정하였다. Liu^[10]은 다시점 스테레오 이미지에서의 광학 흐름을 이용하여 다양한 스케일 레벨에서 변동된 깊이를 추정하는 다중 시작 스케일 프레임 워크를 제안했다. 많은 연구자들은 스테레오 이미지에서 geometry를 기반으로 깊이를 추정하였으나 특별한 센서가 필요하거나 스테레오 이미지에서만 깊이를 추정하였기에 단일 이미지에서의 깊이 추정은 여전히 해결하지 못하였다.

이후 단일 이미지에서 깊이 추정을 하기 위해 뉴럴 네트워크를 기반으로 연구가 많이 진행되었다. Eigen^[11]는 깊이 추정을 위해 전체 이미지를 기반으로 대략적인 전역 예측을 수행하는 네트워크와 이 예측을 로컬로 수정하는 네트워크, 총 두개의 CNN을 제안하였고 Laina^[12]은 깊이 지도에서의 분포를 Huber 손실을 이용하여 학습하였다. 또다른 방법으로 Ranftl^[13]은 epipolar 조건을 이용해 시차 이미지를 만들어 셀프 라벨링을 하여 학습하는 방법도 제안하였다.

최근에는 열화상 이미지에서도 깊이 추정 연구가 활발히 진행되고 있다. Kim^[14]는 스테레오 RGB 이미지의 시차를 계산하여 열화상 이미지에 학습시켜 깊이 추정을 하였다. Lu^[15]는 왼쪽 스테레오 RGB 이미지를 전이시킨 열화상 이미지와 오른쪽에 위치한 열화상 카메라로부터 얻어진 이미지를 활용하여 깊이를 추정하였다. 기존 방법과 비교하면 우리의 방법은 별도의 RGB 이미지 및 RGB-열화상 카메라 calibration 매개변수 필요가 없다.

이번 논문의 전체적인 순서도는 [Fig. 2]와 같다. 열화상 이미지는 RGB 이미지보다 질감이 부족하고 어두운 부분과 밝은 부분의 차이가 작아 특징 추출이 어렵다. 이 문제를 해결하기 위해 본 논문에서는 새로운 열화상 이미지 품질 개선 방법을 제안한다. 열원을 제외한 물체는 일반적으로 전체 면적에 대한 온도 분포가 거의 균등하다. 그러나 물체 간의 온도 차는 햇빛, 열원과의 거리 등의 이유로 일정하지 않게 측정된다. 그래서 본 논문에서는 주기가 짧은 사인함수를 기반으로 한 새로운 열화상 재매핑 함수g(x)를 제안한다. 이 함수를 통해 온도 공간에서 값의 차이가 작아 식별이 불가하였지만, 픽셀 공간으로 매핑함으로써 값의 차이가 확연히 드러나는 것을 알 수 있다[Fig. 3].

[Fig. 2] 
Overview. Our model consists of 3 steps. First (blue box), the stereo depth map (D_S) is obtained by feeding the remapped 3-channel thermal images (IlTRI, IrTRI) through FrowNet^[2]. Second (red box), multi-channel thermal images (IlNRI, IrNRI) are constructed. Third (green box), the predicted depth map (D_P) is trained by feeding the remapped IlNRI, IrNRI, LiDAR depth map (D_L), and D_S through Depth network

[Fig. 3] 
The top image is a raw image, and the right figure is an image converted using. g(x). (a) means temperature difference, and (b) is pixel value difference

R은 주기를 정하기 위한 온도의 범위, T는 평행이동을 위한 온도이다.

이 섹션에서는 단일 열화상 이미지에서 깊이 예측 방법을 설명한다. 본 논문에서는 LiDAR와 스테레오 열화상 이미지 데이터가 있다고 가정하고 센서들의 calibration 매개변수는 알고 있다고 가정하였다.

3.2.1 다중 채널 열화상 재매핑 이미지

본 논문에서는 g(x)의 R 값을 변화 시켜 여러 개의 열화상 재매핑 이미지를 쌓아 N-채널 열화상 재매핑 이미지를 만들었다. [Fig. 4]를 통해 같은 영역이지만 R 값에 따라 다르게 보이는 것을 확인 할 수 있다. 또한, 여러 개의 열화상 재매핑 이미지를 쌓으면 많은 정보를 담을 수 있다는 것을 확인하였다.

[Fig. 4] 
The example of 3-channel thermal remapping image. The second row represents three 1-channel thermal remapping images. The first row shows visibility difference between three thermal remapping images

학습에 앞서, 일반적인 영역에 비하여 하늘은 거리가 매우 멀리 떨어져 있기 때문에 깊이를 학습하는 데 방해가 된다. 그러나 RGB 이미지와는 다르게 열화상 이미지에서 하늘은 다른 영역보다 온도가 낮아 복잡한 알고리즘 없이 쉽게 제거할 수 있다. 이 특성을 g(x)에 적용하여 식 (2)을 만들었다[Fig. 5].

fx=fixi=1,2,3,⋯fix=2552sinx-TiRi-π2+2552,x>Ts0,otherwise.

(2)

[Fig. 5] 
(a) shows raw image, (b) shows a binary image when a temperature threshold is 20°C

이때 T_s는 20°C로 사용하였다.

우리 데이터 셋은 LiDAR, 스테레오 열화상 이미지 및 calibration 매개 변수를 제공하고 다양한 시간대의 많은 시퀀스를 취득하여 연구를 진행하였다. 학습에 하기에 앞서 본 논문에서는 2가지 과정을 거쳐 학습에 쓰일 데이터를 필터링하였다. 열화상 카메라에는 카메라의 온도로 인한 노이즈를 보정하기 위해 비균일 보정(NUC, Non-uniformity Correction)기능이 탑재되어 있다. 이로 인해 열화상 카메라가 데이터 취득 도중 꺼지는 경우가 발생한다. 노이즈를 제거한다는 장점이 있지만 NUC를 임의로 제어할 수 없어 모든 열화상 스테레오 이미지가 쌍을 이루고 있지 않다. 학습에는 열화상 스테레오 쌍이 필요하므로 타임 스탬프를 기반으로 쌍을 이루지 않는 데이터를 필터링하였다. 다음은 left-right consistency가 0.7보다 큰 픽셀이 전체의 30% 이상 있는 경우 학습에 적합하지 않다고 판단하여 제외하였다. 총 50,724개의 이미지가 학습에 사용되었고 8,122개의 이미지로 검증하였다.

본 논문에서는 깊이 추정을 위한 다중 채널 열화상 재매핑 이미지를 만들기 위해 식 (2)에서 R_i를 4°C부터 0.3°C씩 증가시켜 이미지들을 쌓았다. 24G 메모리가 있는 한 개의 GTX-3090 GPU를 사용하여 75시간동안 50 epoch의 학습을 진행하였다. 러닝 레이트는 처음 7개의 epoch동안 10^-4로 시작하였고 나머지 epoch에서는 10^-5로 감소 시켜 사용하였다.

본 논문에서는 정량 평가를 위해 예측한 깊이를 식 (4)를 통해 스케일 보정 후 LiDAR에서 얻은 절대 깊이와 비교하여 평가하였다. 우리의 모델과 최첨단(SOTA, State Of The Art) 모델의 정량 평가는 절대 상대 차이(AbsRel, Absolute Relative difference), 상대 차이 제곱(SqRel, Squared Relative difference), 제곱 평균 제곱근 에러(RMSE, Root Mean Square Error), RMSE log, δ < 1.25, δ < 1.25², δ < 1.25³ 7가지 평가지표로 평가한다.

di^는 스케일을 보정한 예측 깊이, d^i*은 LiDAR의 절대 깊이이다.

[Table 1]을 보면 우리의 모델이 Monodepth2^[19], BTS^[23], MiDAS^[13] 모델보다 7가지 평가 지표에서 앞서는 것을 알 수 있다. 또한, [Fig. 6]에서는 다른 SOTA모델들은 하늘과 땅의 깊이를 반대로 예측하거나 차의 보닛을 전혀 보지 못하는 등 깊이 추정에 실패하는 것을 알 수 있다.

[Fig. 6] 
The qualirative inverse depth map evaluation on our dataset

본 소단락에서는 다중 채널 열화상 재매핑 이미지가 깊이 추정에 미치는 영향을 검증한다. 비교를 위해 본 논문에서는 열화상 이미지를 개선시키지 않은 Raw 이미지, 1, 2, 3, 4, 5, 10-채널 이미지들로 깊이 추정을 학습하여 비교하였다. 모든 평가는 4.2에 제시된 7가지 평가지표를 사용하였다. Raw 데이터와 5-채널 열화상 재매핑 이미지로 깊이를 이용한 깊이 추정 결과는 [Table 1]에 나타나있다. 다중 채널 열화상 재매핑 이미지 모델이 raw 데이터 모델보다 RMSE log를 제외한 다른 평가지표에서 우수한 성능을 보여준다.

채널수에 따른 결과는 [Fig. 7]과 [Fig. 8], [Table 2]에서 확인할 수 있다. [Fig. 7]은 채널수가 1부터 5까지 증가할 때 RMSE 값의 점차 줄어들고 그 이후부터 다시 증가하는 것을 보여준다. 또한, [Table 2]에서는 RMSE뿐만 아니라 다른 6가지 평가지표에서도 채널 수가 적을 때보다 많을 때 개선된 결과가 나온 것을 보여준다. [Fig. 8]는 채널 수에 따른 깊이 예측 결과이다. 특히, 1, 2, 3 열에서 1, 2채널일때와 3, 4, 5, 10 채널 일 때 극명한 차이가 나타나는 것을 알 수 있다.

[Fig. 7] 
This graph shows that when the number of channels increases from 1 to 5, the RMSE decreases, and when the number of channels increases to 10, the RMSE increases

[Fig. 8] 
The qualirative inverse depth map evaluation according to changing the number of channels of thermal remapping image