제안하는 방법은 실시간 지도 작성을 위해 먼저 영상에서 포인트 샘플링을 수행한 후 이를 삼각형의 정점으로 하도록 Delaunay triangulation^[7]을 수행하여 2D mesh 정보를 생성한다. 본 논문의 실험에서는 포인트 샘플링의 방식으로 영상의 특징점을 추출^[8]하여 생성된 2D mesh 정보가 실제 환경의 평면정보를 최대한 반영할 수 있도록 하였다. 또한 Delaunay triangulation은 최대한 정삼각형에 가까운 삼각형을 생성하도록 하는 방법으로, 2D mesh의 정보가 3D로 투영했을 때에도 평면성과 영상의 텍스처를 최대한 유지할 수 있도록 하였다. [Fig. 3]에서 2D mesh 생성 결과를 확인할 수 있다.

[Fig. 3] 
Point sampling and triangulation: The red points are extracted feature points. We performed Delaunay triangulation on the extracted points. The red triangle mesh is the one that is removed from the image plane. The purple triangle mesh is removed after the 3D projection. The yellow triangle mesh is the correct one in the map

이후 가지고 있는 깊이 정보를 활용해 2D mesh의 정점을 3차원으로 투영하여 3D mesh 지도를 생성한다. 결과는 [Fig. 4]의 (a)를 보면 확인할 수 있다.

[Fig. 4] 
Generated 3D mesh map

2D mesh를 생성하는 과정에서 실세계의 3차원 평면성을 반영하지 않는 mesh가 생성될 수 있다. 본 논문에서는 2D mesh와 3D mesh의 관점에서 이러한 이상치 제거를 수행한다. 먼저 2D mesh를 생성한 후 삼각형의 세 정점을p₁, p₂, p₃ 라고 할 때, 아래의 식 (1)의 조건에 따라 삼각형 한 변의 길이가 특정한 값보다 긴 삼각형을 제거한다. 이는 [Fig. 3]에서 붉은색 삼각형들을 의미한다.

여기서 l_p는 2D mesh 삼각형 한 변의 최대 길이를 의미한다. 다음으로 mesh를 3차원으로 투영한 후 이상치 제거를 수행한다. 투영된 mesh의 세 정점을 v₁, v₂, v₃라고 할 때, 먼저 2D mesh의 방식과 비슷하게 너무 큰 길이의 변을 가지는 삼각형을 제외 시켜준다. 이는 다음의 식 (2)를 활용한다.

다음으로 식 (3)을 사용하여 카메라에서부터 mesh의 중심까지 벡터와 mesh의 법선 벡터가 수직에 가까운 경우 제거 해준다. 이는 [Fig. 3]에서 보라색 삼각형들을 의미한다.

여기서 vc=v1+v2+v3/v1+v2+v3이고, n은 mesh의 법선 벡터, l_v, d는 임계 값을 의미한다. 이상치를 제거하기 전과 후의 3D mesh 지도는 [Fig. 4]의 (a)와 (b)를 통해 확인할 수 있다.

제안하는 방법은 지도를 실시간으로 확장하기 위해 먼저 이전 N개 프레임에서 생성한 3D mesh 지도를 현재 로봇의 위치에서 이미지 평면에 투영한 후 지도를 확장하는 sliding window 방식을 사용한다. 이 때 투영된 정점에 대해 최소 거리 d_min보다 먼 위치에 있도록 포인트 샘플링을 수행한다. 이때 얻은 점들은 다음의 2가지 경우 중 하나에 해당된다. (1) 기존 mesh 안에 있는 경우 (2) 기존 mesh 밖에 있는 경우. (2)의 경우에는 지도 확장을 위해 추출된 점의 정보를 저장해둔다. (1)의 경우 아래의 식 (4)와 같이 점과 평면사이의 거리를 계산해 특정 값 보다 차이가 많이 날 경우에만 값을 저장한다.

여기서 P는 특징 점의 3차원 위치를 의미한다. 최종적으로 얻은 기존의 정점들과 새로운 특징 점들을 포함하여 다시 Delaunay triangulation을 통해 지도 확장을 수행한다. [Fig. 5]를 통해 지도 확장 과정을 확인해볼 수 있다.

[Fig. 5] 
Mesh map expansion: (up) 3D mesh map generated from the previous N camera frame. (down) Yellow triangles are projected mesh from a global map. Red dots are sampled points found in the current frame that are outside the mesh. Blue points are sampled points that are above the existing mesh in the image plane but have a significant distance to the mesh in 3D

수중 환경의 특성 상 ground truth 경로를 구하기 힘들다. 활용하는 데이터셋에서도 ground truth 경로를 제공하고 있지 않기 때문에 영상 개선에 따른 위치 추정 개선에 대해 정성적인 검증을 진행하였다.

[Fig. 6], [Fig. 7]의 왼쪽 데이터 FLSea-VI Canyons Flatiron와 오른쪽 데이터 FLSea-VI Redseas Northeast Path는 역 루프 폐쇄(reverse loop closure)가 발생한다. [Fig. 6], [Fig. 7]의 “Revisit location”에서 붉은색 동그라미는 같은 표식물을 표현한 것으로, 각기 반대 방향을 바라보며 취득한 영상을 바탕을 작성된 지도 결과이다. 결과를 보면 이미지 개선을 수행하지 않았을 때 작성된 지도에서 같은 표식물의 위치가 더 많이 차이나는 것을 확인할 수 있다. 이는 로봇의 위치 인식 과정에서 오차가 점차 누적되어 발생하는 drift error가 이미지 개선 후 줄어들었음을 의미한다.

[Fig. 6] 
Mapping result without image enhancement: (left) FLSea-VI Canyons Flatiron, (middle) FLSea-VI Redseas Cross Pyramid Loop, (right) FLSea-VI Redseas Northeast Path

[Fig. 7] 
Mapping result with image enhancement: (left) FLSea-VI Canyons Flatiron, (middle) FLSea-VI Redseas Cross Pyramid Loop, (right) FLSea-VI Redseas Northeast Path

[Fig. 6], [Fig. 7]의 가운데 데이터인 FLSea-VI Redseas Cross Pyramid Loop의 “Revisit location”을 확인해보면 인공 표식물의 위치가 크게 차이 나지 않는 것으로 확인된다. 이는 이미지 개선의 결과가 위치 인식 과정에서 특징점 추출 및 비교에 영향을 주지만 이미지 개선의 여부와 상관없이 같은 깊이 정보를 이용하였기 때문으로 생각된다. 만약 이미지 기반의 깊이 추정을 수행하는 경우에는 이미지 개선했을 때 위치 추정의 향상이 더 두드러지게 나타날 것이라고 기대할 수 있다.

[Fig. 8]의 FLSea-VI Redseas Big Dice Loop 데이터에서는 중간에 로봇이 위치 인식을 실패하는 상황이 발생한다. 위치 인식을 실패하기 전까지 작성된 지도를 [Fig. 8]에서 확인할 수 있다. 로봇의 위치 인식 실패는 해당 데이터의 특정 지점에서 로봇의 빠른 회전 움직임으로 인해 특징점 추적을 실패했기 때문으로 예상된다. [Fig. 8]의 오른쪽 결과를 보면 이미지 개선을 수행하지 않았을 때보다 더 먼 위치까지 위치 인식을 성공한 모습을 확인할 수 있다. 이는 이미지 개선이 로봇의 강인한 위치인식에 도움을 준다는 것을 의미한다.

[Fig. 8] 
Mapping result for FLSea-VI Redseas Big Dice Loop sequence without image enhancement (left) and with image enhancement (right)

본 논문의 [Fig. 9]에서 영상 개선에 따른 포인트 샘플링의 성능 비교를 수행하였다. 제안하는 방법은 특징점 추출^[8] 방법을 기반으로 포인트 샘플링을 수행하기 때문에, 영상의 색 왜곡과 대비의 문제를 개선한 후 더 좋은 성능을 보여주게 된다. 포인트 샘플링의 성능을 비교하기 위해 FLSea-VI Redseas Cross Pyramid Loop 데이터의 영상에서 검출되는 특징점의 수를 영상 개선 전후로 검증하였다. 영상 개선 이후 검출되는 특징점의 수가 개선 전과 비교하여 약 16.1% 증가한 것을 확인하였다.

[Fig. 9] 
Number of sampled points for hazed and enhanced image

제안하는 방법은 mesh에 해당하는 텍스처를 입혀 사실적인 지도작성을 가능하도록 한다. 이는 자율 수중 로봇이 업무를 수행한 이후 사람이 결과를 해석하는 것에 있어 중요한 역할을 한다. 이미지 개선에 따른 사실적인 지도작성에 대해서 [Fig. 6], [Fig. 7], [Fig. 8]에서 확인할 수 있다.

본 논문에서는 사람이 해석 가능한 수준의 지도 작성 여부를 확인하기 위해 FLSea-VI Redseas Cross Pyramid Loop 데이터에 존재하는 인공 표식물의 글씨를 충분히 인지할 수 있는지를 기준으로 삼았다. Mesh를 이용한 지도 표현과 기존 방법론에서 많이 사용되는 pointcloud와 voxel을 기반으로 작성된 지도와 정성적인 비교를 진행하였다. Pointcloud 지도는 ORB-SLAM2^[6]의 keyframe 위치에서 깊이, 색 정보를 이용해 직접 생성하였고, voxel 기반 지도는 Voxblox^[4] 알고리즘을 이용해 1 cm 크기로 구한 TSDF 지도에 marching cube 알고리즘을 적용하여 얻은 mesh 지도를 통해 비교를 수행하였다.

[Fig. 10]의 결과를 보면, mesh와 pointcloud를 사용하였을 때 글씨를 인식할 수 있는 수준의 결과를 얻은 것을 확인할 수 있다. Voxel을 기반으로 지도를 표현했을 때는 1 cm 정도의 작은 크기의 voxel을 사용하였음에도 불구하고 글자를 인식하기 충분한 정도의 지도가 표현되지 않았다. Pointcloud의 결과가 좋게 나왔음에도 불구하고, pointcloud의 경우 1개의 점이 1개의 색 정보를 표현하기 때문에 사람이 해석할 수 있는 수준의 지도 표현을 위해서는 매우 큰 크기의 데이터가 요구된다. 이는 [Table 2]를 보면 알 수 있다.

[Fig. 10] 
Comparison of qualitative results using artificial landmarks in the FLSea-VI Redseas Cross Pyramid Loop sequence. (a) Proposed method, (b) Pointcloud, (c) Voxblox

[Table 2]를 보면 지도 표현 방법에 따라 저장되는 point 및 voxel의 수를 확인할 수 있다. Mesh 표현을 사용하는 경우 pointcloud를 사용하는 것보다 훨씬 적은 수의 point를 저장하면서도 [Fig. 9]와 같이 높은 수준의 지도 작성 결과를 보여줌을 확인할 수 있다. Voxel 기반의 표현을 사용하였을 경우, mesh 기반 지도보다 적은 수의 voxel block으로 지도 표현이 가능하지만 사람이 해석하기 충분할 정도의 사실적인 지도작성이 불가능하였다.

제안하는 방법은 mesh기반의 표현과 sliding window 방식의 지도 확장을 통해 실시간으로 지도 작성을 가능하도록 한다. 본 논문에서는 가로 720, 세로 456 해상도를 가지는 영상에 대해 N=25를 window 크기로 설정하여 실험을 진행하였다. [Fig. 11]의 결과를 보면 프레임 당 처리시간을 알 수 있다. 결과를 살펴보면 ORB-SLAM2 기반의 위치 인식은 평균 18.14 ms의 수행 시간이 소요되었고, 지도 작성을 하기위해서 평균 약 11.18 ms의 시간이 소요되었다. 전체 프레임당 처리 시간은 평균 약 29.32 ms으로, 이는 제안하는 방법이 위치 인식과 지도 작성의 관점에서 충분히 실시간으로 동작 가능함을 보여준다.

[Fig. 11] 
Processing time for FLSea-VI Redseas Cross Pyramid Loop sequence: The orange area represents tracking time and the blue area represents mapping time

수중 환경의 특성 상 ground truth 경로 정보를 얻기 힘들고, 본 논문에서 사용한 데이터셋 또한 ground truth 경로 정보를 제공하고 있지 않다. 따라서 본 논문에서는 제안하는 방법의 정량적인 검증을 수행하기 위해 실내 합성 데이터셋인 ICL-NUIM^[10]의 영상 정보를 왜곡시켜 수중 환경을 가정하였다. 본 논문에서는 원본 이미지로부터 왜곡된 수중 이미지를 표현하기 위해 일반적으로 많이 사용되는 McGlamery의 수중 빛 전파 모델^[11]을 사용하였다. [Fig. 12]에서 원본 이미지와 왜곡시킨 수중 영상을 확인해볼 수 있다.

[Fig. 12] 
The original image of the dataset (c), the distorted image following the underwater light propagation model^[11] (a), and the enhanced image using Joint-ID^[2]

[Fig. 13]과 [Table 3]에서 of kt0 데이터에 대한 영상 개선 전후의 위치 인식 결과를 확인해볼 수 있다. 본 논문에서는 절대 경로 오차를 계산하기 위해 evo^[12]를 이용하였다. [Fig. 13]을 확인해보면 전체적으로 영상 개선 후에 위치 인식의 결과가 더 좋게 나온 것을 확인할 수 있다. of kt0 데이터는 중간에 천장을 바라보며 움직이는 구간이 있는데, 해당 구간에서는 질감이 부족한 영상의 특성으로 인해 모든 결과에서 위치 오차가 크게 나왔다. 다만 영상 개선 후에 오차가 더 작게 나온 것을 확인할 수 있다. [Table 3]의 내용을 보면 영상 개선 전후의 각각 절대 경로 오차의 평균이 0.038324 m, 0.018117 m로 영상 개선 후 오차가 약 2배 줄어든 것을 확인할 수 있다.

[Fig. 13] 
Trajectory, position, and orientation of ground truth compared to the results using the hazed and enhanced image for of kt0 sequence