본 연구에서는 3차원 레이저 스캐너 한 대와 스테레오 카메 라가 설치된 센서 융합 시스템을 사용한다. 다만, 스테레오 카 메라에서 왼쪽 카메라만 알고리즘에 이용한다. 3차원 레이저 스캐너와 카메라 간의 캘리브레이션을 통해 위치 관계를 [Fig. 1] 과 같이 파악한다. 이종 센서 간의 캘리브레이션^[13]은 coarseto- fine 전략을 사용한다. 정해진 모양과 크기의 인공 특징점을 이종 센서에서 동시에 검출하고 정합시켜 정합 오차를 적게 만드는 T_SL을 반복을 통해 도출한다. 이 방법은 sparse한 포인 트 클라우드를 취득하는 레이저 스캐너일수록 부정확 하기 때 문에 앞선 방법을 사용한 뒤 수동으로 회전 행렬을 보정하여 정밀한 T_SL을 얻는다. 올바른 정합을 위해 M. Velas et al.^[13]에 서 제안한 edge 기반의 cost 함수를 이용한다. 카메라 이미지를 Sobel operator를 통해 edge만 남아있는 이미지로 변환하고 Inverse Distance Transform (IDT)를 적용하여 각 픽셀 별로 가 장 가까운 edge와의 거리에 따라 값을 정한다. 또한 투영된 3 차원 레이저 스캐너의 포인트에서 인접한 두 포인트와의 최대 거리를 각 픽셀 값으로 갖는 이미지를 만들고 두 이미지의 비 교를 통해 유사도를 판단한다. [Fig. 2(b)]는 Sobel operator와 IDT 적용된 이미지를 보여준다.

[Fig. 1] 

Sensor fusion of image and 3D point cloud

[Fig. 2] 

(a) Input images for pose regression CNN : RGB image with range value, (b) Edge image with Sobel operator and IDT to the RGB image on figure (a)

3차원 레이저 스캐너에서 측정하는 포인트 클라우드 Y_L는 식 (1)^[14]과 같으며 식 (2)와 캘리브레이션 결과 T_SL를 통해 카 메라 이미지 평면으로 투영시킬 수 있다. N_scan은 입력 포인트의 수를 나타낸다.

P는 프로젝션 행렬(Projection matrix), TSL∈SE (3) 은 두 센서 간의 강체 변환 행렬(rigid-body transformation matrix)를 나타낸다. 3차원 공간 포인트의 homogeneous coordinate Y¯L=xk yk zk 1T 은 이미지 평면의 한 점 Y¯I=ul​ υl 1T 로 매칭된다. [Fig. 2(a)]는 센서 융합을 통해 3차원 포인트 클 라우드를 영상에 투영시켜 얻은 RGB와 Range 입력 영상을 보 여준다.

본 연구에서 기본적으로 사용되는 심층 컨벌루션 신경망의 구조는 GoogLeNet^[15]이다. GoogLeNet은 PoseNet^[4]에서 자세 추정에 사용되는 pre-trained 네트워크 모델이며 22개의 컨벌루 션 레이어와 9개의 inception module로 구성된다. GoogLeNet은 영상 인식과 같은 분류(Classification) 작업 수행에 많이 사용 되는데 위치 재인식을 수행하기 위해 다음과 같은 변화가 존 재한다. 분류를 하는 Fully-connected 레이어를 regression을 수 행하는 레이어로 수정한다. 기존 GoogLeNet에 존재하는 3개 의 softmax 분류기를 affine regressor로 대체한다. 학습 단계에 서 이런 중간 단계의 affine regressor에 대한 loss를 포함하며 테스트 단계에서는 제일 마지막의 regressor만 사용한다.

RGB 영상만을 사용하는 기존 다른 연구와는 달리 3차원 포 인트를 이용한 거리 정보도 사용하기 때문에 [Fig. 3]과 같이 입력은 네 개의 채널이 된다. 입력을 위해 취득 이미지 데이터 를 455x256 픽셀로 resize 시키고 가운데에서 224x224 픽셀을 crop하여 사용한다. 추정하고자 하는 자세 P = {x q]^T는 3차원 위치(position) X와 방향(orientation) 정보를 나타내는 쿼터니언 (Quaternion) q로 이루어져 있다. 이미지에 맞는 pose regressor를 학습시키기 위해 식 (3)의 Euclidean loss를 사용한다^[4].

[Fig. 3] 

A deep convolutional neural network architecture: GoogLeNet with pose regression

β는 위치 오차와 방향 오차의 중요도를 결정시키는 scale factor로서 위치와 방향 중 학습에 영향을 끼치는 정도를 결정 한다^[4]. β가 큰 값일수록 방향 성분 오차의 중요도가 증가한 다. 이렇게 학습된 네트워크에 테스트 영상을 입력하면 pose regressor의 결과로 센서의 절대 pose를 나타내는 p^t 가 생성된 다. t는 시간 index를 나타낸다.

CNN 구조를 사용하는 학습 기반 위치 재인식은 현재영상 을 입력으로 받아 해당 영상이 취득된 센서의 자세를 출력으 로 제공해준다. 따라서, 현재 영상의 추정에 이전 결과값이 사 용되지 않아 종종 큰 오차를 보여주기도 한다. 이런 문제를 해 결하고자 이전 시간에서의 결과를 포함하는 파티클 필터를 사 용하여 위치를 보정한다. 파티클 필터는 motion model에 따라 다음 스텝에서의 파티클의 상태를 결정하는 prediction 단계, 측정값에 따라 파티클의 중요도를 결정하는 correction 단계, 그리고 resampling 단계로 이루어져 있다^[16]. Resampling은 파 티클의 중요도에 따라 다음 단계의 파티클을 확률적으로 뽑는 다. Bayesian framework에서의 상태 추정은 식 (4)와 같다.

여기서 α는 normalized coefficient 이며 식 (4)는 두 개의 확 률 모델을 포함하고 있다. pzt+1Xt+1 는 measurement 모델, pxt+1ut, xt 는 motion 모델을 나타낸다. Motion 모델은 control 입력 u_t이 주어졌을 때, 현재 상태 x_t의 확률을 이전 스 텝의 상태 x_t-1로부터 표현한다. Motion 모델에서 사용되는 u_t는 constant velocity motion으로 가정했다. 파티클 필터에서 상태 x_t는 파티클 χtj=Xtj, ωtj, j=1, ⋯, Np 로 표현 되며 앞서 설명한 pose regression 결과를 measurement로 사용한다. measurement 모델에 따른 파티클 업데이트는 식 (5)-(7)와 같다.

여기서 P⌢t 는 pose regression의 추정 결과값, υ_t는 measurement noise를 나타내며, 식 (7)은 resampling 과정이다.

[Algorithm 1]은 본 논문에서 제안된 위치 재인식 알고리즘 이며 라인 1을 통해 학습된 CNN에 입력될 영상을 생성한다. 입력 영상을 이용하여 CNN 결과값을 얻고 파티클 필터의 measurement로 사용하여 업데이트 한다.

실험에 사용된 데이터셋은 서로 다른 두 환경에서 취득하 였다. 두 환경 모두 연세대학교 캠퍼스 내 실외 환경에서 로봇 플랫폼을 이용하여 취득하였으며 사용된 3차원 레이저 스캐 너는 Velodyne VLP-16, 이미지는 ZED stereo 카메라의 왼쪽 영상을 사용하였다. Velodyne VLP-16 센서는 초당 약 300,000 points를 측정하며 측정 최대 거리는 약 100 m이다. ZED stereo 카메라의 경우 1280 x 720 해상도와 30 fps 모드로 사용하였다. 투 영 단계에서 이미지 평면 앞 쪽에 있는 포인트들은 걸러내어 정면 에서 현재 카메라 영상에 투영될 수 있는 포인트만 사용한다.

첫 번째 데이터셋은 연세대학교 백양로(Baekyang)에서 취 득 하였으며 보행자가 다수 존재하는 환경이다. 학습에 사용된 영상은 총 5526 프레임이다. 테스트에 사용된 데이터셋은 총 2 개이며 환경변화에 강인한 특성을 확인하기 위해 각각 가을과 여름에 취득했다. 첫 번째 테스트에 사용된 영상은 총 4912 프 레임이고 두 번째 테스트에 사용된 영상은 총 4621 프레임이며 시험 공간의 크기는 약 40 m x 160 m이다. 두 번째 데이터셋은 연세대학교 공학관(Eng. Bldg.)에서 취득하였고 비교적 동적 객체가 적은 환경이다. 학습에는 총 5329 프레임이 사용되었으 며 첫 번째 테스트는 3432 프레임, 두 번째 테스트는 3679 프레 임이 사용되었다. 첫 번째 테스트 데이터셋은 가을, 두 번째 테 스트 데이터셋은 겨울에 취득하였다. 시험 공간의 크기는 약 80 x 80 m이며 데이터셋에 대한 정보는 [Table 1]에 정리했다.

[Fig. 4(a)] 와 [Fig. 4(c)]는 센서 융합 시스템으로부터 취득 된 입력 센서 정보를 보여주며, 3차원 포인트 클라우드를 해당 이미지로 투영시켜 거리 별로 표현한 결과이다. [Fig. 4(b)] 와 [Fig. 4(d)]는 각각 다른 계절에 취득된 데이터로서 해당 계절 과 다른 계절의 데이터셋으로 학습된 CNN의 테스트에 사용 되었다. [Fig. 4(a)]와 [Fig. 4(b)], [Fig. 4(c)] 와 [Fig. 4(d)] 는 같 은 위치에서의 샘플 테스트 이미지를 보여준다. 학습에 사용 된 데이터셋의 ground truth는 고정밀 IMU, wheel odometry, 3 차원 레이저스캐너와 고정밀 지도 기반의 위치추정 알고리즘 을 사용하여 얻는다. 학습에 사용된 식 (3)의 β는 500, 파티클 필터에서 사용된 σ는 0.1로 실험을 진행하였다. 학습에 걸리 는 시간은 iteration 당 약 0.55초가 소요되며, 테스트 단계에서 는 약 0.0059초가 소요된다.

[Fig. 4] 

Sensor fusion of a 3D laser scanner and camera: calibrated sample data. (a) Baekyang dataset (Test1), (b) Baekyang dataset (Test2), (c) Engineering Building dataset (Test1), (d) Engineering Building dataset (Test2)

[Fig. 5]는 학습 및 테스트 데이터셋과 함께 PoseNet 및 제안된 방법의 위치인식 결과를 나타낸 것이다. 학습 및 테스트 데이터셋 의 센서 경로는 [Fig. 5]의 왼쪽 그림과 같으며 오른쪽은 PoseNet 과 제안한 방법의 위치인식 결과를 위성사진과 함께 보여준다.

[Fig. 5] 

Relocalization results using our proposed method. The first row shows trajectory of training (red dot) and test (black asterisk) datasets. The second and third row show trajectory of PoseNet (green) and proposed method (blue) of Test1 and Test2 respectively. (a) Baekyang dataset, (b) Engineering Building dataset

정량적인 위치인식 결과는 [Table 2]와 같다. [Table 2]에서 PoseNet과 본 논문에서 성능 향상을 위해 추가한 Depth 정보 사용, 파티클 필터에 대해 개별적으로 사용했을 때의 성능 또 한 포함하고 있다. 상대적으로 depth 정보를 사용할 때는 rotation, 파티클 필터를 사용할 때 translation 오차를 감소 효과 가 큰 것을 알 수 있다. 기존 이미지만을 사용한 PoseNet은 방 향 성분보다 위치 성분에서 오차가 크게 발생한다. 이는 지속 적으로 비슷한 영상이 취득되는 직선 주행 중 이미지 정보만 으로는 위치를 정확히 추정할 수 없기 때문이라고 해석 가능 하다. 제안된 방법의 경우 거리 정보를 포함하기 때문에 위치 오차를 크게 줄여주는 역할을 해줄 수 있다. 또한 [Fig. 5]에서 볼 수 있듯이 PoseNet의 경우 연속된 센서 취득 정보를 사용하 지 않기 때문에 이전 결과값과 많이 차이 나는 경우가 자주 발 생한다. 반면, 제안된 학습 결과 기반 파티클 필터를 통해 이러 한 문제를 해결하였다.

각 알고리즘 모두 동적 객체(보행자)가 많은 환경(Baekyang) 에서 위치인식 오차가 3.08 m로 매우 큰 것을 알 수 있다. 반면, PoseNet 보다 제안된 방법이 위치인식 오차가 적으며 특히 방 향 성분보다 위치 성분의 오차 감소 비율이 더 크다. 이는 앞서 언급된 반복되는 지형에 대한 위치인식 오차를 거리 센서 데 이터를 이용하여 상쇄 시킬 수 있기 때문이다. 또한, 데이터셋 별로 위치인식 결과를 보면 학습 데이터와 다른 계절에 취득 한 데이터의 경우(Test 2) 전체적으로 오차가 크다. RGB 영상 을 사용하는 visual relocalization 방식을 사용하면서 이를 보완 하기 위해 추후 연구에 효율적인 depth 정보 encoding 방법을 사용하려 한다.