포인트 클라우드에서 움직이는 물체를 식별하는 것은 SLAM (Simultaneous localization and mapping)이나 물체의 이동 경로 예측, 경로 계획 등 자율주행에서 라이다를 이용한 하위 작업들의 성능을 결정하는 중요한 요소이다. 따라서 강건한 자율주행을 위해서 정적인 물체와 동적인 물체를 구분하는 일은 매우 중요하다. 이에 포인트 클라우드의 각 점을 정적인 점과 동적인 점으로 구분하는 MOS 관련 여러 연구들이 수행되어지고 있다. 기존 MOS 방법은 크게 사영 기반(projection-based) 방법론과 비사영 기반(non-projection-based) 방법론으로 나뉘어진다.

물체를 탐지하는 능력은 여러 하위 작업을 위한 핵심 역할을 수행한다. [9, 10]에서는 라이다와 카메라 등 여러 센서들을 이용해 물체 탐지를 기반으로 주차 공간을 검출하는 알고리즘에 대해 소개하였으며, [11]에서는 복잡한 환경에서 image와 k-nearest clustering 알고리즘을 이용하여 물체를 탐지하고 물체의 pose를 인식하여 알맞은 파지 방법을 찾는 알고리즘을 소개하였다. 이처럼 3차원에서 물체 탐지를 기반으로 다양한 하위 작업을 수행하는 여러 연구들이 진행 중이고, 그 중 많은 연구들이 라이다 포인트 클라우드를 물체 탐지를 위해 사용하고 있다.

라이다 포인트 클라우드는 x, y, z 좌표를 가지는 3차원 공간이기 때문에 물체 위치를 정확하게 파악하기 위해서는 3차원 정보를 처리해야 하고, 이에 3차원 물체 탐지를 위해서는 3차원 convolution network를 사용해야 한다. 하지만 이 경우 많은 연산량을 요구하기 때문에 실행 속도가 느리다. 이를 해결하고자 MOS의 사영 기반 방법론과 같이 Bird’s Eye View 평면이나 이미지 평면으로 사영시키는 방법들이 연구되고 있다^[12,13]. 이후 포인트 클라우드에서 특징을 추출하는 PointNet^[14]의 등장으로 이를 이용하여 3차원 물체 탐지에 사용하는 VoxelNet^[2]과 PointPillars^[3]가 제안되었다. VoxelNet은 x, y, z축마다 일정 크기를 가지는 voxel로, PointPillars는 x, y축마다 일정 크기를 가지고 z축으로는 한계가 없는 pillar로 포인트 클라우드를 쪼개고, 각 voxel, pillar마다 CNN을 이용해 특징을 추출하여 3D Object Detection을 수행하는 알고리즘이다. 이후 VoxelNet의 실행 속도를 개선한 SECOND^[15]가 등장하였으나 3D convolution을 사용하는 특성상 속도 개선 측면에서 한계가 존재하였다.

PointPillars는 VoxelNet과 달리 z축으로 한계가 없는 pillar를 사용하기 때문에 3D가 아닌 2D feature map을 얻어낼 수 있고, 이를 통해 2D convolution 연산을 진행할 수 있어 빠른 연산이 가능하다는 장점이 있다. 이에 본 논문에서는 PointPillars를 3D Object Detection 알고리즘으로 선정하여 사용하였다.

라이다 포인트 클라우드 만을 이용하지 않고 다른 센서에서 얻은 데이터와 함께 사용하여 성능을 높이려고 시도한 연구들 또한 존재한다. S. Vora et al.는 라이다와 다른 센서 정보를 함께 사용할 경우 성능이 감소되는 원인이 viewpoint misalignment라 주장하며, 새로운 센서 퓨전 방법인 PointPainting^[4]을 제시하였다. PointPainting은 카메라로 찍은 이미지에 semantic segmentation을 진행하고, 그 결과를 라이다 포인트 클라우드에 사영시켜, 점마다 클래스 정보를 추가한다. 이후, 채널이 늘어난 포인트 클라우드를 기존 라이다 기반 3차원 물체 탐지 알고리즘의 입력 값으로 사용하여 성능을 높이는 알고리즘이다.

이 방법에 착안하여 본 논문에서는 PointPainting 알고리즘의 image segmentation 대신, 라이다 포인트 클라우드의 MOS 결과를 포인트 클라우드에 추가하여 3차원 물체 탐지 성능을 개선하는 방안에 대한 연구를 진행하였다.

4DMOS과정은 크게 4단계로 구분된다. 첫 번째 단계는 라이다의 측정 결과 얻어진 n개의 포인트 클라우드 시퀀스를 현재의 포인트 클라우드 좌표계로 좌표 변환하고, 이를 병합하는 단계이다. 이 때 각 포인트 클라우드 별 좌표계 변환 행렬의 경우 wheel encoder나 IMU 같은 센서로 얻을 수 있다. 그 다음 단계는 병합된 포인트 클라우드를 4D sparse covolution을 통해 spatio-temporal feature를 뽑아내는 단계이다.

세 번째 단계는 Receding horizon strategy와 Binary Bayes Filter를 이용하여, 점마다 부여된 동적 예측 점수를 재귀적으로 정제하는 단계이다. Receding horizon strategy란, 라이다에서 새롭게 포인트 클라우드를 얻을 경우 직전에 계산했던 포인트 클라우드 시퀀스에서 가장 오래된 포인트 클라우드를 삭제하고, 새로 들어온 포인트 클라우드를 추가함으로써 새로운 시퀀스를 만드는 것을 의미한다. Receding horizon strategy를 취하게 될 경우 한 개의 포인트 클라우드는 새롭게 시퀀스에 추가된 이후로 삭제되기 전까지 총 시퀀스의 길이만큼, 즉 n번의 MOS 추정 작업을 거치게 된다. 새로운 센서 입력 값이 들어올 경우 한 개의 포인트 클라우드는 지금까지 누적된 센서 입력 값과 새로운 센서 입력 값을 가지고 moving state를 추정하게 된다.

t초에서 들어온 포인트 클라우드를 S₀, 포인트 클라우드 시퀀스를 z_t = {S₀ S₁ ⋯, S_n-1}, 추정하고자 하는 포인트 클라우드 S_j에 속한 점 p_i에서의 동적 상태를 mij∈0,1이라고 할 때, 현재까지 누적된 시퀀스를 기반으로 점 p_i의 동적 상태에 대한 확률 식은 pmijz0:t와 같이 나타낼 수 있다. 이 확률 식에 Binary Bayes Filter를 적용시킬 경우 식 (1)과 같이 나타낼 수 있다.

식 (1)과 같이 재귀적으로 새로운 포인트 클라우드가 들어올 때마다 누적된 시퀀스를 통해 동적 확률을 계산해 나가고, 이를 최종적으로 S_j가 시퀀스에서 삭제될 때까지 반복함으로써 최종 확률을 얻는다. 최종 확률 pmijz0:t이 0.5를 넘을 경우에만 동적 상태라고 판단하고 분할한다. 본 논문에서 시퀀스에 포함되는 포인트 클라우드 개수는 10개, 포인트 클라우드 간 시간 차이는 0.1초로 설정하였다.

희박한 3차원 포인트 클라우드에서 사영 없이 정보를 추출하기에는 많은 연산량과 시간이 필요하다. 이에 Y. Zhou et al.는 x, y, z축마다 일정 크기를 가지는 voxel을 만들어, 연산량 측면에서 생기는 문제를 해결한 VoxelNet을 제안하였다. 그럼에도 실시간 탐지를 하기에는 여전히 느린 속도를 보였고, 이에 voxel과는 달리 x, y축 방향으로만 일정 그리드로 나누고, z축으로 한계를 두지 않는 기둥(pillar)를 만들어 더욱 빠른 연산을 진행하도록 만든 알고리즘인 PointPillars가 제안되었다. PointPillars는 크게 feature encoder network, 2D convolution backbone, detection head 총 3 단계로 나누어 진행된다.

Feature encoder network는 포인트 클라우드를 pseudo image로 바꾸는 단계이다. 포인트 클라우드를 pillar로 나누고, 각 포인트를 (x,y,z,x_c,y_c,z_c,x_p,y_p)의 9차원(D) vector로 구성한다. 이 때 x_c,y_c,z_c는 pillar 내부 점들의 arithmetic mean을 의미하고, x_p,y_p는 pillar 중심점을 의미한다. 그 후 각 pillar마다 N개의 점을 선택하고, P개의 pillar들을 모아 (D,P,N) 사이즈의 tensor로 encoding 한다. encoding된 tensor는 PointNet을 거쳐 (C,P,N) 사이즈의 tensor로 변환되고, 채널 방향으로 max pooling을 함으로써 (C,P)의 tensor로 변환된다. 각 pillar별 feature를 원래의 pillar 위치로 되돌림으로써 (C,H,W) 사이즈의 pseudo image를 생성한다.

생성된 pseudo image는 2D convolution backbone의 input으로 사용된다. Pseudo image는 순서대로 3개의 2D convolution block을 거치고, 각각의 결과는 upsampling 되어 하나의 tensor로 합쳐지게 된다. 마지막으로 2D convolution backbone의 output은 Single Shot Detector (SSD)^[16]를 거쳐 3D Object Detection을 수행하게 된다.

PointPillars의 loss function은 크게 localization loss (L_loc), direction loss (L_dir), object classification loss (L_cls)로 나누어 계산한 후 total loss (L_total)를 계산한다. localization loss는 bounding box를 나타내는 7개의 숫자 (x,y,z,w,l,h,θ)에 대해 식 (2)와 같이 residual을 계산한 후 식 (3)과 같이 SmoothL1 loss를 이용하여 계산한다.

식 (2)에서 Δθ를 구하는 방식으로 계산을 할 경우 θ^gt와 θ^a의 차이가 180도일 경우를 구분하지 못하므로, softmax classification loss를 사용하여 L_dir를 계산하고, Object classification loss의 경우 focal loss^[17]를 사용하여 L_cls을 계산한다. 계산된 3개의 loss들은 식 (4)와 같이 합쳐져 total loss를 계산하게 된다.

본 논문에서 사용한 PointPillars의 setup은 [Table 1]과 같다. 또한 region proposal network를 위한 자동차 클래스 anchor box setup은 [Table 2]와 같이 설정하였다.

본 논문의 알고리즘 학습 및 평가를 위해서 라이다 포인트 클라우드의 각 점 별 동적, 정적 라벨링 및 물체의 클래스에 대한 라벨링이 달린 3차원 bounding box 정보, odometry 정보를 가진 데이터셋 이 필요하다. 이에 많은 MOS 연구에 사용되고 있는 KITTI-road dataset^[18]과 SemanticKITTI dataset^[19]을 선정하여 학습과 평가에 사용하였다.

4DMOS의 경우 pretrained 된 모델을 사용하였다. MOS 결과 각 포인트 별 ‘static’, ‘moving’ 2개의 클래스로 나누어진 라벨을 얻을 수 있고, 이를 각각 순서대로 1, 2로 라벨링한다. 4채널로 이루어진 포인트 클라우드의 뒤에 MOS class를 추가하여, [x,y,z,reflectivity,class]로 이루어진 5채널 포인트 클라우드를 생성하고, PointPillars의 입력 값으로 사용하여 학습을 진행하였다. 알고리즘 학습은 KITTI-road 데이터셋의 경우 80 epoch까지 진행하였고, SementicKITTI 데이터셋의 경우 120 epoch까지 진행하였다. KITTI 평가 지표를 사용하여 평가한 결과는 [Fig. 4]와 같고 각각 지표에 대한 설명은 [Table 3]와 같다^[22].

[Fig. 4] 
(a) Performance of the proposed algorithm using KITTI-road dataset and (b) using SemanticKITTI dataset

본 논문에서는 각 지표 별로 bounding box를 TP로 판단하는 IoU 임계값을 BBOX는 0.7, BEV와 3D는 0.5로 설정하여 average precision을 계산하였다. 평가 결과 BBOX와 AOS 지표 측면에서는 본 논문에서 제안한 알고리즘의 성능이 Point-Pillars에 비해 더 높은 수치로 나타났지만, BEV와 3D지표 측면에서는 더 낮은 수치로 나타났다.

3D bounding box의 heading angle에 따라 이미지 평면으로 사영되는 2D bounding box의 크기가 달라지므로, BBOX 지표는 heading angle에 높은 dependency가 존재한다. 따라서 이미지 평면으로 사영시켰을 때의 지표인 BBOX와 AOS가 기존 PointPillars에 비해 더 높은 수치를 나타낸다는 것은 MOS 정보가 3차원 물체의 heading angle 추정 성능을 향상시켜준다는 것을 의미한다. [Fig. 5]에서도 MOS 라벨을 추가하여 학습한 알고리즘이 heading angle 측면에서 포인트 클라우드 만을 이용해 학습한 결과보다 더 잘 추정하는 것을 확인할 수 있다.

[Fig. 5] 
Qualitative results of our algorithm. Green box means result of MOS + PointPillars, blue box means result of ground truth and red box means result of PointPillars

BBOX와 AOS 성능은 향상하였지만 BEV, 3D 성능은 하락했는데, 이는 본 논문에서 제시한 알고리즘이 움직이는 점들과 그렇지 않은 점들, 즉 자동차와 주변 환경 사이 interaction을 학습하지 못했기 때문으로 판단된다. 이로 인해 bounding box의 size 추정 성능은 하락하였고, BEV, 3D 지표 성능이 낮게 측정되었다. 이는 알고리즘을 MOS, Detection 단계로 나누지 않고 end-to-end로 학습을 진행할 시 개선될 사항이라 생각되며, 추후 연구를 진행할 예정이다.