기존에 진행된 Adaptive thresholding에 관한 연구들은 [1,2]와 같이 2차원 이미지 상 움직이는 객체 탐지를 위해 진행되었다. [1]은 이미지 상에서 객체 탐지를 진행한 후, 이전 프레임과의 픽셀 간 비교를 통해 객체의 상태와 거리를 추정해 거리에 따른 Adaptive thresholding을 사용하여 탐지 정확도를 향상시켰다. [2]는 이미지를 3차원 표현으로 변환하기 위한 과정에서 깊이 추정을 수행할 때, 해당 이미지 상의 특징들(features)을 한 쌍으로 고려하여 움직이는 물체와 정지한 물체를 구분하기 위한 임계값을 정하는데 Adaptive thresholding을 사용한다. 이 임계값은 특징들 간의 거리에 따라 동적으로 조절되며, 이를 통해 객체의 움직임 여부를 판단한다. 이러한 Adaptive thresholding에 관한 선행 연구들은 2차원 이미지에 초점을 맞추고 있어, 다양한 상황 및 물체 인식을 위한 3차원 공간 내 표현이 필요한 자율주행의 3차원 물체 탐지 모델에는 적합하지 않다.

전체적인 시스템에 대한 diagram은 [Fig. 3]와 같다. 라이다 포인트 클라우드를 전달받아 3차원 물체 탐지 모델이 주변 물체들을 탐지하고, 탐지된 물체들에 대해 Car, Pedestrian, Cyclist 등의 물체 클래스와 3차원 공간 내 위치 및 신뢰도 점수를 결과로 내보낸다. 해당 결과에서 물체들의 위치를 3차원 좌표들로 전달받아 자차로부터 각 물체들의 거리를 계산하고, 계산된 거리와 3차원 물체 탐지의 신뢰도 점수 결과를 전달받아 3.4절에서 자세하게 설명할 Adaptive Thresholding 알고리즘을 적용한다. 해당 알고리즘을 통해 모델의 탐지 결과를 후처리하여, 최종적으로 물체를 Bounding Box 형태로 예측한다.

[Fig. 3] 
Overall architecture illustrating pipeline of proposed algorithm

연구에는 PointPillars^[6]를 3차원 물체 탐지 모델로 사용하여 알고리즘 연구를 진행하였는데, 이 모델은 총 3개의 단계로 구성된다. 첫 번째 단계인 Pillar Feature Net은 3차원 물체 탐지를 2차원 컨볼루션 연산이 가능한 형태로 변환한다. 먼저, (x, y, z, r) 좌표로 구성되는 포인트 클라우드를 [Fig. 1(b)]와 같이 x-y 평면을 grid로 세분화하여 각각 좌표 및 반사율인 (x, y, z, r) 뿐만 아니라 x, y, z의 각 산술평균 (x_c,y_c,z_c)와 pillar 중심점 좌표 (x_p,y_p)를 포함하는 9차원 pillar 형태로 변환한다. 변환한 pillar들에 특징 인코딩(feature encoding)하는 과정을 거친 후, 특징들을 원래의 pillar 위치로 다시 이동시켜 2차원 컨볼루션 연산이 가능한 pseudo-image를 생성한다. 두 번째 단계인 Backbone에서는 pseudo-image를 전달받아 2차원 컨볼루션 연산을 진행해 점점 작은 resolution feature를 생성한 후, upsampling 및 concatenate하여 feature들을 모은다. 마지막 단계인 Detection Head에서는 SSD^[32]을 사용하여 높이 정보도 포함된 물체의 3차원 좌표(x, y, z), 클래스와 신뢰도 점수를 결과로 내보낸다. 제안된 알고리즘은 탐지된 물체들의 각 3차원 좌표, 클래스 및 신뢰도 점수를 결과로 내보내는 모델들에 모두 적용할 수 있다^[6]. 모델 이외에 다른 여러가지 3차원 물체 탐지 모델에도 해당 알고리즘을 적용시킨 결과는 4.2절에서 자세하게 설명할 것이다.

연구에 사용한 데이터셋의 Ground Truth와 0.3, 0.5, 0.7의 단일 임계값을 적용한 3차원 물체 탐지 모델의 결과를 [Fig. 4]에 나타내었다. [Fig. 4]에서 Ground Truth와 탐지된 물체 수 비교로 거리에 따른 Recall의 변화 추이를 분석할 수 있다. 또한, 다양한 임계값에 대하여 거리에 따른 물체 탐지 수의 비율 비교로 각 임계값이 거리 별로 물체 탐지 성능에 미치는 영향을 파악할 수 있다. 일반적으로 많이 사용되는 임계값인 0.5에 대한 [Fig. 4(a)]의 결과에서 알 수 있듯이, 3차원 물체 탐지 결과들은 상대적으로 자차로부터 가까운 거리(d < 30 m) 에서는 잘 탐지하여, Ground Truth보다 더 높은 비율로 물체들을 탐지함을 알 수 있다. 상대적으로 먼 거리(d > 30 m)에서는 Ground Truth보다 낮은 비율로 물체들을 탐지하는 결과에서 탐지 성능이 떨어짐을 알 수 있다. 즉, 상대적으로 가까운 거리에서는 Recall이 높지만, 먼 거리에서는 Recall이 낮음을 알 수 있다. 또한, Recall과 Precision은 반비례 관계이므로 상대적으로 가까운 거리에서는 Precision이 낮고, 먼 거리에서는 Precision이 높음을 알 수 있다. 따라서, 가까운 거리의 물체들에 대해 Precision을 높이기 위해 더 높은 0.7의 단일 임계값을 적용하여 결과를 분석하였다. [Fig. 4(a)]와 [Fig. 4(b)]를 비교한 결과, 높은 임계값 적용으로 전반적으로 탐지된 물체 수가 감소하였고, 특히 40 m 이상의 물체들의 탐지 비율이 많이 감소하여 Recall이 낮아지므로 미인지가 더 많이 발생함을 확인할 수 있었다. 반대로, 먼 거리의 물체들에 대해 Recall을 향상시키기 위해 더 낮은 0.3의 단일 임계값을 적용하여 결과를 분석하였다. [Fig. 4(a)]와 [Fig. 4(c)] 비교 결과, 낮은 임계값 적용으로 탐지된 40 m 이상의 물체 수 및 비율이 증가하여 Recall이 향상되었지만, 10 m 이상 40 m 이하 거리에서 탐지된 물체 수가 Ground Truth보다 더 많고, 탐지된 비율도 증가하여 전반적으로 Precision이 더 감소함을 확인할 수 있었다. 그래서, 3.4절에서 자세하게 설명할 자차로부터의 거리 기반 Adaptive Thresholding 알고리즘을 모델에 적용하기 위해, 단일 임계값을 적용하였을 때 3차원 물체 탐지 결과를 분석하였다. 모델의 결과를 10 m 단위의 거리로 나눈 후에, 각 거리마다 신뢰도 점수 경향성을 평균값과, 표준편차로 분석하였고, 이를 [Fig. 5]에 나타냈다. 이 때, 거리에 기반한 신뢰도 점수를 나타내기 위해 [Fig. 4]에 기반하여 40 m 이하의 거리에서는 0.5의 단일 임계값을 적용한 결과를 사용하였고, 40 m 이상에서는 0.3의 단일 임계값을 적용한 결과를 사용하였다. 분석한 결과를 알고리즘에 적용하는 것은 3.4절에서 자세하게 설명할 것이다.

[Fig. 4] 
PointPillars^[6] Detection Result Analysis based on distance about number of objects and ratio with different score threshold values. Blue color is Ground Truth result and Red color is Detection result. (a) is 0.5 score threshold, (b) is detection result with high score threshold (=0.7), (c) is detection result with low score threshold (=0.3). Single score threshold is not effective in managing both false negatives and false positives

[Fig.5] 
Confidence score with a single threshold (=0.4). The blue dots represent the score mean values at each distance (10 m), and the blue-shaded area indicates the standard deviation

3.3에서 분석한 내용대로, 자차로부터 가까운 곳에 데이터셋과 탐지 결과가 상대적으로 많고 신뢰도 점수도 높으며 먼 곳은 데이터셋과 탐지 결과가 상대적으로 적고 신뢰도 점수가 낮다. 따라서, 일반적으로 모델 후처리에 사용되는 동일함 임계값을 적용하는 것이 아닌, 이러한 결과에 맞는 Distance based Adaptive Thresholding을 적용할 것이다. [Fig. 5]에 기반한 자차로부터의 거리 기반 Adaptive thresholding 식은 아래와 같다.

[Fig. 5]에서 볼 수 있듯이, 10 m 단위의 각 거리마다 신뢰도 점수 평균값들에 대한 추세를 추정했을 때, 이차 함수 형태의 곡선이 가장 적합하다는 결과를 얻었다. 이 때, 단일 임계값을 0.5가 아닌 0.4로 사용하여 자차로부터 먼 거리에 있는 물체들에 대한 정보들이 더 잘 포함되게 하였다. d는 자차로부터 물체까지의 거리를 뜻하고 m 단위이며, α, β와 γ는 Adaptive Thresholding에 사용되는 이차곡선의 형태를 결정하는 파라미터이다. 또한, δ는 제시된 알고리즘을 적용할 최대 거리와 관련한 파라미터이고, k는 거리가 δ일 때의 이차곡선의 함수 값인 상수함수를 나타내는 파라미터이다. δ는 라이다 최대 인지거리 성능 및 3차원 물체 탐지 모델의 성능에 따라 달라질 수 있으며, 이차곡선 형태에서 거리가 멀어질수록 신뢰도 임계값이 계속해서 감소하므로, k는 δ보다 먼 거리에서 임계값이 너무 작은 값이 되어 오인지되는 물체가 많이 증가하는 상황을 발생시키지 않기 위해 파라미터로 설정하였다. 이러한 파라미터들을 통하여, PointPillars^[6] 모델이 아닌 여러가지 3차원 물체 탐지 모델에도 해당 알고리즘을 적용할 수 있다.

Adaptive Thresholding 알고리즘은 자율주행 시스템에 적합하게 오인지를 줄이며 미인지를 크게 증가시키지 않는 것이 목표이다. 다시 말해, 제시된 알고리즘은 가까운 거리의 물체들의 Recall은 줄이고 Precision은 높이며, 먼 거리의 물체들의 Recall은 높이고 Precision을 낮춰 모델의 균형 잡힌 예측을 달성하는 알고리즘이다. 이에 따라 Adaptive Thresholding 알고리즘의 식 (1)의 파라미터들을 조정하기 위한 기준이 필요하다. 이에 대한 기준을 식 (2)와 식 (3)으로 정의된 거리 별 신뢰도 점수 평균값과 그에 대한 표준편차를 사용하여 정하였다.

식 (2)는 0 ~ 60 m까지 10 m 간격으로 구간을 나누어 각각을 d번째 구간으로 정의하였고, 각 구간 별로 탐지된 물체들의 신뢰도 점수 합을 해당 구간에서의 탐지된 물체 수로 나누어 신뢰도 점수 평균 값을 구한다. 마찬가지로, 식 (3)도 10 m 간격으로 구분된 d번째 구간에서 탐지된 물체의 신뢰도 점수와 신뢰도 평균값으로 각각의 표준편차를 구한다. 이와 같이 식 (2)에서 얻은 거리 별 신뢰도 점수 평균값 6개를 식 (3)의 표준편차 값 내에서 조정하며 2차 곡선 형태의 추세선을 얻어 식 (1)의 α, β, γ 및 k 파라미터들의 값들을 정한다.

평가에 활용한 데이터는 3차원 물체 탐지 모델의 정성적 성능 평가를 위한 오픈 데이터셋인 Kitti 3D Object Detection Dataset^[33]와 정량적 성능 평가를 위한 자체 도심 도로 데이터셋을 사용하였다.

Kitti 3D Object Detection Dataset^[33]은 두 대의 고해상도컬러 및 흑백 카메라, Velodyne HDL-64E S2 모델 라이다와 GPS를 장착한 차량으로 취득한 오픈 데이터셋이다. Velodyne HDL-64E S2 모델 라이다는 32개의 레이저 빔을 수직 방향 0.5°로 나눈 64채널 라이다로 최대 감지 거리는 120 m이고, 수직 시야각(Vertical Field of View)은 31.5°이다. 센서는 5-20 Hz로 회전하며 주변 360°를 스캔하고, 초당 130만개의 포인트 클라우드들을 수집한다. 이 데이터셋은 독일 바덴-뷔르템베르크 주에 위치한 Karlsruhe의 중소도시, 시골 지역 및 고속도로를 주행한 데이터를 포함하고 있으며 총 7,481개의 training image/point cloud와 7,518개의 test image/point cloud를 포함한다. 물체에 대한 ground truth를 이미지 및 포인트 클라우드를 사용하여 제공하고 Car, Pedestrian, 그리고 Cyclist의 세 가지 클래스로 구성되어 있다. Car 클래스가 전체 데이터셋의 93%를 이루고 있으며, 나머지는 Pedestrian과 Cyclist가 할당되어 있다.

자체 도심 도로 데이터셋은 Velodyne 32CH LiDAR 6개가 장착된 일렉시티 차량으로 청와대와 경복궁 주위를 주행하며 좋은 기상 환경과 우천 환경에서의 데이터를 취득하였다. 또한, Velodyne 32CH LiDAR 4개가 장착된 카니발 차량으로 안개가 많고 보슬비가 내리는 강릉 도로 주위를 주행하며 데이터를 취득하였다.

본 논문에서 제안한 Adaptive thresholding 알고리즘의 성능을 평가하기 위해 단일 임계값을 적용한 3차원 물체 탐지 모델과 제안한 알고리즘을 적용한 3차원 물체 탐지 모델의 결과에 대해 정량적, 정성적으로 비교하였다. 정량적, 정성적 평가에 대한 실험 방법은 각각 4.2, 4.3절에 자세히 나타냈다.

본 논문에서 제안하는 알고리즘은 3차원 물체 탐지 모델이 자율주행 시스템에 적합한 모델인가에 대한 정량적 성능 평가를 수행하기 위해 오픈 데이터셋인 Kitti 3D Object Detection Dataset^[33]를 사용하였고, 가장 많은 비율을 차지하는 Car class를 사용하였다. 물체 인식에서 Recall과 Precision의 향상은 각각 미인지와 오인지의 감소를 뜻한다. 또한, mAP는 Recall과 Precision 값에 기반하여 모델의 강건성과 정확도를 종합적으로 평가하는 지표이다. 이를 통해, 안전하고 효율적인 주행이 가능하도록 하는 자율주행 시스템에 적합한 모델인가에 대한 평가를 정량적으로 정의하면 3차원 물체 탐지 모델이 mAP가 감소하지 않으면서, 균형 잡힌 Recall과 Precision 값을 가지는 것이다. 이는 모델이 물체를 올바르게 감지하고 인지하는 것뿐만 아니라, 오인지를 최소화하여 안전한 주행을 할 수 있음을 의미한다. 이에 따라, 알고리즘의 성능을 3차원 물체 탐지 모델에 적용하기 전과 후의 Recall, Precision, Recall과 Precision 간의 Trade-off 및 mAP를 이용하여 측정하였다.

PointPillars^[6]에 0.5의 단일 임계값을 적용했을 때와 제시된 알고리즘을 적용하였을 때의 탐지된 물체들에 대한 거리별 신뢰도 점수를 [Fig. 6]에 나타냈다. 기존에 사용되던 단일 임계값을 적용하였을 때는 [Fig. 6(a)]와 같이 탐지 결과가 거리에 상관없이 같은 임계값으로 후처리되지만, [Fig. 6(b)]에서 볼 수 있듯이 제시된 알고리즘을 적용하면 거리에 따라 이차곡선 형태로 임계값이 사용되어 거리 별 데이터 특성에 맞는 탐지 결과를 예측함을 확인할 수 있다. 다시 말해, 자차로부터 가까운 거리의 물체들에 대해서는 더 높은 임계값을 적용하고 먼 거리의 물체들에 대해서는 상대적으로 낮은 임계값을 적용한다.

[Fig. 6] 
(a) The post-processed confidence score results of detected objects using the conventional single threshold (=0.5) (b) In contrast to (a), the post-processed confidence score results of detected objects applying our algorithm. Through score thresholding with a quadratic function shape based on the distance from the ego-vehicle, we predict detection results that align with the characteristics of the data based on the distance

PointPillars^[6]에 여러가지 단일 임계값을 적용하였을 때와 제시된 알고리즘을 적용하였을 때의 결과를 비교한 것이 [Table 1]이다. 3.4절의 내용에 기반하여 식 (2)에서 얻은 거리 별 신뢰도 점수 평균값 6개를 식 (3)의 표준편차 값 내에서 거리 별 특성을 고려해 조정하며 반복적으로 실험하여 최적의 파라미터 값을 정하였다. 실험 결과에 따라 알고리즘에 사용한 식 (1)의 파라미터는 α =-0.00002, β =-0.0061, γ =0.6828,k=0.3이다. 알고리즘을 적용하였을 때, 0.3, 0.5와 0.7의 단일 임계값을 사용하였을 때보다 Trade-off 가 감소하였고, mAP는 유사한 성능을 보인다. 이를 통해, 본 연구에서 제안한 알고리즘을 통해, 가까운 거리의 물체들은 Recall이 감소하고 Precision이 증가하였지만 먼 거리의 물체들은 Recall이 증가하고 Precision이 감소하였음을 알 수 있다.

또한, 다른 3차원 물체 탐지 모델들에 대해서도 해당 알고리즘의 유효성을 검증하기 위해 평가를 진행하였다. [6]와 동일하게 포인트 클라우드를 전달받아 물체의 클래스, 위치 및 신뢰도 점수를 Bounding Box 형태로 결과로 내보내는 SECOND^[5], PointRCNN^[7], PV-RCNN^[8] 모델들을 사용하였고, [6]를 활용하여 진행한 파라미터들로 성능 평가를 진행한다. 각 모델들에 대해 0.5값의 단일 임계값을 적용하였을 때의 결과는 [Table 2]이고 제시된 알고리즘을 적용하였을 때의 결과는 [Table 3]이다. [Table 3]에서 볼 수 있듯이, PointPillars^[6], SECOND^[5], PointRCNN^[7], PV-RCNN^[8] 모두 단일 임계값을 적용했을 때와 비교해 Trade-off가 감소하는 효과를 확인하였으며, 이는 본 연구에서 제안한 알고리즘을 적용했을 때 여러가지 3차원 물체 탐지 모델들이 자율주행에 더 적합한 결과로 예측함을 나타낸다. 또한, PointPillars^[6]로 진행한 연구의 결과 파라미터들이 다른 모델들에도 효과적임을 확인하였다.

자체 도심 도로 데이터셋을 사용해 다양한 실제 도심 도로 및 기상 환경에서 모델의 오인지 문제에 대하여 정성적으로 평가할 것이다. 정성적 평가에서는 PointPillars^[6]를 활용하여 진행하였다.

청와대와 경복궁 주위에서 좋은 기상환경 내 취득한 도심 도로 데이터가 [Fig. 2]이다. [Fig. 2(a)]에서 주행 중인 도로 오른쪽에 수풀이 수평 방향으로 계속해서 존재하는 것을 확인할 수 있다. 수풀에서 많은 포인트 클라우드가 나오며 형상이 차량과 비슷하여 단일 임계값을 적용하였을 때 모델이 수풀을 차량으로 오인지하는 것을 [Fig. 2(c)]에서 확인할 수 있다. 실제 자율주행 시, 수풀이 차량으로 오인지되고, 이것이 순간적으로 오른쪽 차선에서 주행 중인 차선으로 차선 변경하는 것으로 잘못 인지되어 차량이 급정거하는 문제가 발생하였다. 단일 임계값이 아닌 본 논문에서 제시한 Adaptive Thresholding 알고리즘을 모델에 적용하였을 때, 차량으로 오인지 됐던 수풀을 인지하지 않으며, 왼쪽 차선과 전방에 존재하는 차량은 여전히 정확하게 인지되는 결과를 [Fig. 2(d)]에서 확인할 수 있다.

강릉 주위에서 안개가 많고 보슬비가 내리는 환경에서 취득한 도심 도로 데이터가 [Fig. 7(a)]이다. [Fig. 7(a)] 왼쪽 이미지에서 왼쪽 차선에 차량들이 존재하고, 안개가 많은 상황임을 알 수 있다. 안개 데이터의 특징은 라이다와 같은 높이에서 연기 같은 포인트 노이즈 형태로 나타나는 것이다. 이로 인해, 단일 임계값을 적용하였을 때, [Fig. 7(a)] 중앙 이미지처럼 안개가 많이 모여있는 곳에 공중에 떠 있는 차량으로 오인지가 발생함을 확인할 수 있다. 이 상황에 해당 알고리즘을 적용하였을 때, 오인지 됐던 안개를 인지하지 않으며, 왼쪽 차선에 존재하는 차량들은 여전히 정확하게 인지되는 결과를 [Fig. 7(a)] 오른쪽 이미지에서 확인할 수 있다.

[Fig. 7] 
Qualitative results of Our algorithm. (a) Left: Images of urban roads near Gangneung in foggy conditions. Center: 3D Object Detection’s misidentification situation using the single threshold where a significant amount of fog data appears as noise at similar height to LiDAR, leading to the misclassification of vehicles as suspended in the air. Right: The proposed algorithm improves the misidentification situation as depicted in (a)’s middle image. (b) Left: Images of urban roads near Cheongwadae in rain conditions. Center: 3D Object Detection’s misidentification situation using a single threshold where a significant amount of rain data lead to the misclassification of vehicles and mistakenly identify bushes in the adjacent lane as vehicles. Right: The proposed algorithm improves the misidentification situation as depicted in (b)’s middle image

청와대와 경복궁 주위에서 강수량이 많은 우천 상황 내 취득한 도심 도로데이터가 [Fig. 7(b)]이다. [Fig. 7(b)] 왼쪽 이미지에서 강수량이 많은 상황임을 알 수 있고, 왼쪽 차선에는 차량들이 존재하지만 주행 중인 전방 차선 및 오른쪽 차선에는 차량이 존재하지 않는 것을 확인할 수 있다. [Fig. 7(b)] 중앙 이미지에서 주행 중인 전방 차선 내에 많은 양의 비에 반사된 포인트 클라우드들로 인해 차량으로 오인지가 발생하고, [Fig. 2(c)]와 동일하게 오른쪽에 존재하는 수풀들로 인한 오인지가 발생함을 확인할 수 있다. 이에 알고리즘을 적용하여 우천과 수풀에 의한 오인지를 개선하고 왼쪽 차선에 존재하는 차량은 동일하게 인지하는 결과를 [Fig. 7(c)]에서 확인할 수 있었다.