거리 기반 적응형 임계값을 활용한 강건한 3차원 물체 탐지

1. 서 론

자율주행 기술은 운전자의 개입 없이 차량이 주변 환경을 인식하고 주행할 수 있도록 하여, 현대 교통 시스템의 패러다임을 혁신적으로 변화시키는 중요한 기술이다. 이를 가능하게 하는 핵심 기술 중 하나는 자율주행 인식 모듈이다. 이는 자율주행 시스템의 데이터 처리가 진행되는 첫 번째 모듈이면서, 라이다(LiDAR, Light Detection And Ranging), 카메라나 레이더(Radar, Radio Detection and Ranging) 센서 데이터를 사용해 주변 환경을 3차원 상에서 감지 및 해석할 수 있게 하고 차량이 도로를 안전하게 운행할 수 있게 하여 중요성이 더욱 강조되고 있다. 자율주행 인식 모듈에서는 주로 3차원 물체 탐지를 통해 주변 환경을 인지한다. 그러나, 실제 도심 도로에서는 교차로 또는 차량이 아주 많은 도로 등의 주행하기 어려운 상황이 발생하거나 다양한 기상 환경으로 인한 센서 데이터의 노이즈 발생 및 예상하지 못한 물체들이 탐지되고, 이로 인해 자율주행차량 시스템에서 급정거 등의 문제가 발생하여 안정적인 주행이 어렵다. 이러한 문제를 해결하기 위해 자율주행 시스템의 핵심 인지 기술인 3차원 물체 탐지 강건성에 대한 고도화가 필요하다.

최근 자율주행 인지 기술에서는 이를 위해 라이다에서 얻을 수 있는 3차원 포인트 클라우드를 주로 [Fig. 1]과 같이 voxel이나 pillar로 표현하여 활용한다. Voxel은 포인트 클라우드들을 3차원 공간 내에서 격자(grid)로 나누고, 각 격자 셀 내에 포인트 클라우드 수 또는 정보들을 모으는 데이터 표현 방법이다. Pillar는 3차원 공간을 2차원 격자 열(column) 형태로 구조화하는 데이터 표현 방법이다. 각 열은 수직으로 정렬된 형태이며, 열 내 데이터들은 포인트 클라우드들의 높이 정보를 포함한 좌표 정보들을 나타낸다. 카메라는 2차원으로 표현되는 이미지를 사용하여 주변을 인지하기 때문에, 각 픽셀들에 대한 깊이 추정을 통해 3차원 포인트 클라우드들로 변환하여 물체 탐지를 수행한다. 레이더는 파장이 긴 전파를 이용하여 주변을 인지하기 때문에 상대적으로 탐지 거리가 멀며 다양한 기상 환경에 강건하지만 3차원 공간 내 데이터가 높이 정보를 포함하고 있지 않아, 주로 라이다나 카메라와의 센서 퓨전을 활용하여 3차원 물체 탐지를 수행한다. 라이다, 카메라, 레이더 센서를 활용한 3차원 물체 탐지 모델들은 각 센서 데이터들을 활용하여 물체의 클래스, 위치 및 신뢰도 점수 등을 예측하고, 예측 결과를 신뢰도 점수로 후처리하여 최종 결과를 생성한다. 기존의 3차원 물체 탐지 모델들은 탐지 후 후처리에서 단일 임계값을 하이퍼파라미터(hyperparameter)로 정의하여 신뢰도 점수 후처리에 사용하는 것이 일반적이었다. 그러나 센서 해상도, 범위 등의 센서 데이터 특성과 훈련 데이터에 기반한 3차원 물체 탐지 모델들은 거리에 따라 물체 탐지의 정확도에 상이한 특성을 보인다. 상대적으로 자차로부터 가까운 거리의 물체들을 잘 탐지하여 비교적 높은 Recall과 신뢰도 점수를 결과로 나타내고, 먼 거리의 물체들에 대해서는 비교적 낮은 Recall과 신뢰도 점수를 결과로 나타낸다. 물체 인식에서 Recall의 향상은 미인지의 감소를 의미하며, Precision의 향상은 오인지의 감소를 의미한다. 또한, 일반적으로 Recall과 Precision은 반비례 관계이다. 이에 기반하여 자율주행차량이 도로 위를 주행할 때, 가까운 거리에 대해서는 상대적으로 Recall보다 Precision을 우선시하고, 먼 거리에 대해서는 상대적으로 Precision보다 Recall을 우선시하는 것이 더 적합하다. 이러한 상황에 3차원 물체 탐지 모델 후처리에 단일 임계값을 사용하는 것은 탐지 정확도가 감소하며 오인지가 발생하고 자율주행에 적합하지 않다는 문제점이 존재한다. 본 논문에서는 이러한 특성을 보이는 3차원 물체 탐지 모델의 성능 개선을 위해 단일 임계값이 아닌 자차로부터의 거리 기반한 Adaptive thresholding 알고리즘으로 임계값을 사용하는 방법을 제안한다. 해당 방법론은 기존의 3차원 물체 탐지 알고리즘에 추가적인 학습이나 복잡한 알고리즘의 추가 없이 후처리 단계를 통합하여 거리에 따라 균형 잡힌 Recall/Precision을 갖도록 하고 정량적 성능을 향상시켜 자율주행에 더 적합한 모델로 개선하는 강점을 가진다. 이는, 자율주행차량에서 가까운 거리의 물체들에 대해서는 오인지를 최소화하고, 먼 거리에서 미인지되는 물체의 수를 감소시켜 안정적이며 효율적인 주행을 가능하게 한다. 예를 들어, [Fig. 2]와 같이 단일 임계값을 적용했을 때 발생하던 실제 도심 도로 위의 차량과 가까운 거리에 존재하는 수풀과 같이 예상하지 못한 물체들이 차량으로 오인지되어 급정거가 발생하는 문제를 가까운 거리의 물체에 대해 더 높은 임계값을 적용하여 차량으로 인지하지 않도록 개선하여 안정적인 주행을 가능하게 하였다. 이와 같은 물체 탐지의 성능 및 강건성 개선은 자율주행 기술의 핵심 기술 중 하나인 인지 고도화에 큰 역할을 수행할 수 있다.

[Fig. 1]

(a) and (b) show the representation for point cloud. (a) is the voxel, which subdivides point clouds into a 3D grid structure, collecting point cloud counts or information within each grid cell. (b) is pillar, which structurally organizes 3D space into a 2D grid column structure and represents coordinate information, including the height of point clouds

[Fig. 2]

(a) Image of the urban road near the Cheongwadae. (b) Point clouds of the urban road near the Cheongwadae. (c) 3D Object Detection results that mistakenly identify bushes as vehicles using a single threshold. (d) The proposed algorithm improves the misidentification situation as depicted in (c)

본 논문에서 제시하고자 하는 논점은 다음과 같다.

• - 3차원 물체 탐지 모델 후처리에 단일 임계값이 아닌 자차로부터의 거리에 기반한 Adaptive thresholding을 적용하여 거리에 따라 오인지 및 미인지 결과를 줄여 모델의 강건성을 높였고, 이를 통해 보다 안정적인 주행이 가능하게 하는 자율주행에 적합한 모델로 개선하였다.
• - 간단하지만 효과적인 알고리즘으로 여러가지 3차원 물체 탐지 모델에 쉽게 적용시킬 수 있음을 검증하였다.
• - Adaptive thresholding 알고리즘이 모델의 오인지 및 성능을 개선하였음을 Recall/Precision, Trade-off 및 mAP를 통해 검증하였다.
• - 다양한 실제 도심 도로 및 기상 환경에서 모델의 오인지 문제를 개선하였음을 실차 주행 데이터에 기반해 정성적으로 검증하였다.

2. 선행 연구 조사

3. 연구 방법

3.1 System Overview

전체적인 시스템에 대한 diagram은 [Fig. 3]와 같다. 라이다 포인트 클라우드를 전달받아 3차원 물체 탐지 모델이 주변 물체들을 탐지하고, 탐지된 물체들에 대해 Car, Pedestrian, Cyclist 등의 물체 클래스와 3차원 공간 내 위치 및 신뢰도 점수를 결과로 내보낸다. 해당 결과에서 물체들의 위치를 3차원 좌표들로 전달받아 자차로부터 각 물체들의 거리를 계산하고, 계산된 거리와 3차원 물체 탐지의 신뢰도 점수 결과를 전달받아 3.4절에서 자세하게 설명할 Adaptive Thresholding 알고리즘을 적용한다. 해당 알고리즘을 통해 모델의 탐지 결과를 후처리하여, 최종적으로 물체를 Bounding Box 형태로 예측한다.

[Fig. 3]

Overall architecture illustrating pipeline of proposed algorithm

3.3 Analysis Dataset and 3D Object Detection Result

연구에 사용한 데이터셋의 Ground Truth와 0.3, 0.5, 0.7의 단일 임계값을 적용한 3차원 물체 탐지 모델의 결과를 [Fig. 4]에 나타내었다. [Fig. 4]에서 Ground Truth와 탐지된 물체 수 비교로 거리에 따른 Recall의 변화 추이를 분석할 수 있다. 또한, 다양한 임계값에 대하여 거리에 따른 물체 탐지 수의 비율 비교로 각 임계값이 거리 별로 물체 탐지 성능에 미치는 영향을 파악할 수 있다. 일반적으로 많이 사용되는 임계값인 0.5에 대한 [Fig. 4(a)]의 결과에서 알 수 있듯이, 3차원 물체 탐지 결과들은 상대적으로 자차로부터 가까운 거리(d < 30 m) 에서는 잘 탐지하여, Ground Truth보다 더 높은 비율로 물체들을 탐지함을 알 수 있다. 상대적으로 먼 거리(d > 30 m)에서는 Ground Truth보다 낮은 비율로 물체들을 탐지하는 결과에서 탐지 성능이 떨어짐을 알 수 있다. 즉, 상대적으로 가까운 거리에서는 Recall이 높지만, 먼 거리에서는 Recall이 낮음을 알 수 있다. 또한, Recall과 Precision은 반비례 관계이므로 상대적으로 가까운 거리에서는 Precision이 낮고, 먼 거리에서는 Precision이 높음을 알 수 있다. 따라서, 가까운 거리의 물체들에 대해 Precision을 높이기 위해 더 높은 0.7의 단일 임계값을 적용하여 결과를 분석하였다. [Fig. 4(a)]와 [Fig. 4(b)]를 비교한 결과, 높은 임계값 적용으로 전반적으로 탐지된 물체 수가 감소하였고, 특히 40 m 이상의 물체들의 탐지 비율이 많이 감소하여 Recall이 낮아지므로 미인지가 더 많이 발생함을 확인할 수 있었다. 반대로, 먼 거리의 물체들에 대해 Recall을 향상시키기 위해 더 낮은 0.3의 단일 임계값을 적용하여 결과를 분석하였다. [Fig. 4(a)]와 [Fig. 4(c)] 비교 결과, 낮은 임계값 적용으로 탐지된 40 m 이상의 물체 수 및 비율이 증가하여 Recall이 향상되었지만, 10 m 이상 40 m 이하 거리에서 탐지된 물체 수가 Ground Truth보다 더 많고, 탐지된 비율도 증가하여 전반적으로 Precision이 더 감소함을 확인할 수 있었다. 그래서, 3.4절에서 자세하게 설명할 자차로부터의 거리 기반 Adaptive Thresholding 알고리즘을 모델에 적용하기 위해, 단일 임계값을 적용하였을 때 3차원 물체 탐지 결과를 분석하였다. 모델의 결과를 10 m 단위의 거리로 나눈 후에, 각 거리마다 신뢰도 점수 경향성을 평균값과, 표준편차로 분석하였고, 이를 [Fig. 5]에 나타냈다. 이 때, 거리에 기반한 신뢰도 점수를 나타내기 위해 [Fig. 4]에 기반하여 40 m 이하의 거리에서는 0.5의 단일 임계값을 적용한 결과를 사용하였고, 40 m 이상에서는 0.3의 단일 임계값을 적용한 결과를 사용하였다. 분석한 결과를 알고리즘에 적용하는 것은 3.4절에서 자세하게 설명할 것이다.

[Fig. 4]

PointPillars[6] Detection Result Analysis based on distance about number of objects and ratio with different score threshold values. Blue color is Ground Truth result and Red color is Detection result. (a) is 0.5 score threshold, (b) is detection result with high score threshold (=0.7), (c) is detection result with low score threshold (=0.3). Single score threshold is not effective in managing both false negatives and false positives

[Fig.5]

Confidence score with a single threshold (=0.4). The blue dots represent the score mean values at each distance (10 m), and the blue-shaded area indicates the standard deviation

4. 실험 및 결과

4.2 정량적 평가

본 논문에서 제안하는 알고리즘은 3차원 물체 탐지 모델이 자율주행 시스템에 적합한 모델인가에 대한 정량적 성능 평가를 수행하기 위해 오픈 데이터셋인 Kitti 3D Object Detection Dataset^[33]를 사용하였고, 가장 많은 비율을 차지하는 Car class를 사용하였다. 물체 인식에서 Recall과 Precision의 향상은 각각 미인지와 오인지의 감소를 뜻한다. 또한, mAP는 Recall과 Precision 값에 기반하여 모델의 강건성과 정확도를 종합적으로 평가하는 지표이다. 이를 통해, 안전하고 효율적인 주행이 가능하도록 하는 자율주행 시스템에 적합한 모델인가에 대한 평가를 정량적으로 정의하면 3차원 물체 탐지 모델이 mAP가 감소하지 않으면서, 균형 잡힌 Recall과 Precision 값을 가지는 것이다. 이는 모델이 물체를 올바르게 감지하고 인지하는 것뿐만 아니라, 오인지를 최소화하여 안전한 주행을 할 수 있음을 의미한다. 이에 따라, 알고리즘의 성능을 3차원 물체 탐지 모델에 적용하기 전과 후의 Recall, Precision, Recall과 Precision 간의 Trade-off 및 mAP를 이용하여 측정하였다.

PointPillars^[6]에 0.5의 단일 임계값을 적용했을 때와 제시된 알고리즘을 적용하였을 때의 탐지된 물체들에 대한 거리별 신뢰도 점수를 [Fig. 6]에 나타냈다. 기존에 사용되던 단일 임계값을 적용하였을 때는 [Fig. 6(a)]와 같이 탐지 결과가 거리에 상관없이 같은 임계값으로 후처리되지만, [Fig. 6(b)]에서 볼 수 있듯이 제시된 알고리즘을 적용하면 거리에 따라 이차곡선 형태로 임계값이 사용되어 거리 별 데이터 특성에 맞는 탐지 결과를 예측함을 확인할 수 있다. 다시 말해, 자차로부터 가까운 거리의 물체들에 대해서는 더 높은 임계값을 적용하고 먼 거리의 물체들에 대해서는 상대적으로 낮은 임계값을 적용한다.

[Fig. 6]

(a) The post-processed confidence score results of detected objects using the conventional single threshold (=0.5) (b) In contrast to (a), the post-processed confidence score results of detected objects applying our algorithm. Through score thresholding with a quadratic function shape based on the distance from the ego-vehicle, we predict detection results that align with the characteristics of the data based on the distance

PointPillars^[6]에 여러가지 단일 임계값을 적용하였을 때와 제시된 알고리즘을 적용하였을 때의 결과를 비교한 것이 [Table 1]이다. 3.4절의 내용에 기반하여 식 (2)에서 얻은 거리 별 신뢰도 점수 평균값 6개를 식 (3)의 표준편차 값 내에서 거리 별 특성을 고려해 조정하며 반복적으로 실험하여 최적의 파라미터 값을 정하였다. 실험 결과에 따라 알고리즘에 사용한 식 (1)의 파라미터는 α =-0.00002, β =-0.0061, γ =0.6828,k=0.3이다. 알고리즘을 적용하였을 때, 0.3, 0.5와 0.7의 단일 임계값을 사용하였을 때보다 Trade-off 가 감소하였고, mAP는 유사한 성능을 보인다. 이를 통해, 본 연구에서 제안한 알고리즘을 통해, 가까운 거리의 물체들은 Recall이 감소하고 Precision이 증가하였지만 먼 거리의 물체들은 Recall이 증가하고 Precision이 감소하였음을 알 수 있다.

[Table 1]

Recall, Precision and mAP comparison for PointPillars[6] applying various single threshold and adaptive threshold

또한, 다른 3차원 물체 탐지 모델들에 대해서도 해당 알고리즘의 유효성을 검증하기 위해 평가를 진행하였다. [6]와 동일하게 포인트 클라우드를 전달받아 물체의 클래스, 위치 및 신뢰도 점수를 Bounding Box 형태로 결과로 내보내는 SECOND^[5], PointRCNN^[7], PV-RCNN^[8] 모델들을 사용하였고, [6]를 활용하여 진행한 파라미터들로 성능 평가를 진행한다. 각 모델들에 대해 0.5값의 단일 임계값을 적용하였을 때의 결과는 [Table 2]이고 제시된 알고리즘을 적용하였을 때의 결과는 [Table 3]이다. [Table 3]에서 볼 수 있듯이, PointPillars^[6], SECOND^[5], PointRCNN^[7], PV-RCNN^[8] 모두 단일 임계값을 적용했을 때와 비교해 Trade-off가 감소하는 효과를 확인하였으며, 이는 본 연구에서 제안한 알고리즘을 적용했을 때 여러가지 3차원 물체 탐지 모델들이 자율주행에 더 적합한 결과로 예측함을 나타낸다. 또한, PointPillars^[6]로 진행한 연구의 결과 파라미터들이 다른 모델들에도 효과적임을 확인하였다.

[Table 2]

Recall, Precision and mAP comparison for various 3D Object Detection models applying single threshold 0.5

[Table 3]

Recall, Precision and mAP comparison for various 3D Object Detection models applying adaptive threshold

4.3 정성적 평가

자체 도심 도로 데이터셋을 사용해 다양한 실제 도심 도로 및 기상 환경에서 모델의 오인지 문제에 대하여 정성적으로 평가할 것이다. 정성적 평가에서는 PointPillars^[6]를 활용하여 진행하였다.

청와대와 경복궁 주위에서 좋은 기상환경 내 취득한 도심 도로 데이터가 [Fig. 2]이다. [Fig. 2(a)]에서 주행 중인 도로 오른쪽에 수풀이 수평 방향으로 계속해서 존재하는 것을 확인할 수 있다. 수풀에서 많은 포인트 클라우드가 나오며 형상이 차량과 비슷하여 단일 임계값을 적용하였을 때 모델이 수풀을 차량으로 오인지하는 것을 [Fig. 2(c)]에서 확인할 수 있다. 실제 자율주행 시, 수풀이 차량으로 오인지되고, 이것이 순간적으로 오른쪽 차선에서 주행 중인 차선으로 차선 변경하는 것으로 잘못 인지되어 차량이 급정거하는 문제가 발생하였다. 단일 임계값이 아닌 본 논문에서 제시한 Adaptive Thresholding 알고리즘을 모델에 적용하였을 때, 차량으로 오인지 됐던 수풀을 인지하지 않으며, 왼쪽 차선과 전방에 존재하는 차량은 여전히 정확하게 인지되는 결과를 [Fig. 2(d)]에서 확인할 수 있다.

강릉 주위에서 안개가 많고 보슬비가 내리는 환경에서 취득한 도심 도로 데이터가 [Fig. 7(a)]이다. [Fig. 7(a)] 왼쪽 이미지에서 왼쪽 차선에 차량들이 존재하고, 안개가 많은 상황임을 알 수 있다. 안개 데이터의 특징은 라이다와 같은 높이에서 연기 같은 포인트 노이즈 형태로 나타나는 것이다. 이로 인해, 단일 임계값을 적용하였을 때, [Fig. 7(a)] 중앙 이미지처럼 안개가 많이 모여있는 곳에 공중에 떠 있는 차량으로 오인지가 발생함을 확인할 수 있다. 이 상황에 해당 알고리즘을 적용하였을 때, 오인지 됐던 안개를 인지하지 않으며, 왼쪽 차선에 존재하는 차량들은 여전히 정확하게 인지되는 결과를 [Fig. 7(a)] 오른쪽 이미지에서 확인할 수 있다.

[Fig. 7]

Qualitative results of Our algorithm. (a) Left: Images of urban roads near Gangneung in foggy conditions. Center: 3D Object Detection’s misidentification situation using the single threshold where a significant amount of fog data appears as noise at similar height to LiDAR, leading to the misclassification of vehicles as suspended in the air. Right: The proposed algorithm improves the misidentification situation as depicted in (a)’s middle image. (b) Left: Images of urban roads near Cheongwadae in rain conditions. Center: 3D Object Detection’s misidentification situation using a single threshold where a significant amount of rain data lead to the misclassification of vehicles and mistakenly identify bushes in the adjacent lane as vehicles. Right: The proposed algorithm improves the misidentification situation as depicted in (b)’s middle image

청와대와 경복궁 주위에서 강수량이 많은 우천 상황 내 취득한 도심 도로데이터가 [Fig. 7(b)]이다. [Fig. 7(b)] 왼쪽 이미지에서 강수량이 많은 상황임을 알 수 있고, 왼쪽 차선에는 차량들이 존재하지만 주행 중인 전방 차선 및 오른쪽 차선에는 차량이 존재하지 않는 것을 확인할 수 있다. [Fig. 7(b)] 중앙 이미지에서 주행 중인 전방 차선 내에 많은 양의 비에 반사된 포인트 클라우드들로 인해 차량으로 오인지가 발생하고, [Fig. 2(c)]와 동일하게 오른쪽에 존재하는 수풀들로 인한 오인지가 발생함을 확인할 수 있다. 이에 알고리즘을 적용하여 우천과 수풀에 의한 오인지를 개선하고 왼쪽 차선에 존재하는 차량은 동일하게 인지하는 결과를 [Fig. 7(c)]에서 확인할 수 있었다.

5. 결 론

본 논문에서 라이다 기반의 3차원 물체 탐지 결과를 센서 특성에 맞게 후처리하는 Adaptive thresholding 알고리즘을 도입하였다. 이 알고리즘은 3차원 물체 탐지 모델에 자차로부터의 거리에 기반하여 동적으로 임계값을 조정하는 후처리를 통해 오인지 결과를 감소시켜 모델의 강건성을 향상시켰음을 오픈 데이터셋에서의 기존 단일 임계값을 적용하였을 때와 비교한 실험을 통해 입증하였다. 또한, 본 연구에서 사용된 3차원 물체 탐지 모델에 국한되지 않고, 다양한 3차원 물체 탐지 모델에도 쉽게 적용 가능하며 효과적인 결과를 나타냄도 실험을 통해 확인하였다. 데이터셋에서의 실험만이 아니라, 실제 안개, 우천 등의 다양한 기상 환경과 장애물들의 변화가 많은 도심 도로 환경에서도 해당 알고리즘이 효과적임을 자체 데이터셋을 통해 확인하였다. 특히, 실제 도로 주행 시 발생하는 옆 차선의 수풀을 차량으로 잘못 인지하거나, 센서 특성으로 많은 양의 안개와 비로부터 포인트 클라우드들이 인식되어 차량으로 오인지하는 문제를 개선하였음을 정성적으로 보여주었다. 이와 같은 결과를 통해, 본 알고리즘은 자율주행차량의 물체 탐지 강건성 향상을 달성하여 인지 고도화에 기여함을 보였고, 핵심 인지 기술인 3차원 물체 탐지 모델을 차량이 보다 안정적이고 효율적으로 주행할 수 있도록 하는 자율주행에 적합한 모델로 개선하였음을 보였다. 향후, 추가적인 성능 향상을 위해 연구를 진행한 모델로 얻은 파라미터들을 다른 모델들에 적용하는 것이 아닌 각 3차원 물체 탐지 모델의 결과를 활용한 파라미터를 각각 적용하여 성능을 향상시킬 수 있을 것이다. 또한, 라이다를 사용한 3차원 물체 탐지 모델에 대해서만이 아닌 카메라, 레이더 및 센서 퓨전을 사용한 3차원 물체 탐지 모델 및 다른 데이터셋을 사용하여 학습한 모델에 적용하기 위해 각 센서 특성, 모델을 학습한 데이터셋과 평가 결과에 대한 연구를 필요로 한다.

Acknowledgments

This work was supported by the Technology Innovation Program (or Industrial Strategic Technology Development Program - Mobility and Connectivity Platform for Digital Transformation Acceleration in Unmanned Delivery) (20024355, Development of autonomous driving connectivity technology based on sensor-infrastructure cooperation) funded By the Ministry of Trade, Industry & Energy (MOTIE, Korea)

References

• K. Zhang, S. Tong, H. Shi, G. Yue, and J. Zhao, “Moving object detection of assembly components based on improved background subtraction algorithm,” IOP Conference Series: Materials Science and Engineering, vol. 1009, 2021. [https://doi.org/10.1088/1757-899X/1009/1/012063]
• S. F. Lin and S. H. Huang, “Moving object detection from a moving stereo camera via depth information and visual odometry,” 2018 IEEE International Conference on Applied System Invention (ICASI), Chiba, Japan, pp. 437-440, 2018. [https://doi.org/10.1109/ICASI.2018.8394278]
• Y. Zhou and O. Tuzel, “VoxelNet: End-to-End Learning for Point Cloud Based 3D Object Detection,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, pp. 4490-4499, 2018. [https://doi.org/10.1109/CVPR.2018.00472]
• G. Ross, “Fast r-cnn,” IEEE international conference on computer vision (ICCV), Santiago, Chile, pp. 1440-1448, 2015. [https://doi.org/10.48550/arXiv.1504.08083]
• Y. Yan, Y. Mao, and B. Li, “Second: Sparsely embedded convolutional detection,” Sensors, vol. 18, no. 10, Oct., 2018. [https://doi.org/10.3390/s18103337]
• A. H. Lang, S. Vora, H. Caesar, L. Zhou, J. Yang, and O. Beijbom, “PointPillars: Fast Encoders for Object Detection From Point Clouds,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, pp. 12689-12697, 2019. [https://doi.org/10.1109/CVPR.2019.01298]
• S. Shi, X. Wang, and H. Li, “PointRCNN: 3D Object Proposal Generation and Detection From Point Cloud,” 2019 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Long Beach, CA, USA, pp. 770-779, 2019. [https://doi.org/10.1109/CVPR.2019.00086]
• S. Shi, C. Guo, J. Yang, and H. Li, “PV-RCNN: Point-Voxel Feature Set Abstraction for 3D Object Detection,” 2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), Seattle, WA, USA, pp. 10526-10535, 2020. [https://doi.org/10.1109/CVPR42600.2020.01054]
• K. Duan, S. Bai, L. Xie, H. Qi, Q. Huang, and Q. Tian, “CenterNet: Keypoint Triplets for Object Detection,” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), pp. 6568-6577, 2019. [https://doi.org/10.1109/ICCV.2019.00667]
• H. Kim and S. Park, “Monocular Camera based Real-Time Object Detection and Distance Estimation Using Deep Learning,” The Journal of Korea Robotics Society, vol. 14, no. 4, pp. 357-362, Nov., 2019. [https://doi.org/10.7746/jkros.2019.14.4.357]
• J. Redmon, S. Divvala, R. Girshick, and A. Farhadi, “You Only Look Once: Unified, Real-Time Object Detection,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 779-788, 2016. [https://doi.org/10.1109/CVPR.2016.91]
• R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich Feature Hierarchies for Accurate Object Detection and Semantic Segmentation,” 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, pp. 580-587, 2014. [https://doi.org/10.1109/CVPR.2014.81]
• D. Song, J.-B. Yi, and S.-J. Yi, “Development of an Efficient 3D Object Recognition Algorithm for Robotic Grasping in Cluttered Environments,” The Journal of Korea Robotics Society, vol. 17, no. 3, pp. 255-263, Aug., 2022. [https://doi.org/10.7746/jkros.2022.17.3.255]
• T. Wang, X. Zhu, J. Pang, and D. Lin, “FCOS3D: Fully Convolutional One-Stage Monocular 3D Object Detection,” 2021 IEEE/CVF International Conference on Computer Vision Workshops (ICCVW), Montreal, BC, Canada, pp. 913-922, 2021. [https://doi.org/10.1109/ICCVW54120.2021.00107]
• Z. Tian, C. Shen, H. Chen, and T. He, “FCOS: Fully Convolutional One-Stage Object Detection,” 2019 IEEE/CVF International Conference on Computer Vision (ICCV), Seoul, Korea (South), pp. 9626-9635, 2019. [https://doi.org/10.1109/ICCV.2019.00972]
• N. Carion, F. Massa, G. Synnaeve, N. Usunier, A. Kirillov, and S. Zagoruyko, “End-to-end object detection with transformers,” European conference on computer vision (ECCV), Glasgow, UK, pp. 213-229, 2020. [https://doi.org/10.48550/arXiv.2005.12872]
• Y. Wang, V. Guizilini, T. Zhang, Y. Wang, H. Zhao, and J. Solomon, “DETR3D: 3D Object Detection from Multi-view Images via 3D-to-2D Queries,” 2021 Conference on Robot Learning (CoRL), London, UK. [https://doi.org/10.48550/arXiv.2110.06922]
• Y. Liu, T. Wang, X. Zhang, and J. Sun, “Petr: Position embedding transformation for multi-view 3D object detection,” European Conference on Computer Vision, Tel Aviv, Israel, pp. 531-548, 2022. [https://doi.org/10.48550/arXiv.2203.05625]
• Z. Chen, Z. Li, S. Zhang, L. Fang, Q. Jiang, and F. Zhao, “Graph-DETR3D: rethinking overlapping regions for multi-view 3D object detection,” The 30th ACM International Conference on Multimedia, Lisboa, Portugal, pp. 5999-6008, 2022. [https://doi.org/10.1145/3503161.3547859]
• X. Chen, H. Ma, J. Wan, B. Li, and T. Xia, “Multi-view 3D Object Detection Network for Autonomous Driving,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 6526-6534, 2017. [https://doi.org/10.1109/CVPR.2017.691]
• C. R. Qi, W. Liu, C. Wu, H. Su, and L. J. Guibas, “Frustum PointNets for 3D Object Detection from RGB-D Data,” 2018 IEEE/CVF Conference on Computer Vision and Pattern Recognition, Salt Lake City, UT, USA, pp. 918-927, 2018. [https://doi.org/10.1109/CVPR.2018.00102]
• Z. Wang and K. Jia, “Frustum ConvNet: Sliding Frustums to Aggregate Local Point-Wise Features for Amodal 3D Object Detection,” 2019 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Macau, China, pp. 1742-1749, 2019. [https://doi.org/10.1109/IROS40897.2019.8968513]
• R. Nabati and H. Qi, “CenterFusion: Center-based Radar and Camera Fusion for 3D Object Detection,” 2021 IEEE Winter Conference on Applications of Computer Vision (WACV), Waikoloa, HI, USA, pp. 1526-1535, 2021. [https://doi.org/10.1109/WACV48630.2021.00157]
• X. Chen, T. Zhang, Y. Wang, Y. Wang, and H. Zhao, “FUTR3D: A Unified Sensor Fusion Framework for 3D Detection,” 2023 IEEE/CVF Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Vancouver, BC, Canada, pp. 172-181, 2023. [https://doi.org/10.1109/CVPRW59228.2023.00022]
• X. Bai, Z. Hu, X. Zhu, Q. Huang, Y. Chen, H. Fu, and C. Tai, “TransFusion: Robust LiDAR-Camera Fusion for 3D Object Detection with Transformers,” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 1080-1089, 2022. [https://doi.org/10.1109/CVPR52688.2022.00116]
• A. Vaswani, N. Shazeer, N. Parmar, J. Uszkoreit, L. Jones, A. N. Gomez, L. Kaiser, and I. Polosukhin, “Attention is all you need,” arXiv:1706.03762, 2017. [https://doi.org/10.48550/arXiv.1706.03762]
• Z. Liu, H. Tang, A. Amini, X. Yang, H. Mao, D. Rus, and S. Han, “BEVFusion: Multi-Task Multi-Sensor Fusion with Unified Bird’s-Eye View Representation,” 2023 IEEE International Conference on Robotics and Automation (ICRA), London, United Kingdom, pp. 2774-2781, 2023. [https://doi.org/10.1109/ICRA48891.2023.10160968]
• Y. Li, A. W. Yu, T. Meng, B. Caine, J. Ngiam, D. Peng, J. Shen, B. Wu, Y. Lu, D. Zhou, Q. V. Le, A. Yuille, and M. Tan, “DeepFusion: Lidar-Camera Deep Fusion for Multi-Modal 3D Object Detection,” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 17161-17170, 2022. [https://doi.org/10.1109/CVPR52688.2022.01667]
• Y. Chen, Y. Li, X. Zhang, J. Sun, and J. Jia, “Focal Sparse Convolutional Networks for 3D Object Detection,” 2022 IEEE/CVF Conference on Computer Vision and Pattern Recognition (CVPR), New Orleans, LA, USA, pp. 5418-5427, 2022. [https://doi.org/10.1109/CVPR52688.2022.00535]
• S. Xu, D. Zhou, J. Fang, J. Yin, Z. Bin, and L. Zhang, “Fusion Painting: Multimodal Fusion with Adaptive Attention for 3D Object Detection,” 2021 IEEE International Intelligent Transportation Systems Conference (ITSC), Indianapolis, IN, USA, pp. 3047-3054, 2021. [https://doi.org/10.1109/ITSC48978.2021.9564951]
• M. Liang, B. Yang, S. Wang, and R. Urtasun, “Deep continuous fusion for multi-sensor 3D object detection,” The European conference on computer vision (ECCV), Munich, Germany, pp. 641-656, 2018. [https://doi.org/10.48550/arXiv.2012.10992]
• W. Liu, D. Anguelov, D. Erhan, C. Szegedy, S. Reed, C. Fu, and A. C. Berg, “SSD: Single Shot MultiBox Detector,” Computer Vision–ECCV 2016: 14th European Conference, Amsterdam, The Netherlands, pp. 21-37, 2016. [https://doi.org/10.1007/978-3-319-46448-0_2]
• A. Geiger, P. Lenz, and R. Urtasun, “Are we ready for autonomous driving? The KITTI vision benchmark suite,” 2012 IEEE Conference on Computer Vision and Pattern Recognition, Providence, RI, USA, pp. 3354-3361, 2012. [https://doi.org/10.1109/CVPR.2012.6248074]