가우시안 혼합모델 기반 3차원 차량 모델을 이용한 복잡한 도시환경에서의 정확한 주차 차량 검출 방법

이 과정에서는 획득되는 각각의 스캔 데이터를 가장 먼 저 처리하는 부분으로 우선 지면일 가능성이 높은 점군과 오류로 분류될 수 있는 점군들을 먼저 추출한다. 그리고 거리 값의 차이에 따라 한 스캔 내에서 점군들을 분할하 고 각 분할된 점군 중 직각성분(orthogonal)을 가지고 있는 것을 gradient histogram 검출한다.

한 스캔 라인을 유효한 단일 스캔 객체로 분할 하기 위 해서는 우선 지면을 제거해야 한다. 지면을 제거하는 방법 은 한 스캔라인에 속한 연속적인 점들 중 수평형 특성을 가진 점들을 추출하고, 수평형 특성 점들 중 차량 중심 좌 표계로 변환 시켰을 때의 높이 값이 일정 이하인 점들을 지면으로 분류한다. 한 스캔라인에는 스캔 점들이 1부터 n 까지 순차적으로 들어오게 되는데 이러한 점들의 순서를 알기 때문에 점들간의 각도를 구할 수 있다. Fig. 4와 같이 P_i,k 의 각도정보는 높이 값의 변화량만 고려하기 위해 P_{i,k -2} 부터 P_{i,k +2}까지 총 5개의 점들의 y-z plane projection한 것의 사이 각도(α )를 평균한 값을 부여하며 이 각도의 절대값이 0~20°사이인 점들을 수평형 점이라 분류한다. 수평형 점들 중 차량중심좌표 기준 높이(z) 값이 -0.3m인 경우(실측 지면 기준 차량 중심 높이: 0.4m)를 지면으로 최종 분류한다.

Fig. 4.

Horizontal points segmentation by the angle of consecutive points (Blue dots: raw scanned points, Red dots: projected points)

그리고 지면이 제거된 한 스캔라인에 속한 점들은 순차 적으로 거리 값의 차이가 0.2m이하인 점들은 하나의 객체 로 묶어주게 된다. 즉, Fig. 5와 같이 한 스캔라인 P_i 에 S_i,1 부터 S_i,m 까지 m개의 단일 스캔 객체(Single Laser Segment)가 존재하게 된다. 그리고 이중 단일 스캔 객체에 포함된 점 들의 개수가 5개 이하인 객체는 무효 객체로 구분한다. 추 출된 단일 스캔 객체들은 Fig. 5와 같이 gradient histogram을 이용하여 직각 객체인지 판단한다^[7].

Fig. 5는 단일 스캔 객체 S_i,k 에 대한 gradient histogram을 보여준다. gradient histogram에 사용하는 bin은 지면 제거에 서 사용했던 각 점의 각도 정보를 이용하는데 각 bin의 크 기를 10°로 하여 총 36개의 bin으로 histogram을 구성한다. 단일 스캔 객체의 직각 여부는 histogram에서 가장 많은 투 표(vote)를 받은 두 main axis의 차이가 80°에서 100°사이 에 존재하는 경우를 직각 성분이라 판별하게 된다.

Fig. 5.

Gradient histogram of a single laser segment

2.1.1항에서 2차원 직각성분을 검출하였다면 [8], [9]와 같 이 3차원 객체 분할(Segmentation) 과정을 통하여 2차원 직 각성분 정보를 3차원 객체로 융합해야 한다. 객체 분할 과 정을 통해 분할된 각각의 객체는 그 객체의 직각성분 존 재 여부를 이용하여 차량 후보군으로 구성하게 된다.

본 논문에서는 [9]에서 제안한 RBNN(Radially Bounded Nearest Neighbor graph)의 방법을 이용하여 객체를 분할하 였다. RBNN은 자신 주위의 특정 반경 이내에 존재하는 모 든 점들을 하나의 객체로 지정하는 방법이다. RBNN은 여 러 객체화 방법 중에 연속적으로 들어오는 데이터를 처리 하기 유용하며 그 처리 과정이 간단하다. 물론 RBNN에는 지면이 제거되지 않는다면 각 물체가 효율적으로 분할되 지 않는다는 단점이 있지만 제안하는 방법에서는 2.1.1 항 에서 이미 지면 추출 과정을 수행하였다. 또한 주차 공간 에서 일반적으로 차량의 주행 속도는 30km 미만이기 때문 에 최대 주행 속도를 30km로 정했으며 센서 시스템의 주 행속도와 2차원 LiDAR의 스캔 속도(37.5Hz) 스캔과 스캔 사 이의 거리는 약 20cm로 예상할 수 있다. 그러므로 본 논문 에서는 RBNN의 객체화 반경을 0.2m로 정하여 segmentation 을 수행했다.

RBNN 객체분할 과정을 거치게 되면 점군은 Fig. 6와 같 이 각각의 객체로 묶이게 되며 한 객체는 O_j 으로 표현된다. 그리고 한 객체는 O_j ={P_a,b, … P_m,n} 로 3차원 점군들의 집합 으로 이뤄진다.

Fig. 6.

Segmentation result

2.1.2항에서 분할된 각각의 객체는 2.1.1항에서 추출한 직각성분과 융합하여 차량 후보군으로 구성할 수 있는지 판단되게 된다. 이러한 판단은 각각의 분할된 객체는 객체 내에 2개 이상의 유효한 직각성분의 포함 여부를 따져 결 정하게 된다. 유효한 직각성분이라 함은 객체 내에 포함된 직각성분이 본래의 길이의 90% 이상을 유지하고 있는 경 우를 의미한다.

Fig. 7을 보면 초록색 직각성분은 두 객체에 분리되었기 때문에 유효한 직각성분으로 판단 할 수 없다. 따라서 객 체 O_j 에는 2개, O_j-1 에는 1개의 유효한 직각성분을 포함하고 있으며 이중 객체 O_j 만 차량 후보군으로 구성할 수 있다. 차량 후보 C_j 는 식 (1)와 같이 표현될 수 있는데 O_j 는 차량 후보 C_j 를 구성하는 객체를 의미하며 (x_j, y_j, z_j, θ _j, σ _j)는 후보 C_j 의 Pose 정보를 의미한다. 또한 Pose 정보의 x, y, z는 midrange point로 max point와 min point의 평균값을 의미하며 σj 는 차량 후보가 구성되는 순간의 센서 시스템의 Pitch 정 보 (Fig. 9의 y축 기준 방향각)을 이용한다.

Fig. 7.

Candidate examples of segments from RBNN

차량 검출에 사용한 특성 모델은 관련 논문 [10]에서 제 안했던 가우시안 혼합 모델(GMM – Gaussian Mixture Model) 기반의 차량 모델이다. 차량모델은 Fig. 9와 같이 총 9개의 가우시안으로 이루어져 있으며 Pose 정보를 이용하여 매 칭을 할 수 있다. 차량 모델은 Fig. 8의 a와 같이 부분적으 로 스캔된 차량을 대칭적인 외형 특성을 이용하여 혼합한 모델이다. 제안하는 모델은 이러한 대칭 특성과 각 면이 이루는 확신값(Confidence)를 이용하여 Data augmentation 없 이 Data accumulation으로 완성형 모델을 구성할 수 있도록 하였다.

우선 Fig. 8의 a와 같이 각각 구분된 옆면과 앞/뒷면의 축 적된 데이터에서 Fig. 8의 b와 같이 가우시안 혼합모델을 따로 추출하게 되고 차량의 대칭적 특성에 따라 확신값 (Confidence)를 부여된다. 그리고 이 확신값에 따라 선택적 으로 가우시안 모델을 추출하여 단순한 변수 혼합과정을 통해 차량의 3차원 완성 모델을 구성할 수 있다. 이렇게 구성한 모델은 차량의 외형적 특성을 잘 반영하고 있기 때문에 차량 검출을 위한 특성으로 사용하기 용이하다. 또 한 3차원 차량 모델은 모델의 중심점의 위치와 방향각 (x, y, z, θ, σ)을 이용하여 쉽게 필요한 위치에 적용할 수 있다. 그렇다면 다음 항에서 제안한 3차원 차량 모델을 이용하 여 차량을 검출하는 방법에 대하여 살펴보도록 한다.

Fig. 8.

3D vehicle model construction. (a) Partial training data (b) Estimated Gaussian models of training data

차량의 주차는 일반적으로 평행주차(Parallel Parking), 수 직주차(Perpendicular Parking) 그리고 대각 주차(Angled Parking)의 3가지로 분류될 수 있다. 이번 절에서는 차량의 주차 종류에 상관없이 제안한 방법으로 복합적인 주차 환 경에서 어떻게 차량을 검출 할 수 있는지 확인한다.

차량은 기본적으로 차량 후보군과 3차원 차량 모델의 매칭(Matching) 과정을 통해 검출한다. 2.2.1항에서 3차원 차량 모델은 중심점 (x, y, z)와 Fig. 9의 z축 기준 방향각 (Yaw: θ)과 y축 기준 방향각(Pitch: σ)으로 구성되어 있으므 로, 적용할 모델의 위치 정보는 각 차량 후보의 위치를 이 용한다. 후보군에 속한 각각의 차량 후보는 식 (2)와 같이 하나의 위치정보를 가지고 이 위치 정보를 기반으로 3차 원 차량 모델과의 매칭을 실시 한다.

Fig. 9.

The complete Gaussian Mixture Model (GMM) based vehicle model which consists of 9 Gaussian models.

차량 후보군에 속한 객체들이 차량인지 판단하는 조건 은 각 객체들과 3차원 차량과의 매칭 점수로 이뤄지게 된 다. 본 논문에서는 두 가지 정보를 정규화하여 매칭 점수 로 활용하는데 하나는 식 (3)의 a항과 같이 객체를 이루고 있는 점군이 3차원 차량 모델에 포함되는지에 대한 정보 이며 다른 하나는 b항과 같이 점군의 법선 벡터(Vector)와 3차원 차량 모델의 법선 벡터 내적을 통한 법선 벡터 유사 도를 이용한다. 그리고 두 항 모두 각 객체와 차량 모델에 포함된 점군의 개수로 정규화 하여 0에서 1의 값을 가지 도록 설정하였다.

제안하는 점수(Score)에서는 이러한 두 가지 유사도를 통해 점군의 형태뿐만 아니라 점군이 이루는 면의 방향까 지 고려할 수 있다. 이미 제안하는 모델에서 차량 검출에 필요한 충분한 정보를 지니고 있기 때문에 매칭 후 적합 한 Threshold 값을 확인하면 2.1.3항에서 추출한 차랑 후보 군에서 주차된 차량을 검출할 수 있다.

그리고 일정 Threshold 값 이상의 후보를 차량으로 판단 하면 최종적으로 검출한 차량이 가지고 있던 방향각(Yaw: θ_j) 를 이용해 주차 방법을 분류한다. θ_j 에서 센서 시스템의 주행 경로가 이루는 각도를 보상한 후 주차 차량의 각도 의 절대값이 0~30° 인 경우를 평행, 30~60° 를 대각, 60~90 ° 인 경우를 수직 주차로 분류한다. 마지막으로 일정 Threshold를 넘지 못한 객체들과 차량 후보로 구성되지 못 한 객체들은 장애물로 구분하도록 한다.Fig.10

Fig. 10.

Scoring method (Red dots: points in the vehicle model, Black dots: points out of the model, Blue arrows: normal vector of red dots, Green arrows: normal vectors of each Gaussian model in the vehicle model)

Fig. 13을 확인하면 제안하는 방법에 대한 복합 주차 방 법 검출 결과를 확인할 수 있다 Fig. 13은 Threshold를 0.5 로 했을 경우에 대한 결과이다. 파란색 선은 차량의 주행 경로를 의미하며 빨간색은 수직주차, 초록색은 수평주차, 주황색은 대각주차 차량을 의미한다. 그리고 차량으로 검 출되지 않은 객체들은 점군의 높이 값에 따라 0m 인 점군 은 검은색으로 1.75m인 점군은 갈색의 그라데이션으로 표 현하였다.

Fig. 13.

Experimental result section A(Top) and B(Bottom) (Red: perpendicular parked vehicle, Green: parallel parked vehicles, Orange: angled parked vehicles, Black: obstacles, Blue line: sensor system trajectory)

Ground Truth는 Ground Truth Labeling Program을 이용하여 수기로 제작하였다. 검출 결과의 비교 방법은 논문 [11]에 서 제안한 방법으로 검출한 차량과 Ground Truth의 차량이 일치율로 결과를 판단하였다. 비교방법은 검출 결과와 Ground Truth의 일치율이 높을수록 1에 가까워지는데 본 논문에서는 0.9 이상 매칭이 되는 결과를 올바르게 검출된 차량이라고 정하였다.

제안하는 방법의 검출 성능은 Precision과 Recall, 그리고 F1 measure를 이용하여 분석하였다. Precision은 검출 결과에 서 올바르게 검출된 차량의 비율이며, Recall은 Ground Truth 중에서 검출결과에 포함된 차량의 비율을 의미한다. 제안하는 방법의 검출 성능은 Precision과 Recall, 그리고 F1 measure를 이용하여 분석하였다. Precision은 검출 결과에서 올바르게 검출된 차량의 비율이며, Recall은 Ground Truth 중에서 검출결과에 포함된 차량의 비율을 의미하기 때문 에 제안하는 방법의 성능을 판단하기에 좋은 지표이다. 또 한 F1 measure는 Precision과 Recall을 동등한 비중으로 보고 성능을 한 번에 판단하는 지표이므로 F1 measure를 통해서 종합적인 성능을 확인 할 수 있다.

본 논문에서 차량 검출에 사용하는 차량 모델은 차량에 대한 정보를 충분히 가지고 있기 때문에 검출 방법에는 Threshold 값을 조절하여 제안하는 차량 모델과 점수에 대 한 검출 결과를 살펴보았다. 우선 KAIST 구역 A의 데이터 에 대하여 확인한 결과는 Fig. 14와 같다. F1 measure를 통해 알고리즘의 성능을 판단하면 Threshold가 0.4일 때 0.954로 약 95%의 검출 성능을 나타내는 것을 확인할 수 있다. 또 한 사용자의 목적에 따라 Threshold를 조절하여 알고리즘 을 적용할 수 있는데 주차된 차량 중 가장 정확하게 스캔 된 차량만을 검출하기 위한 목적으로는 Precision이 높아야 하기 때문에 높은 Threshold를 선택할 수 있으며, 우선 모 든 주차된 차량을 검출하는 것이 목적이라면 낮은 Threshold를 선택하면 그 목적에 부합하는 결과를 획득할 수 있다. 구역 A에서의 오검출의 경우는 Fig. 13의 첫 번째 결과의 붉은색 점선 박스와 같다. 이 경우 주차된 차량이 주변 덤불과 붙어있어 덤불까지 차량으로 인식한 경우이 다. 이러한 부분은 3차원 객체화 과정에서 덤불과 차량이 하나의 객체라고 인식하였기 때문에 발생한 경우이다.

Fig. 14.

Precision-recall-f1 measure curve of section A

구역 B에 대해서도 검출결과를 확인하면 Fig. 15와 같다. 구역 B에서는 Threshold가 0.5 일 때 가장 높은 F1 measure 를 가지는데 이 때의 값은 0.958로 약 96%의 검출 결과를 나타냈다. 구역 A에서 가장 높은 값을 가졌던 Threshold 0.4 에서도 F1 measure는 0.944로 약 94%의 검출 결과가 나오 는 것을 확인할 수 있었다. 구역 B에서는 구역 A에서와는 다르게 Threshold가 높아질수록 Recall 값이 확연히 달라지 는 것을 알 수 있는데 이는 주차된 차량의 특성에 따라 나 타난 결과이다. Fig. 13의 두 번째 결과의 파란색 박스와 같 이 LiDAR의 경우 검은색 차량에 대해서는 제대로 레이저 가 반사되지 않아 스캔되는 점들의 개수가 다른 색의 차 량보다 적고 산발적으로 분포되게 된다. 그렇기 때문에 법 선 벡터를 추정함에 있어서 그 방향이 어긋나는 경우가 발생하게 되고 결과적으로 다른 색의 차량만큼 1에 가까 운 굉장히 높은 점수를 가지지 못하는 경우가 발생한다. 하지만 모델이 외형정보를 충분히 지니고 있기 때문에 Threshold가 0.4~0.6으로 설정할 경우 검은책 차량을 포함하 여 차량의 구분 없이 검출할 수 있는 결과를 보여주었다.

Fig. 15.

Precision-recall-f1 measure curve of section B

본 논문에서 제안했던 방법을 이용한 결과와 기존의 방 법들의 결과를 비교해보면 Table 1과 같다. 기존의 방법 중 3D LiDAR를 이용한 방법 [5]에는 3개 이상의 Frame이 필 요하므로 3개의 Frame일 때의 검출율을 비교하였고, 2D LiDAR의 방법 중 [6]는 범퍼(차량) 검출 결과를 비교하였 다. 그리고 마지막으로 [7]의 방법은 구현을 통해 검출 결 과를 확인하였다. 비교결과 기존의 방법들에 비해서 차량 을 3차원으로 검출하며 검출 결과에서도 향상된 모습을 나타내는 것을 확인할 수 있었다.

그리고 제안하는 알고리즘은 MATLAB을 이용하여 알 고리즘이 타당성을 검증하였다. 구역 A에는 3130개의 스 캔라인의 총 1129930개의 점군을 처리하는데 연산시간이 287초 이므로 한 스캔라인을 처리하는데 0.09초가 소요되 었다. 구역 B에 대해서는 4408개의 스캔라인의 총 1591288 개의 점군을 처리하는데 필요한 연산시간은 324초 이므로 한 스캔라인당 0.073초가 소요되었다.

Table 1.

Comparison with previous methods