열악한 환경에서의 자율주행을 위한 다중센서 데이터셋 구축

2.1 센서 구성

2.1.4 센서 배치

데이터 획득을 위한 센서 배치에서 고려해야 하는 점은 센서 간의 거리를 최소화하여 시차(parallax)로 인한 오차를 줄여야 한다는 것이다. KAIST 다중센서 데이터셋^[6]의 경우 빔스플리터를 이용하여 두 영상을 일치화하는 방법을 사용하였다. 하지만, 본 연구에서 활용되는 4대의 카메라를 빔스플리터를 사용하여 영상을 획득하는 것은 다음의 세 가지 문제가 존재한다. 첫째, 배치에서 센서의 부피를 크게 만들게 된다. 둘째, 받아들이는 광원의 에너지도 분산되게 된다. 셋째, 차량이 비포장 주행 등 외부 충격에 의한 영향을 쉽게 받을 수 있다.

본 연구에서는 4대의 카메라의 배치를 물리적 거리를 최대한 가까이하는 방식으로 진행하여 불필요한 빔 스플리터 등을 사용하지 않도록 하였다. 이로 인하여 작은 크기의 센서뭉치를 구성할 수 있었다. 또한 라이다도 가까운 위치로 배치하여 카메라와 라이다 사이의 시차를 최소로 하도록 설계하였다. 또한, 항법 센서를 영상과 라이다 센서뭉치와 같이 통합하여 항법과 센서 사이의 캘리브레이션을 적용하였다. [Fig. 2]는 본 연구에서 설계된 센서 배치이다.

[Fig. 2]

Sensor configuration with minimum gap of multiple sensors: 4 imaging sensors, 1 lidar and navigation sensors. 2 radars are installed on the vehicle

대부분의 자율주행 데이터셋에서 정면을 바라보는 영상을 획득하는데 본 연구의 센서 배치시 영상은 하향 5도를 지향하도록 하였다. 이를 통하여 영상에서 실제 주행에 활용되는 지면 및 물체 등에 좀 더 많은 부분을 획득할 수 있다. 또한, 라이다의 수직시야각의 중심과 일치할 수 있다. 센서 배치를 통하여 분석된 센서 데이터의 획득 범위는 [Fig. 3]과 같이 표현될 수 있다.

[Fig. 3]

Vertical field of view of sensors: (a) lidar FOV is vertically 40° and horizontally 360°, (b) vertical FOV of four cameras are similar with about 65°

2.2 센서 동기화

자율주행용 센서 데이터셋을 획득하는데 가장 중요한 부분 중의 하나는 센서 간의 동기화이다. 센서 간의 동기화를 하는 방법은 크게 두 가지로 구분할 수 있다. 첫째, 센서데이터 획득 시간을 기준으로 서로 가장 가까운 시간대의 데이터를 연관시키는 것이다. 둘째, 하드웨어적으로 트리거 신호를 생성하여 센서 획득 시간의 동기화를 수행하는 것이다. 본 논문에서는 두 번째의 방법을 적용하되, 하드웨어적인 동기화를 완전히 지원하지 않는 LWIR영상은 초기 동기화 트리거 이후 첫 번째의 방법을 이용하여동기화 된 영상으로 구성하였다. 하드웨어적인 방법을 사용하는 방법은 주행 중에 획득하는 데이터 셋이므로, 상호 간의 데이터 획득 시간 오차가 적을수록 보다 정확한 데이터셋을 얻을 수 있고, 센서 간의 외부 파라미터만 고려하면 되기 때문이다.

센서를 동기화하는 방법은 [Fig. 4]와 같이 하드웨어 및 소프트웨어를 구성하고, 자율주행의 메인센서인 3차원 라이다를 기준으로 하여, 회전식 라이다의 특정 회전각도를 읽고, 이를 바탕으로 라이다의 스캐닝 영역을 계산하고, 그 타이밍을 맞춰 영상 센서의 트리거를 보내는 방식으로 구성된다. 이때, 항법 신호를 같이 수신하여, 해당하는 타임스탬프 및 항법 정보를 포함하도록 한다. LWIR 카메라(FLIR A65)는 외부 트리거에 의한 임의적인 프레임 조정은 불가하나, 트리거를 기점으로 동작할 수 있어, 동기화 신호를 입력으로 하여 동일한 주기로 획득하도록 하였다.

[Fig. 4]

Synchronize multiple sensors using lidar rotating angle by analyze packet analysis. Synchronization algorithm is implemented on a tiny circuit board (Rasberry Pi 3)

센서 동기화를 통하여 영상을 획득하는 시간과 3차원 라이다 등의 데이터를 획득하는 시간을 맞추어 동일한 시간대의 데이터 획득이 가능해지는데, 3차원 라이다의 파장이 NIR카메라의 감지파장과 겹치는 문제로 [Fig. 5]의 (a)와 같이 NIR 영상에 레이저빔이 표기되어 영상이 왜곡되는 현상이 있을 수 있다는 것이다. 이를 해결하기 위하여 영상의 트리거 타이밍을 NIR에 레이저가 나타나지 않도록 하면서 서로 가장 가까운 시간대에 트리거 신호를 생성하도록 계산하여 적용하였다. 이에 대한 알고리즘은 [Fig. 4]의 왼쪽 아래와 같이 Rasberry Pi 3에 구현되어 별도의 동기화 기능을 수행하도록 하였다.

[Fig. 5]

Near IR image according to trigger timing: (a) 0° trigger timing, (b) 45° trigger timing, When lidar shots forward, the return of laser affects on near IR image

2.3 센서 간 캘리브레이션

2.3.1 다중 카메라 간 캘리브레이션

본 데이터셋에서 적용되는 다중 스펙트럼 영상을 활용하기 위해서 다중 카메라 간의 캘리브레이션이 필요하다. 먼저 개별 카메라의 카메라 내부 파라미터는 일반적인 카메라 캘리브레이션 방법^[7,8]을 이용하여 구한다. 여기에서 추정된 렌즈 왜곡 파라미터를 바탕으로 렌즈왜곡이 보정된 영상으로 변환한다.

다중 카메라를 이용할 때, 서로 간의 정보를 융합하기 위해서는 데이터를 하나의 공통된 축으로 융합을 하여야 한다. 이때, 빔스플리터 등을 이용하여 동일한 광축을 가지도록 설계를 하는 방법이 있을 수 있으나, 앞서 배치 관련 설명에서 공간의 문제 등이 존재하게 된다. 따라서 본 연구에서는 다중 카메라 사이의 캘리브레이션은 영상들 간의 호모그래피를 이용하여 영상을 융합하는 방향으로 하였다. 호모그래피는 평면에서 다른 평면으로의 이동을 표현하는 것이다. 따라서 2차원의 영상을 다른 영상으로 변환할 수 있다. 이처럼 호모그래피를 이용하여 2차원 영상을 서로 변환할 수 있으나, 문제는 2차원 영상에서 획득하는 정보는 3차원의 공간으로부터 생성되므로, 서로 다른 위치의 두 영상은 시차에 따른 오차가 반드시 존재하게 된다. 하지만 주행데이터 영상의 대부분은, [Fig. 6]과 같이 지면에서 먼 곳의 소실점까지의 거대한 가상의 평문에 데이터가 존재하는 것으로 가정을 하고, 이 평면에 해당할 수 있는 대응점을 이용하여 호모그래피를 구하게 되면 호모그래피와 데이터의 특성을 고려한 영상의 융합이 이루어질 수 있게 된다. 4대의 카메라 중 메인이 되는 센서는 텍스쳐 등이 가장 풍부한 RGB 이미지를 기준으로 하여 호모그래피로 영상을 변형(warping)하고, 이로부터 [Fig. 6]의 (d)와 같이 공통된 영역을 추출하여 사용하도록 하였다. 이렇게 함으로 인해서 시차가 존재하는 문제를 완벽히 제거하지는 못하지만, 최소화하되, 영상을 융합하고, 하나의 라벨을 공유하는 형태의 데이터를 생성할 수 있다. 본 연구에서 다중 스펙트럼의 영상은 1666×1213의 해상도를 가지도록 설정되었다. 또한, 다중스펙트럼 카메라 각각의 특성을 그대로 활용하기 위하여 각 카메라가 받아들이는 raw 데이터를 uint16의 형태로 저장하는 방식을 이용하였다.

[Fig. 6]

Fusion of two images using homography matrix (a) NIR to RGB, (b) SWIR to RGB, (c) LWIR to RGB, (d) Crop the common region after fusing images

2.3.2 카메라-라이다, 레이다 간 캘리브레이션

카메라와 라이다 데이터 간의 캘리브레이션은 ^[9]의 방법을 적용하여 V자 형태의 타겟을 이용하여 카메라와 3차원 라이다 사이의 회전 및 이동 파라미터를 구하여 적용하였다. 다중 영상은 RGB 영상에 통합되므로, RGB 영상화 3차원 라이다 사이의 외부 파라미터를 추정하여 적용하였다. 그리고 레이다 데이터는 라이다 좌표를 기준으로 설계치의 파라미터를 활용하여 후보정하여 적용하였다. 3차원 라이다와 레이다의 캘리브레이션 결과를 확인하기 위하여, RGB 영상에 해당 포인트 클라우드를 투영하여 [Fig. 7]과 같다.

[Fig. 7]

Projection of point clouds onto RGB image (example in snowy condition): colored points represents the distance and red star points are gathered from radar

3.1 센서 데이터 획득 환경 구분

열악한 환경에서의 센서 데이터 획득은 센서 데이터를 획득하기 위한 환경을 분석하는 것으로부터 시작한다. 자율주행이 이루어지는 환경은 맑은 날과 같은 좋은 환경인 환경도 있을 수 있으나, 강우, 강설, 먼지, 연막과 같은 환경에서도 자율주행이 이루어질 수 있어야 한다. 강우, 강설은 날씨에 따른 변화이고, 먼지나 연막은 비포장도로나 주변 인위적인 환경에 의한 것이다.

자율주행 등에 적용할 수 있는 알고리즘의 성능을 분석하기 위해서는 열악한 환경의 정도에 따라 어떠한 성능 저하가 있는지에 대한 파악을 위하여 일정한 기준이 존재하여야 한다. 이를 위하여 강우 및 강설의 환경은 강수량을 기준으로 하게 되면 정량적으로 환경을 구분할 수 있다. 강수량은 비가 오거나 눈이 오는 환경 모두에 적용될 수 있는 측정치이고, 본 연구에서는 이러한 정도를 정량적 수치를 기준으로 하여 Low, Medium, High의 세 가지 레벨로 구분하여 데이터를 획득하고, 구분하였다. 강우 및 강설의 기준치는 [Table 1]과 같다. 강수량은 기상청의 강수량 정보^[10]를 활용하여 매분 또는 10/30/60분 단위의 데이터를 획득할 수 있고, 기준치는 시간당 강수량이 된다. 이때, 기존에 내린 비 또는 쌓인 눈은 정략적인 수치를 측정할 수 없으므로 고려하지 않는다.

[Table 1]

Quantitative classification of adverse weather

먼지나 연막의 경우, 명확한 정량적 지표를 이용하여 열악한 환경의 정도를 결정하기 어려운 점이 있다. 이는 먼지나 연막이 바람 등의 영향으로 일정하게 주어지지 않기 때문이다. 본 연구에서는 이러한 문제를 RGB 영상에서 사람에 의해서 물체의 인식 정도를 개별적으로 판단하여 Low, Medium, High의 세 가지로 구분하였다.

3.2 센서 데이터 구축

데이터를 학습 및 평가 등에 활용하기 위해서는 데이터에 참값을 적용하여야 한다. 데이터는 연속된 데이터를 얻게 되므로, 데이터는 1 Hz 단위로 샘플링하여 사용하고, 정렬된 영상에서 시맨틱 분할을 위한 분할정답 값을 생성한다. 이때, 보행자, 차량 등의 물체는 아이디를 부여하여, 바운딩 박스를 자동으로 생성하도록 한다. 또한, 3차원 데이터를 활용하기 위하여 3차원 데이터의 시맨틱 분할을 적용하고, 물체에 해당하는 클래스는 3차원 바운딩 박스를 구한다. 이때, 3차원의 포인트 클라우드는 그 정보가 듬성듬성하므로, 작업자가 판단할 수 있도록 항법 정보를 기반으로 포인트 데이터를 누적하여 라벨을 할당하고 원래의 프레임으로 변환하는 방식으로 적용한다.

본 연구에서 획득되는 데이터셋과 기존의 데이터셋은 [Table 2]와 같이 비교할 수 있다. 본 데이터셋은 열악한 환경에 대한 데이터를 포함하고 있으며, 이를 활용하기 위한 다중스펙트럼의 영상을 포함하고 있다. 또한, 2차원과 3차원 데이터에 대한 라벨을 추가하여, 2차원, 3차원 물체 탐지 및 주행가능영역 분석 등 열악한 환경에서의 다양한 형태의 과업을 도출할 수 있다. [Fig. 8]은 본 연구에서 획득한 다중스펙트럼 영상 및 라이다, 레이더 정보와 라벨을 환경별로 나타낸 데이터셋의 예시이다.

[Table 2]

Driving dataset comparison. Aforementioned datasets are compared with our dataset. Annotation frame numbers represent image frames have 2D bounding boxes or semantic segmentation

[Fig. 8]

Examples from Our Driving Dataset in various adverse weather conditions. From left to right, we show the RGB, NIR, SWIR, LWIR, 3D point cloud, and annotations (semantic segmentation and bounding boxes in 2D and 3D). Red star points in point clouds view represent information from radars

영상에 대한 라벨의 종류와 3차원 포인트에 대한 라벨은 각각 12개의 클래스로 구성되고, 두 데이터에서 11개의 클래스는 공유하되, 1개의 클래스는 각각의 센서 특성에 맞도록 개별적으로 할당하였다. 영상의 경우, 주행영상의 상단부의 많은 부분이 하늘에 해당되는 반면, 거리센서에서는 하늘에 해당하는 라벨을 할당할 수 없으며, 대신 강우, 강설, 먼지 및 연막 등에 의해서 거리 센서의 데이터에서 공중에 부양한 데이터는 특정 물체나 지형 등에 해당되지 않으므로 애매함(obscurant)으로 할당한다. [Table 3]은 본 데이터셋에서 구성되는 클래스이다.

[Table 3]

Annotation classes for image and point clouds

3.3 센서 데이터셋 태스크

본 연구에서 획득한 데이터셋은 열악한 환경에서 자율주행 등에서 활용 가능한 환경인식 알고리즘의 성능을 확인하고, 개선하기 위한 것이다. 자율주행의 대표적인 환경인식으로 물체 인식 및 주행가능영역이 있다.

3.3.1 물체인식

물체 인식은 자율주행에서 주행 간에 차량의 안전을 보장하고 효과적인 자율주행을 수행하기 위해서 필수적인 분야 중 하나이다. 과거에는 주로 RGB 영상 기반의 물체 인식이 주로 이루어졌지만, 최근에는 다양한 대역대의 영상이나 포인트 클라우드에서 물체를 인식하는 기술들이 활발하게 연구되고 있다. 본 데이터셋을 이용하면 이와 같은 최근의 추세를 반영하여 다양한 형태의 센서 데이터에 대한 물체 탐지를 수행하는 것이 가능하다.

본 연구에서는 구축된 데이터셋에서 다양한 환경 변화가 물체탐지 알고리즘에 미치는 영향을 확인하기 위해서 잘 알려진 물체탐지 알고리즘들인 YOLOv3^[11]과 CenterPoint^[12] 알고리즘을 선택하여 성능을 시험하고 환경 영향성을 평가하였다. YOLOv3 알고리즘은 빠른 인식속도와 높은 정확도로 최신 알고리즘은 아니지만 널리 활용되므로 영상 기반 물체인식에 적합하다고 판단된다. CenterPoint 알고리즘은 3차원의 포인트 클라우드에서 물체를 빠르고 정확하게 찾아낼 수 있는 알고리즘이다. 해당 알고리즘들을 이용한 성능 평가 결과는 시험 결과 세션에서 제시한다.

3.3.2 주행영역인식

주행영역을 인식하는 것은 자율주행을 위해서 주변의 환경을 인식하는데 중요한 분야 중 하나이다. KITTI 데이터셋^[1]에서는 주행가능한 영역을 바이너리 클래스로 정의하여 시험을 진행하였다. 본 데이터셋을 이용하여 동일한 과업을 수행할 수 있다. 12개의 클래스 중에서 주행이 가능한 paved road, unpaved road, other traversable ground, snowed ground에 대해서 주행이 가능한 영역으로 정의하고, 주행가능영역을 영상과 라이다 정보를 이용하여 인식하는 것이다.

본 연구의 주된 목적이 열악한 환경에서의 인식결과이므로, 몇 가지 기본 알고리즘을 선택하여 다른 데이터셋에서 미리 학습된 모델과 열악한 환경 등에서 얻은 데이터를 활용한 모델의 결과 분석 등을 통하여 환경의 영향성을 평가하도록 하였다.

본 연구에서 성능 평가를 위해서 사용된 알고리즘은 KITTI 데이터셋^[1] 벤치마크에서 상위권에 위치한 PLARD^[13]와 LoDNN^[14]을 선택하였다. 두 알고리즘 모두 벤치마크 상에서 실행속도가 빠른 장점이 있으므로, 실제 적용성이 높을 수 있기 때문에 해당 알고리즘을 기본 성능확인을 위한 기준으로 선택하였다. 각 알고리즘의 환경에 따른 인식 성능 시험 결과는 시험세션에서 제시한다.

4.1 물체인식 성능 시험

이번 장에서는 앞 절에서 소개된 바와 같이 YOLOv3^[11]과 CenterPoint^[12]의 두 가지 알고리즘을 선택하여 열악한 환경에서의 물체 인식 성능을 확인해보도록 한다. YOLOv3 알고리즘을 통해서는 RGB 영상에 대한 물체 탐지 성능을 평가하였고, CenterPoint 알고리즘을 통해서는 포인트 클라우드에 대한 물체탐지 성능을 평가하였다. 성능의 평가를 위한 인식 대상의 클래스는 pedestrian과 car의 두 가지 종류이다. 본 데이터 셋에는 pedestrian과 car 외에도 cycle의 클래스가 존재하지만, cycle에 대한 객체 수가 다른 클래스들에 비해서 많이 적고, 특히나 열악한 환경에서는 더더욱 찾아보기 어려운 관계로 cycle을 인식 대상 클래스에서 제외하였다.

각각의 알고리즘에 의한 실험 결과는 [Fig. 9]와 같이 나타난다. 이 그림에서는 맑은 날의 데이터를 이용하여 학습된 모델과 열악한 환경 데이터를 추가하여 학습된 모델 사이에서 차이가 발생하고 있는 것을 확인할 수 있다. 정량적인 결과로 비교하면 그 차이를 더 명확하게 확인할 수 있다. [Table 4]와 [Table 5]에서는 YOLOv3 알고리즘에 의한 영상 물체 인식과 CenterPoint 알고리즘에 의한 3차원 포인트 클라우드 물체 인식 성능을 각각의 열악한 환경별로 비교하여 나타내었다. 이 결과에서 확인할 수 있듯이 맑은 날의 데이터로 학습된 모델은 다양한 열악한 환경에서 물체 탐지를 수행 시 성능이 저하되는 것을 확인할 수 있다. 이와 같은 상황을 극복하기 위해서 추가로 다양한 종류의 열악한 환경에서 얻어진 데이터를 학습 데이터에 추가해 주는 것만으로도 열악한 환경에서의 물체 인식 성능을 크게 높일 수 있는 것을 확인할 수 있다. 위 실험을 통해서 본 논문에서 수행하는 바와 같이 다양한 환경에 대한 데이터셋을 구축하는 것이 다양한 열악한 환경에서 물체탐지를 수행하기 위해서 매우 중요한 일임을 확인할 수 있다.

[Fig. 9]

Sample of detection results with YOLOv3 and Center Point algorithms: RGB Image with (a) Ground Truth (red box), (c) YOLOv3 Clear model result, (e) YOLOv3 Fine-tuned model result (brown box) and 3D point clouds with (b) Ground Truth (yellow region), (d) CenterPoint clear model result (red regions), (f) Center Point fine-tuned result (yellow region)

[Table 4]

Quantitative comparison for YOLOv3 algorithm object detection result (Average Precision, AP) between clear model (A) and fine-tuned model (B) (Input: RGB images)

[Table 5]

Quantitative comparison for CenterPoint algorithm object detection result (Average Precision, AP) between clear model (A) and fine-tuned model (B) (Input: 3D point clouds). We used IOU threshold 0.5 for both bird’s eye view matching (bev) and 3D bounding matching (3D)

4.2 주행영역인식 성능 시험

앞 장에서 언급한 바와 같이 열악한 환경에서 주행가능영역을 찾는 것은 중요한 과업 중 하나이고, 이를 위한 기준이 되는 알고리즘은 KITTI 데이터셋^[1] 벤치마크에서 상위권에 위치한 PLARD^[13]과 LoDNN^[14]를 선택하였다. [Fig. 10]은 PLARD 알고리즘의 실행 결과이다. 일반적인 데이터셋과 같이 맑은 날의 데이터를 이용하여 학습한 모델과 열악한 환경 데이터를 추가하여 학습한 모델 사이의 결과에 아주 큰 차이가 있음을 보인다. [Table 6]의 결과에서와같이, 맑은 날의 데이터를 학습한 모델은 비가 오거나, 연막이 있거나, 눈이 오는 경우에 성능이 저하되는 것을 확인할 수 있다. 이를 극복하기 위한 가장 쉬운 방법인 데이터 제공을 통하여 일정부분 극복할 수 있는 것으로 해석할 수 있다. 비나 눈이 오는 경우에 대한 학습을 통해 정확도를 높일 수 있고, 연막의 경우 제한적이기 하지만 기본 모델에 비해 정확성을 높은 것을 확인할 수 있다.

[Fig. 10]

Sample of results with PLARD and snowy weather data: (a) RGB Image, (b) Ground truth image, red region is traversable region labeled by human, (c) Result of the model trained on clear data, (d) Result of the model trained on adverse weather data. Green color represents an inferred traversable region which the probability is over 0.5

[Table 6]

Quantitative result (Max F score) comparison of traversable region detection using PLARD[13] and LoDNN[14] with between clear model and fine-tuned model. The clear models are trained on sunny data and the fine-tuned models are trained on all adverse weather data

추가로 라이다 데이터만 사용한 방법 중 하나인 LoDNN의 결과를 [Table 4]에서 확인할 수 있다. 강우나 강수의 경우 라이다 데이터에서 눈 또는 비에 의해 공중에 맺히는 포인트 데이터가 발생하게 되고, 이에 따라 그러한 데이터가 없이 학습된 모델은 열악한 환경에서 그 성능이 더 저하되는 것을 알 수 있다.

이와 같은 결과로부터 열악한 환경에서는 단일 센서를 활용한 방식을 적용하는 것보다. 다중센서를 활용하는 것이 더 성능이 높은 것을 확인할 수 있으며, 라이다보다 영상을 활용하는 것이 더 성능이 높은 경향이 있다. 이는 라이다 데이터에서 발생하는 노이즈 데이터를 영상으로 보완할 수 있기 때문이다.