Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 18, No. 3, pp.271-280
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 31 Aug 2023
Received 25 May 2023 Revised 01 Jul 2023 Accepted 05 Jul 2023
DOI: https://doi.org/10.7746/jkros.2023.18.3.271

자율 주행에서 단일 센서 성능 향상을 위한 FMCW 스캐닝 레이더 노이즈 제거

양우성1 ; 전명환2 ; 김아영
Noise Removal of FMCW Scanning Radar for Single Sensor Performance Improvement in Autonomous Driving
Wooseong Yang1 ; Myung-Hwan Jeon2 ; Ayoung Kim
1Master Student, Mechanical Engineering, Seoul National University, Seoul, Korea yellowish@snu.ac.kr
2Post Doctoral Research Fellow, Institute of Advanced Machines and Design, Seoul National University, Seoul, Korea myunghwan.jeon@kaist.ac.kr

Correspondence to: Associate Professor, Corresponding author: Mechanical Engineering, Seoul National University, Seoul, Korea ( ayoungk@snu.ac.kr)

CopyrightⓒKROS

Abstract

FMCW (Frequency Modulated Continuous Wave) radar system is widely used in autonomous driving and navigation applications due to its high detection capabilities independent of weather conditions and environments. However, radar signals can be easily contaminated by various noises such as speckle noise, receiver saturation, and multipath reflection, which can worsen sensing performance. To handle this problem, we propose a learning-free noise removal technique for radar to enhance detection performance. The proposed method leverages adaptive thresholding to remove speckle noise and receiver saturation, and wavelet transform to detect multipath reflection. After noise removal, the radar image is reconstructed with the geometric structure of the surrounding environments. We verify that our method effectively eliminated noise and can be applied to autonomous driving by improving the accuracy of odometry and place recognition.

Keywords:

Radar SLAM, Noise Removal, Autonomous Driving

1. 서 론

자율주행 기술은 다양한 환경에서의 군사 작전에 안정성 및 효율성을 증대하는 효과가 있어 군용 로봇에 자율주행 기술을 탑재하기 위한 다양한 시도가 진행되어왔다. 이러한 자율주행 시스템에 있어서 주변 환경을 정확하게 인식하는 것은 주행 성능에 영향을 주는 요소이며 나아가 군사 작전의 성공과 실패를 좌우하는 중요한 요인이다. 주변 환경의 인식을 위해 카메라, 초음파, 적외선 센서 등 다양한 센서를 사용할 수 있으며 대표적으로 사용하는 센서로는 카메라, 라이다(LiDAR, Light Detection And Ranging), 레이더(Radar, Radio Detection and Ranging)가 있다. 특히 군사 작전용 로봇에 사용하기 위해서 외부 조도나 기상 상황의 영향을 받지 않고, 다양한 환경에 강건하게 탐지 가능하다는 조건이 필수적이다. 이러한 요구에 레이더 센서의 활용이 적합한 해결책으로 제시되었으며, 레이더 센서를 이용한 주변 환경 인식 기술인 레이더 SLAM (Simultaneously Localization and Mapping)에 대한 연구가 활발히 진행되었다[1-4].

레이더는 파장이 긴 전파를 이용하여 주변 환경을 인식하기 때문에 빛을 사용하는 다른 센서들보다 상대적으로 탐지 거리가 길며 회절에 의한 효과와 긴 파장으로 인해 눈, 비, 안개 등의 작은 입자들은 검출하지 않기에 악기상 상황에서 강건하게 주변 환경 탐지가 가능하다는 장점이 있다. 무엇보다도 레이더는 군사 목적에 적합하였고 오랜 역사를 가지고 있는데, 이는 환경 인식을 위해 센서가 외부에 노출되어야 하는 카메라나 라이다 센서와는 달리 센서를 케이스로 덮어도 주변 인식이 가능[5]하기에 외부의 충격으로부터 센서를 보호할 수 있기 때문이다. 하지만 센서 자체의 낮은 해상도와 노이즈로 인해 레이더 단독으로 사용하는 경우 탐지 정확도가 감소한다는 문제점이 존재한다. 이 문제를 해결하기 위해 데이터 전 처리 과정을 통해 레이더의 노이즈를 제거하여 품질을 높이거나 카메라, 라이다, 관성 측정 장치(IMU) 등의 다양한 센서와 융합해서 사용하는 연구가 진행되었다[6,7]. 하지만 다른 센서들과 융합해서 사용하는 경우, 센서들 간의 좌표축 캘리브레이션이나 시간 축 정렬이 필수적이며, 정렬의 정확도에 따라 시스템의 성능이 크게 달라진다. 또한 센서의 개수가 늘어나는 경우 시스템의 사이즈가 증가하여 정찰 로봇같이 실제 작전에 사용되는 소규모 로봇에 탑재하기 어렵다. 이에 본 논문에서는 다른 센서와의 융합 없이 레이더 센서 단독으로 사용할 때의 성능 개선을 위해 레이더 데이터의 노이즈를 제거하는 방법을 제안한다.

본 논문에서 제시하고자 하는 논점은 아래와 같다.

  • ‧ FMCW (Frequency Modulated Continuous Wave) 스캐닝 레이더 센서의 데이터 품질을 높이기 위한 노이즈 제거 알고리즘을 제안하여 단일 레이더 센서의 스캔 정확도를 향상하였다.
  • ‧ 해상도의 증가 및 추가적인 데이터 생성 없이 레이더 센서가 제공하는 기존 데이터만을 이용하여 센서의 성능을 향상하였다.
  • ‧ 노이즈 제거 방법론의 적용이 오도메트리 계산 알고리즘의 성능을 향상하였음을 direct 매칭 기반 및 feature 매칭 기반으로 얻어낸 trajectory를 ground truth와 비교하여 검증하였다.
  • ‧ 노이즈 제거 방법론의 적용이 장소 인식(Place Recognition) 알고리즘의 성능을 향상하였음을 정밀도-재현율(Precision-Recall) 곡선을 통해 검증하였다.

2. 선행 연구 조사

자율주행 기술에 대표적으로 쓰이는 센서 중 하나인 레이더는 레이더의 한 종류로 전파를 내보내는 송신기와 반사된 전파를 받아들이는 수신기, 안테나로 구성 되어있다. FMCW레이더는 일반적인 레이더와 달리 정현파가 아닌 톱니 모양의 변형된 신호를 송수신하여 목표물까지의 거리 및 목표물과의 상대 속도를 측정할 수 있다. 하지만 카메라, 라이다 등의 다른 센서와 다르게 파장이 길고 반사가 잘되는 전파를 사용하기 때문에 측정 거리 및 각도의 해상도가 낮아 데이터의 수가 적은 문제나 다중경로 반사(Multipath Reflection), 수신기 포화(Receiver Saturation)등에 의한 거짓 양성(false positive) 노이즈가 존재한다. 레이더 데이터를 이용한 오도메트리 계산 및 레이더 SLAM을 수행할 때 레이더의 낮은 해상도를 해결할 수 있는 방법론이나 노이즈를 처리할 수 있는 방법론이 반드시 포함되어야 한다.

2.1 레이더 해상도(분해능) 개선

레이더 데이터의 낮은 해상도에 따른 문제를 해결하기 위해 많은 시도가 이루어졌다. Herman et al.[8]은 압축 센싱(Compressed Sensing)을 레이더 신호에 적용하여 고 해상도 이미지를 생성하였고, Zeng et al.[9]은 ASR (Angular Super Resolution) Radar SLAM을 제안하며 압축 센싱으로 얻어낸 고 해상도 이미지를 SLAM에 응용하였다. Fu et al.[10]는 레이더 신호에 푸리에 변환 적용 시 원시(raw) 신호를 복사한 뒤 대칭시켜 추가하는 대칭 패딩(symmetric padding)을 적용하여 낮은 해상도 문제를 해결하였다. Ko et al.[11]은 FMCW 레이더 신호에 새로운 curve fitting 방법을 제안하여 거리 분해능을 개선하였고, Rouveure et al.[12]는 ESPRIT parametric method와 Richardson-Lucy deconvolution을 이용하여 거리 및 각도 분해능을 개선하였다. Sadjadi et al.[13]는 FIR (Finite Impulse Response) 필터를 적용하여 데이터의 해상도를 개선하였다. 최근에는 딥 러닝 기술의 발전과 함께 이를 적용하여 데이터의 품질을 개선하는 방향의 연구가 활발히 진행되고 있다. Geiss et al.[14]은 Dense U-Net을 제안하여 고 해상도의 레이더 이미지를 얻어내었다.

이러한 레이더 데이터의 해상도를 증가하는 방법론들은 데이터의 부족한 정밀도를 보완해준다는 장점이 있지만, 데이터에 포함된 노이즈까지 증강하기 때문에 다중경로 반사나 사이드 로브 등 노이즈에 의한 거짓 양성 데이터의 영향이 증가하여 성능 저하의 원인이 된다. 또한 데이터 재구성에 시간이 오래 걸리기에 실시간성의 보장이 어렵다. 본 연구에서 제안하는 방법은 해상도의 증가 없이 효과적으로 레이더 데이터를 사용할 수 있도록 하기 때문에 노이즈의 영향이 증가하지 않으며, 데이터 증강 또한 필요하지 않다.

2.2 레이더 노이즈 제거

레이더 데이터 자체의 해상도를 높이려는 시도와 더불어 원시 데이터에서 노이즈를 제거하여 타겟에 대한 정확한 정보만 얻어내려는 연구도 활발히 진행되었다. Lee et al.[15]는 상호 간섭 억제 방법(Mutual Interference Suppression Method) 를 적용하여 레이더 신호간 간섭에 의한 노이즈를 제거하였으며 Doğu et al.[16]는 크기가 작은 특이값을 기준으로 노이즈를 제거하는 절단된 특이값 분해(TSVD, Truncated Singular Value Decomposition) 을 레이더 신호에 적용하였다. Lühr et al.[17]은 binary integration 방법을 제안하여 레이더 이미지에서 생기는 노이즈를 제거하였다. Islam과 Chong[18]은 정합 필터(matched filter)기반 wavelet 노이즈 제거 방법론을 제시하였다. 이러한 방법론들은 레이더 데이터에서 노이즈의 영향을 감소시켰지만 데이터의 해상도를 떨어뜨리기에 실제 타겟에 대한 정보까지 감소한다는 단점이 존재하였다.

신경망과 딥 러닝 기술의 발전에 따라 딥 러닝을 사용하는 방법도 제안되었다. Qu et al.[19]와 Li et al.[20]은 노이즈 제거에 오토엔코더(Autoencoder)를 이용하여 일반적인 심층 신경망을 이용할 때보다 성능이 개선되었음을 입증하였다. Du et al.[21]는 노이즈를 포함한 데이터와 노이즈가 없는 데이터를 생성하는 subnetwork를 통해 two-phase training을 진행하는 동시에 물체 구별까지 가능한 DNCNet (Denoising and Classification Network)를 제안하여 노이즈를 제거하였다. Alizadeh et al.[22]는 ResNet 기반의 신경망을 제안하여 노이즈를 제거하였다.

하지만 이와 같이 딥 러닝을 이용하는 경우 학습에 필요한 충분한 데이터가 모이지 않는다면 학습 자체가 불가능하다는 근본적인 한계가 존재하며, 학습에 사용된 데이터와 다른 환경에서 결과는 강인하지 못하다는 단점이 있다. 또한 실제 적용에 앞서 데이터 학습이 선행되어야 하기 때문에 알고리즘 적용 시 실시간성이 보장되지 못한다는 단점 또한 존재한다. 본 연구에서 제안하는 방법은 레이더로 스캔한 극 좌표 상의 이미지와 직교 좌표계 상의 이미지에서 직접 노이즈를 찾아 제거하기 때문에 해상도의 감소 없이 실제 타겟에 대한 정보도 보존되며 추가적인 데이터셋도 필요로 하지 않는다.


3. 연구 방법

본 논문에서는 레이더 이미지에서 노이즈를 제거하는 방법을 제안한다. 전체 과정은 [Fig. 1]에 나타내었다. 3.1절에서 레이더에 나타나는 대표적인 노이즈 종류에 대하여 설명한 뒤 각 노이즈를 제거하는 방법을 이후에 순서대로 나타내었다.

[Fig. 1]

Overview of radar image level denoising method

3.1 레이더 노이즈 종류

스캐닝 레이더 센서에서 발생하는 노이즈는 다양한 종류가 있는데, 이중 스페클(Speckle) 노이즈, 수신기 포화에 의한 노이즈, 다중경로 반사에 의한 노이즈의 3가지 노이즈가 대표적이다.

레이더 센서에서 전파를 송신할 때 송신 방향에 있는 물체에서 전파가 산란되어 여러 방향으로 반사되고 상호 간섭하는데, 이러한 간섭을 통해 산란 전파의 진폭과 위상의 변화가 발생하며 수신 데이터에서 스페클 노이즈로서 나타난다. 스페클 노이즈는 반사되는 표면이 거칠거나 주변에 물체가 많을수록 잘 나타나는데, 도심 환경에서는 건물 등의 시가지 구조물, 자연 환경에서는 나무나 풀에 의해 주로 발생한다. 이 때 산란에 의해 전파의 에너지가 분산되어 수신기에서 검출되는 세기가 작아지기 때문에 스페클 노이즈는 레이더 이미지 상에서 신호의 잡음과 같은 형태로 검출된다.

수신기 포화는 레이더 수신기의 작동범위를 초과하는 신호에 노출되어 수신 신호를 정확하게 처리할 수 없는 현상을 의미한다. 수신기 포화가 일어난 방향에서의 수신 신호는 거리 및 주위 환경의 특성과 관계없이 세기가 거의 동일하게 형성되기 때문에 레이더 이미지 상에서 중심으로부터 뻗어 나가는 직선 형태로 검출된다.

다중경로 반사 현상은 전파를 송신한 후 타겟에 반사되어 돌아오는 전파를 분석하여 타겟에 대한 정보를 판단하는 레이더의 특성 때문에 주위의 반사면들에 의해 타겟에 도달하는 전파 경로의 수가 둘 이상인 경우를 의미한다.

레이더 이미지상에서 각 노이즈가 나타나는 형상은 [Fig. 2]에 나타내었다.

[Fig. 2]

(a) Raw radar image. (b) Radar noise types in scanning radar image: speckle noise, receiver saturation noise, multipath reflection noise

3.2 스페클 노이즈와 수신기 포화에 의한 노이즈 제거

이전까지는 스페클 노이즈와 수신기 포화에 의한 노이즈의 영향을 줄이기 위해 전체 레이더 데이터에 대해 동일한 intensity threshold를 설정하여 노이즈를 제거하는 방법이 주로 사용되었다. 다양한 intensity threshold에 따른 레이더 이미지에서 노이즈 제거 정도는 [Fig. 3]에 나타내었다. 이처럼 위치 및 방향에 관계없이 intensity threshold를 일정하게 적용하는 경우, 전파 송신 방향에 따른 환경의 특성을 반영하지 못하기 때문에 [Fig. 3]에서 볼 수 있듯 중요한 feature의 손실이 발생하거나, 노이즈를 제대로 제거하지 못하는 경우가 존재한다.

[Fig. 3]

Radar images with different intensity threshold values. (a) is an original image, (b) is an image with low threshold, (c) is an image with high threshold, (d) is an image with our proposed threshold. The proposed method efficiently removes speckle noise and receiver saturation

이에 본 논문에서는 송신 방향 별 레이더 신호의 통계적 특성을 반영하면서 중요 정보의 손실이 적은 intensity threshold를 설정하기 위해 레이더 feature 검출 알고리즘인 Cell-Averaging Constant False Alarm Rate (CA-CFAR)[23]의 알고리즘과 결합하여 intensity threshold를 설정하는 방법을 제안한다. CA-CFAR 알고리즘은 검출된 레이더 신호의 세기가 주변 세기의 평균값보다 큰 경우 의미 있는 feature라고 판단하는 알고리즘이며 i번째 신호 세기 qi가 feature인지에 대한 threshold는 식 (1)과 같이 정의한다.

TCA-CFAR=1Ln=i-L/2i+L/2qn-qi(1) 

각 방위각 별 1차원 신호에 대하여 CA-CFAR 알고리즘을 통해 TCA-CFAR를 계산한 후 신호 전체의 통계적 특성을 반영할 수 있는 값인 Ttot 중 큰 값으로 intensity threshold를 동적으로 설정하였다. Ttot은 1차원 신호의 전체 평균 μ와 표준편차 σ를 통해 계산한 값인 μ+을 선택하였다. 이 때 k는 비례 상수이다.

3.3 다중경로 반사에 의한 허상 제거

레이더 신호에서 다중경로 반사에 의해 실제 타겟의 위치가 아닌, 다른 위치에도 타겟이 있다고 검출되는데, 이를 허상(false image)[24]이라 하며 레이더 신호를 분석함에 있어 어려움을 주는 요인 중 하나이다. 레이더 데이터를 취득하는 주변 환경의 형태나 재질에 따라 전파의 반사가 다르게 나타나기 때문에 발생하는 정도의 차이는 있지만 다중경로 반사는 주변에 장애물이 있는 모든 환경에서 발생하며 정확한 결과를 얻기 위해서는 이로 인해 발생하는 허상을 제거하는 것이 필요하다.

다중경로에 의한 허상의 위치는 다음과 같이 나타낼 수 있다. 센서와의 거리가 r이고 방위각이 t인 물체(O1) 방향으로 송신된 전파가 O1에서 반사되어 나가는 전파의 경로 상에 또 다른 물체(O2)가 존재하는 경우에 O1, O2사이의 거리를 d라 하면 방위각이 t이고 거리가 r+d인 위치에 실제로는 물체가 존재하지 않지만 그 위치에서 반사 전파가 수신되었다고 판단하여 허상이 나타난다. [Fig. 4]에 다중경로 반사에 의한 허상의 가능한 위치를 표현하였고 실제 데이터에서 나타나는 다중경로 반사에 의한 허상은 [Fig. 2]에 나타내었다.

[Fig. 4]

Location of false image generated by multipath reflection in environment. O1 is the location of real object, and false image is generated by multipath reflection at O2

본 논문에서는 다중경로 반사에 의한 허상을 제거하기 위해 다음의 과정을 제안한다. 우선 3.2에서 노이즈를 제거한 후 각 방위각에 대한 레이더 1차원 신호에 대해 연속 웨이블릿 트랜스폼(Continuous Wavelet Transform)을 적용하여 피크를 포함한 신호 구간들로 나누었다. 웨이블릿 트랜스폼 함수는 식 (2)에 나타내었다.

Ta,b=1a-xtψ*t-badt(2) 

이후 전파가 진행하면서 만난 표면에서 모든 방향으로 난반사가 일어난다고 가정하여 [Fig. 4]와 같이 다중경로 반사에 의한 허상이 존재할 수 있는 위치를 계산하였다. 해당 위치를 포함한 구간의 신호 fmr이 실제 물체의 위치를 포함한 구간의 신호 fori와 유사한 경우를 다중경로 반사에 의한 허상으로 판단하여 제거하였다. 연속 웨이블릿 트랜스폼을 적용한 레이더 신호 forifmr의 형태 유사성은 fori의 최대 피크 세기가 fmr의 최대 피크 세기보다 크면서 두 구간의 신호 비유사도가 일정 값보다 작은 경우로 판단하였다. 신호의 반사가 진행될수록 신호의 세기는 일정한 비율로 감소하지만 그 형태는 유지될 것이기 때문에 신호 구간별 세기를 정규화한 후 피크 세기를 비교하였으며, 이에 따라 신호 구간 사이의 비유사도는 식 (3)과 같이 정의하였다.

 dissimilarity =1lenfori ×fori -minfori maxfori -minfori -fmr-minfmrmaxfmr-minfmr2(3) 

3.4 레이더 이미지 Reconstruction

3.2와 3.3의 과정을 통해 노이즈를 제거하면 [Fig. 5]의 (a)에서 확인할 수 있듯이 실제로 물체가 존재하는 위치까지 제거되는 경우가 존재하는데, 이는 주위 환경의 특성 정보가 손실된다는 점을 의미하며 오히려 환경 인식의 정확도가 감소한다는 문제가 발생한다. 이를 해결하기 위해 intensity threshold를 적용한 후의 데이터를 이용하여 만든 직교 좌표계 상의 이미지에서 주변의 벽면이나 건물 등의 형상에 대한 모델링을 진행한 후 해당 모델에 대해 노이즈가 제거된 이미지에서 reconstruction을 진행해주었다.

[Fig. 5]

Process and result of reconstruction on radar image. (a) Result of Canny Edge Detector. (b) Reconstruction candidate detected from convex hull contours. (c) Before reconstruction, wall plane is separated in two parts. (d) After reconstruction, wall plane is restored to its original shape

직교 좌표계 상의 레이더 이미지는 BEV (Bird Eye View)로 나타나기 때문에 건물 벽과 같은 2차원 면이 레이더 이미지 상에서는 1차원 선으로 표현된다. 이를 검출하기 위해 우선 3.2에서 노이즈를 제거한 이미지에서 Canny Edge Detector[25]를 이용하여 레이더 이미지의 edge 정보를 얻어내었다. 검출된 edge를 둘러싸는 contour를 찾은 후 가까이 있는 contour들은 하나로 병합하여 합쳐진 contour에 대한 convex hull을 계산하였다. [Fig. 5]에 Canny Edge Detector의 결과와 convex hull을 통해 검출된 영역을 표시하였다. 각각의 convex hull이 둘러싼 영역에 대해 Hough Transform[26]을 적용하여 모델링하였고, 검출된 모델의 양 끝점과 센서 중심을 이은 선 사이 각도가 30°이상이면서 그 길이가 충분히 긴 경우에만 reconstruction에 사용할 수 있는 모델이라 판단하였다. Reconstruction을 진행하기 전과 후의 결과는 [Fig. 5]에 나타내었다. Reconstruction을 진행한 이후의 이미지에서 다중경로 반사에 의한 허상 제거 과정으로 인해 끊어진 벽면이 다시 연결된 모습을 확인하였다.


4. 실험 및 결과

4.1 평가 데이터셋 및 방법

평가에 활용한 데이터는 레이더 오도메트리의 성능 평가를 위한 데이터셋인 Oxford RobotCar Dataset[27]과 레이더 오도메트리 및 장소 인식 성능 평가를 위한 데이터셋인 MulRan[28]을 사용하였다.

Oxford 데이터셋은 76-77 GHz의 주파수를 가지는 Navtech 사의 CTS350-X 모델 레이더를 이용한 오픈 데이터셋이다. CTS350-X 모델의 최대 감지 거리는 163 m이고, 거리 분해능은 0.0432 m, 방위각 분해능은 0.9°이다. 센서는 4 Hz로 회전하며 주위를 스캔하고, 한 스캔 당 400개의 방위각, 3768개의 거리 범위에 따른 데이터가 극 좌표 이미지로 얻어진다. 레이더 데이터의 ground truth는 GPS를 이용하여 측정하였으며 영국 Oxford의 도심에 대한 데이터를 포함하고 있다.

MulRan 데이터셋은 76-77 GHz의 주파수를 가지는 Navtech 사의 CIR204-H 모델 레이더를 사용한 오픈 데이터셋이다. CIR204-H 모델의 최대 감지 거리는 200 m이며 거리 분해능은 0.06 m, 방위각 분해능은 0.9°이다. 또한 4 Hz로 회전하며 주위를 스캔한다. 한 스캔 당 400개의 방위각, 3360개의 거리 범위에 따른 데이터가 극 좌표 이미지로 얻어진다. 레이더 데이터의 ground truth는 GPS를 이용하여 측정하였으며 대전 컨벤션 센터(DCC), 카이스트(KAIST), Riverside 지역에 대한 데이터를 포함하고 있다.

본 논문에서 제안한 노이즈 제거 방법론의 성능을 평가하기 위해 오도메트리와 장소 인식 알고리즘에 적용하여 성능 개선 정도를 비교하였다. 오도메트리 및 장소 인식 평가에 사용한 알고리즘 및 자세한 실험 방법은 각각 4.2, 4.3절에 자세히 나타내었다.

4.2 오도메트리 성능 평가

노이즈 제거 모듈의 적용에 대한 오도메트리 알고리즘의 성능 검증을 위해 노이즈 제거 모듈을 적용하기 전과 후에서 오도메트리를 통해 추정한 경로의 정확도를 비교하였다. 성능 평가에는 direct 매칭 기반의 레이더 오도메트리 알고리즘인 PhaRaO[29]를 이용하였다. 실험은 오도메트리를 위한 데이터셋인 MulRan 데이터셋과 Oxford 데이터셋에서 진행하였으며, 노이즈 제거에 사용한 파라미터 k는 각각 DCC, KAIST, Oxford 시퀀스는 2.5, Riverside 시퀀스는 2로 설정하였다. 추정한 경로와 주어진 ground truth 경로를 비교하였다. 경로의 정확도는 [30,31]에서 제안한 절대 경로 오차(ATE, Absolute Trajectory Error)와 상대 자세 오차(RPE, Relative Pose Error)를 비교하여 평가하였다. 경로의 시작 위치는 ground truth와 동일하게 정렬 후 비교하였다. 계산한 경로 및 오차는 [Fig. 6] 및 [Table 1]에 나타내었다.

[Fig. 6]

Evaluation of odometry; (a) DCC, (b) KAIST, (c) Riverside, (d) Oxford sequences. Results of original PhaRaO is shown in red line, results of “nr PhaRaO”, which means “noise removed PhaRaO”, is shown in blue line. Ground truth of trajectory is shown in black line

Absolute trajectory errors and relative pose errors with and without noise removal (RMSE in meters). Both ATE and RPE decrease after noise removal

실험 결과로부터 노이즈 제거 모듈을 적용한 이후 절대 경로 오차 및 상대 오차의 RMSE 값이 감소하였다는 사실을 확인하였다. 특히 [Fig. 6]에서 확인할 수 있듯이 노이즈를 제거하기 이전에는 PhaRaO 방법론 적용 시 회전에서 큰 오차가 생겨 DCC와 같이 회전이 많은 시퀀스에서 경로가 틀어진 모습을 보인 반면 노이즈 제거 이후에는 회전 오차가 감소하였다.

Direct 매칭 기반의 오도메트리 계산 알고리즘은 데이터에서 유의미한 feature를 추출하여 사용하는 feature 매칭 기반의 정합 방법과는 달리 원시 데이터를 그대로 사용하기 때문에 알고리즘의 성능이 데이터의 품질에 영향을 받으며 direct 매칭 기반 오도메트리 알고리즘의 성능이 개선된 점을 통해 제안한 방법론이 데이터에서 노이즈가 잘 제거함을 검증하였다.

4.3 장소 인식 성능 평가

본 논문에서 제안한 노이즈 제거 모듈의 적용에 대한 장소 인식 알고리즘의 성능 검증을 위해 노이즈 제거 모듈을 적용하기 전과 후의 데이터에 대한 장소 인식의 정확도를 평가하였다. 장소 인식을 위한 알고리즘은 주위 환경에 대한 레이더 신호 세기를 기반으로 descriptor를 생성하는 Radar Scan Context[28,32]을 이용하였다. 장소 인식 알고리즘의 성능은 정밀도-재현율 곡선[33]을 이용하여 비교하였으며 실험은 장소 인식을 위한 데이터셋인 MulRan 데이터셋을 사용하였다. 레이더 센서의 데이터 해상도가 낮기 때문에 Scan Context descriptor의 크기는 20×60 (4 m, 6°)으로 설정하였으며 descriptor 간의 거리가 8 m 이하일 경우 재방문으로 판단하였다.

정밀도-재현율 곡선은 [Fig. 7]에 나타내었으며 [Table 2]는 정밀도-재현율 곡선의 AUC (Area Under Curve)및 F1 score를 계산한 결과이다. 실험 결과 노이즈 제거 모듈을 적용하였을 때 대부분 AUC및 F1 score가 증가함을 확인하였다. 장소 인식을 위해 descriptor를 생성할 때 원시 데이터를 전처리 없이 이용하면 데이터에 포함된 노이즈가 descriptor에 포함되어 알고리즘 성능 하락의 원인이 된다. 즉, 정확한 장소 인식을 위해서는 descriptor 생성 이전에 불필요한 노이즈를 제거하는 과정이 필요하다. 본 연구에서 제안한 방법을 적용한 후 생성한 descriptor는 주위 환경의 기하학적 특성만을 반영하기 때문에 알고리즘의 변화 없이도 노이즈 제거만으로 AUC와 F1 score가 증가하는 효과를 확인하였으며, 이는 본 연구에서 제안한 방법론을 통해 데이터에서 노이즈가 잘 제거되었음을 나타낸다. Riverside 시퀀스의 경우 성능 개선 정도가 미미하였는데, 이는 센서가 위치한 높이의 2차원 평면에 대한 데이터만을 취득하는 스캐닝 레이더 센서의 특징과 강 주위 도로 환경인 Riverside 시퀀스의 특징이 합쳐져 데이터 자체의 밀도가 낮고 노이즈가 상대적으로 적기 때문이다.

[Fig. 7]

Precision-recall curve in MulRan dataset; (a) DCC, (b) KAIST, (c) Riverside sequence. “SC” means “Original Scan Context” (red line), “nr SC” means “noise removed Scan Context” (blue line). With the proposed method, the precision at high recalls is improved in Scan Context. The place recognition results obtained by noise removed data are substantially superior to those without noise removal

AUC and F1 score with and without proposed noise removal algorithm. AUC and F1 scores are increased in most sequences, which indicates that place recognition performance improved

4.4 노이즈가 레이더 feature에 주는 영향

오도메트리를 계산하는 알고리즘은 크게 feature 매칭 기반 방법론과 direct 매칭 기반 방법론으로 나눌 수 있다. Feature 매칭 기반 방법론은 데이터에서 노이즈에 강건한 feature를 추 출하여 이를 기반으로 오도메트리를 계산하며, direct 매칭 기반 방법론은 전체 데이터를 이용하여 그 사이의 관계를 찾아 오도메트리를 계산한다. 본 논문에서 제안한 노이즈 제거 모듈을 결합한 feature 매칭 기반 방법론의 오도메트리[34,35] 계산 결과는 [Fig. 8]에 나타내었으며 절대 경로 오차와 상대 자세 오차는 [Table 3]에 나타내었다. Feature 매칭 기반 방법론과의 비교는 Oxford 시퀀스에서만 진행하였는데, 이는 feature 매칭 기반 오도메트리 알고리즘에 대해 Oxford 시퀀스에 최적화된 매개변수의 값이 알려져 있기 때문이다. MulRan 데이터셋에서 feature 매칭 기반 오도메트리 결과를 비교하려면 각 매개변수의 값을 새롭게 최적화해야 하는데, 도출해낸 결과가 최적의 결과일 것이라는 보장을 할 수 없기에 제외하였다.

[Fig. 8]

Radar trajectories of oxford sequence calculated by feature-based and direct -based method. After noise removal, accuracy of both feature matching based odometry and direct matching based odometry have improved

Absolute trajectory errors and relative pose errors with and without noise removal in feature matching based odometry (RMSE in meters). Cen means feature matching based odometry algorithm

실험 결과 feature 매칭 기반 방법론에 대해서도 노이즈 제거 알고리즘에 의한 성능 개선을 확인할 수 있다. Feature 매칭 기반 방법론의 feature 추출 알고리즘은 주위 환경을 잘 나타낼 수 있는 feature의 추출을 주 목표로 한다. 노이즈가 없는 데이터에서 feature를 추출하는 경우 [Fig. 9]와 같이 거짓 데이터에서 추출되는 feature의 비율이 줄어들기 때문에 feature의 질이 향상된다. 노이즈 제거 전 후의 매칭 inlier를 [Fig. 10]에 나타내었다. 이와 같이 개선된 feature의 질은 매칭 inlier에 포함되는 거짓 데이터의 수를 줄이며 feature 매칭 기반 알고리즘의 성능 향상을 불러온다. 다만 feature 매칭 기반 알고리즘의 성능 개선 정도가 direct 매칭 기반 방법론보다 낮음을 볼 때 본 논문에서 제안한 노이즈 제거 알고리즘은 direct 매칭 기반의 방법론과 결합하였을 때 유의미한 성능 향상을 불러옴을 알 수 있다.

[Fig. 9]

Radar feature (a) before noise removal (b) after noise removal. False images (yellow circle) are not included in detected radar feature after noise removal

[Fig. 10]

Matching inliers of radar feature (a) before noise removal (b) after noise removal. In (b), false images (yellow circle) are not included in detected matching inliers after noise removal


5. 결 론

본 논문에서는 FMCW 스캐닝 레이더의 노이즈를 제거하는 알고리즘을 도입하였다. 이 알고리즘은 레이더 이미지에서 노이즈에 의한 데이터를 제거하여 품질이 개선된 레이더 이미지를 생성하며 장애물들의 변화가 많은 시가지 환경에서도 강건하게 노이즈를 제거함을 확인하였다. 오도메트리 및 장소 인식과 같이 센서 데이터를 이용하는 응용분야에서도 원시 데이터를 이용했을 때 보다 제안한 노이즈 제거 모듈을 적용했을 때 더 적은 오차를 가짐을 오픈 데이터셋에서의 실험을 통해 입증하였다. 특히 오도메트리의 경우 데이터 자체의 정확도에 직접적인 영향을 받는 direct 매칭 기반 오도메트리 계산 알고리즘의 정확도가 유의미하게 개선되는 점을 확인하였다. 본 연구를 통해 레이더의 노이즈를 제거하여 단일 레이더 센서의 성능을 개선하였고 센서 퓨전 없이 단독으로 사용해도 높은 정확도를 얻어낼 수 있음을 보여주었다. 향후 3D motion에 FMCW 스캐닝 레이더를 적용하기 위해서는 레이더를 통해 계산한 ego-velocity와 융합하여 z방향으로의 움직임도 추가하여 2D 스캐닝 레이더의 한계를 해결하는 연구를 필요로 한다.

Acknowledgments

This study is a part of the research project, “Development of core machinery technologies for autonomous operation and manufacturing (NK242H)”, which has been supported by a grant from National Research Council of Science & Technology under the R&D Program of Ministry of Science, ICT and Future Planning

References

  • F. Schuster, C. G. Keller, M. Rapp, M. Haueis, and C. Curio, “Landmark based radar SLAM using graph optimization,” International Conference on Intelligent Transportation, Rio de Janeiro, Brazil, 2016. [https://doi.org/10.1109/ITSC.2016.7795967]
  • J. W. Marck, A. Mohamoud, E. v. Houwen, and R. v. Heijster, “Indoor radar slam a radar application for vision and gps denied environments,” IEEE European Radar Conference, Nuremberg, Germany, pp. 471-474, 2013, [Online], https://ieeexplore.ieee.org/document/6689216, .
  • H. Lee, J. Chun, and K. Jeon, “Experimental Results and Posterior Cramér–Rao Bound Analysis of EKF-Based Radar SLAM With Odometer Bias Compensation,” IEEE Transactions on Aerospace and Electronic Systems, vol. 57, no. 1, pp. 310-324, Feb., 2021. [https://doi.org/10.1109/TAES.2020.3016873]
  • N. Mandischer, S. C. Eddine, M. Huesing, and B. Corves, “Radar Slam for Autonomous Indoor Grinding,” IEEE National Conference on Radar, Florence, Italy, pp. 1-6, 2020. [https://doi.org/10.1109/RadarConf2043947.2020.9266541]
  • Y. S. Park, Y.-S. Shin, and A. Kim, “3D ego-Motion Estimation Using low-Cost mmWave Radars via Radar Belocity Factor for Pose-Graph SLAM,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7691-7698, Oct., 2021. [https://doi.org/10.1109/LRA.2021.3099365]
  • Z. Hong, Y. Petillot, and S. Wang, “RadarSLAM: Radar based Large-Scale SLAM in All Weathers,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Las Vegas, USA, pp. 5164-5170, 2020. [https://doi.org/10.1109/IROS45743.2020.9341287]
  • J. Callmer, D. Tornqvist, F. Gustaffson, H. Svensson, and P. Carlbom, “Radar SLAM using visual features,” EURASIP Journal on Advances in Signal Processing, vol. 71, Sept., 2011. [https://doi.org/10.1186/1687-6180-2011-71]
  • M. A. Herman and T. Strohmer, “High-Resolution Radar via Compressed Sensing,” IEEE Transactions on Signal Processing, vol. 57, no. 6, pp. 2275-2284, Jun., 2009. [https://doi.org/10.1109/TSP.2009.2014277]
  • Z. Zeng, X. Dang, Y. Li, X. Bu, and X. Liang, “Angular Super-Resolution Radar SLAM,” IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Prague, Czech Republic, pp. 5456-5461, 2021. [https://doi.org/10.1109/IROS51168.2021.9636438]
  • M. F. Fu, O. C. Au, and W. C. Chan, “Low-band-shift (LBS) motion estimation with symmetric padding in wavelet domain,” IEEE International Symposium on Circuits and Systems (ISCAS), Phoenix-Scottsdale, USA, 2002. [https://doi.org/10.1109/ISCAS.2002.1010148]
  • H.-H. Ko, K.-W. Cheng, and H.-J. Su, “Range resolution improvement for FMCW radars,” European Radar Conference (EURAD), Amsterdam, Netherlands, pp. 352-355, 2008, [Online], https://ieeexplore.ieee.org/abstract/document/4760874, .
  • R. Rouveure, P. Faure, M. Jaud, M. O. Monod, and L. Moiroux-Arvis, “Distance and angular resolutions improvement for a ground-based radar imager,” IEEE International Radar Conference, Lille, France, 2014. [https://doi.org/10.1109/RADAR.2014.7060456]
  • F. Sadjadi, “Radar beam sharpening using an optimum FIR filter,” Circuits, Systems and Signal Process, vol. 19, pp. 121-129, Mar., 2000. [https://doi.org/10.1007/BF01212466]
  • A. Geiss, and J. C. Hardin, “Radar Super Resolution Using a Deep Convolutional Neural Network,” Journal of Atmospheric and Oceanic Technology, vol. 37, no. 12, pp. 2197-2207, Dec., 2020. [https://doi.org/10.1175/JTECH-D-20-0074.1]
  • S. Lee, J.-Y. Lee, and S.-C. Kim, “Mutual Interference Suppression Using Wavelet Denoising in Automotive FMCW Radar Systems,” IEEE Transactions on Intelligent Transportation Systems, vol. 22, no. 2, pp. 887-897, Feb., 2021. [https://doi.org/10.1109/TITS.2019.2961235]
  • S. Doğu, M. N. Akıncı, M. Çayören, and İ. Akduman, “Truncated singular value decomposition for through‐the‐wall microwave imaging application,” IET Microwaves, Antennas & Propagation, vol. 14, no. 4, pp. 260-267, Mar., 2020. [https://doi.org/10.1049/iet-map.2019.0677]
  • Lühr, Daniel and M. Adams, “Radar Noise Reduction Based on Binary Integration,” IEEE Sensors Journal, vol. 15, no. 2, pp. 766-777, Feb., 2015. [https://doi.org/10.1109/JSEN.2014.2352295]
  • M. S. Islam and U. Chong, “Noise reduction of continuous wave radar and pulse radar using matched filter and wavelets,” EURASIP Journal on Image and Video Processing, vol. 43, pp. 1-9, Aug., 2014. [https://doi.org/10.1186/1687-5281-2014-43]
  • Z. Qu, X. Mao, and Z. Deng, “Radar Signal Intra-Pulse Modulation Recognition Based on Convolutional Denoising Autoencoder and Deep Convolutional Neural Network,” IEEE Access, vol. 7, pp. 112339-112347, Aug., 2019. [https://doi.org/10.1109/ACCESS.2019.2935247]
  • X. Li, Z.-M. Liu, and Z. Huang, “Denoising of Radar Pulse Streams With Autoencoders,” IEEE Communications Letters, vol. 24, no. 4, pp. 797-801, Apr., 2020. [https://doi.org/10.1109/LCOMM.2020.2967365]
  • M. Du, P. Zhong, X. Cai, and D. Bi, “DNCNet: Deep Radar Signal Denoising and Recognition,” IEEE Transactions on Aerospace and Electronic Systems, vol. 58, no. 4, pp. 3549-3562, Aug., 2022. [https://doi.org/10.1109/TAES.2022.3153756]
  • M. Alizadeh, M. Chavoshi, A. Samir, A. M. Hegazy, A. Bahri, M. Basha, and S. Safavi-Naeini, “Experimental Deep Learning Assisted Super-Resolution Radar Imaging,” European Radar Conference (EURAD), London, United Kingdom, 2022. [https://doi.org/10.23919/EuRAD50154.2022.9784470]
  • M. Weiss, “Analysis of Some Modified Cell-Averaging CFAR Processors in Multiple-Target Situations,” IEEE Transactions on Aerospace and Electronic Systems, vol. AES-18, no. 1, pp. 102-114, Jan., 1982. [https://doi.org/10.1109/TAES.1982.309210]
  • M. Adams, E. Jose, and B.-N. Vo, “Sources of Uncertainty in Radar,” Robotic navigation and mapping with radar, Artech, 2012, ch.2, sec. 2.7, pp. 58-68, [Online], https://ieeexplore.ieee.org/abstract/document/9100374, .
  • P. Bao, L. Zhang, and X. Wu, “Canny edge detection enhancement by scale multiplication,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 27, no. 9, pp. 1485-1490, Sept., 2005. [https://doi.org/10.1109/TPAMI.2005.173]
  • J. Illingworth and J. Kittler, “A survey of the Hough transform,” Computer vision, graphics, and image processing, vol. 44, no.1, pp. 87-116, Oct., 1988. [https://doi.org/10.1016/S0734-189X(88)80033-1]
  • D. Barnes, M. Gadd, P. Murcutt, P. Newman, and I. Posner, “The Oxford Radar Robotcar Dataset: A Radar Extension to the Oxford Robotcar Dataset,” IEEE International Conference on Robotics and Automation (ICRA), Paris, France, pp. 6433-6438, 2020. [https://doi.org/10.1109/ICRA40945.2020.9196884]
  • G. Kim, Y. S. Park, Y. Cho, J. Jeong, and A. Kim, “Mulran: Multimodal Range Dataset for Urban Place Recognition,” IEEE International Conference on Robotics and Automation (ICRA), Paris, France, pp. 6246-6253, 2020. [https://doi.org/10.1109/ICRA40945.2020.9197298]
  • Y. S. Park, Y.-S. Shin, and A. Kim, “PhaRao: Direct Radar Odometry using Phase Correlation,” IEEE International Conference on Robotics and Automation (ICRA), Paris, France, pp. 2617-2623, 2020. [https://doi.org/10.1109/ICRA40945.2020.9197231]
  • MichaelGrupp/evo, [Online], https://github.com/MichaelGrupp/evo, , Accessed: Apr. 24, 2023.
  • Z. Zhang and D. Scaramuzza, “A Tutorial on Quantitative Trajectory Evaluation for Visual(-Inertial) Odometry,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 7244-7251, 2018. [https://doi.org/10.1109/IROS.2018.8593941]
  • G. Kim and A. Kim, “Scan Context: Egocentric Spatial Descriptor for Place Recognition Within 3D Point Cloud Map,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 4802-4809, 2018. [https://doi.org/10.1109/IROS.2018.8593953]
  • S. Lowry, N. Sünderhauf, P. Newman, J. J. Leonard, D. Cox, P. Corke, and M. J. Milford, “Visual Place Recognition: A Survey,” IEEE Transactions on Robotics, vol. 32, no. 1, pp. 1-19, Feb., 2016. [https://doi.org/10.1109/TRO.2015.2496823]
  • S. H. Cen and P. Newman, “Precise Ego-Motion Estimation with Millimeter-Wave Radar Under Diverse and Challenging Conditions,” IEEE International Conference on Robotics and Automation (ICRA), pp. 6045-6052, Brisbane, Australia, 2018. [https://doi.org/10.1109/ICRA.2018.8460687]
  • S. H. Cen and P. Newman, “Radar-only ego-motion estimation in difficult settings via graph matching,” IEEE International Conference on Robotics and Automation (ICRA), Montreal, Canada, pp. 298-304, 2019. [https://doi.org/10.1109/ICRA.2019.8793990]
양 우 성

2022 서울대학교 기계공학과(학사)

2023~현재 서울대학교 공과대학 기계공학부 석사과정 재학 중

관심분야: Radar SLAM, LiDAR SLAM

전 명 환

2017 광운대학교 로봇학부(학사)

2020 KAIST 로봇공학제(석사)

2023 KAIST 로봇공학제(박사)

2023~현재 정밀기계설계공동연구소 박사후연구원

관심분야: Robot vision, Pose Estimation

김 아 영

2005 서울대학교 기계항공공학과(공학사)

2007 서울대학교 기계항공공학전공(공학석사)

2012 미시간대학교 기계공학전공(공학박사)

2014~2021 한국과학기술원 건설및환경공학과 부교수

2021~현재 서울대학교 공과대학 기계공학부 부교수

관심분야: 영상기반 SLAM

[Fig. 1]

[Fig. 1]
Overview of radar image level denoising method

[Fig. 2]

[Fig. 2]
(a) Raw radar image. (b) Radar noise types in scanning radar image: speckle noise, receiver saturation noise, multipath reflection noise

[Fig. 3]

[Fig. 3]
Radar images with different intensity threshold values. (a) is an original image, (b) is an image with low threshold, (c) is an image with high threshold, (d) is an image with our proposed threshold. The proposed method efficiently removes speckle noise and receiver saturation

[Fig. 4]

[Fig. 4]
Location of false image generated by multipath reflection in environment. O1 is the location of real object, and false image is generated by multipath reflection at O2

[Fig. 5]

[Fig. 5]
Process and result of reconstruction on radar image. (a) Result of Canny Edge Detector. (b) Reconstruction candidate detected from convex hull contours. (c) Before reconstruction, wall plane is separated in two parts. (d) After reconstruction, wall plane is restored to its original shape

[Fig. 6]

[Fig. 6]
Evaluation of odometry; (a) DCC, (b) KAIST, (c) Riverside, (d) Oxford sequences. Results of original PhaRaO is shown in red line, results of “nr PhaRaO”, which means “noise removed PhaRaO”, is shown in blue line. Ground truth of trajectory is shown in black line

[Fig. 7]

[Fig. 7]
Precision-recall curve in MulRan dataset; (a) DCC, (b) KAIST, (c) Riverside sequence. “SC” means “Original Scan Context” (red line), “nr SC” means “noise removed Scan Context” (blue line). With the proposed method, the precision at high recalls is improved in Scan Context. The place recognition results obtained by noise removed data are substantially superior to those without noise removal

[Fig. 8]

[Fig. 8]
Radar trajectories of oxford sequence calculated by feature-based and direct -based method. After noise removal, accuracy of both feature matching based odometry and direct matching based odometry have improved

[Fig. 9]

[Fig. 9]
Radar feature (a) before noise removal (b) after noise removal. False images (yellow circle) are not included in detected radar feature after noise removal

[Fig. 10]

[Fig. 10]
Matching inliers of radar feature (a) before noise removal (b) after noise removal. In (b), false images (yellow circle) are not included in detected matching inliers after noise removal

[Table 1]

Absolute trajectory errors and relative pose errors with and without noise removal (RMSE in meters). Both ATE and RPE decrease after noise removal

Sequence DCC KAIST Riverside Oxford
Path Length 4273.4 2018.5 6612.6 4457.6
ATE PhaRaO 52.017 52.938 82.231 86.511
nr PhaRaO 31.306 31.342 73.160 39.540
RPE PhaRaO 14.048 10.432 15.263 13.733
nr PhaRaO 13.347 10.214 12.735 13.363

[Table 2]

AUC and F1 score with and without proposed noise removal algorithm. AUC and F1 scores are increased in most sequences, which indicates that place recognition performance improved

Sequence Method AUC F1 score
DCC SC 0.960 0.885
nr SC 0.967 0.903
KAIST SC 0.991 0.979
nr SC 0.996 0.988
Riverside SC 0.945 0.894
nr SC 0.947 0.890

[Table 3]

Absolute trajectory errors and relative pose errors with and without noise removal in feature matching based odometry (RMSE in meters). Cen means feature matching based odometry algorithm

Sequence Oxford
ATE Cen 83.005
nr Cen 58.809
RPE Cen 11.641
nr Cen 11.452