모바일 자율 주행 로봇의 지면 표현을 위한 확장된 적응형 역투영 맵핑 방법

1. 서 론

최근 다양한 목적을 위해 자율 플랫폼에 대한 많은 연구가 이루어지고 있다. 자율주행을 위해 높은 성능의 localization은 매우 중요하며 카메라, LiDAR, GPS 기반의 여러 방법이 있다. 하지만 비용 절감과 실내와 같이 GPS 음영 구역을 고려하면 카메라 기반의 localization 연구가 필요하며 모바일 로봇에서는 이런 카메라 기반의 방법이 주로 적용되고 있다.

특히, 도심환경에서는 플랫폼이 주행하는 지면에 많은 정보가 존재하기 때문에 자율주행, 위치 인식, 경로 계획 등 지면정보를 활용하는 연구들이 많은 관심을 받고 있다. 더불어 지면 정보를 연구는 기존 visual 기반 방법이 가지는 원근, 조명, 외관 변화 등의 제약 조건에서 강력하다는 장점이 있다. Road-SLAM^[1]의 경우 도로 환경에서 지면 정보를 역투영하여 도로 표식 및 차선 기반의 의미 지도를 만들어 도로의 여러 정보를 mapping에 활용하는 연구를 진행했다. 또한, Semantic segmentation 기법을 함께 적용해 의미 지도 상에서 자기 차량의 위치를 인식하는 연구도 제안하였다. AVP-SLAM^[2]의 경우 지하주차장에서의 SLAM을 위해 지면 정보를 역투영하여 주차장에 존재하는 semantic feature를 추출했다. 추가로 [3]은 도로 표식기반 희소 집합을 통해 lightweight맵을 제작하고 카메라의 6-DoF pose 추정에 이용하였으며, [4]는 도로 표식을 instance-level로 parameterization하여 localization 및 mapping을 시도했다.

이렇듯 여러 도심환경에서 로봇의 주행을 위해 지면 정보를 다양한 방법으로 활용하고 있다. 지면 정보를 효율적으로 활용하기 위해서는 Inverse Perspective Mapping(IPM)이 필수적이며, 특히 IPM의 경우 도로와 로봇에 장착된 카메라의 각도가 일정한 것을 전제로 하기 때문에 이동하는 로봇의 경우 주변 환경과 로봇의 자세를 반영할 수 있는 적응형 알고리즘이 필수적이다. 본 연구에서는 실제 도심환경에서 로봇에 적용하기 위해 다음과 같은 Contribution을 가지는 연구를 제안했다.

• • 도심환경에서 로봇의 자세 변화를 보정할 수 있는 확장된 지면 정보 역투영 기술을 제안
• • 제안된 IPM 모델은 카메라의 초기 자세를 반영하여 지면 정보 취득의 효율성을 고려
• • 가상 및 실제 로봇 데이터에 실시간으로 적용 가능한 알고리즘 설계

2. 관련 연구

카메라 기반 localization을 위해 IPM을 통해 얻은 지면 정보를 이용하는 다양한 연구가 진행되었다. IPM은 전방 이미지를 bird’s-eye view(BEV) 형태로 투영하는 수학적 모델이기 때문에 지면 정보 파악을 위해 주로 이용된다^[5]. AVP-SLAM에서는 4개의 카메라의 IPM을 통한 surround view를 제작하여 주차장의 지면 정보를 효율적으로 취득하고 localization에 이용하였다. 또한 [6]에서는 그림자와 같은 noise 이미지에서도 차선을 검출할 수 있는 새로운 IPM 기법인 BIRD를 제안했다. 하지만 기존 IPM은 카메라와 지면 사이의 고정된 extrinsic 관계를 가정하기 때문에 평평한 지면이 아니면 왜곡이 발생하는 문제를 가지고 있다. 이를 해결하기 위해 과속방지턱이나 언덕 같은 pitch 모션 변화에도 왜곡을 보정할 수 있도록 adaptive IPM^[7]이 개발되었다.

그러나 이런 adaptive IPM이라도 보도에 이용하기엔 어려운 상황이다. 모바일 로봇은 주행 환경 특성상 일반적인 도로보다 보도가 더 많으므로 로봇의 모션이 더욱 불규칙적으로 변화하기 때문에 IPM을 적용하려면 pitch 모션 보정에서 확장된 보정이 필요하다. 이에 본 논문에서는 기존 adaptive IPM에서 roll 모션에 대한 보정을 추가하였다. 그리고 카메라의 초기 pitch 값을 고려하여 지면 정보를 효율적으로 취득할 수 있도록 개선하여 Extended and Adaptive Inverse Perspective Mapping (EA-IPM)이라는 확장된 IPM 방법을 제시한다.

3. 본 론

3.1 Adaptive IPM

EA-IPM 설명에 앞서 먼저 adaptive IPM 수식을 간단하게 설명한다. Adaptive IPM에서는 [Fig. 1]의 왼쪽 그림과 같이 pixel 단위의 이미지 좌표를 metric 단위로 변환 후 식 (1)과 (2)를 통해 로봇 기준 월드 좌표로 변환한다. IPM의 전체적인 좌표계 시스템은 [Fig. 1]의 오른쪽 그림과 같으며 아래 수식은 [Fig. 1]의 side view인 [Fig. 2]를 통해 도출할 수 있다.

$\[ X\left(r,{\theta }_p\right)=h cot\left({\theta }_0-{\theta }_p+\theta \left(r\right)\right) \]$

(1)

$\[ Y\left(c,r,{\theta }_p\right)=-X\left(\frac{c}{f_m}\right) \]$

(2)

[Fig. 1]

The conversion relationship of image coordinates and overall coordinate system in IPM

[Fig. 2]

Side view when the camera has pitch value of θ0

여기서 h는 지면으로부터 떨어진 카메라의 높이, f_m은 metric 단위의 카메라 초점거리, c와 r은 각각 u와 v가 metric으로 변환된 값, θ₀은 카메라의 광학축이 지면과 만나면서 이루는 각(카메라 pitch 각도) 그리고 θ_p는 로봇의 pitch 변화 각도이다. 또한 θ(r)은 카메라 중심으로부터 $$ \widehat{r}$$축에 존재하는 모든 좌표에 대해 연장선을 그었을 때 광학축과 이루는 각도로 다음과 같이 표현할 수 있다.

$\[ \theta \left(r\right)=arctan\left(\frac{r}{f_m}\right) \]$

(3)

3.2 EA-IPM

EA-IPM은 roll 모션에 대한 보정과 로봇 기준 좌표 Y를 도출하는 과정을 개선한 두 단계로 나눠서 설명한다.

3.2.1 Roll 모션 보정

로봇에 roll 모션 변화가 발생할 경우 IPM 결과는 affine 변환된 형태처럼 나타난다. 이를 보정하기 위해 이미지 평면을 IPM으로 projection하기 전 발생한 roll 모션만큼 반대 방향으로 이미지 평면에 2차원 회전 변환을 적용하면 보정이 가능하다. 이는 [Fig. 2]를 통해 설명이 가능하다.

우선 로봇에 장착되어 있는 카메라에 대해 [Fig. 3]의 (a)와 같이 삼각형 모양의 물체를 갖는 scene이 query로 주어진다고 가정한다. 이 때 [Fig. 3]의 (b)와 같이 θ_r만큼 로봇에 roll 모션 변화가 발생하면 [Fig. 3]의 (c)와 같이 이미지가 생성될 것이고 이를 그대로 IPM에 적용하면 (a)와 다르게 왜곡된 형태로 투영될 수밖에 없다. 따라서 이를 보정하기 위해 [Fig. 3]의 (d)와 같이 이미지 평면에 해당하는 2차원 좌표계 상에서 모든 metric단위 이미지 좌표에 대해 -θ_r 만큼 2차원 회전 변환을 적용한다. 이에 따라 (c)에서 삼각형 물체에 해당되는 pixel이 기존 (a)에서의 pixel에 해당하는 (d)의 점선 형태로 변환될 것이고 (a) 이미지를 투영하는 것처럼 roll 모션에 대한 보정을 할 수 있다. 결과적으로 식 (4)와 같이 보정된 (c_r, r_r) 좌표를 얻을 수 있다.

$\[ \left[\begin{array}{c}{c}_r\\ r_r\end{array}\right]=\left[\begin{array}{c}\text{cos}\left(-{\theta }_r\right)\\ \text{sin}\left(-{\theta }_r\right)\end{array}\begin{array}{c}-\text{sin}\left(-{\theta }_r\right)\\ \text{cos}\left(-{\theta }_r\right)\end{array}\right]\left[\begin{array}{c}c\\ r\end{array}\right] \]$

(4)

[Fig. 3]

Detailed calibration process for roll motion. (a) is an image without motion, (b) is a situation where roll motion occurs by θr, (c) is an image at that time, and (d) is correction through rotation transformation

여기서 유의해야할 점이 몇 가지 존재한다. 첫 번째로 2차원 회전 변환을 적용할 때 이미지의 픽셀 좌표가 아닌 metric으로 변환된 좌표에 적용해야 한다는 것이다. 두 번째로는 2차원 좌표계에서의 회전 변환이 3차원 rigid body의 roll 회전과는 다르게 반시계 방향이 양의 방향이므로 -θ_r 만큼 음의 부호로 회전을 적용해야 한다는 점이다. 마지막으로는 [Fig. 4]와 같이 roll 모션 변화로 인해 소실된 픽셀에 대해서는 BEV 형태로 투영할 수 없다는 점이다.

[Fig. 4]

When the pixel corresponding to the feature is lost due to the roll motion

3.2.2 Y좌표 도출 과정의 개선

기존 adaptive IPM에서 Y를 구하는 과정은 초기 카메라와 지면 사이의 extrinsic 관계가 이미지 평면이 지면과 수직일 때, 즉 카메라의 광학축이 지면과 평행할 경우만 고려된 수식이다. X를 구하는 과정에서는 카메라의 pitch 각도가 고려되었지만 Y를 구하는 과정에서는 이미지 평면이 pitch 각도만큼 기울어진 것이 반영되지 않았다. 따라서 카메라의 pose가 특정 pitch 값을 가지고 로봇에 장착된 상태라면 adaptive IPM을 적용할 경우 월드 좌표의 Y값에 대한 scale error가 발생한다.

IPM의 경우 카메라의 pitch 각도를 고려한 정확한 모델링은 카메라를 지면 정보를 최대한 많이 담을 수 있도록 설정하는 것이 유리하기 때문에 중요하다. 이에 대한 설명은 [Fig. 5]를 통해 가능하다. IPM은 지면 정보에 대한 결과만을 고려한 것이므로 소실점 높이까지의 픽셀을 투영시킬 수 있다. [Fig. 5]의 왼쪽 그림과 같이 만약 카메라가 정면을 바라볼 경우 소실점은 이미지 height의 절반이기 때문에 지면 정보로 사용할 수 있는 부분은 전체 픽셀의 절반 밖에 해당하지 않는다. 반면 오른쪽 그림은 카메라의 pitch 각도를 지면을 향하도록 설정하였기 때문에 소실점의 높이가 올라갔고 더 많은 정보를 IPM에 이용할 수 있다. 결국 카메라의 초기 pitch 각도를 지면을 바라보도록 설정하는 것이 IPM 결과에 더 좋은 영향을 미치므로 이것을 고려한 새로운 모델링이 필요하다.

[Fig. 5]

Comparison of the amount of ground information contained in the image according to the pitch value of the camera

카메라의 pitch 각도를 반영하도록 이미지 평면과 IPM 모델링 간의 기하학적 고려를 도입하였다. 이는 [Fig. 6]에 나타나 있으며 로봇 기준 월드 좌표 Y는 [Fig. 6]의 왼쪽 그림인 IPM 모델을 top view에 보았을 때, p와 q값을 이용한 빨간 직각 삼각형의 삼각 비례식을 이용해 얻어진다. 먼저 p와 q를 얻기 위해 카메라의 위치 P에서 로봇 기준 좌표의 y축과 평행한 직선 l을 하나 정의한다. p는 직선 l과 이미지 평면의 해당 픽셀 위치 사이의 수직거리이다. 따라서 동일한 r을 갖는 모든 이미지 좌표는 동일한 p값을 가진다. q는 직선 l과 해당 이미지 좌표가 투영되는 로봇 기준 월드 좌표 사이의 수직거리이다. 마찬가지로 동일한 X값을 갖는 모든 월드 좌표는 동일한 q값을 가진다. p와 q를 구하기 위해 [Fig. 7]의 왼쪽 그림을 이용하면 다음과 같이 얻을 수 있다.

$\[ p=\frac{f_m}{cos\left(\theta \left(r\right)\right)} \]$

(5)

$\[ q=\frac{X}{cos\left({\theta }_0+\theta \left(r\right)\right)} \]$

(6)

[Fig. 6]

Geometric considerations of Y-derive process

[Fig. 7]

Detailed geometric models to derive p, q, and Y

마지막으로 앞서 얻어진 p와 q를 이용하여 [Fig. 7]의 오른쪽 그림과 같이 c, Y와의 비례식을 적용하면 아래처럼 기존 수식과는 다르게 초기 pitch 값이 고려된 정확한 Y를 구할 수 있다.

$\[ -X\left(\frac{c}{f_m}\right)\Rightarrow -X\left(\frac{c}{f_m}\right)\frac{cos\left(\theta \left(r\right)\right)}{cos\left({\theta }_0-{\theta }_p+\theta \left(r\right)\right)} \]$

(7)

결과적으로 roll 모션이 보정된 이미지 좌표 (c_r, r_r)와 개선된 Y도출 과정을 통해 최종 EA-IPM의 공식은 아래와 같이 나타낼 수 있다.

$\[ X\left(r_r,{\theta }_p,{\theta }_r\right)=hcot\left({\theta }_0-{\theta }_p+\theta \left(r\right)\right) \]$

(8)

$\[ Y\left(c_r,r_r,{\theta }_p,{\theta }_r\right)=-X\left(\frac{c_r}{f_m}\right)\frac{cos\left(\theta \left(r_r\right)\right)}{cos\left({\theta }_0-{\theta }_p+\theta \left(r_r\right)\right)} \]$

(9)

4. 실험 결과

EA-IPM의 실험 결과에서는 이전 방법과의 비교를 통해 검증하고 실제 지면 표식과 구조물이 어떻게 변환되는지 결과를 보인다. 비교 부분에선 가상 데이터와 실제 데이터의 두 가지 측면에서 진행되었으며 실제 데이터는 과속방지턱, 보도 환경에서 검증을 진행했다. 가상 카메라의 파라미터는 ICL-NUIM RGB-D Benchmark Dataset^[8]의 정보를 이용했다. 실제 데이터는 [Fig. 8]의 플랫폼을 운영하여 온보드 전방 카메라를 통해 취득되었으며 두 실험 모두 IPM, adaptive IPM^[7], EA-IPM의 3가지 방법을 비교하였다.

[Fig. 8]

Mobile Robot Platform – Neubie (Neubility)

4.1 가상 데이터

먼저 가상 데이터에 대한 검증을 위해 [Fig. 9]와 같이 지면 데이터와 카메라를 구성하였다. [Fig. 9]의 3D Graph는 현재 카메라의 pose가 반영된 카메라 좌표계와 xy평면 상에 있는 지면 포인트를 나타낸 것이다. 지면은 전체 width = 20, height = 30의 직사각형 영역으로 중심부에 width = 4, height = 6의 노란색 polygon을 넣어 결과 비교를 위한 요소로 사용했다. 카메라의 높이는 5이며 초기 pitch 각도는 -10°, 모션 변화는 pitch = 7°, roll = 5°인 경우를 가정했다. 설정한 환경에 대한 정성적 결과 비교는 [Fig. 10]에 나타나 있으며 [Table 1]은 각 방법에 대하여 polygon feature에 대한 scale error를 나타낸 표이다.

[Fig. 9]

Environments for validation on virtual data

[Fig. 10]

Comparision of results on virtual ground data (pitch = 7°, roll = 5°

[Table 1]

Comparison of scale errors for virtual polygon feature

4.2 실제 데이터

다음 실제 데이터 부분에서는 과속방지턱, 보도 환경에서 세 가지 방법의 결과를 비교한다. 추가적으로 로봇 기준으로 투영된 Y 좌표를 도출하는 과정에서 기존 adaptive IPM와 개선된 EA-IPM과의 차이를 비교하였다.

4.2.1 과속방지턱 및 보도 환경에 대한 비교

[Fig. 11]과 [Fig. 12]는 각각 과속방지턱과 보도 환경에 대한 정성적 결과 비교를 보여준다. 과속방지턱의 경우 한 쪽 휠만 지나게 하여 pitch와 roll 모션이 동시에 발생할 수 있도록 하였다. [Fig. 11]은 pitch 모션이 2.3°, roll 모션이 -2.9°가량 변화했을 때의 결과이고 [Fig. 12]는 pitch 모션이 5.5°, roll 모션이 4.4°가량 변화했을 때의 결과이다. 모션에 따른 보정이 되지 않은 기존 IPM에서는 두 모션에 대해 왜곡이 발생한 형태를 보여 실제와 scale이 많이 달라지는 것을 볼 수 있다. 그리고 adaptive IPM 같은 경우는 수직 방향의 align정도를 보았을 때 pitch 모션에 대해서는 보정이 되었지만 이미지 전체에 affine 변환이 적용된 것처럼 보여 roll 모션에 대한 보정은 이루어지지 않았다. 반면 EA-IPM의 결과에서는 두 모션에 대한 보정이 제대로 이루어진 것을 확인할 수 있다.

[Fig. 11]

Comparision of results on speed bump (pitch = 2.3°, roll = -2.9°)

[Fig. 12]

Comparision of results on sidewalk (pitch = 5.5°, roll = 4.4°)

4.2.2 Y값 도출 과정의 비교

다음은 로봇 월드 좌표의 Y를 도출하는 과정에서 adaptive IPM과 EA-IPM의 정성적 결과와 정량적 결과 비교이다. 초기 카메라의 pitch를 지면을 향해 바라보도록 -7.1°로 설정하여 결과를 비교하였으며 adaptive IPM은 이 부분을 고려하지 않았기 때문에 Y축 방향으로 scale error가 다소 존재하는 것을 확인할 수 있다. 이는 [Fig. 13]에 나타나 있으며 붉은 점선을 통해 error 정도를 정성적으로 확인할 수 있다. Scale 비교를 위해 실제 두 파란색 타일 사이의 길이에 해당하는 빨간색 화살표를 정의하였고 Y축 방향에 대한 scale을 비교하였을 때 adaptive IPM은 실제 길이에 다소 못 미치는 것을 확인할 수 있다. 그리고 [Table 2]는 실제 길이 대비 error를 정량적으로 나타낸 것이다. 초기 pitch 각도가 0°일 때는 두 경우 모두 IPM결과에 error가 적은 것을 확인할 수 있지만 -7.1°일 때는 EA-IPM은 error가 거의 그대로인 반면 adaptive IPM은 6%가량 늘어났다.

[Fig. 13]

Compairison of scale errors in Y-derive process of adaptive IPM and EA-IPM result

[Table 2]

Comparison of scale errors by initial pitch value

4.3 변환된 지면 정보

EA-IPM을 통해 지면 위에 존재하는 여러가지 표식들을 BEV 형태로 투영할 수 있다. [Fig. 14]는 공항 마크, 맨홀, 텍스트 등 다양한 표식에 대하여 전방 이미지로부터 BEV 형태로 잘 변환된 것을 보여준다. 여기서 중요하게 봐야할 점은 [Fig. 15]의 결과이다. [Fig. 15]는 pitch 모션이 8.0°, roll 모션이 -0.7°가량 변화했을 때의 상황이다. 왼쪽 그림과 같이 기존 IPM에서는 모션 변화에 의해 지면의 맨홀이 왜곡된 형태를 보이지만 오른쪽 그림과 같이 제안된 EA-IPM에서는 맨홀의 형태가 잘 보정된 것을 볼 수 있다. 또한 [Fig. 12]의 EA-IPM 결과를 보면 보도 블록이나 돌과 같은 지면의 특이 정보가 adaptive IPM 결과처럼 affine된 형태로 나타나지 않고 roll 모션에 대하여 잘 보정된 것을 확인할 수 있다. 이는 EA-IPM로 얻어진 지면 표식을 localization이나 mapping에 더욱 강건하게 적용할 수 있음을 의미한다.

[Fig. 14]

EA-IPM results for various markers on the ground

[Fig. 15]

Existing IPM results distorted by motion change and corrected EA-IPM results

5. 결 론

본 논문에서는 로봇에 다양한 모션 변화가 발생할 수 있는 보도 환경에서 정확한 BEV를 얻을 수 있는 기존 adaptive IPM에서 확장된 EA-IPM을 제시한다. EA-IPM은 roll, pitch 두 가지 모션 변화 상황에도 보정이 잘되는 결과를 보였으며 로봇 기준 좌표 Y를 도출하는 과정이 카메라의 초기 pitch 값을 반영할 수 있도록 잘 모델링 되었다. 향후 연구에서는 EA-IPM으로 얻어진 지면의 feature를 localization에 쓸 수 있도록 long-term 네비게이션 알고리즘 설계할 예정이다.

Acknowledgments

This work was supported by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No.2022-0-00448, Deep Total Recall), National Research Foundation of Korea(NRF) grant funded by the Korea government (MSIT) (No.2022R1A4A3029480). Korea Institute for Advancement of Technology (KIAT) grant funded by the Korea Government (MOTIE) (P0017124), and This work was supported by the Technological Innovation R&D Program (S3250054) funded by the Ministry of SMEs and Startups (MSS, Korea), and Inha University

References

• J. Jeong, Y. Cho, and A. Kim, “Road-SLAM : Road marking based SLAM with lane-level accuracy,” IEEE Symposium on Intelligent Vehicle, Los Angeles, USA, 2017. [https://doi.org/10.1109/IVS.2017.7995958]
• T. Qin, T. Chen, Y. Chen, and Q. Su, “AVP-SLAM: Semantic Visual Mapping and Localization for Autonomous Vehicles in the Parking Lot,” IEEE International Conference on Intelligent Robots and Systems (IROS), Las Vegas, USA, 2020. [https://doi.org/10.1109/IROS45743.2020.9340939]
• Y. Lu, J. Huang, Y.-T. Chen, and B. Heisele, “Monocular localization in urban environments using road markings,” IEEE Symposium on Intelligent Vehicle, Los Angeles, USA, 2017. [https://doi.org/10.1109/IVS.2017.7995762]
• Y. Zhou, X. Li, S. Li, and X. Wang, “Visual Mapping and Localization System Based on Compact Instance-Level Road Markings With Spatial Uncertainty,” IEEE Robotics and Automation Letters, vol. 7, no. 4, pp. 10802-10809, Oct., 2022. [https://doi.org/10.1109/LRA.2022.3196470]
• W. Yang, B. Fang, and Y. Y. Tang, “Fast and Accurate Vanishing Point Detection and Its Application in Inverse Perspective Mapping of Structured Road,” IEEE Transactions on Systems, Man, and Cybernetics: Systems, vol. 48, no. 5, pp. 755-766, May., 2018. [https://doi.org/10.1109/TSMC.2016.2616490]
• Z. Ying and G. Li, “Robust lane marking detection using boundary-based inverse perspective mapping,” International Conference on Acoustics, Speech, and Signal Processing (ICASSP), Shanghai, China, 2016. [https://doi.org/10.1109/ICASSP.2016.7472011]
• J. Jeong and A. Kim, “Adaptive Inverse Perspective Mapping for lane map generation with SLAM,” International Conference on Ubiquitous Robots and Ambient Intelligence (URAI), Xi’an, China, 2016. [https://doi.org/10.1109/URAI.2016.7734016]
• A. Handa, T. Whelan, J. McDonald, and A. J. Davison, “A benchmark for RGB-D visual odometry, 3D reconstruction and SLAM,” IEEE International Conference on Robotics and Automation (ICRA), Hong Kong, China, 2014. [https://doi.org/10.1109/ICRA.2014.6907054]