구조화된 환경에서 QR 코드 기반 센서 융합 기법을 이용한 이동 로봇의 위치 추정 향상

1. 서 론

모바일 플랫폼 시장 규모 확대로 인하여 소비자들의 배달 서비스 활용 빈도가 증가하는 추세이다^[1]. 신속하고 정확한 배달 서비스를 위해 실내외 자율주행 로봇의 필요성 또한 높아지고 있다. 이를 위해서는 로봇 공학과 자율 주행 시스템에서 로봇의 안전하고 효율적인 동작을 위해 정확한 위치 추정과 환경 인식이 필수적이다.

로봇의 정확한 자율주행을 위해 SLAM (Simultaneous Localization And Mapping) 기술이 사용되며, 이는 로봇이 실시간으로 자신의 위치를 추정함과 동시에 주변 환경의 지도를 작성하는 기술이다. 위치 추정(Localization)은 로봇이 주변 환경의 인지를 통해 자신의 위치를 찾는 과정으로 자율주행 과정에서 반드시 필요하며^[2], 자율주행에서의 위치추정에 관한 연구가 활발히 진행되었다^[3-5]. 위치 인식은 카메라, 라이다 및 IMU를 비롯한 센서 데이터를 기반으로 수행된다. 카메라는 시각적 정보를 통해 환경의 특징점을 인식하는데 사용되며, 라이다는 빛의 반사를 이용해 주변 환경의 2차원 및 3차원 구조를 정밀하게 측정한다. IMU는 로봇의 가속도와 각속도를 측정하는 관성 센서로, 측정된 데이터를 바탕으로 로봇의 위치 및 자세 변화를 추정할 수 있다. 그러나 각 센서마다 측정 오차가 존재하며, 이는 누적 오차 및 드리프트(Drift) 문제를 유발한다. 드리프트는 시간 경과에 따른 센서 데이터의 왜곡 및 오차가 누적되며 발생하는 문제로 로봇의 정확한 위치 추정을 불가능하게 한다.

로봇은 현재 위치의 신뢰성을 위해 SLAM 시스템은 주기적으로 재위치 추정(Relocalization)과 루프 클로징(Loop Closing)을 진행한다. 재위치 추정은 로봇이 완전히 위치 추정에 실패하는 경우, 제작된 맵에서 로봇의 위치를 다시 추정하는 것이다. 루프 클로징은 로봇이 이전에 방문한 장소를 다시 인식하였을 때, 기존 경로를 기반으로 그동안의 누적 오차를 보정한다. 위 두 기법을 통해 로봇은 정밀한 지도를 생성하고 위치 인식 정확도를 개선한다.

초기 위치 인식은 로봇의 위치 추정에 영향을 미치는 주요 요소 중 하나이다. 잘못된 초기 위치 인식으로 인해 맵 생성 지점의 오차가 발생하며, 이후 맵의 오차가 누적됨에 따라 실제 환경과 다른 맵이 생성될 수 있다. 반면 정확한 초기 위치 인식은 탐색할 위치 후보를 줄여 발생하는 계산 비용을 줄이고 위치 추정 속도를 높인다.

로봇의 세밀한 위치 추정을 위해 센서 퓨전과 인공 랜드마크를 활용할 수 있다. 센서 퓨전은 여러 센서 데이터를 상호 보완적으로 결합하여 개별 센서의 한계를 극복하고 신뢰성 있는 결과를 얻는 방법론으로, 다양한 센서 정보를 활용할 수 있다. 인공 랜드마크는 환경에 의도적으로 설치된 고유한 표식이나 구조물로, 로봇의 정확한 위치 추정을 가능하게 한다^[6]. 이는 로봇의 초기 위치 인식 및 재위치 추정을 용이하게 하여, 로봇의 위치 추정 성능을 전반적으로 개선하는데 기여한다.

본 논문에서는 QR코드와 센서 퓨전을 활용한 로봇의 위치 추정 성능 보완 시스템을 제안한다. 특히, 구조화된 환경에서 나타날 수 있는 평면성에 대한 제약 조건을 통해 더욱 정밀한 회전행렬을 추정한다. 제안한 시스템을 통해 GPS 사용이 불가능하거나 반복적인 구조의 실내 환경에서의 위치 인식 성능을 개선할 수 있다.

2. 선행 연구

라이다 기반의 2D SLAM 알고리즘은 대표적으로 GMapping, Hector-SLAM, Google Cartographer가 있다^[7-9]. 이들 알고리즘은 각각 필터, 그래프 기반으로 맵을 생성해내며 파티클 필터, 스캔 매칭, 그래프 최적화 등의 최적화 기법을 사용한다. 또한 위치 추정 정확도의 개선을 위해 주로 IMU, 휠 엔코더와 같은 센서를 추가로 결합하여 사용하며, 특히 IMU를 활용한 라이다 기반 시스템의 비중이 높다. 이는 LIO (LiDAR-Inertial Odometry) 시스템 연구로 진행되어왔다^[10-12].

SLAM 시스템에서 드리프트 문제를 해결하고 정밀한 맵을 생성과 위치 추정 정확도를 높이는 것은 매우 중요하다. 이를 위해 시각적 랜드마크 인식을 통한 SLAM 시스템의 성능을 개선하는 연구가 이루어졌다^[13-15]. [13]은 칼만 필터를 기반으로 다양한 센서 데이터를 통해 실시간 초기 상태를 추정한다. 특히 카메라, IMU, 라이다센서 데이터로부터 정의된 제약과 키프레임, 랜드마크를 팩터 그래프로 형성하며, 팩터 그래프를 슬라이딩 윈도우로 최적화하여 로봇의 정확한 위치와 자세를 제공한다. TagSLAM^[14]은 시각적 마커의 일종인 AprilTag를 활용한다. 마커 인식을 통해 절대 포즈 요인, 상대 포즈 요인, 태그 투영 요인을 형성하며 GTSAM 기반의 최적화를 통해 태그와 카메라의 위치를 추정한다^[14]. [15]는 평면 마커와 키포인트를 노드로 활용하며, 키프레임 간 혹은 키프레임과 노드 간의 관계를 엣지로 정의한다. 새 키프레임이 인식되면 로컬 최적화를 진행하며, 루프 클로징이 감지되면 전역 최적화를 수행하여 최종적으로 드리프트를 보정한다. [13-15]는 모두 시각적 랜드마크를 활용한 그래프 기반 SLAM 시스템으로, 루프 클로징 과정에서 그래프 최적화를 통해 로봇의 위치 및 자세를 보정한다.

시각적 마커를 활용한 위치 추정 시스템에 대한 연구는 지속적으로 연구되어오고 있다^[16-19]. 특히 시각적 마커 중 QR 코드는 2차원 바코드의 한 종류이며, 개별 정보를 부여할 수 있는 정사각형 형태의 바코드이다. QR 코드의 고유한 패턴은 센서 인식에 유리하며 저비용으로 생산 가능하다.

QR 코드만을 활용하여 카메라의 자세와 위치를 추정하는 연구가 진행된 바 있으며^[20-22], 그 중 [20]에서는 단안 카메라로 인식한 QR 코드의 6개의 이미지 상 좌표와 사전에 측정한 QR 코드의 3차원 좌표에 EPnP 알고리즘을 적용시켜 카메라의 위치와 자세를 추정하였다.

QR 코드를 활용하여 로봇의 위치를 추정한 연구 또한 진행된 바 있다^[23-25]. [23]에서는 QR 코드에 QR 코드의 전역 좌표, 자세, 크기와 같은 정보를 포함시켰다. 또한 카메라가 QR 코드를 인식했을 때 이미지 상에서 QR 코드의 변형을 분석하여 로봇과 QR 코드 간의 상대적인 자세를 계산한 후, QR 코드의 세계 좌표, 자세 그리고 칼만 필터를 이용하여 로봇의 오도메트리를 보정하였다. 실험 결과 QR 코드를 사용할 경우 로봇의 위치 및 자세 추정 오차가 줄어든다는 것을 보였다.

실내 환경에서 LIO를 사용한 로봇 시스템에 QR 코드를 추가적으로 활용하여 로봇의 위치 추정 정확도를 개선할 수 있음을 보이는 연구도 다수 진행되었다^[26,27]. 해당 연구에서는 실시간 변화가 적은 환경인 천장에 QR 코드를 붙였으며, [26]의 경우 QR 코드의 절대 좌표와 카메라 간의 관계를 통해 로봇의 위치를 추정하였다. [27]의 경우 다수의 QR 코드를 인식하고 QR 코드의 중심 좌표를 통해 로봇의 위치와 방향을 추정하며 QR 코드가 이루는 삼각형 구조를 기반으로 로봇의 방향을 계산한다. 그러나 천장에 QR 코드 부착할 경우 조명 조건에 민감하여, 그림자나 반사로 인해 인식률이 저하될 수 있다^[26]. 또한 [27]에서 언급된 바와 같이 촬영 범위가 넓어지고, 배경 정보가 많아지면서 QR 코드 검출에 어려움이 증가할 수 있으며 설치의 복잡성이나 유지 보수의 어려움이 있다는 한계점이 존재한다.

한편, 카메라 없이 2D SICK LiDAR만을 활용해 천장의 구조적 패턴과 특징을 이용하여 위치를 추정하는 연구도 진행된 바 있다^[28]. 그러나 이 방법은 실내 공장과 같이 천장 구조가 단순하거나 천장이 매우 높은 환경에서는 정확도가 떨어질 수 있으며, 시스템 구축과 운영에 소요되는 비용이 상당하다는 단점도 존재한다.

QR 코드를 벽면에 부착한 연구에서는 로봇 내의 휠 엔코더를 이용하여 오도메트리를 획득하고, 카메라를 통해 QR 코드를 인식해 EKF를 통해 로봇의 위치를 추정한다^[29]. 실험 결과 휠 엔코더만 활용했을 때보다 QR 코드를 활용했을 때 오차를 줄일 수 있으며, QR 코드 간 간격이 좁을수록 오차 또한 감소한다는 것을 확인했다.

우리는 QR 코드와 기존 2D 라이다 기반 SLAM의 결합을 위해 Cartographer를 통해 맵핑을 수행하고, [26]과 유사하게 로봇과 QR 코드 간 거리와 각도를 기반으로 로봇의 위치를 계산한다. [29]에서 언급된 바와 같이, 주변 조명 조건의 간섭을 줄여 안정적인 감지 환경을 형성하기 위해 QR 코드를 벽면에 붙여 사용한다. 이는 실험에 사용한 높이가 낮은 로봇에 더 적합한 환경이며, QR 코드의 설치와 유지 보수를 용이하다는 장점을 가진다. 또한 저비용 시스템 구현을 위해 [26]와 달리 산업용 카메라 대신 웹캠, 2D 라이다를 사용하며 기존 카메라-라이다 캘리브레이션[30-32]을 활용한 위치 추정 방식이나 QR 코드 픽셀 크기 기반 거리 추정 방식 대신 FOV를 통한 거리 추정 방식을 활용하여 연산 비용을 줄인다.

3. 본 론

3.1 QR 코드 위치 추정 시스템의 기본 구성

본 논문에서 제안하는 시스템은 2차원 LIO (LiDAR-Inertial Odometry) 시스템에서 카메라를 통한 인공 랜드마크 인식을 통해 위치 추정 성능을 보완한다.

시스템에 사용된 로봇의 구성은 [Fig. 1]과 같다. 로봇에 활용한 주요 센서는 라이다, 카메라, IMU 센서이다. 라이다는 물체의 거리를 정확히 측정할 수 있으나, 반사율이 낮은 물체에는 약점을 보인다. 카메라는 시각 정보를 통해 환경을 인식할 수 있지만, 조명 변화에 민감하다. IMU는 고속 이동 시 자세 변화를 감지하는 데 유리하지만, 장시간 사용 시 오차가 누적될 수 있다. 본 시스템에서는 저비용 LIO 시스템 환경을 구현하기 위해 2D 라이다를 사용하였으며, 라이다의 반사율 문제를 해결하면서도 IMU 센서의 드리프트 문제를 해결하기 위해 QR 코드와 웹캠을 사용한다. 단안 카메라, 스테레오 카메라, RGB-D 카메라 등 카메라만을 사용하여 거리를 추정할 수 있으나, 렌즈 왜곡, 조명 변화, 깊이 정보 부족 등의 이유로 거리 추정에 한계가 있으므로 이를 2D 라이다와 결합하여 센서 비용 및 계산 복잡성을 줄이고자 하였다. 또한 카메라와 라이다 조합은 사전에 QR 코드의 크기를 지정하지 않고 환경에 맞는 다양한 크기의 QR 코드를 활용할 수 있다는 장점을 가진다. 예를 들어, 좁은 면적에 QR 코드를 부착할 경우 작은 크기의 QR 코드를 활용하거나, 조명이 부족한 구간이나 로봇의 주행 속도가 빠를 경우 큰 QR 코드를 부착하는 등을 통해 환경에 맞게 조정할 수 있다.

[Fig. 1]

Configuration of robot system for experiments

본 논문에서 다루는 문제는 전역 좌표계(G)에서의 로봇의 정밀한 6-dof 자세는 다음과 같다.

$\[ \begin{array}{c}{\mathit{T}}_G^R=\left[\begin{array}{cc}\mathit{R}& \mathit{t}\\ \mathbf{0}& \mathit{1}\end{array}\right]\in \mathrm{S}\mathrm{E}\left(3\right)\\ \mathit{R}\in \mathrm{S}\mathrm{O}\left(3\right)\mathrm{ }and\mathit{ }\mathit{t}\in {\mathbb{R}}^3\end{array} \]$

(1)

$$ {\mathit{T}}_G^R$$를 라이다와 IMU, 그리고 QR 코드를 사용하여 추정한다. 이를 위해, 본 시스템은 두 단계로 동작한다. 1) LIO를 통해, LIO 시스템 초기화 시 로봇의 위치와 자세를 기준으로 하는 지역 좌표계(L)에서의 자세 $$ {\mathit{T}}_L^R$$를 얻는다. 2) 로봇의 전역 위치인식을 위해 전역 좌표계로 표현된 QR 코드의 위치 $$ {\mathit{T}}_G^{QR}$$를 기반으로 $$ {\mathit{T}}_G^R$$을 계산한다.

첫 번째, LIO 시스템 구현을 위해 구글의 Cartographer을 활용하였다. Cartographer는 라이다와 IMU 센서를 기반으로 2차원 및 3차원 SLAM을 실행하며, 서브맵 - 스캔 매칭을 통해 위치를 추정하는 시스템이다.

두 번째, QR 코드 인식 단계에서 웹캠을 통해 QR 코드를 인식하고 QR 코드에 포함된 인덱스 정보를 디코딩한다. 이후 인덱스에 따른 전역 좌표 정보를 통해 QR 코드의 전역 좌표를 구할 수 있다. 이후 로봇 위치 추정 및 보정 단계에서 QR 코드의 전역 좌표로부터 로봇의 좌표를 계산하여 위치 보정이 진행된다. 인식된 QR 코드는 다양한 컴퓨터 비전 라이브러리를 활용하여 인식 및 포함된 정보를 쉽게 디코딩할 수 있다. QR 코드에 인덱스를 부여하여 이를 전역 위치 정보와 연결시킬 경우, QR 코드의 전역 좌표로부터 로봇의 좌표를 역으로 계산하여 기존의 오차 누적 문제 및 드리프트를 보정하고 효율적인 위치 추정을 가능하게 한다. 이는 반복되는 구조 혹은 단순한 구조의 실내 환경에서의 로봇 위치 추정 및 네비게이션을 용이하게 한다.

전체 시스템의 파이프라인은 [Fig. 2]와 같이 캘리브레이션 – QR 코드 위치 인식 – 로봇 위치 추정 및 보정 단계로 구성된다.

[Fig. 2]

Pipeline of QR code localization system

3.3 로봇 위치 보정

카메라만 활용하여 QR 코드와 로봇 간의 관계를 추정하는 방식에는 두 가지가 있다. 첫 번째는 QR 코드의 크기와 이미지 상 크기의 비율을 통한 거리 추정 방식이며, 두 번째는 재투영 연산을 통한 자세와 위치 추정 방식이 있다. 전자는 비율 관계를 통한 연산으로 계산 비용이 적지만, QR 코드 크기와 카메라까지의 초기 거리를 정확히 알아야 하며, 다른 크기의 QR 코드를 활용할 경우 이를 다시 측정해야 한다는 단점이 있다. 재투영 연산 방식은 QR 코드 크기를 지정하지 않아도 자세와 위치를 추정할 수 있지만 최적의 회전 벡터와 평행 이동 벡터를 추정하기 위해 반복적인 최적화 연산이 필요하며 QR 코드와 로봇 간의 절대 거리를 계산하려면 QR 코드의 한 변의 크기를 반드시 알아야 한다. 반면 라이다를 활용하여 3.2.2에 기술한 방식을 적용할 경우, QR 코드 하단 두 꼭짓점에 해당하는 각도 범위만큼의 라이다 데이터를 평균화하여 안정적인 절대 거리를 추정할 수 있다. 또한 카메라 캘리브레이션의 부정확성으로 인한 거리 추정 오류를 보완하며, 재투영 연산 과정에서 반복적인 최적화 연산 없이 단순 연산을 통한 각도와 센서 측정 거리만으로 위치와 자세를 추정할 수 있어 연산 과정을 단순화한다.

재투영 연산과 3.2.2 방식을 비교하기 위해, 로봇을 한 변의 길이가 0.105 m인 QR 코드를 0.5 m, 0.75 m, 1 m 거리에 배치하여 로봇과의 거리를 측정한 결과를 [Table 1]에 정리하였다. 또한, 동일 거리(0.65 m)에서 QR 코드의 크기를 변화시키며 거리를 측정한 결과는 [Table 2]와 같다.

[Table 1]

Comparison of distance measurement errors by camera and camera-lidar fusion methods

[Table 2]

Comparison of camera and camera-lidar fusion distance measurement performance by qr code size

[Table 1]과 [Table 2]를 통해 3.2.2 방식을 채택하였을 때, 안정적이고 정확한 거리 추정이 가능하다는 것을 알 수 있다.

QR 코드의 전역 좌표를 이용하여 로봇의 위치 추정을 하는 데는 두 가지 방법이 고안되었다.

• A. 변환행렬 기반 위치 추정
• B. QR 코드 - IMU 센서 중심 위치 추정

두 방식은 위치 추정 과정에서 모두 QR 코드의 전역 좌표, QR 코드와 로봇 간의 각도와 거리를 기반으로 하는 변환행렬의 개념을 활용한다[Fig. 3]. 변환행렬은 Translation (이동)과 Rotation (회전)으로 구성된다. Translation은 로봇의 위치의 좌표계에 대한 위치 변화 정보이다. 로봇이 QR 코드를 인식할 때, QR 코드의 좌표를 기준으로 로봇의 위치를 계산하거나 보정하는 과정이다. Rotation은 로봇이 바라보고 있는 방향을 결정하는 회전 정보이다. QR 코드 인식을 통해 로봇의 방향을 추정하고, 이를 기반으로 로봇의 전역 자세 중 회전 정보를 갱신한다. QR 코드의 전역 좌표는 기존 LIO 시스템을 통해 생성한 맵에 QR 코드의 위치를 지정하여 맵 프레임에 대한 QR 코드의 위치와 방향 정보를 획득함으로써 얻을 수 있다. 이를 통해 QR 코드의 전역 자세(Global Pose)를 생성한다.

[Fig. 3]

Overview of proposed robot pose estimation method

3.3.1 변환행렬 기반 위치 추정

로봇이 QR 코드를 인식하면 QR 코드와 로봇 간의 거리와 각도를 알 수 있다. 이를 기반으로 기존 LIO 시스템에서의 로봇의 자세(로봇의 Local Pose; 이하 로봇의 지역 자세)를 알고 있다면 [Fig. 4]와 같이 삼각법을 통해 로봇에서 바라본 QR 코드의 지역 자세(Local Pose)를 계산할 수 있다. 변환행렬을 계산하는 과정은 식 (4)과 같다. 이때 T는 자세의 변환을 의미하며, G, L, QR, R은 각각 전역 좌표계, 지역 좌표계, QR 코드, 로봇을 의미한다.

$\[ {\mathit{T}}_G^R={\mathit{T}}_G^{QR}{\left({\mathit{T}}_L^{QR}\right)}^{-1}{\mathit{T}}_L^R \]$

(4)

[Fig. 4]

Pose estimation based on trigonometry

QR 코드의 지역 자세와 전역 자세의 위치 정보를 비교하여 로봇의 전역 좌표계에서의 위치를 계산한다. 이후 QR 코드 인식을 통해 로봇의 방향을 추정한다. QR 코드의 지역 자세에서 추출된 회전 정보와 QR 코드 전역 자세의 회전 정보를 비교하여 로봇의 회전 행렬을 계산하고, 이를 기반으로 로봇의 전역 자세를 갱신한다.

QR 코드가 일시적으로 인식되지 않는 상황에서는 IMU 센서를 활용하여 로봇의 위치를 지속적으로 추정한다. QR 코드가 다시 인식되면, 이를 통해 얻은 정보를 바탕으로 로봇의 위치와 방향을 다시 보정한다.

그러나 로봇의 초기 방향이 LIO 시스템을 통해 생성한 맵 프레임의 축과 동일한 방향으로 정렬되지 않을 경우 잘못된 위치 추정을 한다는 문제점을 가진다.

3.3.2 QR 코드 - IMU 센서 중심 위치 추정

3.3.2에서는 3.3.1의 문제를 해결하기 위해 설정된 맵 프레임과 주행 시작 시 로봇이 틀어진 각도를 반영하는 변환행렬을 적용한다. 이때 식 (5)의 R, Q, d, ∅ 는 각각 로봇의 전역 좌표, QR 코드의 전역 좌표, QR 코드 – 로봇 간 거리, QR 코드 – 로봇 간 각도를 의미한다. 이후 QR 코드의 전역 자세에서 방향 정보를 활용하여, 로봇의 방향을 보정한다.

$\[ \left[\begin{array}{c}{R}_x\\ R_y\end{array}\right]=\left[\begin{array}{c}{Q}_x\\ Q_y\end{array}\right]-d\left[\begin{array}{c}\mathrm{c}\mathrm{o}\mathrm{s}\varnothing \\ \mathrm{s}\mathrm{i}\mathrm{n}\varnothing \end{array}\right] \]$

(5)

QR코드가 인식되지 않는 상황의 경우, IMU 센서의 방향 정보와 속도 명령(cmd_vel)의 선속도를 통한 변위를 누적 업데이트 하며 로봇의 주행에 따른 자세 변화를 반영한다. 속도 명령의 선속도는 제어 명령에 따라 계산된 값으로, IMU 센서의 가속도 값을 적분하여 변위를 추정하는 방식보다 노이즈 및 센서 오차의 영향을 적게 받는다. 그러나 실제 동작과 제어 명령이 일치하지 않을 수 있다. 이를 보완하기 위해, QR 코드의 배치 간격을 줄여 로봇의 위치 보정 주기를 줄이거나, 필터링 기법 및 최적화 기법을 통해 위치 추정의 신뢰성을 강화할 수 있다. 본 연구에서는 QR 코드 배치 간격을 조정하며, 공간에 맞는 최적의 배치 간격을 탐색하였다. 해당 내용은 4. 실험 결과에 상세히 설명하였다.

4. 실험 결과

본 연구는 실내 환경에서의 위치 추정 정확도 개선 방법을 제안한다. 이에 따라 실험 환경을 동일한 구조가 반복되고 QR 코드를 평평한 벽면에 부착할 수 있는 환경으로 선정하였다. 실제로 실험은 전북대학교 중앙도서관 지하 1층에서 진행되었다.

3.3.1의 변환행렬 기반 위치 추정 방식(이하 방법 1)과 3.3.2의 (이하 방법 2)에 대한 실험은 모두 초기 위치 인식 시간과 성공률을 측정하였다. 이때 방법 1은 정해진 구간에서 주행 완료까지 위치 인식을 성공하지 못할 경우를, 방법 2는 초기 위치 인식까지 20초 이상 걸릴 경우 실패로 간주하였다. 방법 1 실험에서는 직선 주행만 수행하여 로봇의 회전에 대한 변환 행렬을 적용하지 않았다.

QR 코드는 0.105 m * 0.105 m 크기를 사용했으며, 총 19개의 QR 코드를 [Fig. 5]와 같이 부착하였으며, 각 QR 코드는 1.82 m ~ 2.65 m 내의 간격으로 배치했다. 또한 방법 2를 활용한 시스템의 QR 코드 배치 간격에 따른 위치 추정 성능을 보이기 위해 주행 경로를 설정하고 해당 경로로 로봇을 주행시킨 후, 로봇의 절대 경로와 실제 주행 경로 간의 절대 경로 오차(Absolute Trajectory Error; ATE)를 계산하였다. 주행 경로는 벽면에서 동일 간격 떨어진 일직선 경로로 설정하였다. 실제 환경에서 설정한 로봇의 주행 시작점과 구글의 Cartographer를 통해 사전에 생성한 실험 환경 맵 상의 로봇 위치를 비교하였다. 이후, 스캔 매칭을 통해 로봇의 실제 위치와 맵 상의 위치가 정렬되었을 때의 지점을 기준으로 일직선 경로를 맵 상의 Ground Truth로 설정하였다. 해당 실험은 전북대학교 공과대학 7호관 1층 복도의 약 20 m 구간에서 진행되었으며, QR 코드의 배치 간격은 1 m부터 5 m까지 1 m 간격으로 설정하였다. 각 주행은 3회씩 반복하였다.

[Fig. 5]

A visualized map of the locker area, marked with a QR code, located on the B1 floor of the Central Library at Jeonbuk National University

방법 1 수행 후, 로봇의 초기 위치 인식 성능을 비교하면 [Table 3]와 같다. QR 코드를 활용하였을 때 QR 코드는 평균 2.24초 내외로 초기 위치 인식에 성공한다. 반면 비교를 위한 스캔 매칭 방식의 경우, 위치 인식에 실패한 것을 알 수 있다.

[Table 3]

Time comparison of robot initial position recognition by section based on qr code attachment using method 1

실험 환경은 사물함이 같은 구조로 반복되어 스캔 매칭을 통한 위치 추정 방식이 적절하지 않음을 보인다. 반면 QR 코드를 활용하면, QR 코드의 절대 좌표를 기반으로 로봇의 현재 좌표를 직접 계산해내므로 연산 속도가 빠르다는 것을 확인할 수 있다.

방법 2 수행 후, 로봇의 초기 위치 인식 성능을 비교하면 [Table 4], [Table 5]와 같다. 각 Section은 연속한 두 QR 코드 사이 구간을 의미하며, Section 1–6은 상행 주행, Section 7-13은 하행 주행하였다. 로봇의 주행 경로는 [Fig. 6]에 시각화 하였으며, 각 구간 별로 3회씩 주행하였다. 위치 인식에 실패한 경우를 제외하고, QR 코드를 활용하지 않았을 때와 활용하였을 때 초기 위치 인식 시간은 각각 평균 11.05초, 평균 2.64초로 QR 코드를 활용하였을 때 약 9초의 성능 개선이 되었음을 알 수 있다. [Table 4]와 [Table 5]의 각 구간에 따른 평균 초기 위치 인식 시간을 [Fig. 7]을 통해 시각화한 결과이다. 해당 그래프에서 위치 인식에 실패한 경우는 20초로 설정하여 계산하였다.

[Table 4]

Time comparison of robot initial position recognition by index in upbound direction based on QR code attachment (Method 2) (sec)

[Table 5]

Time comparison of robot initial position recognition by index in downbound direction based on qr code attachment (Method 2) (sec)

[Fig. 6]

A robot trajectory map of method 2, visualized using rviz2 – the blue line and red line indicate the upbound and downbound trajectories, respectively

[Fig. 7]

Comparison of average initial position recognition with and without QR code

방법 1, 방법 2의 실험 결과를 통해 QR 코드를 활용하였을 때 반복적인 구조를 가진 실내 환경에서 초기 위치 인식이 빠르게 수행됨을 보였다. 그러나 스캔 매칭 방식의 경우 관련 파라미터 수정을 통해 성능 개선을 이루어 낼 수 있으므로, 방법 1과 방법 2의 시스템이 단순히 스캔 매칭 방식보다 우월한 성능을 보인다고 하기 어려움이 있다.

QR 코드 배치 간격에 따른 ATE는 [Table 6]과 같으며, 실제 주행 경로는 [Fig. 8]과 같다. 실험 결과 QR 코드 배치 간격이 멀어질수록 평균 ATE가 전반적으로 증가하는 경향을 확인할 수 있었다. 그러나 QR 코드 배치 간격이 4 m 일 때의 평균 ATE는 배치 간격이 3 m 일 때와 비교하여 더 작은 값을 가지는데, 이는 동일 경로로 주행하기 위해 매번 로봇을 직접 조종하면서 발생하는 문제점으로 추정된다. 또한 QR 코드 배치 간격이 1 m일 때와 2 m일 때를 비교하였을 때, 두 경우의 평균 ATE의 변화가 적다는 것을 알 수 있다. 이를 통해 약 20 m의 구간 내에서 일정한 방향으로 주행할 때, QR 코드를 2 m 간격으로 배치하면 시스템이 공간에 최적화된 위치 추정을 제공함을 알 수 있다.

[Table 6]

ATE according to the QR code placement intervals using Method2

[Fig. 8]

The visualized actual trajectory using RViz2, with the best performance in each trial, based on the QR code placement intervals

방법 2의 경우 QR 코드를 인식하지 않으면 IMU 센서의 속도 및 회전 정보를 누적해가며 로봇의 위치를 추정한다. 이에 따라 QR 코드의 배치 간격이 클수록 IMU의 드리프트에 의해 의한 오차가 발생하기 쉽다는 것을 확인할 수 있었다. 이는 방법 2를 활용한 위치 보정 시스템이 QR 코드 간 배치 간격에 따라 성능이 좌우됨을 의미한다. 또한 로봇과 QR 코드가 평행하게 정렬되지 않은 경우, 로봇의 자세를 추정하는 과정에서 오차가 발생할 수 있다는 문제점이 존재한다.

5. 결 론

본 논문에서는 QR 코드를 활용하여 라이다-카메라, IMU 센서 조합의 로봇 위치 보정 방식을 두 가지 제안하였다. 첫 번째 방식은 QR 코드의 지역 좌표계와 전역 좌표계 간의 변환 행렬을 적용한 방식이고, 두 번째 방식은 QR 코드의 오리엔테이션을 비교하여 로봇의 방향을 보정하는 방식이다. 실험 결과, QR 코드를 활용했을 때 기존 LIO 시스템만 활용하였을 때보다 로봇의 위치 인식 속도가 현저하게 개선됨을 보였다.

하지만 비교에 사용된 스캔 매칭 방식은 파라미터 수정을 통해 성능 개선이 가능하다는 점과, 제안한 위치 보정 시스템의 성능이 QR 코드에 의존한다는 문제가 제기될 수 있다. 그럼에도 불구하고, 기존 라이다-카메라 캘리브레이션 방법을 따르지 않고 QR 코드와 카메라 간의 거리와 각도를 측정함으로써 계산 비용을 절감하고 실시간 시스템을 간결하게 구현한 점에서 의의가 있다. 또한, 이러한 접근 방식이 여전히 위치 보정 시스템의 성능을 개선했다는 점에서 가치가 있다. 향후, 본 시스템을 기존 SLAM 시스템의 보조적 위치 보정 시스템으로 활용하는 연구를 제안한다. 예를 들어, QR 코드 인식 시 본 시스템에서 계산한 로봇 위치를 SLAM 시스템의 초기 위치로 설정하고, 전역 위치 추정을 수행함으로써 초기 위치 인식 속도 향상 및 위치 인식의 정확도를 높이는 방식으로 확장 가능할 것으로 기대한다. 이외에도 QR 코드 인식 시의 로봇의 자세를 반영한 위치 보정 방식, IMU와의 결합에 따른 드리프트 보정 효과 등에 대한 관련 연구를 제안한다.

Acknowledgments

This work was supported by the Institute of Information & Communications Technology Planning & Evaluation(IITP)-Innovative Human Resource Development for Local Intellectualization program grant funded by the Korea government (MSIT)(IITP-2024-RS-2024-00439292).

References

• E. J. Alvarez-Palau, L. Calvet-Liñán, M. Viu-Roig, M. Gandouz, and A. A. Juan, “Economic profitability of last-mile food delivery services: Lessons from Barcelona,” Research in Transportation Business & Management, vol. 45, Dec., 2022. [https://doi.org/10.1016/j.rtbm.2021.100659]
• R. Siegwart and I. R. Nourbakhsh, “5 Mobile Robot Localization,” in Introduction to Autonomous Mobile Robots, MIT Press, 2004, ch. 5, sec. 5.1, pp. 180, [Online], https://books.google.co.kr/books/about/Introduction_to_Autonomous_Mobile_Robots.html?id=gUbQ9_weg88C&redir_esc=y, .
• S.-H. Bae, S.-H. Joo, J.-H. Choi, H.-J. Park, and T.-Y. Kuc, “Localization System Through 2D LiDAR based Semantic Feature For Indoor Robot,” 2022 19th International Conference on Ubiquitous Robots (UR), Jeju, Republic of Korea, pp. 338-342, 2022. [https://doi.org/10.1109/UR55393.2022.9826250]
• K. Kurashiki, R. Takayama, K. Kono, and T. Fukao, “LIDAR based localization using simplified 2D map on agricultural roads,” Measurement: Sensors, vol. 18, Dec., 2021. [https://doi.org/10.1016/j.measen.2021.100298]
• M. A. V. Torres, A. Braun, and A. Borrmann, “Occupancy grid map to pose graph-based map: Robust BIM-based 2D-LiDAR localization for lifelong indoor navigation in changing and dynamic environments,” arXiv:2308.05443, 2023. [https://doi.org/10.48550/arXiv.2308.05443]
• A. Babinec, L. Jurišica, P. Hubinský, and F. Duchoň, “Visual localization of mobile robot using artificial markers,” Procedia Engineering, vol. 96, pp. 1-9, 2014. [https://doi.org/10.1016/j.proeng.2014.12.091]
• Y. K. Tee and Y. C. Han, “Lidar-Based 2D SLAM for Mobile Robot in an Indoor Environment: A Review,” 2021 International Conference on Green Energy, Computing and Sustainable Technology (GECOST), Miri, Malaysia, pp. 1-7, 2021. [https://doi.org/10.1109/GECOST52368.2021.9538731]
• I. A. Putra and P. Prajitno, “Parameter Tuning of G-mapping SLAM (Simultaneous Localization and Mapping) on Mobile Robot with Laser-Range Finder 360° Sensor,” 2019 International Seminar on Research of Information Technology and Intelligent Systems (ISRITI), Yogyakarta, Indonesia, pp. 148-153, 2019. [https://doi.org/10.1109/ISRITI48646.2019.9034573]
• S. D. Varanasi, M. Tammana and R. K. Megalingam, “Robotic Navigation Unveiled:A Comprehensive Study of GMapping, Hector Slam, and Cartographer,” 2024 3rd International Conference for Innovation in Technology (INOCON), Bangalore, India, pp. 1-6, 2024. [https://doi.org/10.1109/INOCON60754.2024.10511508]
• T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping,” 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5135-5142, 2020. [https://doi.org/10.1109/IROS45743.2020.9341176]
• W. Xu and F. Zhang, “FAST-LIO: A Fast, Robust LiDAR-Inertial Odometry Package by Tightly-Coupled Iterated Kalman Filter,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 3317-3324, Apr., 2021. [https://doi.org/10.1109/LRA.2021.3064227]
• X. Wei, Y. Cai, D. He, J. Lin, and F. Zhang, “FAST-LIO2: Fast Direct LiDAR-Inertial Odometry,” IEEE Transactions on Robotics, vol. 38, no. 4, pp. 2053-2073, Aug., 2022. [https://doi.org/10.1109/TRO.2022.3141876]
• J. Lin, C. Zheng, W. Xu, and F. Zhang, “R²LIVE: A Robust, Real-Time, LiDAR-Inertial-Visual Tightly-Coupled State Estimator and Mapping,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7469-7476, Oct., 2021. [https://doi.org/10.1109/LRA.2021.3095515]
• A. Lampe and S. Leutenegger, “TagSLAM: Robust SLAM with Fiducial Markers,” arXiv:1910.00679. [https://doi.org/10.48550/arXiv.1910.00679]
• R. Muñoz-Salinas and R. Medina-Carnicer, “UcoSLAM: Simultaneous Localization and Mapping by Fusion of KeyPoints and Squared Planar Markers,” Pattern Recognition, vol. 101, May, 2020. [https://doi.org/10.1016/j.patcog.2019.107193]
• G. Lin and X. Chen, “Robot indoor navigation method based on 2d barcode landmark,” Applied Mechanics and Materials, vol. 44-47, pp. 1279-1284, Dec., 2010. [https://doi.org/10.4028/www.scientific.net/AMM.44-47.1279]
• B. Dzodzo, L. Han, X. Chen, H. Qian, and Y. Xu, “Realtime 2D code based localization for indoor robot navigation,” 2013 IEEE International Conference on Robotics and Biomimetics (ROBIO), Shenzhen, China, pp. 486-492, 2013. [https://doi.org/10.1109/ROBIO.2013.6739507]
• L. George and A. Mazel, “Humanoid robot indoor navigation based on 2D bar codes: application to the NAO robot,” 2013 13th IEEE-RAS International Conference on Humanoid Robots (Humanoids), Atlanta, GA, USA, pp. 329-335, 2013. [https://doi.org/10.1109/HUMANOIDS.2013.7029995]
• J. Zheng, S. Bi, B. Cao, and D. Yang, “Visual Localization of Inspection Robot Using Extended Kalman Filter and Aruco Markers,” 2018 IEEE International Conference on Robotics and Biomimetics (ROBIO), Kuala Lumpur, Malaysia, pp.742-747, 2018. [https://doi.org/10.1109/ROBIO.2018.8664777]
• G. Pan, A. H. Liang, J. Liu, M. Liu, and E. X. Wang, “3-D Positioning System Based QR Code and Monocular Vision,” 2020 5th International Conference on Robotics and Automation Engineering (ICRAE), Singapore, Singapore, pp. 54-58, 2020. [https://doi.org/10.1109/ICRAE50850.2020.9310908]
• B. Wang, A. Bai, F. Ma, and P. Ji, “A 3D object localization method based on EPNP and dual-view images,” 2024 IEEE 7th Advanced Information Technology, Electronic and Automation Control Conference (IAEAC), Chongqing, China, pp. 1349-1353, 2024. [https://doi.org/10.1109/IAEAC59436.2024.10503831]
• H. Lai, Z. Tang, and X. Zhang, “RepEPnP: Weakly Supervised 3D Human Pose Estimation with EPnP Algorithm,” 2023 International Joint Conference on Neural Networks (IJCNN), Gold Coast, Australia, pp. 1-8, 2023. [https://doi.org/10.1109/IJCNN54540.2023.10191300]
• H. Kobayashi, “A new proposal for self-localization of mobile robot by self-contained 2D barcode landmark,” 2012 SICE Annual Conference (SICE), Akita, Japan, pp. 2080-2083, 2012, [Online], https://ieeexplore.ieee.org/abstract/document/6318357, .
• P. Nazemzadeh, D. Fontanelli, D. Macii, and L. Palopoli, “Indoor Localization of Mobile Robots Through QR Code Detection and Dead Reckoning Data Fusion,” IEEE/ASME Transactions on Mechatronics, vol. 22, no. 6, pp. 2588-2599, Dec., 2017. [https://doi.org/10.1109/TMECH.2017.2762598]
• R. K. Liu and D. J. Zhang, “Indoor positioning and navigation based on QR code map,” ISPRS Geospatial Week 2023, Cairo, Egypt, pp. 665–670, 2023. [https://doi.org/10.5194/isprs-archives-XLVIII-1-W2-2023-665-2023]
• H. Zhang, C. Zhang, W. Yang, and C.-Y. Chen, “Localization and navigation using QR code for mobile robot in indoor environment,” 2015 IEEE International Conference on Robotics and Biomimetics (ROBIO), Zhuhai, China, pp. 2501-2506, 2015. [https://doi.org/10.1109/ROBIO.2015.7419715]
• Z. Zheng, Y. Yu, R. Chen, H. Huang, H. Zhao, and X. Lu, “Localization Method Based on Multi-QR Codes for Mobile Robots,” 2022 IEEE International Conference on Advances in Electrical Engineering and Computer Applications(AEECA), Dalian, China, pp. 1385-1391, 2022. [https://doi.org/10.1109/AEECA55500.2022.9918988]
• J. W. An and Y.-H. Ko, “Ceiling-based localization of indoor robots using ceiling-looking 2D-LiDAR rotation module,” Journal of Korea Multimedia Society, vol. 22, no. 7, pp. 780-789, Jul., 2019. [https://doi.org/10.9717/kmms.2019.22.7.780]
• S.-H. Bach, P.-B. Khoi, and S.-Y. Yi, “Application of QR code for localization and navigation of indoor mobile robot,” IEEE Access, vol. 11, pp. 28384-28390, Feb., 2023. [https://doi.org/10.1109/ACCESS.2023.3250253]
• J. Bae, Y. Lee, J. Koh, J. Lee, and J. Choi, “Multi-sensor calibration techniques for camera-LiDAR sensor fusion,” Transactions of the Korean Society of Automotive Engineers, vol. 30, no. 10, pp. 849-858, Oct., 2022. [https://doi.org/10.7467/KSAE.2022.30.10.849]
• Q. Zhang and R. Pless, “Extrinsic calibration of a camera and laser range finder (improves camera calibration),” 2004 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Sendai, Japan, pp. 2301-2306, 2004. [https://doi.org/10.1109/IROS.2004.1389752]
• Z. Zhang, “Flexible camera calibration by viewing a plane from unknown orientations,” 7th IEEE International Conference on Computer Vision (ICCV), Kerkyra, Greece, pp. 666-673, 1999. [https://doi.org/10.1109/ICCV.1999.791289]