틸트 카메라를 이용한 기준 마커 인식 범위 확장을 위한 연구

1. 서 론

자율 이동 로봇은 공장, 식당, 마트, 농업 환경 등 다양한 환경에서 서비스를 제공하기 위해 활용되어 왔다. 자율 이동 로봇에서 위치 추정 기술은 목표 지점까지의 이동 경로 계획, 이동하면서 필요한 외부 환경 인식, 이동 경로 상에 주어진 장애물 회피 등과 관련하여 자율적인 행동을 위한 필수적인 기술이다^[1]. 운영 환경의 지도를 기반으로 로봇의 위치를 추정 및 보정하는 기술 중 하나는 다양한 센서 정보를 이용하여 위치를 추정하고 실내에 절대 좌표를 포함한 기준 마커(Fiducial marker)를 이용하여 추정된 로봇의 위치를 보정하는 방법이다 ^[2,3]. 하지만 기존 시스템에서는 마커를 인식하는 카메라가 고정되어 있어 마커의 인식 범위가 로봇의 이동 방향과 카메라의 시야각에 의해 한정되는 문제가 있다. 따라서 본 연구에서는 마커의 위치에 대한 사전 정보를 기반으로 틸팅(Tilting)되는 카메라를 이용하여 시야각(Viewing angle)을 변화시키고, 이로 인해 인식 범위를 확장하고자 한다.

지도 내에서 로봇의 현재 위치를 추정하기 위해 LiDAR, 카메라, 주행 거리계 및 자이로스코프와 같은 센서를 이용하였다. 하지만 이러한 위치 추정 방법은 로봇 구동부의 미끄러짐, 벽면의 재료 특성 등에 따라 발생하는 측정 오차와 오차의 누적 때문에 위치 추정 오차가 발생한다^[4]. 또한 gmapping, cartographer 등의 SLAM 방식은 복도, 방 등의 형태가 유사한 공간 및 로봇의 이동 속도 등에 의해 오차가 발생하는 문제가 있다^[5,6]. 이러한 센서, 로봇 추정 위치 결과의 등에 대한 불확실성을 고려하여 추정된 로봇의 위치를 보정하기 위해 확장 칼만 필터(Extended Kalman Filter)를 사용하였다^[7]. 또한 확률 모델 중 하나인 은닉 마르코프 모델(Hidden Markov Models)은 이동 로봇의 영역 및 로봇의 방향 등을 추정하는 데 사용되었다^[8]. 이러한 측정 오차를 보정하는 방법은 실시간으로 보정을 위한 계산을 수행해야 하며, 비슷한 형태의 공간 및 환경이 빈번하게 변하는 공간에서 로봇의 위치 추정 및 보정이 실패하는 문제가 있다.

이러한 문제를 해결하기 위해 기존 연구들 에서는 QR, AR, ArUco 등의 기준 마커를 운용 환경에 부착하고 기준 마커의 한 변의 길이와 부착된 마커의 지도 내 좌표 정보를 이용하여 로봇의 위치를 추정한다^[9-11]. 하지만 카메라가 고정된 이동형 로봇이 마커에 다가가거나 멀어질 때 마커가 보이지 않는 문제가 발생한다. 따라서 기존 연구에서는 서로 다른 크기의 마커를 이용하여 마커 인식 범위의 문제를 해결하였다^[12,13]. 비록 마커의 구조 변경을 통해 마커의 인식 범위가 개선되어도 로봇의 이동 방향과 카메라의 시야각에 의해 주변에 마커가 있어도 마커를 인식하지 못하거나 인식되는 범위가 매우 작아 로봇의 위치를 보정하기 위한 정보로 활용하지 못하는 문제를 해결하지 못한다.

본 연구에서는 마커의 인식 범위를 확장하기 위해 로봇을 활용하는 공간 내 마커 위치에 대한 사전지식을 기반으로 마커 인지를 위한 사전 대응하는 시스템을 제안한다. 제안하는 시스템 구현하기 위해 카메라의 시야각을 변경할 수 있는 틸팅 카메라를 설계하고, 지도 내 마커의 절대 위치 정보와 현재 추정되고 있는 로봇의 위치를 기반으로 카메라를 틸팅하여 마커를 바라본다. 또한 로봇의 이동 방향을 고려하여 카메라를 틸팅하여 마커의 인지 범위를 고정형 카메라를 이용한 이동 로봇보다 확대한다. 제안하는 방법을 검증하기 위하여 카메라 고정형 로봇과 제안하는 틸팅 카메라 기반 로봇을 이용하여 같은 위치의 마커를 인식할 때 로봇의 위치를 측정하였다. 인식 결과 제안하는 방법이 기존 방법보다 약 60.7%의 인식 범위를 확장하는 것을 검증하였다.

본 논문의 2장은 제안하는 기술에 관한 내용이며 3장은 실험에 관한 결과, 4장은 결론으로 마무리한다.

2. 틸팅 카메라 기반 마커 인지 방법

[Fig. 1]은 제안하는 시스템의 개념도이다. 고정된 마커 인식 장치 또는 카메라를 이용하는 기존 이동 로봇에서는 마커의 인식 범위는 인식 장치의 시야각에 한정되어 있다. 제안하는 시스템은 틸팅 모듈을 이용하여 시야각을 조정하여 마커의 인식 범위를 확장시키는 것을 목적으로 한다. 이를 위한 틸팅 모듈 기구부 설계, 제작 및 이동 로봇에 부착된 틸팅 모듈 제어 시스템을 설명한다.

[Fig. 1]

General concept of proposed system

2.1 마커 인식 장치 틸팅 모듈

제안하는 시스템을 구성하기 위해 마커 인식 장치의 시야각을 변경할수 있는 틸팅 모듈를 설계하였다. 본 연구에서 마커 인식 장치는 천장에 부착된 랜드마크가 반사시킨 적외선을 분석하여 장치의 위치와 방향을 계산하는 IR카메라 기반 하기소닉社의 스타게이저(Stargazer), HRS-A-01(S/M)를 사용하였다. 또한 틸팅을 위한 액추에이터로는 로보티즈社의 서보모터, xm430-w210-r을 사용하였다^[14]. IR카메라와 서보모터를 이용하여 틸팅 모듈을 제작하였으며, 틸팅모듈의 중심점을 기구 회전 중심과 일치하도록 설계하였으며 3D 프린터를 이용하여, [Fig. 2]와 같이 제작하였다.

[Fig. 2]

Tilting module with marker recognition device

[Fig. 3]과 같이 제작된 틸팅 장치를 이동 로봇에 부착하였다. 1자유도(Degree of freedom)의 틸팅 모듈이 이동 로봇의 전진 방향으로 롤(roll)이 되도록 설치하였으며, 천장에 부착된 마커를 외부 장치에 의해 가려지는 부분 없이 인식하기 위해 이동 로봇에 보조 장치를 이용하여 틸팅 모듈을 고정하였다.

[Fig. 3]

Mobile robot with tilting module

2.2 마커 인식 장치 틸팅 모듈 제어 시스템

[Fig. 4]는 틸팅 모듈의 제어 시스템 구성도이다. 제안하는 시스템은 로봇이 운용 환경에 대한 지도 정보를 가지고 있는 환경이다. 로봇은 환경 내에서 동시적 위치추정 및 지도작성(SLAM)을 이용하여 로봇 운용 환경에 대한 지도를 작성하며, IR카메라로 직접 지도내 마커의 절대 위치를 획득하거나, 운용자가 마커별 절대 위치 정보를 입력한다.

[Fig. 4]

System architecture of tilting module control

저장된 지도 정보를 기반으로 현재 로봇의 위치를 추정하며 현재 로봇의 위치와 저장된 마커의 위치 정보를 기반으로 로봇과 가장 근접한 위치에 있는 마커를 검색한다. 검색된 마커와 로봇간의 거리를 기반으로 목표 각도값을 서보모터의 포지션으로 변환하여 서보모터를 제어한다. 서보모터는 77 rpm으로 구동되며, Rotary Encoder SBN 4096이다. 최종적으로 위치값 변환 모듈에서 회전된 IR카메라의 좌표축을 고려하여 좌표를 변환한다.

[Fig. 5]는 로봇 및 마커의 좌표계 정의이다. 로봇의 전진 방향을 x축으로 정의하였으며, 높이를 z로 정의하였다. 틸팅 모듈만을 다루고 있기 때문에 본 그림에서 로봇의 측면 방향의 좌표계 y는 생략하였다. 좌표계의 이름은 ROS에서 사용하는 표준 좌표계 명을 이용하여 정의하였으며,IR카메라와 틸팅 모듈의 회전각 중심을 일치하도록 설계하였기 때문에 틸팅모듈을 위한 좌표계는 IR카메라 좌표계(stargazer_link)와 동일하게 정의한다^[15].

[Fig. 5]

Coordinate system frame definition of robot and marker

[Fig. 6]은 IR카메라로부터 위치값 변환 모듈 에서 로봇 위치를 획득하기 위한 좌표 변환을 도식화한 것이다. ^mapT_base는 지도의 중심을 기준으로 로봇의 현재 위치이며, ^mapT_marker는 지도상에서 마커의 위치이다. ^baseT_star는 로봇의 중심과 틸팅 모듈의 중심사이의 거리로 미리 정의된 값이다. ^starT_marker는 스타게이져 센서에 의해 획득된 정보이다. 인식된 ^starT_marker로부터 지도내 로봇의 현재 위치를 계산하는 관계는 수식(1)과 같다.

$\[ {}^{map }{T}_{base }={}^{map }{T}_{marker }{}^{star }{T}_{marker }{}^{-1 base }{T}_{star }{}^{-1} \]$

(1)

[Fig. 6]

Calculation of robot position from stargazer

이때, ^mapT_marker는 아래 수식(2)로 계산된다.

$\[ {}^{map }{T}_{marker }={}^{map }{T}_{base }{}^{base }{T}_{star }{}^{star }{T}_{marker } \]$

(2)

[Fig. 7]은 틸팅 모듈의 목표각θ를 계산 방법의 개념도 이며 목표각은 수식(3)과 같이 계산된다.

$\[ {}^{star }{T}_{marker }={}^{map }{T}_{star }{}^{-1 map }{T}_{marker } \]$

(3)

[Fig. 7]

Calculation of target angle of tilting module

이때, ^starT_marker = {x, y, z, roll, pitch, yaw}로 구성되어 있으므로, 틸팅 모듈의 목표각 $$ \theta ={\mathrm{t}\mathrm{a}\mathrm{n}}^{-1}\left(\frac{x}{z}\right)$$으로 계산된다.

3. 실험 및 결과

제안하는 시스템의 성능을 검증하기 위하여 실험 환경을 구성하였고, 기존 고정형 시스템과 제안하는 틸팅 모듈의 인식 범위를 한 개의 마커를 이용하여 비교하였으며, 다수의 마커가 부착된 환경에서 로봇 이동시 틸팅 모듈이 정상적으로 작동하는 것을 확인하였다.

3.1 실험 환경 구성

본 연구에서 제안하는 시스템의 성능을 확인하기 위하여 [Fig. 8]과 같이 복도 구간에 바닥면으로부터 3 m 높이에 1.5 m 단위로 30×30 cm의 IR카메라 인식용 마커를 3개, 3 m 떨어진 위치에 1개 총 4개의 마커를 부착하였다. 로봇은 SLAM을 이용하여 복도구간의 지도를 생성하고 이를 기반으로 실시간으로 로봇의 위치를 LiDAR센서를 이용하여 인식하며, 이동중 인식된 마커를 지도에 표시한다.

[Fig. 8]

Configuration of experimental environment

3.2 마커 인식 범위 비교

[Fig. 9]는 하나의 마커에 대하여 기존 시스템과 제안하는 시스템의 마커 인식 범위를 로봇의 위치를 기반으로 비교하기 위하여 Cartographer SLAM을 사용하였다. 로봇은 0.2 m/s의 속도로 전진과 후진하였다^[16].

[Fig. 9]

Robot position change on Cartographer SLAM

[Fig. 10]은 [Fig. 9]와 같이 로봇이 이동하고 있을 때 로봇의 x축 위치 변화에 따른 마커 인식 유무를 나타낸다. 각각 위쪽 그래프는 기존 시스템이며, 아래는 제안하는 시스템의 위치 변화에 따른 마커 인식 유무이다. 인식 유무는 하기소닉사에서 제공한 라이브러리에서 인식 결과로 송신된 ID와 부착된 마커의 ID와 일치하는 경우로 판단하였다. 기존 방법의 마커 인식 범위는 약 2.27 m이며 제안하는 방법은 약 3.65 m로 1.38 m의 인식 범위가 늘어나는 것을 확인하였다. 본 논문에서 마커 인식범위계산 시 Cartographer SLAM알고리즘에 의해 발생되는 로봇 위치 인식 오차는 무시하였다.

[Fig. 10]

Marker recognition change depending on robot position x-axis

3.3 지도내 인식된 마커 가시화

개발된 인식된 마커의 가시화 시스템의 기능을 확인하기 위하여 실험 환경에 설치된 4개의 마커에 대하여 0.2 m/s로 로봇을 주행하며 틸팅 모듈의 각도 변화와 지도 내 마커 생성 여부를 확인하였다.

[Fig. 11]은 로봇이 인식한 마커가 생성된 지도에 표시되는 시스템의 결과이다. SLAM기반 지도에 인식된 마커가 지도 내 파란색 사각형으로 표시되는 것을 확인 할 수 있다.

[Fig. 11]

Marker generation on map

4. 결 론

본 논문에서는 운영 환경의 지도를 기반으로 기준 마커를 기반으로 로봇의 위치 오차를 보정하는 문제에서 마커를 인식하는 카메라가 고정되어 마커 인식 범위가 로봇의 이동 방향과 카메라의 시야각에 의해 한정되는 문제를 해결하기 위해 틸팅 카메라를 이용하여 카메라의 시야각을 변화시키는 시스템을 연구이다. 이를 위해 카메라 틸팅 모듈을 설계하고 지도내 마커의 위치와 로봇의 위치를 기반으로 틸팅 모듈의 목표 각도값을 계산하는 시스템을 개발하였다. 개발한 시스템을 검증하기 위해 단일 마커를 이용하여 기존 시스템과 제안하는 시스템의 마커 인식 거리를 비교하였으며, 다수의 마커를 인식하고 지도에 생성하는 것을 확인하였다.

향후 연구로는 마커의 인식 정확도를 올리기 위해 마커와 로봇 카메라 간의 상대 거리 오차, 카메라의 기울기의 한계를 고려한 오차를 보정해여 로봇의 위치 추정시스템으로 확장해야 한다. 또한 틸팅 뿐만 아니라 줌(Zoom), 팬(Pan)이 되는 팬-틸트-줌 카메라를 기반으로 기구부를 설계하고 목표 각도값 계산 시스템의 확장을 통해 카메라 시야각의 자유도를 증가해야 한다.

Acknowledgments

This work was supported by Korea Institute of Planning and Evaluation for Technology in Food, Agriculture, Forestry (IPET) through Smart Agri Products Flow Storage Technology Development Program, funded by Ministry of Agriculture, Food and Rural Affairs (MAFRA) (322054-5)

References

• M. Betke and L. Gurvits, “Mobile Robot Localization using Landmarks,” IEEE Transactions on Robotics and Automation, vol. 13, no. 2, pp. 251-263, Apr., 1997. [https://doi.org/10.1109/70.563647]
• M. Košťák and A. Slabý, “Designing a Simple Fiducial Marker for Localization in Spatial Scenes Using Neural Networks,” Sensors, vol. 21, no. 16, Aug., 2021. [https://doi.org/10.3390/s21165407]
• G. Kang, D. Lee, and H. Shim, “3D Multi-floor Precision Mapping and Localization for Indoor Autonomous Robots,” Journal of Korea Robotics Society, vol. 17, no. 1, pp. 25-31, Mar., 2022. [https://doi.org/10.7746/jkros.2022.17.1.025]
• A, Babinec, L. Jurišica, P. Hubinský, and F. Pchoň, “Visual Localization of Mobile Robot using Artificial Markers,” Procedia Engineering, vol. 96, pp. 1-9, 2014. [https://doi.org/10.1016/j.proeng.2014.12.091]
• R. Yagfarov, M. Ivanou, and I. Afanasyev, “Map Comparison of Lidar-based 2D SLAM Algorithms using Precise Ground Truth,” International Conference on Control, Automation, Robotics and Vision (ICARCV), Singapore, 2018. [https://doi.org/10.1109/ICARCV.2018.8581131]
• S. Petkovic, L. Milic, M. Nikolic, D. Miškovic, and M. Rakovic, “Comparison of SLAM Algorithms on Omnidirectional Four Wheel Mobile Robot,” International Conference IcETRAN, Novi Pazar, Serbia, 2022, [Online], https://www.etran.rs/2022/zbornik/ICETRAN-22_radovi/082-ROI1.5.pdf, .
• R. Negenborn, “Robot Localization and Kalman Filters,” M.S thesis Utrecht Univ., Utrecht, Netherlands, 2003, [Online], http://www.negenborn.net/kal_loc/thesis.pdf, .
• P. K. Panigrahi and S. K. Bisoy, “Localization Strategies for Autonomous Mobile Robots: A review,” Journal of King Saud University-Computer and Information Sciences, vol. 34, no, 8, pp. 6019-6039, Sept., 2021. [https://doi.org/10.1016/j.jksuci.2021.02.015]
• M. Fiala, “Designing Highly Reliable Fiducial Markers,” IEEE Transactions on Pattern analysis and machine intelligence, vol. 32, no. 7, pp. 1317–1324, Jul., 2009. [https://doi.org/10.1109/TPAMI.2009.146]
• W. Lee and W. Woo, “Rectangular Marker Recognition using Embedded Context Information,” HCI 2009, [Online], https://koreascience.kr/article/CFKO200925752343977.pdf, .
• F. J. Romero-Ramire, R. Muñoz-Salinas, and R. Medina-Carnicer, “Fractal Markers: A New Approach for Long-range Marker Pose Estimation under Occlusion,” IEEE Access, vol. 7, pp. 169908-169919, Nov., 2019. [https://doi.org/10.1109/ACCESS.2019.2951204]
• J. Ahn, S. Shin, and J. Park, “Development of Localization using Artificial and Natural Landmark for Indoor Mobile Robots,” Journal of Korea Robotics Society, vol. 11, no. 4, pp. 205-216, Jul., 2016. [https://doi.org/10.7746/jkros.2016.11.4.205]
• D.-G. Gwak, K.-M. Yang, M.-R. Park, J. Hahm, J. Koo, J. Lee, and K.-H. Seo, “Marker-Based Method for Recognition of Camera Position for Mobile Robots,” Sensors, vol. 21, no. 4, Feb., 2021. [https://doi.org/10.3390/s21041077]
• H. Liu, N. Stoll, S. Junginger, and K. Thurow, “New Localization Strategy for Mobile Robot Transportation in Life Science Automation using StarGazer Sensor, Time series Modeling and Kalman Filter Processing,” IEEE International Conference on Robotics and Biomimetics, Zhuhai, China, 2015. [https://doi.org/10.1109/ROBIO.2015.7418761]
• L. Joseph, ROS Robotics projects, 2nd ed. Packt Publishing Ltd, 2017, [Online], https://www.packtpub.com/product/ros-robotics-projects/9781783554713, .
• cartographer-project/cartographer, [Online], https://github.com/cartographer-project/cartographer, , Accessed: Jan. 26, 2023.