과수 환경 내 경로를 활용한 AMR의 안정적인 객체 추종 방법

1. 서 론

최근에는 자율 이동 로봇(AMR, Autonomous Mobile Robot)의 객체 추종 기술은 물류, 산업, 농업 등 다양한 분야에서 활용되고 있다^[1-3]. 작업자(객체)를 따라 이동하는 로봇은 자동화 시스템의 효율성을 높이는 데 중요한 역할을 한다. 기존의 객체 추종 방법은 주로 LiDAR, RGB-D 카메라, 초음파 센서 등의 다양한 센서를 이용하여 측정된 센서 값을 활용하여 딥러닝을 기반으로 목표 객체의 위치를 인식하고, 이를 추종하기 위한 제어값을 실시간으로 계산하며 제어된다^[4-6]. 개활지(open field)에서 효과적으로 동작하며, 비교적 단순한 제어 알고리즘을 통해 안정적인 추종이 가능하다.

넓은 공간에서 객체를 추종할 때에는 추종 객체의 위치 및 주변 환경의 장애물만을 고려해서 객체를 추종하기 위한 제어신호를 계산한다^[7-9]. 추종 객체를 추종하기 위한 제어 신호를 계산하기 위하여 PID (Proportional-Integral-Differential controller) 또는 강화학습(Deep Reinforcement Learning, DRL)을 이용하여 제어 값이 계산된다. 그러나 [Fig. 1]과 같이 좁은 경로에서 객체를 추종할 때에는 기존 방법의 한계가 발행한다. 기존 방법들은 주로 즉각적인 센서 기반 피드백을 활용한 이동 경로 조정 방식을 사용하지만, 좁은 공간에서는 다음과 같은 문제점이 발생할 수 있다.

[Fig. 1]

Challenges of Existing Object Following Methods in Narrow Paths

• 1) 과도한 반응 문제: 좁은 경로에서 기존의 센서 기반 제어 방식은 작은 움직임에도 민감하게 반응하여 불필요한 흔들림을 초래할 수 있다.
• 2) 제어기의 둔감한 반응: 반대로 제어기의 반응성을 낮추면, 추종 로봇의 직신성은 좋아지나 추종 로봇이 방향 전환을 원활하게 수행하지 못해 곡선 주행 시 추종 객체에 따라 이동이 어려워진다.
• 3) 주변 환경을 고려하지 않은 문제: 좁은 환경에서는 기존 방식은 경로를 고려하지 않기 때문에 추종 로봇이 추종 객체를 추종하는 과정에서 주변 환경을 고려하지 않고 계산된 제어 값만을 활용하여 이동한다.

다음과 같은 문제는 개활지 및 좁은 공간을 복합적으로 운영하는 작업 환경에서 추종 로봇의 객체 추종 성능이 낮아진다.

[Fig. 2]와 같이 과수 환경은 개활지와 좁은 공간이 혼합된 복합적인 작업 환경을 제공한다. 개활지에서는 로봇이 비교적 자유롭게 이동할 수 있지만, 좁은 공간에서는 나무, 가지 등 다양한 장애물로 인해 기존의 추종 방법이 효과적으로 작동하기 어렵다. 좁은 공간에서는 추종 로봇의 과도한 반응으로 인한 흔들림이 발생하거나, 둔감한 제어 설정으로 인해 방향 전환이 어려울 수 있다. 과수 환경에서는 이러한 다양한 환경적 요인(사전에 정의된 경로)을 고려하여 로봇이 안정적으로 이동할 수 있도록 하는 객체 추종 방법이 필요하다.

[Fig. 2]

Orchard Environment for AMR Navigation

본 논문에서는 경로를 활용한 객체 추종 방법을 제안한다. 제안된 방법에서는 추종 로봇이 이동해야 할 경로를 사전에 정의한다. 설정된 경로를 기반으로 추종 객체의 위치와 일정 간격을 유지하기 위한 추종 로봇의 이동 위치를 설정한다. 추종 로봇이 설정된 위치로 이동하기 위한 제어신호를 생성한다. 이를 통해 추종 로봇은 추종 객체와 일정한 간격을 유지하면서 설정된 경로 내에서 이동한다.

제안된 제한 경로 기반 객체 추종 방법은 다음과 같은 장점을 제공한다. 1) 경로를 활용하여 이동 경로를 설정함으로써 추종 로봇의 불필요한 흔들림을 최소화할 수 있다. 2) 제어 민감도를 조정하여 좁은 경로에서도 안정적인 추종이 가능하다. 3) 일정한 간격을 유지하면서 이동하므로 작업자의 이동 속도 변화에도 유연하게 대응 가능하다. 이러한 장점들은 과수 환경과 같이 복잡한 지형에서도 객체 추종이 가능하도록 한다.

본 논문의 구성은 다음과 같다. 2장에서는 제안하는 제한 경로 기반 객체 추종 로봇의 제어 방법을 설명하고, 3장에서는 제안 시스템의 성능을 검증하기 위한 실험 결과를 제시한다. 마지막 4장에서는 결론을 도출하고 향후 연구 방향에 대해 논의한다.

2. 경로를 활용한 객체 추종 방법

2.1 개요

경로를 활용한 객체 추종 시스템은 [Fig. 3]와 같이 인식기, 경로 계획기, 제어기로 구성된다. 인식기(Recognition)에서는 센서를 활용하여 추종 로봇의 위치 및 추종할 객체를 인식하고, 추종 로봇과 객체 간의 상대 위치를 계산한다. 경로 계획기(Path Planner)에서는 추종 로봇의 현재 위치와 추종 객체의 위치를 고려하여 일정 거리를 유지하며 경로 내에 추종 로봇이 이동할 위치를 설정한다. 제어기(Controller)에서는 경로 내에 설정된 위치로 이동할 수 있도록 제어신호를 생성한다.

[Fig. 3]

Path-Based Object Following System Architecture

2.3 경로 계획기(Path Planner)

설정된 경로 내에서 최적의 경로를 찾는 것이 필요하다. 경로 계획기에서는 인식기에서 제공한 추종 로봇의 위치 및 방향과 추종 객체의 위치 정보를 바탕으로 추종 로봇이 이동해야 할 경로 내의 위치를 설정한다. 추종 로봇이 이동할 위치를 Goal Position으로 정의하며, [x_g, y_g]로 구성한다. 추종 객체와 추종 로봇 간의 일정 거리를 Following Radius R로 정의한다. 추종 로봇이 이동할 경로는 그래프 기반의 경로이며 Path로 정의하며 정점 V과 간선 E의 집합으로 Path는 (V, E)와 같이 구성된다. 정점 V는 {v₁​, v₂​ ,…,v_n​}와 간선 E는{𝑒₁,𝑒₂,…,𝑒_m}로 구성된다. 각 정점 v_n​에는 위치 정보[x_n , y_n]로 구성되어 있고 이 위치 정보를 waypoint로 한다. 간선 E e=(v_i, v_j​​ )∈E와 같이 정점 사이의 관계로 구성된다. Following Radius에 간격을 두고 [Fig. 4]와 같이 설정된 경로 내에 추종 객체를 따라가기 위한 Goal Position을 계산한다.

[Fig. 4]

Path Planning and Goal Position Determination

Robot Position과 Target Position을 기준으로 위치한 추종 로봇이 위치한 경로를 찾고 Following Radius를 고려하여 Goal Position을 [Fig. 5]와 같이 설정한다. Set parameters에서는 Robot Position, Target Position을 설정한다. Path와 Following Radius는 사전에 설정되어 있다.

[Fig. 5]

Flowchart for Finding the Goal Position

Find Waypoints에서는 Current Path Search에 해당하며, 추종 로봇 및 추종 객체가 위치하고 있는 가장 가까운 경로 내의 위치를 찾는다. Eq. 1과 같이 위치와 연결된 waypoints 간의 거리를 계산한다. 계산된 거리가 Following Radius보다 작고, 가장 최단거리를 제공하는 waypoints를 현재 위치에서 이동하는 있는 waypoints로 설정한다. 계산된 Following Radius보다 큰 경우에는 현재 위치하고 있는 waypoints가 없다.

$\[ \begin{array}{l}t=\frac{\left(Position -v_i\right)\cdot \left(Position -v_j\right)}{{\left|v_i-v_i\right|}^2}\\ t^{\text{'}}=\mathrm{m}\mathrm{a}\mathrm{x}\left(0,\mathrm{m}\mathrm{i}\mathrm{n}\left(1,t\right)\right)\\ { Position }^{\text{'}}=v_i+t^{\text{'}}\left(v_j-v_i\right)\\ d=\mid position -{position }^{\text{'}}\mid \end{array} \]$

(1)

Check waypoints에서는 추종 객체가 위치한 waypoints를 확인하며, 이후 부분에서는 Destination Setting에 해당한다. 추종 객체가 위치한 waypoints가 없는 경우에는 추종을 위한 거리 및 Yaw를 계산하지 못한다.

Set waypoints에서는 추종 로봇의 waypoints와 추종 객체의 waypoints 중 교차점을 찾을 waypoints를 설정한다. [Fig. 6]과 같이 추종 로봇의 waypoints와 추종 객체의 waypoints가 동일하지 않는 경우가 있다. 추종 객체의 waypoints를 사용하는 경우 waypoints와의 교차점이 추종 객체의 전방에 설정이 되어 속도를 높이는 경우가 발생한다. 종 로봇의 waypoints와 추종 객체의 waypoints가 다를때에는 추종 로봇의 waypoints를 사용한다.

[Fig. 6]

Intersection Points Calculation in Path Planning

Find intersection points에서는 설정된 waypoints 내에서 Target Position에서 Following Radius에 떨어진 거리에 있는 교차점을 설정한다. Eq. 2와 같이 교차점의 개수를 계산한다. D가 0보다 작은 경우에는 교차점이 없으며, 0인 경우 교차점이 한 개, 0보다 큰 경우에는 교차점이 2개가 있다. 교차점이 한 개 이상일 경우 Eq. 3과 같이 교차점을 계산한다.

$\[ \begin{array}{l}A={\left(x_j-x_i\right)}^2+{\left(y_j-y_i\right)}^2\\ B=2\left(\left(x_j-x_i\right)\left(x_j-x_i\right)+\left(y_j-y_i\right)\left(y_j-y_i\right)\right)\\ C={\left(x_j-x_i\right)}^2+{\left(y_j-y_i\right)}^2-R^2\\ D=B^2-4AC\end{array} \]$

(2)

$\[ \begin{array}{l}{t}_1=\frac{-B-\sqrt{D}}{2A},t_2=\frac{-B+\sqrt{D}}{2A}\\ Intersection {Point}_i=v_i+t_i\left(v_j-v_i\right)\\ \mathrm{w}\mathrm{h}\mathrm{e}\mathrm{r}\mathrm{e} where 0\le t_i\le 1\end{array} \]$

mathvariant="normal"

Set Goal Position에서는 계산된 교차점 중 Goal Position을 계산한다. Goal Position을 설정하는 과정에서 계산된 교차점이 추종 객체보다 추종 로봇이 앞으로 설정되는 상황 및 교차점이 없었을 때 대응하는 것이 필요하다. 앞으로 설정되는 것을 방지하기 위해 계산된 교차점 중 추종 로봇과 유클리드 거리가 가까운 교차점을 Goal Position으로 설정한다. Goal Position이 추종 로봇과 추종 객체 사이에 존재하지 않은 경우 Goal Position으로 설정하지 않는다. 설정된 Goal Position이 없는 경우에는 이전 명령을 유지하기 위하여 이전에 설정된 Goal Position을 현재 Goal Position으로 설정한다.

3. 실 험

실험에서 사용한 하드웨어 및 실험 환경에 대해 소개하였다. 실험 환경에 설정된 경로에 따라 추종 결과를 설명하였으며, 제안한 방법과 기존방법의 성능을 비교 평가하였다.

3.1 하드웨어 및 실험 환경

실험용 추종 로봇은 [Fig. 7]와 같으며, 300kg까지 탑재하여 운용 가능하다. 부착된 센서로는 RTK-GPS, Camera, LiDAR가 부착되어 있다. Robot Position은 RTK-GPS 기반으로 위치를 설정하였으며^[9], Target Position은 Camera를 활용하여 추종 객체를 인식하고 추종 객체의 위치를 계산하였다^[5]. RGB-D 카메라를 활용하여 딥러닝 알고리즘을 활용하여 추종해야할 추종 객체를 인식하고 RGB 이미지 상의 추종 객체의 위치와 Depth 이미지를 활용하여 추종 객체의 위치를 계산하였다. [Fig. 7]과 같이 빨간색 라인과 같이 경로를 설정하였다.

[Fig. 7]

Experimental AMR Robot (RT100) and Path

3.2 경로를 활용한 추종 제어 결과

사전에 설정된 경로를 활용하여 추종 로봇이 추종 객체를 따라간 결과는 [Fig. 8]과 같다. 추종 로봇은 추종 객체와 설정된 일정 거리를 유지하며 추종이 가능하였다. 추종 객체가 [Fig. 8(b)], [Fig. 8(d)]과 같이 지정된 경로를 벗어나는 경우에는 이전에 설정된 Goal Position을 유지하며 Goal Position까지 이동하는 것을 확인하였다. [Fig. 8(c)]와 같이 추종 객체가 설정된 경로 내에 복귀하는 경우에는 Goal Position이 추종 객체와 추종 로봇 사이에 설정되며 추종을 계속 진행 가능하였다.

[Fig. 8]

Object Following Results in Path (case I)

[Fig. 8]의 지정된 경로에서 역방향으로 진행했을 때 [Fig. 9]와 같이 추종이 가능하였다. [Fig. 8]와 같이 [Fig. 9]도 추종 객체가 지정된 경로를 벗어나는 경우에는 추종 로봇이 이전에 설정된 Goal Position에서 정지하였으며, 다시 추종 객체가 인식되고 지정된 경로 내에 Goal Position가 설정되면 계속적으로 추종이 되는 것을 확인하였다.

[Fig. 9]

Reverse Direction Object Following Results (case II)

3.3 성능 평가

기존 추종 객체로 이동하는 방법^[7]과 제안한 방법으로 추종 객체로 이동한 결과를 분석하였다. 기존 방법^[7]은 추종 객체의 위치로 이동하기 위하여 PID 및 Pure-Pursuit 알고리즘을 활용하여 추종 객체로 이동하는 제어신호를 계산한 방법이다. 제안한 방법으로 이동하였을 때 [Fig. 10]과 같이 추종 로봇의 제어 각도 차이가 크게 발생하지 않는다. 제안한 방법은 경로를 따라 이동하기 때문에 제어 각도 차이가 작게 계산되었다. 하지만 기존 방법으로 추종 로봇을 제어하였을 때보다 [Fig. 11]과 같이 제어 각도 차이가 크게 나는 것을 확인 가능하였다. 기존 방법의 경우에는 추종 객체의 움직임에 따라 추종 로봇이 움직이기 때문에 민감도에 따라 제어 각도가 커지는 것을 확인하였다. [Table 1]과 같이 제안한 방법과 기존 방법에 대한 제어 각도 차이에 대한 평균, 최소, 최대 값을 확인하였다. 제안한 방법에서는 평균 약 0.1 라디안 차이를 보였으며, 기존 방법에서는 평균 약 0.8 라디안 차이를 가졌다. 제안한 방법이 기존 방법보다 많은 제어를 수행하기 때문에 제어 각도 차이 분산이 크다는 것을 확인하였다.

[Fig. 10]

Control Angle Differences Using the Proposed Method

[Fig. 11]

Control Angle Differences Using the Conventional Method

[Table 1]

Angle Variance, Maximum, and Minimum Values of the Proposed and Conventional Methods

4. 결 론

본 논문에서는 과수 환경과 같이 개활지와 좁은 경로가 혼합된 환경에서 경로를 활용한 객체 추종 방법을 제안하였다. 기존 방법은 좁은 공간에서 로봇이 과도하게 흔들리거나, 방향 전환이 어려운 문제를 보였으나, 본 연구에서는 경로를 기반으로 추종 로봇의 이동을 계획하고 제어신호를 생성하는 방법을 적용하였다.

제안된 방법의 실험 결과, 추종 로봇이 추종 객체와 일정한 거리를 유지하면서 경로 내에서 안정적으로 이동할 수 있음을 확인하였다. 추종 객체가 지정된 경로를 벗어나거나 복귀할 때에도 목표 위치를 지속적으로 추적하여 안정적인 객체 추종이 가능함을 입증하였다.

본 연구는 GPS의 정확도 저하에 따른 실시간 경로 재설정의 어려움과 같은 제약이 있다. 이를 해결하기 위해 센서 퓨전 기법, 다중 센서 융합을 적용하는 연구가 필요하다. 경로가 없는 환경과 복합된 환경에서도 객체 추종이 가능하도록 향후 연구가 필요하다. 장애물에 대한 반응에 따른 추종 방법이 개선이 요구된다. 다양한 환경 및 상황에서도 신뢰성 높은 객체 추종에 대한 방법이 필요하다.

Acknowledgments

This research was supported in part by the Korea Evaluation Institute of Industrial Technology (20018401), Republic of Korea.

References

• J. Roh, B. Kim, D. Kim, J. Kim, and H. Shim, “Reliable Autonomous Reconnaissance System for a Tracked Robot in Multi-floor Indoor Environments with Stairs,” Journal of Korea Robotics Society, vol. 19, no. 2, pp. 149-158, May, 2024. [https://doi.org/10.7746/jkros.2024.19.2.149]
• J. Noh, K.-M. Yang, M.-R. Park, J.-W. Lee, M.-G. Kim, and K.-H. Seo, “LiDAR Point Cloud Augmentation for Mobile Robot Safe Navigation in Indoor Environment,” Journal of Institute of Control, Robotics and Systems, vol. 28, no. 1, pp. 52-58, Jan., 2022. [https://doi.org/10.5302/J.ICROS.2022.21.0209]
• H. Yoon, J. Kwak, K.-M. Yang, B.-W. Gam, T.-G. Yeo, J. Park, and K.-H. Seo, “GPS Error Filtering using Continuity of Path for Autonomous Mobile Robot in Orchard Environment,” Journal of Korea Robotics Society, vol. 19, no. 1, pp. 23-30, Feb., 2024. [https://doi.org/10.7746/jkros.2024.19.1.023]
• R. Algabri and M.-T. Choi, “Target Recovery for Robust Deep Learning-Based Person Following in Mobile Robots: Online Trajectory Prediction,” Applied Sciences, vol. 11, no. 9, pp. 4165-4184, May, 2021. [https://doi.org/10.3390/app11094165]
• J. Kwak, K.-M. Yang, J.-I. Lee, M.-G. Kim, and K.-H. Seo, “A Study on Target Object Recognition of a Similar Shape using a Small Dataset based on the Siamese Network,” Journal of Institute of Control, Robotics and Systems, vol. 28, no. 9, pp. 811-816, Sept., 2022. [https://doi.org/10.5302/J.ICROS.2022.22.0102]
• A. Maalouf, N. Jadhav, K. M. Jatavallabhula, M. Chahine, D. M. Vogt, R. J. Wood, A. Torralba, and D. Rus, “Follow Anything: Open-Set Detection, Tracking, and Following in Real-Time,” IEEE Robotics and Automation Letters, vol. 9, no. 4, pp. 3283-3290, Apr., 2024. [https://doi.org/10.1109/LRA.2024.3366013]
• Y. Cao, K. Ni, T. Kawaguchi, and S. Hashimoto, “Path Following for Autonomous Mobile Robots with Deep Reinforcement Learning,” Sensor, vol. 24, no. 2, pp. 561, Jan., 2024. [https://doi.org/10.3390/s24020561]
• H. Shin, J. Kwak, H. Yoon, J. Koo, K. Lee, and K.-H. Seo, “Lateral Control Method of RDDF-based Cleaning Robot,” Journal of Institute of Control, Robotics and Systems, vol. 30, no. 3, pp. 191-196, Mar., 2024. [https://doi.org/10.5302/J.ICROS.2024.23.0197]
• Y. Cao, K. Ni, T. Kawaguchi, and S. Hashimoto, “Path Following for Autonomous Mobile Robots with Deep Reinforcement Learning,” Sensors, vol. 24, no. 2, pp. 561, Jan., 2024. [https://doi.org/10.3390/s24020561]
• H. Gil, D. Lee, G. Song, S. An, and A. Kim, “Tightly-Coupled GNSS-LiDAR-Inertial State Estimator for Mapping and Autonomous Driving,” The Journal of Korea Robotics Society, vol. 18, no. 1, pp. 72-81, Feb., 2023. [https://doi.org/10.7746/jkros.2023.18.1.072]
• D. Atunggal, B. Ma’ruf, T. A. Sunantyo, and C. A. Rokhmana, “Evaluation on the performance of single and dual frequency low cost GPS module observation using geodetic antenna,” Communications in Science and Technology, vol. 3, no. 1, pp. 9-14, 2018. [https://doi.org/10.21924/cst.3.1.2018.78]