무인 구조물 검사를 위한 자율 비행 시스템

1. 서 론

지난 수십 년 동안 일련의 대규모 안전사고들로 인해 구조물 안전 관리의 중요성에 대한 대중의 관심이 커지고 있다. 대형 구조물의 붕괴를 막는 것은 인명 피해뿐만 아니라 수많은 경제적 피해 관점에서도 매우 중요하다. 그로 인해 구조물 붕괴 및 안전사고 예방을 위한 구조물 진단 및 유지 보수의 중요성이 높아지고 있다. 특히, 국내·외에서 교량, 건물 등과 같은 구조물의 수가 급격히 증가하고 있으며, 30년 이상 된 노후 구조물의 수도 더불어 증가하고 있다. 기존의 작업자에 의해 이루어지는 안전 진단 및 유지 보수는 진단결과의 신뢰성이 낮고 효율적인 내부 및 외부 검사가 어렵고 전문 인력이 육안으로 혹은 비파괴 검사 장비를 사용하기 때문에 시간과 비용이 많이 든다는 단점이 있다. 따라서 교량과 같은 구조물의 효율적인 점검 및 유지를 위해 최근 다양한 로봇 시스템에 대한 필요성이 대두되고 있다.

21세기부터 로봇 시스템을 이용한 구조물 검사에 관한 연구가 많이 진행되어왔다^[1,2]. 그러나 대부분의 방법은 로프 등과 같은 추가적인 인프라가 필요하며, 인력에 의해 운용되어왔다. 또한, 다양한 구조물들의 형태로 인해 구조물마다 상이한 시스템이 적용되어야 했다. 그를 보완하기 위해 무인 비행체(unmanned aerial vehicle)를 활용한 수동 또는 자율 시스템에 관한 연구가 활발히 진행되고 있다^[3,4]. 하지만 현재까지 개발된 시스템들은 대부분 GNSS 신호가 잘 잡히는 곳에서만 사용할 수 있거나 그렇지 않은 곳에서는 능숙한 사용자에 의해서 원격 조종이 되고 있다.

비행체의 완전 자율 또는 반자율 시스템을 이용한 구조물 검사를 위해서는 다음과 같은 몇 가지 조건을 충족하여야 한다.

• · 구조물 검사를 위한 상위의 제어 체계(high-level control)를 갖춘 자율 비행 시스템
• · GNSS (Global Navigation Positioning System) 음영 지역에서의 정확한 위치 추정 및 맵핑
• · 타겟 구조물에 대한 완전한 커버리지 경로 계획(complete coverage path planning)

본 논문에서는 위의 조건들을 다루는 무인기를 사용한 구조 검사, 즉 자율 비행 무인체를 사용한 무인 교량 검사 시스템을 제안한다. 제안하는 시스템은 3차원 맵핑(3장), 3차원 경로 계획(4장), 상위 제어(5장), 위치 추정(3장), 실시간 검사로 이루어져 있으며 실제 필드 테스트를 통한 시스템 검증 및 실험 결과(6장)를 첨부하였다.

2. 전체 프레임워크

본 연구에서 제안하는 프레임워크[Fig. 1]는 크게 사전 비행(pre-flight), 비행 중(on-flying), 비행 후(after flying)의 스텝으로 나누어져 있으며 각각의 스텝 안에서 또 필요 작업이 세분화 되어있다. 우선 무인기의 안전한 자율 비행과 효율적인 교량 검사를 위해서는 실제 비행 전에 사전 비행을 통한 예비 작업이 필요하다. 대상 교량 전체를 점검하는 것보다 국소적인 부분을 점검하는 시나리오가 더 많고, 대상 교량의 전체 지도가 확보되면 장애물 회피, 신속 점검 등 자율 비행 무인기 운용에 많은 장점이 있다. 때문에 먼저 정밀한 지도 제작 (mapping)을 위해 사용자의 수동 조작으로 비행체를 비행하여 획득한 데이터를 이용하여 본 연구에서 제안하는 graph SLAM 기법으로 3차원 점군 (point cloud) 지도를 만든다. 이 SLAM 알고리즘은 3차원 맵핑 단계와 위치 추정 단계에 동일한 구조가 사용되지만, 사전 획득한 3차원 맵은 시간이 경과함에 따라 매칭이 어려울 가능성이 있기에 위치 추정에 사용되지는 않는다.

[Fig. 1]

A comprehensive framework for structural inspection using an unmanned aerial vehicle

사전 비행을 통해 획득한 3차원 점군 지도를 기반으로 사용자는 교량의 점검할 부분을 미리 지정하여 커버리지 경로 계획(coverage path planning)을 할 수 있다. 이를 통해, 점검 경로를 효율적으로 계획할 수 있고 나뭇가지나 교량 기둥 등과 같은 장애물 회피도 용이해진다. 구조물 검사에서 가장 중요한 것 중 하나는 실제 검사 시 빠뜨린 부분이 없이 전체 영역을 커버하는 방법인데 본 연구에서는 구조물을 Multi-layer로 나누어 각각의 layer에서 관측점(viewpoint)을 추출하고 그 경로를 잇는 최적 경로를 푸는 문제는 결국 TSP (Travelling Salesman Problem)가 되므로 최적의 경로는 LKH (Lin-Kernighan heuristic) Solver를 통해 계산하게 된다.

이렇게 사전 준비가 끝나면 무인기는 실제 점검을 위해 자율 비행을 하게 되는데 이때 가장 중요한 것은 무인 비행체의 위치 추정(localization)이다. 교량의 하부 혹은 구조물 근처는 GNSS 신호가 수신되지 않기 때문에 본 논문에서는 IMU, 카메라, 3D LiDAR를 융합한 그래프 기반의 SLAM (simultaneous localization and mapping) 알고리즘을 사용하였다. Graph SLAM에서는 기본 노드(node) 생성이 전체 그래프 구조의 안정성 및 최적화에 큰 영향을 미치는데 본 연구에서는 이러한 기본 노드 생성을 강인하게 만들어 주기 위해 시각 관성 오도메트리(Visual-inertial Odometry, VIO) 위치 정보와 3D LiDAR 데이터를 이용해서 Normal Distribution Transform (NDT)로 얻은 위치 정보를 지역적으로 최적화하여 단일한 방법으로 기본 노드 생성하는 방법보다 시스템을 더 안정적으로 만들어주는 것을 실제 실험으로 확인하였다. 그리고 G-ICP (Generalized Iterative Closest Point) 알고리즘을 이용하여 전역적인 그래프 구조의 최적화를 진행하였다. 그 다음 비선형 최소 자승법을 이용하여 오차를 최소화할 수 있는 최적화된 해를 찾게 된다. 이와 같이 그래프 구조를 이용하면 다양한 센서로부터 획득된 무인기의 위치 정보를 쉽게 융합할 수 있다. 또한, 실제 구조물 검사를 위한 상위의 제어 방법을 이용해 비행체가 관측점 이동 간에 일정한 속력 및 순간적인 돌풍에도 대응 가능하게 제어를 하여 획득 이미지의 품질 및 실제 검사 투입 시의 안정성을 확보하였다.

3. Supernode 기반의 계층적 그래프 SLAM

본 논문에서 제안하는 SLAM은 IMU, 카메라, 그리고 3D LiDAR 데이터를 그래프 구조로 융합하여 위치 추정 및 지도작성을 한다[Fig. 2]. 바닥에서 2차원으로 움직이는 모바일 로봇과는 달리, 무인기는 발산으로 인한 추락 위험 등 때문에 기본적인 위치 추정, 즉 기본 노드 생성의 안정성이 아주 중요하다. 이를 보완하기 위해 본 연구에서는 supernode, subnode 개념을 도입하여 그래프 구조에서의 노드 생성의 강건성을 확보하였다^[5]. 무인기의 pose와 submap으로 구성된 각각의 supernode는 일정 거리 안의 여러 개의 subnode를 쌓아서 생성되며, 각각의 subnode는 VIO의 결과인 상태 추정값을 가지고 있으며, 포인트 클라우드 데이터(sweep)은 해당 subnode들의 시간 순서에 맞게 동기화되어 따로 저장된다. 기본 노드인 subnode 간의 상관관계는 VINS-Mono^[6] 알고리즘의 결과를 사용하였다. 하지만 VIO의 특성상 오차가 누적되고 갑작스런 움직임에 의해 특징점 추출이나 추적을 놓치게 되면 기본 노드 생성부터 실패하여 전체 그래프 생성이 불가능하게 된다. 이를 방지하기 위해 비교적 정확한 LiDAR 데이터를 이용한 NDT^[7] 알고리즘을 구속조건으로 하여 subnode들의 지역 최적화에 사용하였다. 일반적으로 무인기에 탑재할 수 있는 LiDAR는 작고 가벼워야 하므로 낮은 채널 개수를 가져 스캔 데이터의 밀도가 낮다. 그로 인해 각각의 subnode 간 스캔 데이터가 겹치는 영역이 아주 적어 스캔 매칭의 정확도가 떨어지게 된다. 스캔 매칭의 quality를 높이기 위해 이전 위치에서의 sweep을 축적하여 현재 스캔 데이터와 매칭하여 supernode의 지역적인 submap을 구성하게 된다[Fig. 3]. 전역적인 구속조건은 NDT보다 비교적 연산량이 높은 G-ICP^[8]를 이용하여 무인기의 위치와 지도를 보정하게 된다. 최종적으로 incremental smoothing and mapping (iSAM)^[9]을 이용하여 무인기의 전체 궤적을 최적화하고 정확한 3차원 점군 지도를 생성한다.

[Fig. 2]

Overview of the proposed graph-based SLAM

[Fig. 3]

Illustration of the proposed graph structure

4. 다중 레이어 커버리지 경로 계획

무인기의 자율 비행 시스템을 이용한 성공적인 구조물 검사 작업을 위해서는 타겟 구조물의 3차원 커버리지 경로 계획에 대한 방법이 필요하다. 본 절에서는 [Fig. 1]과 같이 사전 비행을 통해 획득한 3차원 점군 지도를 이용하여 오프라인으로 경로 계획을 하는 방법에 대해 서술한다. 획득한 맵에서 미리 비행 경로를 계획해놓으면 고정 장애물을 쉽게 피할 수 있다는 장점과 비효율적인 움직임을 줄일 수 있다는 장점이 있다.

본 연구팀은 이전 연구에서 ML-CPP^[10] (multi-layer coverage path planner)[Fig. 4]를 개발하여 고층 건물 검사 시 무인기의 효과적인 커버리지 경로 계획에 대한 연구를 진행하였다. 본 논문에서는 ML-CPP를 ML-CPP++[Fig. 5]로의 확장을 통해 교량으로 적용하였다. 교량의 파트는 대부분 면과 직선으로 이루어진 점을 고려하여 교량의 기둥과 바닥판을 segmentation하여 기둥 부분은 수직 ML-CPP를 적용하고 바닥판의 경우는 수평 ML-CPP를 적용하였다. 교량의 상판은 무인기를 사용한 점검이 비효율적이어서 높이를 기준으로 경로점을 제거하였으며 ML-CPP++를 교량에 최종 적용한 경로 계획결과는 [Fig. 6]과 같다.

[Fig. 4]

Multi-layer coverage path planner[6]

[Fig. 5]

Multi-layer coverage path planner++

[Fig. 6]

ML-CPP++ on an actual bridge map

5. 상위 제어

성공적인 구조물 검사를 위한 자율 비행의 목표는 모든 표면을 검사할 수 있도록 설계된 지정된 경로를 추종하기 위한 상위 제어가 동작하여야 한다. 이 목적을 달성하려면 무인기의 제어를 위해 몇 가지 사항을 고려해야 한다.

첫째, 무인기가 지정된 경로를 따라 비행할 때 장착된 카메라가 획득한 누적 이미지 데이터가 교량의 모든 표면을 놓치지 않고 커버해야 한다. 둘째, 연속적인 두 개의 카메라 이미지는 특정 값보다 높은 비율로 겹쳐야 표면을 지속적으로 검사 할 수 있다. 따라서 무인기는 경로를 따라 이동할 때 거의 일정한 속도로 이동하도록 제어되어야 한다. 마지막으로, 무인기를 지정 경로에서 강제로 이탈하게 하는 돌풍 등과 같은 외란에 저항하고 검사할 교량 표면을 놓치지 않게 하도록 LoS (Line-of-Sight) 기반의 경로 추종 알고리즘을 사용하였다.

6. 실험결과

6.1 KITTI Dataset 평가

본 논문에서 제안한 SLAM 알고리즘을 실제 무인기 플랫폼에 적용하여 필드 테스트를 진행하기 전 KITTI odometry dataset을 이용하여 그 성능을 평가하였다. 평가는 Intel i7-9700K CPU, 32 GB RAM의 데스크탑에서 진행하였으며 [Fig. 7]은 sequence 03을 제외한 sequence 00부터 10까지의 제안한 계층적 SLAM 알고리즘의 참값 대비 주행 궤적을 보여준다. 수치적인 결과는 [Table 1]에 나와있으며, 그 비교군으로 카메라와 LiDAR를 같이 사용하는 DEMO^[11], DVL-SLAM^[12]와 LiDAR만 사용하는 LOAM^[13] 알고리즘을 사용하였다. 제안한 방법이 전반적으로 가장 우수한 결과를 보임을 알 수 있다.

[Fig. 7]

Results on KITTI dataset: (a) seq 00 ~ (j) seq 10

[Table 1]

Translation error[%] of KITTI dataset

6.2 플랫폼 및 실험환경

본 연구에서 사용된 무인기는 [Fig. 8]과 같으며 4K 짐벌-카메라, PX4 기반의 Pixhawk4, Intel i7 NUC, mvBlueFOX3 단안 카메라, Velodyne Puck Lite 3D LiDAR를 탑재하였으며, 서버 컴퓨터와의 무선통신을 위해 LTE 모뎀을 탑재하였다. 기체 사이즈는 750 mm × 750 mm × 400 mm 이며 최대 비행시간은 35분, 허용하중은 2 kg이다.

[Fig. 8]

UAV used in this research and experimental environment (Deungseon Bridge)

본 논문에서 제안한 다중 레이어 커버리지 경로 계획, 계층적 그래프 SLAM 등을 포함한 전체 프레임워크 필드테스트는 춘천 등선교에서 이루어졌으며 비행가능시간을 고려하여 두 개의 경간만을 대상으로 하였다.

6.3 필드테스트 결과

필드테스트는 실제 무인기에서의 위치 추정 및 맵핑 성능을 확인하기 위하여 직선 경로의 비행을 통해 검증하였다. 본 논문에서는 비교 알고리즘으로 오픈소스로 공개되어있는 LOAM, LIO-mapping^[14], LIO-SAM^[15] 알고리즘을 사용하였으며, 기본적인 VINS-Mono 알고리즘을 사용하는 제안한 방법과 LIO-Mmapping은 외부(extrinsic) 파라미터를 초기화하는 과정이 요구되기 때문에 이륙 전에 핸드헬드 초기화를 진행하였다^[16]. [Fig. 9]는 각 알고리즘 별로 추정한 무인기의 경로와 최종 맵의 결과를 보여준다. 전체적으로 낮은 위치 추정 오차의 결과를 보여주었지만, 획득한 3차원 맵에서는 각 알고리즘 별로 발생한 노이즈 및 오차를 확인할 수 있다. 실제 교량 수치 대비 오차는 [Table 2]에서 확인할 수 있다.

[Fig. 9]

Field test results at Deungseon Bridge: (a) Our method (b) LOAM (c) LIO-mapping (d) LIO-SAM (white circle shows the mapping noise)

[Table 2]

Experimental results. Dimensional symbols are shown in [Fig. 8]. GT denotes ground truth.

7. 결과 및 고찰

본 논문에서는 구조물 검사에 있어서 인간에서 무인 시스템으로 변화하는 추세에 맞추어 자율 비행 시스템을 갖춘 무인기를 이용한 대형 교량의 검사 프레임워크(3차원 맵핑, 위치 추정, 경로 계획, 제어 등)에 대해 제안하였고, 실제 실험을 통해 본 시스템의 적용 가능성을 테스트하였다. 사전 비행을 통해 획득한 데이터를 통해 타겟 교량의 지도를 작성한 후, ML-CPP++ 알고리즘으로 타겟 교량을 커버하는 경로 계획을 하였다. 또, 해당 경로점들을 빠짐없이 검사하고 외란에 강인하게 하기 위한 제어 방법에 관해서도 서술하였으며, 다중 센서를 융합한 계층적 graph SLAM을 이용하여 GNSS 없이도 무인기 내부적으로 state estimation이 가능하게 하여 안정적이고 빠른 무인 검사 시스템을 구성하였다.

본 시스템을 사용한 검사 시간, 검사 성능에 있어서는, 전문 인력과 사다리차가 투입되어서 하나의 경관을 검사할 시 전체 8시간이 걸렸고 실제 검사에는 4시간이 소요되었다. 무인기를 이용한 검사는 전체 4시간 소요에 실제 검사에는 1시간만 소요되었다. 무인기 기체의 크기, 센서의 한계로 인해 교각과 바닥판이 만나는 모서리 부분 또는 배수구 등의 구조물이 부착된 곳은 무인기를 이용한 검사 시 놓치는 영역이 발생하였다[Fig. 10].

[Fig. 10]

Stitched bridge images: column (left) and bottom (right)

추후 연구로는 사전 수동비행을 통한 맵핑과 경로 계획 단계를 없애고 model-free (mapless)한 탐사(exploration) 기술을 이용하여 작업자의 개입을 현재 시스템보다 최소화할 예정이다.

Acknowledgments

This work was supported by the Korea Agency for Infrastructure Technology Advancement (KAIA) grant funded by the Ministry of Science and ICT/Ministry of Trade, Industry and Energy/Ministry of Land, Infrastructure and Transport (Grant 21DPIW-C153691-03). The student were partially supported by BK21 FOUR and Korea Ministry of Land, Infrastructure and Transport (MOLIT) as ‘Innovative Talent Education Program for Smart City’

References

• H. M. La, N. Gucunski, K. Dana, and S. Kee, “Development of an autonomous bridge deck inspection robotic system,” Journal of Field Robotics, vol. 34, no. 8, pp. 1489-1504, Jun., 2017.
• H. Peel, S. Luo, A. Cohn, and R. Fuentes, “Localisation of a mobile robot for bridge bearing inspection,” Automation in Construction, vol. 94, pp. 244-256, Jul., 2018.
• S. Dorafshan, M. Maguire, N. V. Hoffer, and C. Coopmans, “Challenges in bridge inspection using small unmanned aerial systems: results and lessons learned,” 2017 International Conference on Unmanned Aircraft Systems (ICUAS), Miami, FL, USA, pp. 1722-1730, 2017.
• G. Morgenthal, N. Hallermann, J. Kersten, J. Taraben, P. Debus, M. Helmrich, and V. Rodehorst, “Framework for automated UAS-based structural condition assessment of bridge,” Automation in Construction, vol. 97, pp. 77-95, Nov., 2019.
• S. Jung, D. Choi, S. Song, and H. Myung, “Bridge inspection using unmanned aerial vehicle based on HG-SLAM: Hierarchical graph-based SLAM,” Remote Sensing, vol. 2, no.18, pp. 3022, Sep., 2020.
• T. Qin, P. Li, and S. Shen, “VINS-Mono: A robust and versatile monocular visual-inertial state estimator,” IEEE Transactions on Robotics, vol. 34, no. 4, pp. 1004-1020, Aug., 2018.
• P. Biber and W. Straßer, “The normal distributions transform: A new approach to laser scan matching,” 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems, Las Vegas, NV, USA, pp. 2743-2748, 2003.
• A. V. Segal, D. Haehnel, and S. Thrun, “Generalized-ICP,” Robotics: Science and Systems (RSS), Seattle, WA, USA, vol. 2, no. 4, 2009, [Online], https://www.robots.ox.ac.uk/~avsegal/resources/papers/Generalized_ICP.pdf, .
• M. Kaess, A. Ranganathan, and F. Dellaert, “iSAM: Incremental smoothing and mapping,” IEEE Transaction. on Robotics, vol. 24, no. 6, pp. 1365-1378, 2008.
• S. Jung, S. Song, P. Youn, and H. Myung, “Multi-layer coverage path planner for autonomous structural inspection of high-rise structures,” 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 1-9, 2018.
• J. Zhang, M. Kaess, and S. Singh, ‘‘Real-time depth enhanced monocular odometry,’’ 2018 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Chicago, IL, USA, pp. 4973-4980, 2014.
• Y.-S. Shin, Y. S. Park, and A. Kim, “DVL-SLAM: Sparse depth enhanced direct visual-LiDAR SLAM,” Autonomous Robots, vol. 44, no. 2, pp. 115-130, 2020.
• J. Zhang and S. Singh, “LOAM: LiDAR odometry and mapping in real-time,” Robotics: Science and Systems (RSS), Berkeley, CA, USA, vol. 2, no. 9, 2014, [Online], https://www.roboticsproceedings.org/rss10/p07.pdf, .
• H. Ye, Y. Chen, and M. Liu, “Tightly coupled 3D LiDAR inertial odometry and mapping,” 2019 International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, pp. 3144-3150, 2019.
• T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “LIO-SAM: Tightly-coupled LiDAR inertial odometry via smoothing and mapping,” 2020 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Las Vegas, NV, USA, pp. 5135-5142, 2020, [Online], http://ras.papercept.net/images/temp/IROS/files/0063.pdf, .
• J. Jeon, S. Jung, E. Lee, D. Choi, and H. Myung, “Run your visual-inertial odometry on NVIDIA Jetson: Benchmark tests on a micro aerial vehicle,” IEEE Robotics and Automation Letters, vol. 6, no. 3, pp. 5332-5339, Jul., 2021.