LTE 통신을 사용한 건설용 굴삭기 원격조종시스템 개발

1. 서 론

정부는 2018년 ‘스마트 건설기술 로드맵’을 수립하여, 2025년까지 스마트 건설기술 활용 기반을 구축하고 2030년까지 건설자동화를 완성하는 것을 목표로 추진하고 있다. 이를 실현하기 위하여 국토교통부는 2020년 “스마트건설기술개발사업”을 발주 하였으며, 1,400억 원을 투자하여 총 6년의 사업기간 동안 도로실증을 통한 스마트 건설기술개발을 실행 중이다.

스마트 건설기술이란 전통적인 토목·건축기술에 IoT, 드론, 로봇 등의 하드웨어 기술과 Big Data, VR/AR, AI 등의 소프트웨어기술 뿐만 아니라, 이를 연결하는 초고속 통신기술을 융합하여 건설 과정의 디지털화, 건설장비의 자동화, 가상건설, 현장 안전관리 등 건설 생산성 또는 안전성을 극대화 하는 기술로 정의 할 수 있다^[1].

본 논문에서는 건설장비의 자동화 및 관제기술에 적용이 가능한 건설용 굴삭기 원격제어 시스템을 제안하고자 한다. 건설용 굴삭기는 다양한 안전사고의 가능성을 내재하고 있어, 이를 안전한 환경에서 원격조종하고자 하는 다양한 시도가 이루어지고 있다. 건물 철거나 해체 작업에서 사용되어지는 굴삭기는 실내에서 작업이 이루어지므로 건물의 전복이나 함몰 등의 위험상황을 대처하기 위하여 굴삭기 원격제어 연구가 진행되었다^[2]. 또한, 자연재해와 구조작업에서 중장비 유압굴삭기 작업은 작업자의 안전을 위협하는 상황에 노출되는 상황이 빈번하므로 이를 해결하기 위하여 다양한 제어기법을 이용한 원격제어시스템이 시도되거나^[3], 중장비 자체의 자동화에 대한 연구가 시도되었다^[4,5].

하지만, 대부분의중장비 원격제어시스템은 크게 2가지의 정보를 전달함으로서 조종자의 원격조종을 지원한다.

첫 번째는 힘/토크센서를 굴삭기(슬레이브 로봇)에 부착하여, 슬레이브 로봇의 충격력과 작업 반발력을 조종자에 전달한다. 전달된 데이터는 햅틱(Haptic) 디바이스에 의하여 조종자의 손과 팔에 전달되어 원격지의 슬레이브 로봇 상황을 파악하게 된다^[6,7].

두 번째는 슬레이브 로봇에 부착된 카메라의 영상정보를 조종자에 전달하여 슬레이브 로봇의 작업현황을 파악하며 조종한다^[8]. 이는 대용량의 데이터 전송이 필요하므로, 직접적인 영상정보를 전달하기 보다는 VR/AR를 이용하여 조종자의 모니터에 정보를 표기하여 시간지연에 대한 원격조종의 효율성을 보상한다^[9,10].

본 논문에서는 슬레이브의 모션과 영상을 동기 시켜 원격작업에 필요한 정보를 생성하고, 이를 LTE통신을 사용하여 통신 중계기가 설치된 국내에서 평균 100 msec의 시간지연으로 슬레이브 굴삭기를 조종하는 시스템을 제안한다. 전송된 모션 정보는 조종자가 탑승한 마스터로봇에 전송되어, 실제 굴삭기의 충격력과 작업 반발력뿐만 아니라, 굴삭작업 진동과 굴삭기 차체기울기를 조종자에게 전달하게 된다. 이는 햅틱 디바이스에 전송되어 팔과 손의 감각에만 전달되는 원격제어시스템에 비하여 원격작업 상황판단과 건설작업에 보다 효율적이고 실감 있는 정보를 조종자에게 전달하게 된다.

2. 원격조종 시스템 구성

무인 굴삭기에 부착된 카메라와 IMU 센서에서 모션과 영상데이터를 취득하여, 조종자에게 전달하는 원격조종시스템은 [Fig. 1]과 같이 두 가지 형태로 구성할 수 있다. 첫 번째는 [Fig. 1]의 (a)와 같이 전송된 영상을 햅틱 디바이스세서 재생하여 조종자에게 전달하는 방법이나, 이는 굴삭기의 작업 반발력과 작업 시 발생하는 충격을 조종자의 손과 팔에만 전달하는 제한적인 현실감을 재생한다^[11].

[Fig. 1]

Concept of Tele-operation for Unmaned Excavator: (a) Tele-operation with Haptic Device: Impact of excavator is transferred to operator as a force reflection (b) Tele-operation with Motion Platform: Motion of excavator is transferred to operator to feel a immersion feeling

두 번째 방법은 [Fig. 1]의 (b)와 같이, 전송된 모션을 조종자가 탑승한 마스터 플랫폼에 재생시켜, 무인굴삭기의 모션과 동기된 모션을 조종자에게 전달하는 방법이다. 두 번째 방법은 무인굴삭기의 충격력과 작업 반발력뿐만 아니라, 굴삭기의 진동, 노면 기울기, 굴삭기의 흔들림 등을 탑승자에 전송가능하나, 효율적이며 탑승 가능하며, 다양한 모션이 재생 가능한 소형 마스터 플랫폼의 설계와 제어가 해결되어야 한다.

본 논문에서는 새로운 병렬로봇구조의 소형 마스터 플랫폼을 제안하여 두 번째 방법으로 무인굴삭기의 원격제어를 시도 하였다.

2.1 탑승형 Master 로봇

일반적인 병렬기구는 직렬형 구동부(Active Joint)에서 첨단부(End Effector)까지 직접적으로 연결된 형태이며, 각 직렬형 구동부는 직접적으로 연결되어 있지 않는다. 이러한 기구적 구조를 통해 각 구동부의 움직임이 첨단부의 위치 및 자세를 직접적으로 제어하게 된다. 병렬기구의 특징은 직렬기구에 비해 첨단부를 통한 개별 구동부에 부하가 적다는 것이지만, 구동부와 첨단부가 직접적으로 연결된 형태에서는 특정자세에서 여전히 첨단부를 통해 가해지는 부하가 하나의 구동부에 전담되는 경우가 발생한다. 이는 병렬기구에 있어서 크기 대비 높은 가반하중을 실현하기 어렵게 하는 원인이 되며, 기구의 소형화 및 경량화를 어렵게 하는 원인이 된다. 때문에 높은 가반하중을 위해서는 기구 자체의 크기를 키우거나, 높은 출력의 구동부를 선정하여야 했다.

본 논문에서 사용되는 병렬구조 마스터 플랫폼은 구동부와 첨단부가 직접적으로 연결되지 않고, 각 구동부가 서로 연결(coupled)되어 있는 구조이다[Fig. 2(a)]. 첨단부는 연결된 구동부 사이에 위치한 구형조인트를 통해 간접적으로 위치 및 자세가 결정된다. 이렇게 서로 연결 된 구동부는 첨단부로부터 발생되는 하중을 서로 보완하게 되며, 어떤 자세에서도 적어도 2개 이상의 구동부가 첨담부의 하중을 지지하게 되므로, 기구적으로 기존의 병렬기구보다 높은 강성을 가지게 된다.

[Fig. 2]

Proposed Master Platform for Tele-operation

이 구조의 병렬로봇에 대한 역기구학과 정기구학의 해석식은 수학적으로 도출되었으며, 각 조인트의 움직임에 따른 첨단부의 병진작업공간과 회전작업공간 해석도 증명되었다^[12].

이를 사용하여 절대좌표계의 각 평면 위에서 첨단부가 원형움직임을 가질 때, 첨단부가 회전한 각도에 대한 선형능동조인트의 선형변위에 대한 그래프를 [Fig. 3]에 나타내었다.

[Fig. 3]

Active Joints Displacement by End-effector Circle Motion

[Fig. 3]의 (a)는 XY평면에서의 첨단부가 원형움직임을 가질 때의 그래프로, 각각의 선형변위가 120°의 위상차를 가진 사인파 형태의 그래프를 가진다. 또한 선형변위의 그래프가 영점을 중심으로 하지 않고 영점보다 높게 유지한다. 이는 계산 시, 첨단부를 중심위치의 평면보다 높은 위치의 평면에서 동작하도록 계산하였기 때문이다. 이때, 중심위치는 선형능동조인트의 선형변위가 모두 영점인 경우일 때의 위치를 말한다.

[Fig. 3]의 (b)는 YZ평면에서의 첨단부가 원형움직임을 가질 때의 그래프로, 선형변위의 전체적인 형상은 180°를 기준으로 대칭을 이룬다. 선형능동조인트1(Active 1)은 첨단부가 이루는 원형움직임의 회전 중심축 방향 위에 위치하므로 180°를 기준으로 대칭을 이루지만, 선형능동조인트2(Active 2)와 선형능동조인트3(Active 3)은 회전 중심축 방향을 기준으로 동등 거리만큼 떨어져 있으므로 180°을 기준으로 서로 반대의 값을 가진다. 즉, Active 2의 그래프는 Active 3의 그래프를 180°을 기준으로 회전한 그래프와 동일한 형상을 가진다.

[Fig. 3]의 (c)는 ZX평면에서의 첨단부가 원형움직임을 가질 때의 그래프로, [Fig. 3]의 (b)의 Active 2, Active 3의 그래프와 유사한 그래프를 가지며, Active 2와 Active 3은 항상 동일한 값을 가진다. 이때, [Fig. 3]의 (c)는 [Fig. 3]의 (b)의 Active 2, Active 3과 다르게 180°을 기준으로 서로 반대의 값을 갖지 않는다. 이는 제안된 병렬구조 마스터 플랫폼의 기구적 특징에 의한 것으로, ZX평면에서 원점부터 각 선형능동조인트의 기준점까지의 수평거리는 Active 2와 Active 3까지의 거리보다 Active 1까지의 거리가 더 멀게 설계되어있다. 이로 인해 동일 각도의 움직임일 경우, Active 1이 Active 2와 Active 3보다 상대적으로 더 큰 선형변위를 가진다. 실제로 0°~180°까지 Active 2와 Active 3의 2축 선형변위보다 180°~360°까지 Active 2와 Active 3의 2축 선형변위가 항상 작게 나타난다.

[Fig. 4]는 첨단부가 XY평면에서 원형움직임을 가지는 [Fig. 3]의 (a) 경우, 각 원형 움직임의 위치에 대한 병렬구조 마스터 플랫폼과 3D 모델링의 모션에 대하여 비교한 그림이다.

[Fig. 4]

Diagram of Modeling by Circle Motion (X-Y Plane)

각 움직임의 선형능동조인트 수치는 [Fig. 4] 아래에 표기하였다. [Fig. 4]에서 좌측 그래프는 병렬구조 마스터 플랫폼의 정기구학 해석해에서 선형능동조인트의 선형변위를 입력으로 계산된 첨단부의 위치그래프이며, 중앙사진과 우측 사진은 각각 동일한 선형변위를 입력했을 때의 실제 모델과 3D 모델링의 움직임이다. [Fig. 4]를 통해 기구학의 해석해를 통해 계산된 수치상의 위치와 3D 모델링을 통한 움직임, 실제 움직임이 유사함을 확인할 수 있다.

제안한 병렬구조 마스터 플랫폼을 조종자가 탑승 가능한 마스터 플랫폼으로 개조하고, 조종자가 [Fig. 5]와 같은 굴삭기의 조종신호를 생성하기 위하여, 2개의 조이스틱을 부착하였다. [Fig. 5]의 (c)는 본 논문에서 제안한 조종자가 탑승 가능한 병렬구조 마스터 플랫폼의 시제품이다.

[Fig. 5]

Suggested Master Platform with Parallel Mechanism

2.2 무인 굴삭기 제어유닛

[Fig. 6]은 전체적인 원격제어 시스템의 구성을 나타낸다. 조종자가 탑승하여 원격의 무인 굴삭기에 조작명령을 전달하고, 전송받은 모션, 영상 등을 재생하는 마스터플랫폼(탑승형 로봇)과 제어 대상이 되며 모션, 영상 등을 수집하는 슬레이브 로봇(무인굴삭기), 이 두 시스템을 LTE로 연결하는 통신시스템으로 구성되어 있다.

[Fig. 6]

Configuration of Tele-operation System

마스터플랫폼에 탑승한 사용자가 컨트롤러를 이용하여 조작을 하게 되면 해당 조작데이터가 PC의 프로그램을 거쳐 LTE 통신모듈을 통해 슬레이브 로봇에 부착되어 있는 무인 굴삭기 제어유닛(Vehicle Control Unit, VCU)에 전달되고, VCU는 전달받은 조작명령을 유선신호(CAN통신)를 통해 슬레이브 로봇에 전달해주게 된다^[13].

조작명령을 전달받은 슬레이브 로봇은 움직이게 되고, 슬레이브 로봇에 부착되어 있는 VCU는 내장된 카메라와 IMU센서, 마이크 등을 이용하여 각종 데이터를 수집한 후 다양한 필터와 연산을 통해 모션 데이터와 영상, 음향 데이터를 시간 축으로 동기 시키고, LTE 통신모듈을 통해 탑승형 로봇의 PC의 프로그램으로 전달된다.

PC의 프로그램은 전달된 모션 데이터를 해석하여 마스터플랫폼에 전달하여 탑승자에게 원격의 무인 굴삭기에 탑승한 것 같은 실감 모션을 재생한다.

슬레이브 로봇에 부착되어 있는 VCU는 기존의 굴삭기의 개조 없이 모션과 영상을 동기 시키고, 두 시스템의 무선통신을 수행하도록 자체 개발되었다. VCU의 각 구성품과 시제품은 [Fig. 7]에 제시하였고, 상세내용은 [Table 1]과 같다.

[Fig. 7]

Vehicle Control Unit (VCU) for Excavator Tele-operation

[Table 1]

Specification of Vehicle Control Unit

3. 통신시스템 및 시간지연

본 논문에서 제안한 원격제어시스템에서 마스터 플랫폼과 무인굴삭기 사이의 데이터 통신 시간지연을 [Fig. 8]과 같이 실험적으로 분석하였다. LTE통신에서 기인하는 시간지연만을 측정하기 위하여 굴삭기 조종신호와 슬레이브로봇, 마스터 로봇을 한 대의 통합 데이터 수집 장치에 유선으로 연결 한 후, LTE로 영상과 모션데이터 패킷을 전송하여, 각각의 슬레이브와 마스터를 구동한 모션을 실시간으로 측정 하였다. 이때, 슬레이브 로봇은 굴삭기를 대상으로 해야 하나, 유선으로 데이터 수집의 어려움과 굴삭기의 진동특성과 마스터플랫폼의 진동특성이 상의하기 때문에, 시간지연에 대한 분석을 위하여, 슬레이브와 마스터를 모두 마스터 플랫폼 로봇으로 실험 하였다.

[Fig. 8]

Experiment Setup for Time Delay Measurement

전동된 모션데이터 패킷의 크기는 16 byte 이며, 영상데이터의 크기는 통신 속도를 고려하여 QVGA 해상도를 사용하였으며, 평균 데이터 크기는 2,000 ~ 7,500 Byte이다.

사용된 LTE의 라우터는 CAT4 레벨 통신을 사용하였고, Upload/Download 속도는 50/150 Mbps 이다.

[Fig. 9]은 조종데이터를 LTE통신으로 슬레이브에 전달하고, 전달된 데이터로 슬레이브를 구동한 후, 이를 슬레이브에 부착된 VCU에서 모션과 영상을 측정(Data2)하고, 이를 다시 LTE통신으로 마스터에 전송한 후(Data3), 이를 마스터에 부착된 VCU로 모션과 영상데이터를 측정하였다. 이때, 각각 마스터와 슬레이브 단에서 측정된 데이터(Data2, Data3)를 유선으로 시간 축에 동기 시켜 표시하였다. 시간지연은 슬레이브 모션과 마스터 모션간의 시간 차이로 정의하였으며, [Fig. 9]에서 보듯이, 슬레이브와 마스터간의 각 모션데이터 평균 시간지연은 100 msec 이내로 동기 되어 움직임을 증명하였다.

[Fig. 9]

Time Delay between Master and Slave due to LTE Communication

4. 원격 굴삭기 실험

본 논문에서 제시된 건설용 굴삭기 원격 조종시스템은 [Fig. 10]과 같이 2020년 11월 9일부터 13일까지 개최된 “2020 삼성물산 건설기술혁신전”에서 5일간 원격제어로 굴삭작업을 시연하였다.

[Fig. 10]

Demonstration of Tele-Operation System for Unmanned Excavator

삼성물산의 주관으로 서울 송파 래미안 갤러리 전시관에 설치한 탑승형 마스터 플랫폼에서 약 35 km 떨어진 경기도 안산에 있는 무인 건설 굴삭기를 실시간으로 굴삭 작업을 하루 평균 5시간 작업을 진행하였으며, 굴삭기 조종자는 전문 굴삭기 기사가 시연하여 실제 탑승 시 작업과 차이가 없는 건설작업을 수행하였다.

5. 결론 및 연구방향

본 논문에서는 LTE통신을 이용한 굴삭기 원격조종시스템을 제안하였다. 이를 위하여, 고가반하중의 병렬 마스터 플랫폼과 슬레이브의 모션과 영상을 동기 시키는 VCU를 제안하였으며, 이를 LTE통신으로 전송하여 평균 100 msec이내의 시간지연으로 실시간 원격조종 굴삭 작업을 증명하였다.

앞으로 영상의 크기에 따른 LTE 통신의 실시간성에 대한 연구를 진행하고자 한다.

Acknowledgments

This work was supported by Korea Institute of Police Technology (KIPoT) grant funded by the Korea government (KNPA) (No.092021C29S02000, Development of on-site control technology for road traffic network control in the event of an incident or disaster)

References

• S. S. Moon and Y. S. Kim, “R&D Strategy for Development of Smart Construction Technology,” Construction Engineering and Management, vol. 19, no. 6, pp. 33-36, 2018, [Online], https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=JAKO201811459665030&dbt=NART, .
• D. N. Kim, K. Y. Oh, N. H. Kim, D. H. Hong, Y. K. Kim, and S. H. Hong, “Design and Control of Remote Controller for Excavator,” Korean Society for Precision Engineering Spring Conference, Jeju, Korea, pp. 273-274, 2009, [Online], https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=NPAP08511126, .
• E. Rohmer, K. Yoshida, and E. Nakano, “A Novel Distributed Telerobotic System for Construction Machines Based on Modules Synchronization,” 2006 IEEE/RSJ International Conference on Intelligent Robots and Systems, Beijing, China, pp. 4199-4024, 2006.
• T. Y. Lim, “A Study on Development of Automatic Excavator system and Verify the System,” Ph.D. dissertation, Ulsan University, Ulsan, Korea, [Online], https://scienceon.kisti.re.kr/srch/selectPORSrchArticle.do?cn=DIKO0012506120, .
• “Development of An Intelligent Excavating System,” Doosan Infracore, Inchon, Korea, August 30, 2010.
• S. Tafazoli, S. E. Salcudean, K. Hashtrudi-Zaad, and P. D. Lawrence, “Impedance Control of a Teleoperated Excavator,” IEEE TRANSACTIONS ON CONTROL SYSTEMS TECHNOLOGY, vol. 10, no. 3, pp. 355-367, May, 2002.
• D. Kim, K. W. Oh, D. Hong, Y. K. Kim, and S.-H. Hong, “Motion Control of Excavator with Tele-Operated System,” 26th International Symposium on Automation and Robotics in Construction (ISARC 2009), Austin, USA, pp. 341-347, 2009.
• J. Yoon and A. Manurung, “Development of an intuitive user interface for a hydraulic backhoe,” Automation in Construction, vol. 19, no. 6, Oct., 2010.
• T. Sasaki and K. Kawashima, “Remote control of backhoe at construction site with a pneumatic robot system,” Automation in Construction, vol. 17, no. 8, Nov., 2008.
• T. Hirabayashi, J. Akizono, T. Yamamoto, H. Sakai, and H. Yano, “Teleoperation of construction machines with haptic information for underwater applications,” Automation in Construction, vol. 15, no. 5, Sept., 2006.
• J. B. Jeong and K. S. Kim, “A Study on Driving Algorithm and Communication Characteristics for Remote Control of Mini Excavator,” Journal of Drive and Control, vol. 15, no. 4, pp. 81-90, 2018.
• S. H. Kim and B. H. Kang, “Kinematic Analysis of 4-axis Parallel Mechanism Simulator for Trunk Control,” Journal of Institute of Control, Robotics and Systems, vol. 26, no. 1, 2020.
• B. H. Kang, “Real-time Tele-operated Drone System with LTE Communication,” Journal of The Institute of Internet, Broadcasting and Communication, vol. 19, no. 6, pp. 35-40, 2019.