Current Issue

Journal of Korea Robotics Society - Vol. 19 , No. 1


[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 15, No. 4, pp. 392-397
Abbreviation: J. Korea Robot. Soc.
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 30 Nov 2020
Received 20 Jul 2020 Revised 17 Aug 2020 Accepted 21 Sep 2020
DOI: https://doi.org/10.7746/jkros.2020.15.4.392
무인 경비 로봇을 위한 다중 무선 통신 기반 관제시스템
엄태영^† ; 정준영¹ ; 조성훈² ; 배기덕³ ; 최영호⁴




Multiple Wireless Networks based Control System for Unmanned Surveillance Robot
Taeyoung Uhm^† ; Joon-Young Jung¹ ; Sung-Hoon Cho² ; Gi-Deok Bae³ ; Young-Ho Choi⁴
1Senior Researcher, Rastech, Daejeon, Korea (jy6659@rastech.co.kr)
2Research Director, Rastech, Daejeon, Korea (shcho@rastech.co.kr)
3Chief Researcher, KIRO, Pohang, Korea (bgd9047@kiro.re.kr)
4Center Director, KIRO, Pohang, Korea (rockboy@kiro.re.kr)
Correspondence to : ^†Senior Researcher, Corresponding author: KIRO, Pohang, Korea (uty@kiro.re.kr)
© Korea Robotics Society. All rights reserved.


Funding Information ▼ Korea Institute for Advancement of Technology Ministry of Industry and Commerce 10080489

Abstract

Unmanned robots are very useful for autonomous security systems. These robots navigate autonomously move in a large area for surveillance. It is very important for robots that cover such a wide area to communicate with a control systems. Therefore, the control system needs various communication methods to check the status of the robot and send/receive messages. In addition, it is necessary to provide an easy interface for the user to send security mission commands to the robot. In this paper, we propose a control system based on a variety of communication techniques to perform security by safely communicating with a number of robots in a wide area space. The proposed system designed for considering user UI, data storage and management, and shows usability by constructing it in a real environment.


Keywords: Robot Wireless Networks, Robot Control System, Surveillance Robot Networks

1. 서 론

최근 4차혁명에 힘입어 로봇을 이용한 무인화 서비스에 관심이 모아지고 있다. 특히, 로봇이 자율적으로 주행하고 미션을 수행하기 위해서 많은 연구들이 이루어지고 있다. 이러한 로봇은 인간의 편의를 위해 소셜, 의료, 경비, 안내, 돌봄, 제조, 해양, 항공 등의 매우 다양한 분야에서 그 서비스 영역을 확대하고 있다^[1]. 이들 중에서 경비 서비스를 위한 로봇은 사회적 불안을 감소시키고 고위험지역을 무인으로 감시할 수 있는 매우 주요한 로봇 서비스 중 하나이다. 현재 감시 시스템은 영상을 기반으로 침입자를 탐지하거나^[2], 화재를 감시하는 서비스를 사용한다^[3]. 더욱이 통신 기술이 발전하면서, 로봇과 카메라를 이용한 감시시스템이 개발되어 고정된 영상기기만으로 수행하던 경비를 대체하고 있다^[4-7]. 하지만, 대부분의 감시시스템은 실내 혹은 제안된 일부 영역에서 사용되고 있으며, 주로 감시를 위한 일방적 영상 전송만을 수행하고 있다. 이에 보다 능동적인 경비 서비스를 위해서는 관제 시스템을 통해 감시 뿐만아니라 로봇을 이용한 직접적이고 빠른 개입이 가능하도록 양방향 통신이 가능하고 넓은 지역을 커버할 수 있는 통신 시스템이 필요하다^[8].

본 논문에서는 실외 광역공간에서 다수의 로봇들이 관제시스템과 양방향 통신을 할 수 있도록 다종의 통신 기법을 통합한 관제시스템을 제안한다. 이를 위해 4종의 통신 방식(LoRa (Long Range), Wifi (Wireless Fidelity), Blutooth, LTE (Long Term Evolution))을 사용하여 관제와 로봇 간의 통신을 수행한다. 관제 시스템은 관리자를 위한 UI를 포함하고 있으며 모니터링을 위한 3종 영상을 제공한다.

본 논문의 구성은 다음과 같다. 2장에서 다중 무선 통신 시스템 구성 및 통신 방법에 대한 역할과 각각의 데이터 전송 코드를 제안하고 3장에서 관제시스템 및 인터페이스를 소개한다. 그리고 4장에서는 관제시스템 구축 결과를 보이고 5장에서 결론을 맺는다.

2. 다중 무선 통신

2.1 다중 무선 통신 시스템 구성

다중 무선 통신 시스템의 구성은 아래의 [Fig. 1]과 같다. 이는 LoRa, Wifi, Bluetooth, LTE 4종의 통신 방법을 활용하여 각각의 특성을 고려한 역할을 수행한다. 사용자의 직접 컨트롤을 위한 Blutooth통신(1순위), 긴급상황용 LoRa통신(2순위), 통상용 Wifi통신(3순위) 그리고 센서데이터 전송을 위한 LTE 통신을 사용한다.

[Fig. 1]
Multiple wireless network system configuration

2.2 다중 무선 통신 역할 분배

2.2.1 무선 통신 방법별 역할

로봇은 각 통신의 순위에 따라서 제어 명령을 수행한다. 이는 다수의 로봇의 운용을 위해서는 신뢰도가 높은 통신이 필요하기 때문에 근거리에 적합한 컨트롤러용으로 Bluetooth를 사용하고, 고정형 Wifi 모듈과 로봇에 탑재된 이동형 Wifi 모듈을 사용하여 광역 공간 커버가 가능한 통상 제어 및 상태 통신을 이용하고, 마지막으로 대역폭이 넓은 LTE를 사용하여 영상을 전송하도록 구성하였다.

⦁ LoRa(긴급상황용): 통상 상태 통신 불가능 시 긴급 Start/Stop, 복귀 명령, 재부팅 명령
⦁ Wifi(통상용): 임무 명령(로봇 미션(순찰, 감시), 목표지점 목록, 임무 시작, 긴급 정지) 및 통상 메시지(로봇 현재 위치, 이전 목표지점, 현재 목표지점, 로봇 상태 메시지), 원격 조종(Start/Stop, 선속도, 각속도, 속도 증가, 속도 감소)
⦁ Bluetooth(무선 컨트롤러용): 근거리(20 m 이내) 무선 조종(모드(수동/자율/원격), 선속도, 각속도, 속도 증가, 속도 감소)
⦁ LTE(센서 데이터용): 멀티모달 센서모듈 기반 3종 영상(컬러, 나이트비전, 열화상) 데이터 및 10 Hz 3D LiDAR Pointcloud 데이터

위의 역할에 맞게 설계된 다중 무선 통신 시스템의 로봇 제어 명령 전송 흐름도는 아래의 [Fig. 2]와 같다. 즉, 다수의 로봇에 대해서 통상용 Wifi통신 전송이 실패할 경우 LoRa통신 방식을 이용한 긴급 명령이 전송 된다.

[Fig. 2]
Robot control command transmission flow chart

2.2.2 무선 통신 구축 방법

LoRa통신을 이용하기 위해서 [Table 1]에서와 같이 LoRa 송신과 LoRa 수신의 두 가지 모델을 사용하였다. 이 두 모델은 917에서 923 MHz의 주파수를 이용하고 125 kHz의 대역폭을 갖고 있다. 이 방식은 좁은 대역폭을 갖고 있지만 도시 환경에서도 10 Km 이상의 커버리지가 가능하기 때문에 긴급상황에서 제어 명령을 위한 통신에 적합하다. 그리고 Ubuntu OS 내에서 송신과 수신 메시지를 사용하여 통신을 수행한다[Table 2][Fig. 3].

[Table 1]
Comparison of the communication module specifications

Method	Model	Spec
Method	Model	Dist.	Frequency	Bandwidth
LoRa	uLory	10 km	917~923 MHz	125 kHz
LoRa	LoryG	10 km	917~923 MHz	125 kHz
Wifi	Spider	500 m (Hand over)	5G Hz	20 MHz
LTE	ME-Y51Wl	LGU	850,2600 MHz	100 MHz
Bluetooth	Logitechf710	10 m	2.4 GHz	1~2 MHz

[Table 2]
LoRa transmission protocol

LoRa Transmisiion Protocol	Variable Name	Type	Contents
	Robot ID	uint16	Robot identification
	Timestamp	int32	Time
	Milisecond	uint16	Time
	Message ID	uint16	Message idendification
	cmd	int32	0: mission stop 1: mission start 2: surveillance strat 3: return start

[Fig. 3]
LoRa transmission protocol code

한편, Wifi 통신 모듈은 500 m의 커버리지와 300 Mbps의 성능으로 핸드오버(Hand over)가 가능한 장점이 있다[Fig 4]. 단일 모듈로 수신 및 송신이 가능하기 때문에 사각지대를 극복하는데 용이하다. Wifi 통신을 사용하여 로봇 제어 명령을 전송하기 위해서 MQTT (Message Queuing Telemetry Transport) 방식을 사용한다. 이 프로토콜 방식은 TCP/IP 프로토콜 위에서 동작하고 로봇의 임베디드 장치에 초점을 둔 방식으로 다수의 에이전트(Agent)를 운용하는데 매우 유용하다. 이 방식을 이용하여 통신하는 프로토콜은 [Table 3][Fig. 5]와 같다. 즉, 관제시스템(클라우드 서버&로컬 서버)과 로봇의 통신으로 제어 명령 송수신이 가능하다.

[Fig. 4]
Wifi transmission unit for hand over

[Table 3]
MQTT transmission protocol

Robot path protocol	Variable Name	Type	Contents
	Pathcout	int32	Path amount
	Path info (100)	double	Map coordinate (x,y,heading)
Robot mission protocol	cmd	int32	0: mission stop 1: mission start 2: surveillance strat 3: return start

[Fig. 5]
MQTT transmission protocol code

다음으로 LTE 모듈은 ME-Y51WL모델을 사용하여 로봇 및 고정형 에이전트에 장착된 멀티모달센서모듈^[9]을 사용하여 3종의 영상 데이터(컬러, 열화상, 나이트비전)를 전송한다. 현재 총 3개의 로봇과 3개의 고정형 에이전트를 사용하여 경비사이트에 구축되었으며, 모니터링 및 이상상황을 인식하기 위해 10fps의 속도의 파일 형태로 전송한다[Fig. 6]. 마지막으로 Bluetooth방식은 무선 컨트롤러를 이용하여 사용자가 로봇에게 직접적인 제어 명령으로 로봇을 조종할 수 있다.

[Fig. 6]
LTE transmission for sensor data

3. 경비 로봇 관제 시스템

3.1 실외 무인 경비로봇용 관제 시스템

다중 로봇을 이용하여 실외환경에서 경비를 하기 위한 통합관제 시스템 운영 아키택처는 [Fig. 7]과 같다. 총 4개의 레이어로 이루어져 있으며, 2장에서 언급한 4종의 통신을 사용하는 네트워크 레이어, 실제 다수의 에이전트와 연결하는 미들웨어가 포함된 시스템 레이어, 모니터링, 리포팅, 코멘드 및 로봇 컨트롤이 가능한 UI가 포함된 어플리케이션 레이어와 모니터링 데이터를 저장하는 데이터 레이어로 구성되어 있다. 이는 다양한 경비 미션을 수행할 수 있도록 설계하였다. 그리고 로봇 상태 정보(배터리 정보, 로봇 가용 대수, 작업시간, 로봇 고장여부 등) 모니터링 인터페이스 및 위치 지정 인터페이스를 추가하였다.

[Fig. 7]
Domain integrated operating and control system architecture

다양한 경비 미션을 수행하기 위해서는 임무별 경로를 해당 로봇에 할당할 수 있어야만 한다. 따라서 관제시스템은 순찰, 감시, 안내 등의 임무를 부여하고, 경비로봇과 고정형 에이전트로부터 들어오는 영상정보[Fig. 6] 및 현재 상태 정보를 받아 관리자에게 확인시켜주며, 제 임무를 수행할 수 있도록 인터페이스를 구성하였다[Fig. 8]. COMMAND 내에서는 로봇에게 제어 명령을 내릴 수 있는 기능이 포함된다. 제안된 UI에는 ROBOT ENABLE에서 제어하고자하는 로봇을 선택할 수 있고, WORK에서는 순찰, 감시, 안내, 비상상황, 접근제어, 전체복귀, 전체정지 임무 명령을 로봇에게 전달할 수 있으며, MISSION에서는 임무에 따라 로봇을 시작, 정지, 복귀 시킬 수 있다. 이는 사용자가 관제시스템에서 로봇의 임무를 세부적으로 전달하기 위해 적용되었고, 동작하고자 하는 로봇의 개수의 선택과 로봇의 임무(감시, 순찰, 안내, 복귀 등)를 선택할 수 있으며, 로봇의 임무 시작 여부를 확인하면서 경비로봇을 제어할 수 있다.

[Fig. 8]
Mission assignment GUI

더욱이, 관제시스템은 관리자가 경비로봇에 임무를 명령하기 위해 관리자의 입력을 받아서 로봇에서 임무와 경로정보를 할당이 가능하도록 Map UI를 구성하여 경비로봇이 실제로 임무를 수행할 경로를 Map상에 임무 좌표를 찍어 전역경로 생성 프로그램[10]으로 전달하고 결과로 받은 개별 경로를 Map상에 표시하여 관리자에게 표시하여 직관적인 임무 설정이 가능하다[Fig. 9].

[Fig. 9]
Mission destination assignment GUI

또한, 로봇이 주어진 미션을 수행하면서 보내는 실시간 위치 정보를 이용하여 관제 모니터링이 가능하다[Fig. 10]. 이는 구글 API를 활용하여 구성하였고, 라벨 기능을 통하여 로봇의 실시간 위치를 구글맵에 표시하여 경비미션의 진행상황을 알 수 있다. 그리고 로봇 상태 정보를 기반으로 다중 로봇의 상태를 관리하여 자율충전과 동시에 해당 로봇의 경비 구역을 다른 로봇과 연계하여 분산시킴으로서 효율적인 경비가 가능하다[Fig. 11]. 즉, [Fig. 11]에서 상단은 관제 시스템의 통신 상태를 확인할 수 있음을 보이고, 중단에서는 제어하고자 하는 로봇을 선택하는 화면, 그리고 마지막으로 각 로봇의 상태를 표시하며 작업시간, 작업종류, 고장상태, 배터리 잔량을 확인할 수 있는 화면을 보인다.

[Fig. 10]
Google API based Monitoring GUI

[Fig. 11]
Robot Status Monitoring GUI

4. 통합 관제시스템 구축

제안된 다중 로봇 및 고정형 에이전트 환경에서의 관제시스템 은 송신에이전트와 수신에이전트 간 메시지 전송을 위해서 에이전트 생성 시에 고유 Tag을 생성한다. 각 에이전트들은 하나의 에이전트 코어(Agent Core)에 연결되어 IP와 port 번호와 상관없이 해 Tag를 인식하에 메시지를 전송하게 된다[Fig. 12]. 이는 Agent 생성시 ID를 에이전트 코어에 등록하고 송신하는 Agent에서 메시지를 전송하면 Agent core에서 메시지를 구분하여 수신하는 Agent에 메세지를 전송하는 메시지 구조이다.

[Fig. 12]
Muti-Agent Framework for Control System

이러한 프레임워크를 사용하여 관제 시스템을 구축하기 위해서는 Linux(통신서버)와 Window(UI 및 상태확인) OS를 모두 활용하여 에이전트와 통신이 가능할 수 있다. 따라서 에이전트들의 데이터를 통합하여 관리자가 로봇의 상태와 임무 정보 및 이상상황에 대한 정보를 확인하거나, 다중 로봇에게 임무를 부여할 수 있는 통합 관제시스템을 구축하였다[Fig. 13].

[Fig. 13]
Multi-Agent Control System

5. 결 론

최근 로봇에 대한 관심이 많아지고 있으며, 로봇의 서비스를 실생활에 적용하고자 하는 노력이 폭발적으로 증가하고 있다. 본 논문에서는 이러한 서비스 중에 경비 로봇을 활용하고자 다중 통신 방식에 기반하여 다중 에이전트(로봇 및 고정형 에이전트)를 관제할 수 있는 시스템을 제안하였다. 특히, 실외 광역환경에서 경비서비스를 위해 효율적인 UI 및 관제시스템을 구축하기 위한 요소들을 분석하여 고려하였다. 현재까지 구축된 관제시스템은 2개의 사이트(포항, 장성)에 적용되었으며, 향후에는 국내 로봇 및 감시 시스템의 실제적인 적용에 활용될 뿐만 아니라 관련 연구 영역을 활성화 시켜줄 것으로 기대된다. 더욱이, 다종의 통신방식은 다양한 목적에 맞도록 추가 개발이 이루어져야 할 것이다.

Acknowledgments

This work was supported by the Korean Evaluation Institute of Industrial Technology and conducted by the Ministry of Industry and Commerce in 2017 (Industrial Core Technology Development Project, Project Number 10080489)

References


1.	B. Back and H. Kim, “Industrial direction and policy direction of intelligent robot industry,” The Magazine of the IEEK, vol. 44, no. 9, pp. 16-26, Sept., 2017, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE07247222.
2.	S.-K. Hwang, E.-.S. Jeong, O.-H. Kwon, and S.-G. Lee, “Implementation of an Intruder Detection System Using Image Transmission on ZigBee,” Journal of Security Engineering, vol. 6, no. 2, pp. 192-195, 2009, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01303983.
3.	H. S. Jeon, D.-H. Yeom, and Y. H. Joo, “Video-based Intelligent Unmanned Fire Surveillance System,” Journal of Korea Intelligent System Society, vol. 20, no. 4, pp. 516-521, 2010, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01508423.
4.	T. H. Kim, G. L. Seo, J. Y. Lee, and W. C. Lee, “Integrated Fire Monitoring System Based on Wireless Multi-Hop Sensor Network and Mobile Robot,” Journal of Korea Control Robot System Society, vol. 16, no. 2, pp. 114-119, 2010, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01947036.
5.	T. H. Kim, G. L. Seo, J. Y. Lee, and W. C. Lee, “Integrated Fire Monitoring System Based on Wireless Multi-Hop Sensor Network and Mobile Robot,” Journal of Korea Control Robot System Society, vol. 16, no. 2, pp. 114-119, 2010, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE01947036.
6.	J. Meguro, K. Ishikawa, Y. Amano, T. Hashizume, J. Takiguchi, R. Kurosaki, and M. Hatayama, “Creating Spatial Temporal Database by Autonomous Mobile Surveillance System,” IEEE International Safety, Security and Rescue Rototics Workshop, Kobe, Japan, 2005.
7.	Y. Shimosasa, J. Kanemoto, K. Hakamada, H. Horii, T. Ariki, Y. Sugawara, F. Kojio, A. Kimura, and S. Yuta, “Some results of the test operation of a security service system with autonomous guard robot,” 2000 26th Annual Conference of the IEEE Industrial Electronics Society, Nagoya, Japan, 2000.
8.	F. Zafari, A. Gkelias, and Kin K. Leung, “A Survey of Indoor Localization Systems and Technologies,” IEEE Communications Surveys & Tutorials, vol. 21, no. 3, 2019.
9.	T. Uhm, J.-W. Park, J.-D. Lee, G.-D. Bae, and Y.-H. Choi, “Multi-modal Sensor System and Database for Human Detection and Activity Learning of Robot in Outdoor,” Journal of Korea Multimedia Society, vol. 21, no. 12, 2018.