[ ARTICLE ]

Journal of Korea Robotics Society - Vol. 13, No. 4, pp.213-219

ISSN: 1975-6291 (Print) 2287-3961 (Online)

Print publication date Nov 2018

Received 30 Aug 2018 Revised 15 Oct 2018 Accepted 13 Nov 2018

DOI: https://doi.org/10.7746/jkros.2018.13.4.213

베이지안 네트워크 기반 재난 대응 로봇의 탐색 목표 추론 시스템

양견모¹ ; 서갑호² ; 이종일³ ; 이석재⁴ ; 서진호^†

A Target Position Reasoning System for Disaster Response Robot based on Bayesian Network

Kyon-Mo Yang¹ ; Kap-Ho Seo² ; Jongil Lee³ ; Seokjae Lee⁴ ; Jinho Suh^†

1Assistant Researcher, KIRO, Pohang, Korea kmyang@kiro.re.kr
2Principal Researcher, KIRO, Pohang, Korea neoworld@kiro.re.kr
3Assistant Researcher, KIRO, Pohang, Korea banily07@kiro.re.kr
4Researcher, KIRO, Pohang, Korea doljae0217@kiro.re.kr

†Professor, Corresponding author: Corresponding author, Dept. of Mechanical System Eng., Pukyong National University, Busan, Korea ( suhgang@pknu.ac.kr)

Abstract

In this paper, we introduce a target position reasoning system based on Bayesian network that selects destinations of robots on a map to explore compound disaster environments. Compound disaster accidents have hazardous conditions because of a low visibility and a high temperature. Before firefighters enter the environment, the robots notify information in advance, such as victim’s positions, number of victims, and status of debris of building. The problem of the previous system is that the system requires a target position to operate the robots and the firefighter need to learn how to use the robot. However, selecting the target position is not easy because of the information gap between eyewitness accounts and map coordinates. In addition, learning the technique how to use the robots needs a lot of time and money. The proposed system infers the target area using Bayesian network and selects proper x, y coordinates on the map based on image processing methods of the map. To verify the proposed system, we designed three example scenarios based on eyewetinees testimonies and compared time consumption between human and the system. In addition, we evaluate the system usability by 40 subjects.

Keywords:

Disaster Response Robot, Bayesian Network, Reasoning System, Multi-Robot System

1. 서 론

소방인력들이 직접 투입되기 위험한 복합 재난 환경에서는 재난 대응 로봇을 이용하여 요구조자의 위치, 인원수, 환경 변 화 정보를 파악하고 구조를 수행하여 구조의 효율성 및 소방 인력의 안전성을 보장한다. 이러한 탐색 시스템에서는 재난 대응 로봇의 탐색 목표 위치를 설정하기 위해, 소방관들은 목 격자의 진술을 기반으로 로봇이 이해하고 있는 지도상의 좌표 를 결정하며 이를 위한 추가적인 시간이 필요하다. 제안하는 시스템은 베이지안 네트워크를 기반으로 재난 대응 로봇의 목 표 지점을 자동으로 결정하여 로봇 탐색 목표 위치 설정을 위 한 소요 시간 감소를 통해 인력 활용의 효율성을 증가시킨다.

재난 대응 로봇은 사람이 접근하기 어렵거나 위험한 재난 환경에 로봇이 투입되어 재난 환경 파악, 요구조자 위치 파악 등을 통해 소방 인력을 지원하기 위한 로봇이다^[1]. 재난 대응 로봇이 환경을 탐색하기 위해서는 탐색 목표 지점을 지도상에 서 설정할 필요가 있다. 이를 위해 소방 인력은 목격자들에게 정보를 획득하며, 지도 내에서 좌표를 결정하여 로봇에 전송 한다. 하지만 목격자는 재난 상황을 사람이 이해하는 공간, 시 간, 상황에 대한 의미적 단어로 표현하는 반면 로봇의 목표 지 점은 지도상의 x, y 좌표로 이루어 지기 때문에 이를 결정하기 위한 소방 인력들의 소요시간이 발생한다.

본 논문에서는 베이지안 네트워크를 기반으로 재난 대응 로봇 탐색 목표 지점을 추론하는 시스템을 제안한다. 베이지 안 네트워크는 목격자의 진술에서 목표 탐색 위치를 추론하 며, 지도의 이미지 처리를 통해 추론 결과를 지도내 x, y 좌표 로 변환한다. 목표 지점 추론을 위한 베이지안 네트워크는 도 메인 지식을 기반으로 설계되어, 문장으로 되어있는 목격자들 의 진술에서 의미 있는 위치 정보를 추론한다. 지도 정보의 중 요 좌표를 추출하기 위해 영상처리 알고리즘을 이용하여 좌표 정보를 추출한다.

제안 하는 시스템의 성능을 검증하기 위하여 재난 상황 보 고 문서의 목격자 정보를 기반으로 3개의 시나리오에 대한 소 요시간 및 목표지점을 비교하였다. 또한 제안하는 시스템의 유용성을 평가하기 위하여 시스템 유용성 평가(System Usability Scale) 테스트를 40명의 연구자들을 대상으로 수행 하였다.

본 논문은 아래와 같이 구성되어 있다. 2장에서는 제안 하 는 시스템과 관련된 연구에 대해서 설명할 것이며, 3장에서는 제안하는 시스템을 상세히 설명한다. 마지막으로 제안하는 시 스템의 결론 및 향후연구를 기술한다.

2. 관련 연구

2.1 재난 대응 로봇

기존 재난 대응 로봇기반 환경 탐색 연구는 지도를 기반으 로 또는 사전정보가 없는 환경내에서 사용자가 결정한 탐색 위치에 대해 탐색한다.

Li 등은 의미 지도(Semantic map)내에서 사용자에 의해 선 택된 목표 지점에 대한 다중 로봇 기반 탐색 방법을 제안하였 다^[2]. DasDupta 등은 알려진 전역 지도 내에서 집성-기반 방법 (Aggregation-based algorithm) 이용하여 재난 환경내 탐색 및 특징을 파악하는 방법 제안하였다^[3]. Stump 등은 다중 로봇을 이용한 재난 환경 탐색을 통한 지도 생성을 제안하였다. 알지 못하는 환경 내에서, 로봇은 새로운 정보를 획득 하였을 때 서 로 통신하여 전역 지도를 생성한다^[4]. Rocker와 Brik은 다중 로 봇이 지속적으로 통신 할 수 있는 환경에서, 임계거리 이상의 탐색 수행시 공유된 정보를 전역지도로 생성하는 방법을 제안 하였다^[5]. Calisi 등은 페트리넷(Patri net)을 기반으로 사용자 에게 요구받은 목표(Task)를 수행하기 위한 계획을 생성하여 사전정보가 주어지지 않은 환경을 탐색하고 특징을 파악하는 시스템을 제안하였다^[6].

이러한 기존 연구를 실제 재난 현장에 활용하기 위해서는 로봇의 탐색 목표 지점을 소방 인력이 목격자들의 정보를 기 반으로 로봇의 목표 지점을 지정한다. 하지만 목격자들의 진 술은 사용자의 위치를 x, y 좌표가 아닌 거실, 부엌과 같은 사 람이 이해가능한 의미적 단어들로 표현되며, 건물의 평면도에 는 의미적 단어 정보가 명시되 있지 않아 소방 지휘관은 지도 에서 로봇이 이해하는 좌표로 변경하는 시간적 비용 소모를 발생시킨다. 따라서 본 논문에서는 [Fig. 1]과 같이 재난 대응 로봇을 이용한 환경 탐색 시스템의 인간-로봇 상호작용 (Human Robot Interaction) 단계를 간소화 하기 위한 목표 지점 추론 시스템을 제안한다.

Fig. 1

Difference of Human Robot Interaction steps to explore disaster environment using multi-robot

2.2 베이지안 네트워크

노드(Node)와 아크(Arc)로 구성된 방향성 비순환 그래프 (Directed Acyclic Graph)인 베이지안 네트워크는 부모노드와 자식노드 사이의 인과관계를 기반으로 불완전한 입력값에 대 해서도 사후확률이 추론가능한 기법이다 ^[7].

베이지안 네트워크의 구조 및 파라미터를 결정하는 방법은 데이터 기반 방식과 도메인 지식 분석 방식이 있다. 실제 데이 터로부터 학습하는 방법은 구조 학습을 위한 K2 알고리즘이 나 파라미터 학습을 위한 최대 가능도 추정량(Maximum Likelihood Estimation) 등의 방법을 사용 한다. 하지만 실제 환 경에서 도메인에 대한 충분한 데이터를 얻기 위한 시간이 필 요하다.

두 번째 방법은 도메인 지식을 바탕으로 전문가에 의해 구 조와 파라미터를 결정하는 것이다. 데이터가 부족한 문제의 경우 베이지안 네트워크의 구조 및 파라미터를 도메인 지식기 반 설계를 통해 해결한다. 도메인 지식을 사용한 베이지안 네 트워크는 실제 데이터를 획득하기 어려운 다양한 문제에 적용 되었다. Chen 등은 베이지안 네트워크 기반 환경 문제의 이유 에 대한 추론 시스템을 개발하였다^[8]. Ashcroft는 기업의 고용 과 고용인 유지문제를 해결하기위해 전문가의 지식을 이용하 여 네트워크를 설계하였다^[9]. Yi등은 베이지안 네트워크를 사 용하여 스마트폰의 글로벌 포지셔닝 시스템(GPS)를 조정하 여 배터리 효율을 높이는 방법을 제안하였다^[10]. 도메인 지식 기반 설계된 네트워크는 입력값에 따른 목표 시나리오 수행 여부를 기준으로 네트워크의 성능을 평가한다^[11].

3. 목표 지점 추론 시스템

본 논문에서는 목격자 진술을 기반으로 탐색 우선 순위를 추론하는 베이지안 네트워크를 도메인 지식을 기반으로 설계 한다. 제안 하는 시스템은 목표지점을 자동으로 추론하여, 탐 색 목표 지점을 설정하기 위한 인간-로봇 상호작용 단계를 간 소화를 통해 사용자의 시간적 비용을 감소 시킨다.

3.1 전체 시스템 구성

[Fig. 2]는 제안하는 시스템내 소프트웨어 모듈의 흐름도이 다. 제안 하는 시스템은 크게 4개의 소프트웨어 모듈로 구성된 다. 첫째는 입력받은 지도의 중요 목표 좌표를 추출하는 지식 표현 모듈, 목격자의 목격 정보 내에서 키워드를 추출하는 키 워드 추출 모듈, 추출된 키워드를 기반으로 요구조자의 위치 에 대한 우선 순위를 추론하는 요구조자 위치 추론 모듈, 추론 된 요구조자 위치를 지도내의 x, y 좌표로 변환하는 모듈이다.

Fig. 2

Software process of proposed system

지도 정보의 좌표 추출 모듈 에서는 이미지 처리 기법을 활 용하여 2차원 지도내에서 사람이 활용 가능한 방에 대한 기능 적 정의와 지도상의 좌표값으로 표현한다. 키워드 추출 모듈 은 목격자 진술 문장 내에서 요구조자의 위치, 상황, 수와 관련 된 의미 있는 단어를 탬플릿 기반으로 추출한다. 추출된 단어 는 사용자의 위치를 추론하기 위한 베이지안 네트워크의 증거 값(Evidance)로 사용된다. 요구조자 위치 추론 모듈에서는 설 계된 베이지안 네트워크를 기반으로 재난 대응 로봇의 탐색 지 점 우선순위를 추론한다. 좌표 변환 모듈에서는 추론 결과인 목표 지점 우선 순위에 대한 정보를 지도의 좌표로 변환한다.

3.2 목표지점 추론 베이지안 네트워크 설계

본 논문에서는 데이터화 되어 있지 않는 재난 상황에서의 사용자의 목격정보에 대한 조사와 화재와 환경간의 상관관계 조사를 참조하여 설계하였다 ^[12,13]. 계층적 도메인 지식 기반 네트워크 설계 단계는 [Table 1]이다.

Table 1

Bayesian network design steps

첫째, 네트워크내에서 사용하기 위한 입력값을 정의한다. 입력값은 키워드 추출 모듈에서 획득된 목격자의 진술 내의 핵심단어로, 사용자의 위치와 사용자의 수를 나타낸다. 또한 재난 환경 상황에 영향을 주는 온도, 습도, 바람, 날씨 등과 같 은 환경 정보를 포함한다. 네트워크의 입력값은 t시점에서 동 시에 다수의 정보가 입력될 수 있는 요소는 2진(Binary) 타입 으로 정의되어 있으며, 단일 정보만 입력되는 요소는 다수의 입력값중 하나를 선택하도록 설계하였다. 예를 들어 t시점에 서 목격자 진술 정보들에서 획득할 수 있는 사용자의 위치는 다양하기 때문에 2진(Binary) 타입으로 정의되며, 재난 발생 후 지속시간은 소방방재청의 재난 발생 단계와 같이 1단계, 2 단계, 3단계로 정의하며, 이는 시간의 흐름에 따라 변하기 때 문에 다수의 상태들을 갖도록 설계된다. 설계된 베이지안 네 트워크의 노드들의 정의는 [Table 2]이다.

Table 2

Node definition for Bayesian network

둘째, 네트워크는 3개의 계층형으로 설계한다. 네트워크 에 서추론 대상을 상위 노드로 두었으며, 하위 노드는 네트워크 의 추론에 필요한 입력값이다. 의미상 관련된 하위 노드들은 중간노드로 통합하여 계층형으로 설계한다. 이러한 계층형 설 계를 통해 네트워크의 가독성을 확보하며, 또한 추론 결과의 이유 파악이 용이하다.

셋째, 도메인 지식을 사용하여 네트워크의 구조와 파라미 터를 설계한다. 베이지안 네트워크내에서 노드들간의 일반적 인 방향인 ‘원인 → 결과’ 방향으로 설계하였다. 단 하나의 네 트워크 내에서는 노드들간의 방향성의 일관성을 유지하여 설 계한다. 노드들 간의 파라미터는 재난 상황시 목격자들의 진 술 정보 및 소방관들의 요구조자 위치에 대한 정보를 바탕으 로 설계한다. [Fig. 3]는 Smile 프로그램을 이용하여 설계된 로 봇 탐색 위치 추론을 위한 베이지안 네트워크 이다^[14].

Fig. 3

Implemented Bayseian network

3.3 지도 정보의 지식표현

재난 대응 로봇은 지도 내의 좌표 입력을 통해 요구조자 및 재난 상황을 탐색한다. 이때 추론된 탐색 목표는 안방, 거실과 같은 사람이 이해 가능한 의미 정보로, 이는 지도상에 표현되 어 있지 않다. 따라서 지도 정보의 지식표현 방식을 통해 의미 정보에 부합하는 좌표를 생성한다. [Fig. 4]는 이미지 프로세싱 방법을 이용하여 지도 정보내 중앙, 창문, 벽의 x, y 좌표를 결 정하는 단계를 보여준다.

Fig. 4

Image processing for knowledge representation

지도의 좌표 추출 단계는 총 6단계 이다. 첫째, 지도내에서 방의 꼭지점으로 추측되는 지점을 8개의 탬플릿을 활용하여 추정한다. 둘째, 추정된 꼭지점들의 중심점을 삼각 분할 방법 을 이용하여 삼각형으로 분할한다. 다음으로 분할된 삼각형 중에서 빗변의 길이를 기준으로 방의 크기에 대한 임계값보다 작은 삼각형을 제거한다. 넷째, 제거되지 않은 삼각형들에 대 하여 각 변의 중심을 계산한다. 중심점별 선의 각도를 기준으 로, 방의 중심을 파악하며, 중심점 주변의 5픽셀(pixel)의 값의 평균을 기반으로 벽(파란점), 집안(녹색점), 집밖(빨간점)으로 구분한다. 마지막으로 중심점을 포함한 빗변의 상대적인 크기 와 벽을 포함하고 있는 중심점을 기준으로 방의 타입(거실, 화 장실, 안방, 방)을 삼각형의 크기를 기준으로 구분한다. 추출 된 정보를 온톨로지내 방을 정의하고 있는 클래스 (방의 타입, 중심, 넓이, 창문위치)를 기준으로 인스턴스(Instance)를 생성 한다. 추론 결과와 동일한 인스턴스(Instance)의 방의 타입을 기준으로 x, y 좌표를 결정한다.

4. 실험 및 결과

제안 하는 시스템을 검증하기 위하여 ROS Gazebo 시뮬레 이터를 기반으로 소요시간 차이를 검증하였다. 또한 시스템 유용성 테스트를 수행하여 제안하는 시스템의 유용성을 확인 하였다. 시스템의 검증을 위해 3개의 목격자 진술을 사용하였 다. 검증을 위해 사용된 목격진술은 아래와 같다.

목격 진술 1: “방안에 사람이 있었습니다.”
목격 진술 2: “거실에 사람이 3명 있었습니다.”
목격 진술 3: 목격 진술 1, 2가 동시에 진술된 경우s

4.1 네트워크 추론 및 좌표 설정 소요 시간 비교

제안하는 시스템의 베이지안 네트워크 추론 성능 및 지도 내의 목표 좌표 설정의 소요 시간 비교를 위해 20대 남성 2명, 여성 1명 총3명의 피실험자에 대해 비교를 수행하였다.

소요시간 비교 실험은 피실험자에게 3개의 목격 진술을 보 여준 후 지도내의 좌표를 설정하는 소요 시간을 측정하였으 며, 설정된 좌표와 시스템이 추론한 좌표에 대해 비교하였다. 3개의 목격 진술에 대한 평균 소요시간은 57.5 초로 제안하는 시스템의 소요시간인 5초보다 약 11배 소요되었다. 또한 지도 내의 탐색 목표지점은 총 9개의 정답 집합중 피실험자 1이 목 격 진술 3에 대해 잘못된 목표지점은 선택하였다.

[Fig. 5]는 3개의 목격 진술에 대해 제안하는 시스템의 추론 수행 과정을 보여준다. [Fig. 5]의 (a)에서는 목격자의 진술 중 “방”을 네트워크 내에서 작은방과 안방이 증거값으로 선언되 었으며, 추론 결과 작은 방과 큰 방에 대한 확률이 19%로 가장 높았다. [Fig. 5]의 (b)에서는 거실에 대한 증거값과 거실의 사 람의 수에 의해 더 높은 확률인 24%로 거실을 관심 영역으로 추론한다. [Fig. 5]의 (c)에서는 거실, 안방, 작은방의 증거값이 결정된 베이지안 네트워크의 추론 결과 이며, 거실에 대한 사 람의 수 때문에 거실22%, 작은방과 큰방이 각각 17%로 추론 되었다. [Fig. 5]의 (d)는 추론된 결과를 바탕으로 로봇의 목표 좌표 (황색점)를 결정한 결과이다.

Fig. 5

Experiments results based on each testimonies

4.2 시스템 유용성 평가

제안하는 시스템의 유용성을 평가하기 위하여 시스템유용 성 평가 (SUS: System Usability Scale)를 안전로봇과 관련된 연구를 수행 경력 5년 이하 남성 35명, 여성 5명 총 40명(20대: 5명, 30대: 19명, 40대: 11명, 50대 이상: 5명)의 대상자에게 조 사하였다^[15]. [Fig. 6]는 수행된 SUS의 결과로 y축은 질문의 최 대 최소 점수이며, x 축은 10개의 질문에 대한 평균이다. 시스 템 유용성 테스트 결과 66.2로 이는 정규 확률 분포 50%에 해 당하는 점수이다. 따라서 제안하는 시스템의 유용성은 보통으 로 평가된다.

Fig. 6

Result of SUS test

5. 결론 및 향후 연구

본 논문에서는 재난 환경 탐색을 위한 다중 로봇의 목표 지 점 추론 시스템을 제안하였다. 목격자의 진술 정보에서 의미 정보를 추론하기 위한 베이지안 네트워크 설계와 이미지 처리 기법 기반 지도 정보의 지식 표현을 수행하였다. 목격자 진술 정보를 기반으로 제안하는 시스템을 검증하였으며, 시스템 유 용성 테스트를 통해 유용성을 확인하였다.

향후에는 네트워크의 성능 향상을 위해 실제 환경에서 수행 된 데이터 수집 및 데이터 기반 학습을 수행하여 세부 정보에 대한 처리가 가능하도록 하며, 다양한 재난 환경에 대한 제안하 는 시스템의 적용이 필요하다. 또한 건축물의 평면도를 로봇이 이해할 수 있는 2차원 격자지도(2D Grid map)으로 변화시키는 연구 및 전역지도 생성 연구가 추가적으로 진행되야 한다.

Acknowledgments

This material is based upon work supported by the Ministry of Trade, Industry & Energy(MOTIE, Korea) under Industrial Technology Innovation Program. No.10067169, ‘Development of Disaster Response Robot System for Lifesaving and Supporting Fire Fighters at Complex Disaster Environment’

References

S. Tadokoro, “Disaster Response Robot,” Encyclopedia of Systems and Control, 1st ed., Springer-Verlag London, pp. 284-290, 2015. [https://doi.org/10.1007/978-1-4471-5058-9_181]
A. Q. Li, R. Cipolleschi, M. Giusto, and F. Amigoni, “A Semantically-Informed Multirobot System for Exploration of Relevant Areas in Search and Rescue Setings,” Autonomous Robots, vol. 40, no. 4, pp. 581-597, Apr., 2016. [https://doi.org/10.1007/s10514-015-9480-x]
B. DasGupta, J. P. Hespanha, J. Riehl, and E. Sontag, “Honey-pot constrained searching with local sensory information, Nonlinear Analysis: Theory, Methods & Applications, vol. 65, no. 9, pp. 1773–1793, Nov., 2006.
E. Stump, “Visibility-Based Deployment of Robot Formations for Communication Maintenance,” 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, pp. 4498–4505, 2011. [https://doi.org/10.1109/ICRA.2011.5980179]
M. N. Rooker and A. Birk, “Multi-Robot Exploration under the Constraints of Wireless Networking,” Control Engineering Practice, vol. 15, no. 4, pp. 435–445, Apr., 2007. [https://doi.org/10.1016/j.conengprac.2006.08.007]
D. Calisi, A. Farinelli, L. Iocchi, and D. Nardi, “Multi-Objective (d) Coordinates on map based on testimony 3 Exploration and Search for Autonomous Rescue Robots,” Journal of Field Robotics, vol. 24, no. 8-9, pp. 763-777, Aug.-Sept., 2007. [https://doi.org/10.1002/rob.20216]
J. Petzold, A. Pietzowski, F. Bagei, W. Trumler, and T. Ungerer, “Prediction of Indoor Movements using Bayesian Networks,” First international conference on Location- and Context- Awareness, Oberpfaffenhofen, Germany, pp. 211-222, 2005. [https://doi.org/10.1007/11426646_20]
S. H. Chen and C. A. Pollino, “Good Practice in Bayesian Network Modelling,” Environmental Modelling and Software, vol. 37, pp. 134-145, Nov., 2012. [https://doi.org/10.1016/j.envsoft.2012.03.012]
M. Ashcroft, “Bayesian Networks in Business Analytics,” 2012 Federated Conference on Computer Science and Information Systems (FedCSIS), Wroclaw, Poland, pp. 955-961, 2012.
S.-H. Yi and S.-B. Cho “A Battery-Aware Energy Efficient Android Phone with Bayesian Networks,” 2012 9th International Conference on Ubiquitous Intelligence and Computing and 9th International Conference on Autonomic and Trusted Computing, Fukuoka, Japan, pp. 204-209, 2012. [https://doi.org/10.1109/UIC-ATC.2012.157]
A. J. Jakeman, R. A. Letcher and J. P. Norton, “Ten Iterative Steps in Development and Evaluation of Environmental Models,” Environmental Modelling and Software, vol. 21, no.5, pp. 602-614, May, 2006. [https://doi.org/10.1016/j.envsoft.2006.01.004]
P. Pernin, “An Eyewitness Account,” The Great Peshtigo Fire: An Eyewitness Account, Wisconsin Historical Society, 2014, pp. 189-194.
T. Beer, “The Interaction of Wind and Fire,” Boundary-Layer Meteorology, vol. 54, no. 3, pp. 287-308, Feb., 1991. [https://doi.org/10.1007/BF00183958]
M. J. Druzdzel, “SMILE: Structural Modeling, Inference, and Learning Engine and GeNIe: a development environment for graphical decision-theoretic models,” 16th national conference on Artificial intelligence, Orlando, Florida, USA, pp. 902-903, 1999.
J. Brooke, “SUS-A Quick and Dirty Usability Scale,” Usability Evaluation in Industry, vol. 189, no. 194, pp, 4-7, 1996.