[ ARTICLE ]

The Journal of Korea Robotics Society - Vol. 19, No. 3, pp.287-292

ISSN: 1975-6291 (Print) 2287-3961 (Online)

Print publication date 31 Aug 2024

Received 01 May 2024 Revised 05 Jun 2024 Accepted 16 Jul 2024

DOI: https://doi.org/10.7746/jkros.2024.19.3.287

초기 화재 진압을 위한 자율주행 소방 로봇 시스템 설계

김효민¹ ; 김정용¹^{, *} ; 문성준²^{, *} ; 이아현¹^{, *} ; 이창수^†

Design of an Autonomous Firefighting Robot System for Early Fire Suppression

Hyo Min Kim¹ ; Jeong Yong Kim¹^{, *} ; Seong Jun Mun²^{, *} ; A-hyeon Lee¹^{, *} ; Chang Su Lee^†

1Undergraduate Student, Electroninc Engineering, University of Suwon, Hwaseong, Korea stuff789@naver.comwifesug1214@naver.comclare9841@naver.com
2Undergraduate Student, Autonomous Robotics Engineering, Kyungil University, Gyeongsan, Korea mun222222@naver.com

Correspondence to: ^†Professor, Corresponding author: Electronic Engineering, University of Suwon, Hwaseong, Korea ( cslee@suwon.ac.kr) ) Contributed by footnote: * Jeong Yong Kim, Seong Jun Mun and A-hyeon Lee contributed equally to this work as second authors.

Abstract

The initial suppression of fires is critical to protecting human and material resources. In response to this, fire prevention and suppression systems using artificial intelligence and robot technology have recently been studied. In particular, an autonomous driving system that detects a fire using CNN is attracting attention. These systems respond quickly in the event of a fire, enabling initial fire suppression. However, since the conventional system is not equipped with a fire suppression function, direct intervention of firefighters is required. (1) To overcome these limitations, we propose an autonomous fire detection robot system equipped with a fire suppression function ROS-based firefighting system called ‘ADEFS’ (Autonomous-Detect & Extinguish-Fire Service). (2) The system performs three tasks to detect and extinguish. Tasks are to run the Ros-based SLAM Navigation, YOLO-CNN, and Four-degree freedom manipulator connected to the fire extinguishing pump. (3) Through this, early response in the event of a fire can minimize damage to life and property and can reduce labor costs, which can also be expected to reduce costs for companies.

Keywords:

Figthing Robot, Ros, Slam, Autonomous-Driving, Yolo-Cnn, Manipulator

1. 서 론

2020년 소방 청 자료에 따르면, 소방서에서 처리한 화재 1,404건 중 312건이 초동 조치 실패로 인하여 대규모 화재로 확산된 것으로 확인되었다^[1]. 삼성교통안전문화연구소 연구보고서에 따르면, 긴급차량의 현장 도착 골든 타임 확보율은 57.4%로 화재 초기 대응에 어려움이 있으며 인구가 밀집할수록 큰 화재로 확산될 가능성이 높은 것으로 분석하였다^[2].

이러한 상황에서 기존 소방 설비의 한계와 사각지대, 그리고 스프링클러의 오작동으로 인한 물질적 피해 등이 대두되고 있다^[3]. 이에 대응하여 인공지능과 로봇 기술을 활용한 화재 예방 및 진압시스템이 연구 되고 있으며 특히 CNN(합성 곱 신경망)을 활용하여 화재를 감지하는 자율주행 시스템이 주목받고 있다.

기존 연구에서는 실내 자율주행기능은 있으나 화재 감지를 하지 않거나^[4], 화재 진압 기능이 탑재되어 있지 않아, 소방대원의 직접적인 개입이 필요하다^[5]. 이러한 한계점을 극복하기 위해 화재 감지기능 뿐 아니라, 화재진압 기능을 탑재한 자율주행 화재 감지 로봇 시스템에 대해 제안한다.

제안된 화재진압 시스템은 카메라 영상으로부터 인공지능 알고리즘에 의해 화재를 감지할 수 있다^[6]. 순찰 및 화재 목표 지점에 도달하기 위한 SLAM (Simultaneous Localization And Mapping) 네비게이션 기능을 탑재하여 지도 생성 및 자율주행이 가능하다^[7]. 화재 진압의 원활한 위치제어를 위해 매니퓰레이터를 설계하였고 끝단에 설치된 워터펌프를 이용하여 자동으로 화재를 진압하는 구조이다.

이러한 로봇 시스템은 스프링클러와 같은 화재가 일정 크기이상 번져야 작동이 되는 기존 소방 설비의 한계를 극복하고, 소방대원이 도착하기 전 빠른 화재 대응을 가능케 할 것으로 기대된다.

2. 본 론

2.1 자율주행 로봇 시스템의 구성

자율주행 로봇 시스템의 구성을 하드웨어와 소프트웨어 부분으로 구분하였다.하드웨어 구성으로는 크게 화재 감지부, 로봇 자율 운행부, 화재 진압부로 나눌 수 있다 .

로봇의 자율운행 및 화재 감지 및 소화와 신호제어들의 다중 처리를 위하여 NVIDIA Jetson nano 4gb 메인 보드를 사용하였다. DC 모터 구동을 위한 Node32s, 지도 작성 및 내부공간을 인식할 Rplidar A1을 사용하였다. 로봇 구동을 위한 520급 DC모터를, 전원공급을 위해 7.4 v, 11 v의 리튬폴리머 배터리를 사용하였다.

화재 진압부는 다음과 같다. 화재 위치 접근을 위한 매니퓰레이터. 작동을 위한 Actuator 인터페이스 U2D2, 워터 펌프와 작동 신호를 처리 해줄 아두이노를 사용하였다. 영상을 받아오기 위한 FHD 카메라와 정확성을 뒷받침해줄 IR센서로 구성되어 있다. 본 시스템의 전체적인 모습은 [Fig. 1]과 같다.

[Fig. 1]

Design of an autonomous firefighting robot system

소프트웨어 구성은 [Fig. 2]와 같다. Ubuntu 18.04 환경을 기반으로, ROS Melodic환경에서 TTL 기반의 Serial 통신으로 데이터를 주고받는다.

[Fig. 2]

Software configurations

2.2 자율주행 로봇 시스템의 기능별 구현

2.2.1 Object detection

실시간 화재를 감지하기 위해, Darknet YOLOv4 모델을 사용하였다. 화재 감지를 위한 가중치 파일을 생성하기 위해 Kaggle을 통해 화재 데이터 2000장을 수집하여 데이터셋을 구축하였다. 학습을 위한 파라미터로, Train: Validation을 8:2로, 64 Batch size, 64 Subdivision, 4000 Iteration으로 설정하고, 객체 감지 수행에 사용하는 기본 박스의 크기와 비율을 계산한 Anchor값을 계산하였다. 이후 YOLOv4. conv.137 모델에 전이학습을 진행하였다. 그 결과 [Fig. 3]과 같이 학습결과를 도출하였고,Bounding Box loss, Objectness Loss, Classification Loss들의 합(파란 선)이 점차 감소하는 것을 나타내며 이는 학습이 진행됨에 따라 모델이 학습데이터에 대해 잘 예측하여 수행하고 있음을 보여준다.

[Fig. 3]

Learning results chart with Darknet YOLOv4

실시간 이미지를 기반으로, YOLO 알고리즘이 예측한 확률의 최소값(min confidence)를 임계 값으로 설정하였다. 인식된 객체의 예측확률이 임계 값보다 크면 Bounding Box를 통해 객체를 나타내었고, 중심 좌표 값을 도출하여 매니퓰레이터로 전달한다. [Fig. 4]와 같이 화재를 인식하는 결과를 얻을 수 있다.

[Fig. 4]

Fire detection through images using the YOLOv4

사용된 보드의 성능을 고려했을 때, 신뢰도를 높일수록 요구 성능 역시 높아지는 문제가 발생하였다. 이를 극복하기 위해 기존의 YOLO모델 대신 상대적으로 성능 부담이 적은 YOLO-Tiny모델을 선택하였다^[8]. YOLO를 활용한 객체 인식 시스템은 RGB 픽셀만을 사용하여 화재와 같은 특정 현상을 감지할 때, 불꽃과 유사한 색상을 지닌 다른 물체들과 혼동할 가능성이 있다. 이러한 오류를 최소화하고 신뢰성을 높이기 위해, 본 연구에서는 적외선 센서를 추가하여 보완하였다. 적외선 센서는 불의 고유 파장을 감지하여 RGB 데이터와 함께 처리함으로써 화재 감지의 정확성을 향상시켜 성능을 뒷받침하였다.

2.2.2 SLAM Navigation

시스템의 구동을 위해 2개의 520급 DC모터를 사용하여 제어하였다. PWM 신호는 Duty cycle을 나타내며 ±60부터 ±220까지의 신호를 보내 0 m/s부터±0.2 m/s까지의 속도로 동작한다. 좌우 두 개의 모터는 같은 모터이지만, Encoder를 통해 들어오는 Encoder tick 값에는 오차가 발생한다. 이 오차를 누적하여 두 모터의 속도를 동일하게 맞추기 위해 P제어를 통해 보상해 주었다. PWM신호와 속도(x축, m/s)와의 관계를 [Fig. 5]과 같이 나타내었다.

[Fig. 5]

PWM signal correlation with speed

본 로봇에 사용된 2개의 DC 모터로 견인할 수 있는 최대 하중은 약 9.92 kg이다. 이중 약 6 kg은 로봇의 무게로 나머지 3.92 kg이 추가 가능한 하중이다.따라서 로봇은 약 4 L의 소화액을 운반할 수 있다.

순찰을 위하여 로봇 전용 오픈소스 프레임워크 ROS (Robot Operating System)를 기반으로, Google cartographer^[9]를 이용하여 지도를 생성하였다. Lidar 센서로부터 수집한 거리 데이터를 입력 받아 Point cloud를 생성하고, 지형추출과 객체를 식별하여 [Fig. 6]과 같이 건물 내 지도를 생성하였다. 지도는 Global map으로 기능하며 로봇이 위치에 있는 곳을 나타낸다.

[Fig. 6]

Global map created using Google cartographer

Localization을 위해 로봇의 TF (base_footprint, base_link, laser_link, imu_data 등) 값을 받아 odometry를 추출하였고, 비례제어로 구동되는 DC모터의 Encoder 데이터를 기반으로 Wheel radius, Wheel base 값을 고려하여 EKF Package, AMCL을 통해 로봇의 위치와 자세를 추정하였다. 경로계획을 위해 DWA (Dynamic Window Approach)알고리즘을 Global, Local Planner로 사용하였다^[10]. 목표지점에 도달하기 위해 x, y, z 좌표 값과 quaternion 값을 전달한다. 그 결과, [Fig. 7]과 같이 목표지점에 이동할 수 있는 환경을 구축하였다.

[Fig. 7]

Looking at the robot’s self-driving through R-VIZ

경로 계획을 위해서, 라이다 센서로부터 들어오는 Point cloud 정보가 필요하다. 그러나 건물 내부는 라이다 센서의 감지 거리보다 넓다는 문제점이 있다. 이를 극복하기 위해 목표지점을 여러 개로 나누어 각 목표지점에 도달했을 때 다음 목표 좌표 값을 연속적으로 전달하도록 하였고, 순찰 중 발생하는 사각지대를 최소화하였다.

2.2.3 매니퓰레이터(Manipulator)

화재 진압의 원활한 위치 제어를 하기 위해 [Fig. 8]와 같이 매니퓰레이터를 설계하였다. 매니퓰레이터의 순기구학 모델을 바탕으로 D-H Parameters를 설정하였고, 이는 각 조인트 사이의 상대적인 위치와 방향을 기술하는데 사용된다. 각 조인트의 D-H Parameters는 조인트마다의 회전축, 이동거리, 링크길이, 회전각을 나타낸다.

[Fig. 8]

A 3D model of a 4 DOF manipulator showing the angles of the link and joints

각 조인트의 각도를 제어하기 위해 [11]에 제시된 5자유도 매니퓰레이터에 대한 각 변환행렬의 수식을 4자유도에 맞게 수정하여 적용하였다. 적용되는 수식은 [Table 1]과 같다. D-H Parameters의 Table을 배치한 후, 변환행렬을 통하여, 얻은 i (i = 1, 2, 3, 4)값으로, complete transformation 0T₄를 찾아내었다. 0T₄로 말단장치의 global coordinates를 구하여, 마지막 남은 열들을 삼각함수로 풀어 좌표계의 0 기준으로 끝점의 좌표를 구하였다. 해석한 삼각함수는 역기구학 제어 방식이 사용되어 매니퓰레이터의 운동학적 모델을 구성하고 로봇을 목표 위치로 이동시킨다^[12].

[Table 1]

D-H Parameters table for the manipulator

화재의 위치 값을 얻어 각 관절의 위치 값을 대입하여 조준하는 도중 Actuator의 높은 Gain값의 Overload로 인한 지정된 위치 범위를 이탈하는 문제가 생겼다. 이로 인해 매니퓰레이터의 Yaw축이 불의 좌표 X축으로 향하여 정확한 조준이 되지 않는 것을 확인하였다.

이 문제를 해결하기 위해 [13]에 제시된 오브젝트로부터 거리가 멀어질 수록 각도의 비율을 조절하는 제어방식을 적용하였다. 좌표의 데이터를 매니퓰레이터에 캘리브레이션 후 거리에 따라 조절되는 각도 값의 범위를 Map함수를 사용 후 Gain값 보정에 적용하였다. 이를 통하여 좌표를 얻는 과정에 발생하는 타임 에러를 감소시켰다. 그 결과 Yaw축 값의 범위를 이탈하게 되는 문제를 최소화하여 극복하였다. 매니퓰레이터가 화재를 진압하는 과정을 [Fig. 9]과 같이 간단히 도식화 할 수 있다.

[Fig. 9]

Showing how manipulator aim to extinguish fire

3. 실 험

실험을 위해 건물 내에 모의로 화재상황을 재현하였다. [Fig. 10]은 실험을 위해 실제 학교 건물 내에서 생성한 지도로, R-VIZ환경에 삽입한 뒤 초기 위치 좌표 값 x, y, z, w를 도출해 로봇의 현재 위치로 설정한다. 그 후 목표 지점의 좌표 값을 도출한 뒤, goal 발행하여 순찰을 수행하며 화재를 감지하면 순찰을 중지한다. 감지된 화재의 중심 좌표 값을 도출해 매니퓰레이터에 전달하고 serial통신을 통해 워터펌프와 연결된 아두이노에 key값을 전달하여 화재 진압을 수행한다.

[Fig. 10]

The map which created for experiment

매니퓰레이터는 [Fig. 11]와 같이 화재 지점을 향해 조준 및 자세제어를 한다. 매니퓰레이터의 끝단에 장착되어 있는 튜브와 연결된 워터펌프는 릴레이를 통해 제어된다. 워터펌프는 6 L/min로 소화액을 분사하여 화재를 진압한다. 화재 진압이 완료되면 초기 위치로 회귀하고 수행을 종료한다.

[Fig. 11]

The robot (ADEFS) is extinguishing the fire

위 과정을 50회 반복해본 결과, 본 시스템의 화재 감지 성공률은 98% 로 나타났다. 1 L의 물을 소화액으로 사용하고, 35 cm 높이의 지름 10 cm 그릇에서 발생한 화재를 1.2 m 거리 에서 감지 후 화재진압까지의 작업을 수행하는데 평균 21초 밖에 소요되지 않았다. 작은 불의 경우, 좌표 계산 오차로 인하여 완벽히 수행하지 못할 수 있다는 가능성이 제시되었고, 좌, 우 방향으로 15° 만큼 반복 회전하도록 하여 정확성을 개선시켰다. 아래의 [Fig. 12]는 실험결과 표로 각 실험결과(초)와 평균을 나타내었다.

[Fig.12]

Execution time table for fire extinguish

다양한 환경에서의 성능을 검증하기 위해 [Fig.13]와 같이 장소를 바꾸어 동일한 실험을 진행하였다. 1 L의 물을 소화액으로 사용하고, 25 cm 높이의 지름 7.5 cm 그릇에서 발생한 화재를 1 m거리에서 인식하였다. 감지 후 화재진압까지의 작업을 수행하는데 평균 22초로 큰 차이가 발생하지 않았다. 그러나 고정된 카메라 노출 값으로 인해 밝은 환경에서의 화재 성공률은 50% 미만으로 현저히 낮아졌다.

[Fig. 13]

Extinguishing the fire at other location

본 실험 결과를 통해 순찰 중 화재를 감지할 시, 즉각적으로 초기 화재상황에 빠른 대응을 할 수 있다. 또한, 물로 진압하기 어려운 화재의 경우, 소화액을 상황에 맞게 채택하여 다양한 화재를 진압할 수 있을 것으로 기대한다.

4. 결 론

본 연구는 건물 내부를 순찰하여 조기 화재 발견 및 진압 로봇의 개발을 목적으로 한다. 이 시스템은 초기에 화재를 진압함으로써 화재 발생 시 즉각적인 대응으로 인명과 재산의 피해를 최소화 할 수 있다. 종래의 연구와 비교해 보았을 때, 건물 내부의 사각지대까지 순찰하고 화재를 감지할 뿐 아니라 화재를 스스로 진압한다는 점에서 차별성을 가진다. 이를 통해 로봇 대여료 월 35만원 기준 1인당 노동비가 최대 80%까지 감소하는 효과를 기대할 수 있다^[14].

향후 연구에서는 조도에 따른 노출 값을 자동 조정하고, 소방용 라이다 센서를 통해 연기로 인해 발생하는 불안정한 데이터 값을 극복하고 수 있을 것으로 기대된다^[15]. Depth 카메라와 열화상 카메라를 이용하여 화재와의 거리 값을 도출하고 3D Lidar 센서를 통해 공간적 한계를 극복 및 성능 향상을 기대할 수 있을 것으로 생각한다.

References

J. W. Jung, “National Fire Agency Statistical Yearbook in 2020,” [Online], https://www.nfa.go.kr/nfa/releaseinformation/statisticalinformation/main/?boardId=bbs_0000000000000019&mode=view&cntId=28&category=&pageIdx=3&searchCondition=all&searchKeyword=, , Accessed: Jul. 09, 2020.
B. Woo and H. K. Kim, “Regression Analysis of Delay in Fire Mobilization: Focused on Busan Metropolitan City,” Journal of Korean Society of Transportation, vol. 40, no. 1, pp. 99-110, Feb., 2022. [https://doi.org/10.7470/jkst.2022.40.1.099]
M. Lee, “Newly Built Apartment in Seongnam Flooded... Outrage over the Response of the Management Office and the Construction Company,” Gyeonggi Ilbo, [Online], https://v.daum.net/v/20230620184424183, , Accessed: Jun. 20, 2023.
H. Kim and Y. Choi, “Development of a ROS-Based Autonomous Driving Robot for Underground Mines and Its Waypoint Navigation Experiments,” Tunnel and Underground Space, vol. 32, no. 3, pp. 231-242, Jun., 2022. [https://doi.org/10.7474/TUS.2022.32.3.231]
S. Cho, H. Jang, S. Gil, H. Park, T. Oh, and S. Lee, “Implementation of Fire Detection System based on Deep Learning for Autonomous Patrol Robot,” KICS, pp. 382-383, Jun., 2023, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11487079, .
D.-S. Oh, K.-B Lee, and S.G. Hong, “Firefighting Equipment Object Detection for Firefighting Inspection based on YOLOv4,” Korean Institute of Information Scientists and Engineers, pp. 512-514, Dec., 2021, [Online], https://dbpia.co.kr/journal/articleDetail?nodeId=NODE11035759, .
J. Sun, J. Zhao, X. Hu, H. Gao, and J. Yu, “Autonomous Navigation System of Indoor Mobile Robots Using 2D Lidar,” Mathematics, vol. 11, no. 6, pp. 1455, Mar., 2023. [https://doi.org/10.3390/math11061455]
K.-M. Lee, H. Song, J. Kim, and C.-H. Lin, “Balanced Performance for Efficient Small Object Detection Using YOLOv3-tiny,” 2018 Korean Inst. of Broadcast and Media Eng. FallConf., pp. 117-118, Nov., 2018, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE07560230, .
A. Dwijotomo, M. A. Abdul Rahman, M. H. Mohammed Ariff, H. Zamzuri, and W. M. H. Wan Azree, “Cartographer SLAM Method for Optimization with an Adaptive MultiDistance Scan Scheduler,” Applied Sciences, vol. 10, no. 1, pp. 347, Jan., 2020. [https://doi.org/10.3390/app10010347]
H. S. Yoon and T.-H. Park, “Path Planning for Autonomous Mobile Robots by Modified Global DWA,” Trans. Korean Inst. of Elect. Eng., vol. 60, no.2, pp. 389-397, Feb., 2011. [https://doi.org/10.5370/KIEE.2011.60.2.389]
H.-S. Choi, J.-R. Jo, M.-M. Woo, J.-M. Seo, Y.-D. Ju, and J.-S. Kang, “Design Study on Waterproof 4-axis Manipulator,” Journal of Ocean Engineering and Technology, vol. 27, no. 2, pp. 100-106, Apr., 2013. [https://doi.org/10.5574/KSOE.2013.27.2.100]
G.-S. Huang, C.-K. Tung, H.-C. Lin, and S.-H. Hsiao, “Inverse kinematics analysis trajectory planning for a robot arm,” 2011 8th Asian Control Conference (ASCC), Kaohsiung, Taiwan, pp. 965-970, 2011, [Online], https://ieeexplore.ieee.org/document/5899203, .
J. Seo and J. Lee, “Object-Based Visual Servoing for Autonomous Mobile Manipulators,” International Journal of Humanoid Robotics, vol. 11, no. 3, 2014. [https://doi.org/10.1142/S021984361450025X]
M.-J. Jin, “Korea sets 2024 minimum hourly wage at 9,860 won,” Korea JoongAng Daily, [Online], https://koreajoongangdaily.joins.com/2023/07/19/business/economy/korea-minimum-wage-inflation/20230719174029169.html, , Accessed: Jul. 19, 2023.
H. Park, “Method for Spatial Detection in Smoke Using LiDAR Sensor,” KR102069094B1, Jan. 22, 2020, [Online], https://patents.google.com/patent/KR102069094B1/en?oq=KR102069094B, .