화재 시 발생하는 연기에는 다양한 입자가 포함되어있으며 이로 인하여 농도에 따라 효과적으로 대응하는 센서는 다르 다. 주로 화재 초창기 또는 산소 공급이 없는 화재의 결과로 발 생하는 훈연 증기에서는 가연물의 수증기와 연소물이 혼합되 어있는 형태인 흰 연기(white smoke)가 발생한다. [Fig. 1(b)] 를 보면 흰 연기는 농도가 짙어지더라도 SWIR 대역(~2500nm 파장대)과 LWIR/FAR 대역(8000nm ~ 15,000nm파장대)을 감 지해 효과적으로 대응이 가능^[5]하며 FLIR의 firefight 센서시 리즈 등의 상용 제품이 시장에 출시되어있다. 그러나 화재가 진행함에 따라 급격히 다양한 화합물을 함유하는 형태의 화재 가 발생하고 연기는 검은색을 띠게 된다. 이때부터 SWIR파장 대는 작동이 되지 않으며, 검은 연기(Dark smoke)의 농도가 높 아지고 검은 연기 입자에 열원이 포함되는 형태의 연기가 발 생한다. [Fig. 2(a)]처럼 열원이 포함된 검은 연기가 화재 공간 을 채울 경우 LWIR/FAR 파장대의 센서인 열화상 센서도 열 원의 방해를 받아 성능이 급격히 저하된다^[5]. 이때는 [Fig. 1(a)]와 같이 전자파장대인 레이더만이 연기 건너 상황을 감지 할 수 있다. 그러나 파장대가 높은 센서일수록 동시에 획득할 수 있는 정보의 양은 적어진다. RGB 카메라에서 얻을 수 있는 높은 화질과 선명한 색 정보 및 텍스쳐 정보와 대비하여 SWIR 카메라는 흑백 영상을 제공하며, 열화상 카메라는 열 정보만 을 시각화하여 전달한다. 극단적으로 레이더는 몇 지점의 위 치정보를 확률로써 전달할 뿐이다. [Fig. 1(b)] 와 같이 화재 연 기 특성에 따른 센서는 존재하나 연기의 농도가 옅거나 하얀 색 위주의 연기에서는 가시광선 파장대 또는 SWIR에 대응할 수 있는 센서로부터 많은 시각적 정보를 얻을 수 있다. 하지만 화재 연기의 농도가 짙어질 수 록 제한된 환경정보만 획득할 수 있다. 현재 단독 센서로서는 효과적으로 농연을 극복하며 상대적으로 많은 환경정보를 제공할 수 있는 센서가 없는 현 실이다. 긴박한 구조 상황에서는 건축 구조물을 잘 알지 못하 는 소방관이 [Fig. 3]의 열화상 영상만으로는 출구를 찾지 못하 는^[6] 심각한 결과를 초래할 수 있다.

Fig. 2 

(a) Inability to identify structures due to thickening with thermal image camera in the event of a fire.

Fig. 3 

A thermal image of the indoor fire site during the flash over. It is difficult to identify the door (red box area) with thermal images only.

화재 시 발생하는 연기는 대류현상에 의하여 상부로 급속 히 확산되며, 실내에서는 천장을 따라 좌우로 확산되는 특징^[7] 을 가진다. 따라서 실내 초동 화제를 제외하고 현장에 출동한 소방관이 마주하는 현장 상황은 대략적으로 [Fig. 4] 와 같이 6 가지 상황으로 구분되어 질 수 있다. [Fig. 4(a)]는 초창기 화재 또는 훈증연소(fumigation) 상황에서 발화점이 위치한 공간에 서 발생하는 상황인 ‘화점-흰 연기 동시 분포상황’ 이다. [Fig. 4(b)]는 다른 공간에서 발생한 화재로 인하여 흰 연기가 이동 하여 유입되었으나 아직 천장에 위치한 ‘흰연기 초기 유입 상 황’ 이다. [Fig. 4(c)]는 다른 공간에서 발생한 화재로 인하여 흰 연기가 이동하여 공간을 가득 채우는 상황으로 ‘흰 연기 완 전 유입 상황’ 에 해당하며, [Fig. 4(d)]는 다른 공간에서 발생 하여 어느 정도 진행된 화재의 검은 연기가 이동하여 유입되 었으나 아직 천장에 위치한 ‘검은 연기 초기 유입 상황’ 이다, [Fig. 4(e)]는 다른 공간에서 발생한 화재로 인하여 검은 연기 가 이동하여 공간을 가득 채우는 상황으로 ‘검연기 완전 유입 상황’ 에 해당하며, [Fig. 4(f)]는 화재가 어느 정도 진행되어 플 래시 오버 상태를 지나 화염이 천장에 까지 다다르고 검은 연 기가 급속도로 발생하는 상황에 해당하는 ‘강한화염-검은 연 기 혼재상황’ 이다.

Fig. 4 

Classification of smoke and fire distribution according to the location of indoor fire (a)fire - white smoke state, (b) white smoke - intial state, (c) white smoke - smoke-filled state, (d) dark smoke - intial state, (e) dark smoke - smoke-filled state, (f) fire - dark smoke state

실내화재 발생지점에 따른 연기 및 화점 분포 상황에 따라 대응 가능한 센서^[8]를 상황별로 종합 구성하여 볼 때 다음과 [Table 1]과 같은 대응 가능한 센서 특징을 가진다. ‘화점-흰연 기 동시 분포 상황’에서는 강하지 않은 화점으로 인하여 대부 분의 실내공간이 RGB카메라로 조망이 가능하며, 화면상에 지역적으로 존재하는 흰 연기를 SWIR카메라 또는 열화상카 메라(TIC)로 투과하여 환경을 모니터링 할 수 있다. ‘흰 연기 초기 유입 상황’에서는 주로 천장 상단부에 흰 연기가 위치하 는 형태로 나타나며 시간이 지날수록 흰 연기는 아래로 점차 내려간다. 이때 하단부는 RGB로 조망하고, 상단부는 SWIR 카메라 또는 열화상 카메라로 흰 연기를 투과하여 화재상황을 효과적으로 조망할 수 있다. ‘흰 연기 완전 유입 상황’에서는 SWIR카메라 또는 열화상카메라를 통하여 흰 연기를 극복하 고 화재 상황을 조망할 수 있다. ‘검은 연기 초기 유입 상황’은 하단부는 RGB카메라로 조망이 가능하다. 다만 이때부터 상 단부는 SWIR카메라가 효과적으로 동작하지 않는다. 초기 유 입된 검은 연기에는 비교적 열이 포함된 분자가 분포되지 않 아 열화상 카메라로 반대편 상황이 투과가 가능하다. 다만 이 때 열화상 카메라의 특성상 텍스쳐를 잃어버려 출구 상단부에 있는 피난유도등과 같은 주요 표지판을 알 수 없는 상황이 생 길 수 있다. ‘검은 연기 완전 유입 상황’에서도 마찬가지로 더 이상 SWIR카메라의 운용이 불가능하다. TIC와 Radar로 검은 연기를 투과하여 환경 모니터링이 가능하나. 검은 연기의 농 도와 열을 포함한 분자의 분포에 따라 화재상황이 더 진행되 면 열화상 카메라의 기능도 불가능하다. 이때는 Radar를 활용 하여 검은 연기를 투과하여 환경정보의 모니터링이 가능하나 Radar정보는 상당히 제약적이고 실내 환경의 난반사 조건에 따라 많은 노이즈를 포함할 가능성이 있어 활용에 주의가 필 요하다. ‘강한 화염- 검은 연기 혼재 상황’에서는 강한 열기로 인한 강항 복사열과 대류현상으로 인하여 초기에는 하 단부 일부 또는 부분적으로 RGB카메라로 조망이 가능하거나 TIC 로 조망이 가능한 부분이 존재한다. 다만 이러한 상황이 진행 되어 완전히 화염으로 휩싸일 경우 Radar를 제외한 모든 센서 는 환경정보를 획득할 수 없다. 오로지 Radar가 소수의 거리 정보를 이용하여 환경 정보를 모니터링 할 수 있다.

화재 현장에서 발생하는 연기 분포 및 화염을 커버하기 위 하여 다음과 같이 RGB 카메라 1대, 열화상 카메라 2대, Radar 1대를 조합하여 센서를 구성 하였다 [Table 2]. RGB 카메라는 FLIR 사의 Chameleon3를 사용하고, 열화상 카메라는 FLIR 사 의 Tau2 그리고 레이더는 유메인 사의 UWB Radar를 사용했 다. RGB 카메라는 연기가 없는 환경과 일부 화염이 있는 환경 을 모니터링 한다. 열화상 카메라는 화재 현장에서 주변 온도 정보를 효과적으로 모니터링 가능하여 다양하게 활용 할 수 있다. [Fig. 5(b)] 센서 중에서 화각이 제일 넓고 해상도가 큰 RGB 카메라를 중앙에 위치시키고. 동일한 화각의 열화상 카 메라 2개를 이용하여 열화상 스테레오를 구성하였다. 레이더 는 RGB 카메라 바로 위에 위치시켜 공간적 동기화에 용이하 도록 구성하였다. 두 열화상 카메라를 이용하는 스테레오를 위하여 열화상카메라에 외부 신호 동기화를 적용하여 시간적 동기화를 취하였다.

Fig. 5 

(a) Sensor module (b) Sensor module (inner structure)

화재 현장에서 방출되는 복사열로부터 센서들을 보호하기 위하여 내부에 고온 단열재인 세라믹페이퍼를 사용하였다. 또 외부의 열로부터 영상 센서의 렌즈를 보호하기 위해서 방열 유리가 필요하다. 일반 방열유리를 열화상 카메라에 사용할 경우 열화상 카메라의 파장 대역(7.5 - 13.5 μm)에 해당하는 빛 도 차단하여 온도 정보를 얻을 수 없다. 방열 유리를 대체하기 위하여 0.13 ~ 10 μm 파장 대역 통과시키는 CaF₂ IR 유리를 사 용하여 열화상 카메라를 보호하였다. CaF₂ IR 유리가 열화상 카메라의 전체 파장대역을 통과시키지 않아 열화상 카메라로 입력되는 신호가 약해지는 단점이 존재한다.

열화상 카메라와 RGB 카메라의 왜곡 보정 그리고 열화상 스테레오 구성과 센서 퓨전을 위한 카메라 Calibration이 필요 하다. 일반적으로 calibration에 사용하는 체스 보드는 RGB 카 메라에선 코너점을 검출하여 특징점을 추출한다. 하지만 온도 가 입력 신호인 열화상 카메라에서 체스보드는 코너점에 상관 없이 온도가 균일하여 특징점을 추출할 수 없다. 열화상 카메 라와 RGB카메라의 특징점을 동시에 잡기 위해서 [Fig. 6(a)] 와 같이 체스판의 코너에 발열체를 설치하여 코너의 온도를 상승시켰다. 그 경우 [Fig. 6(b)]의 RGB 영상 뿐 아니라, [Fig. 6(c)]의 열화상 카메라에 고온영역이 점으로 나타난다. 해당 발 열 지점에서 가장 높은 온도인 점으로 특징점을 잡았다. 추출 한 특징점을 적용하여 각기 카메라 calibration과 stereo calibration을 수행한다^[9]. 각 카메라의 내부 파라미터와 두 열 화상 카메라간의 외부 파라미터 그리고 열화상 카메라와 RGB 카메라 사이의 외부 파라미터를 계산한다.

Fig. 6 

(a) Heating chessboard for calibraion of Thermal camera and rgb camera (b) Image of heating chess board photographed with RGB camera (c) Image of heating chess board photographed with thermal camera

본 센서에 장착된 RGB카메라와 열화상 카메라를 사용하는 모드를 단일 카메라 센서 모드라 한다. 초기 화재 시, 연기의 영향이 적어 [Fig. 7(a)]처럼 RGB 카메라에도 환경 정보 획득 이 가능하다. 또 화점 발생 시 빛의 발생으로 인해 RGB 카메라 로 주변 인지가 가능하여 유용하게 사용 가능하다. 열화상 카 메라는 400도 이상의 고온 화재 현장을 제외하고 [Fig. 7(b)]와 같은 저온 상황에선 열화상 카메라로 주변 환경을 볼 수 있다.

Fig. 7 

Single camera sensor mode (a) RGB Image (b) Thermal Image

일반적인 3차원 센서는 높은 밀도의 데이터를 제공하나 연 기의 확산에 따라서 데이터가 부정확하게 나온다. RGB 영상 을 이용한 스테레오는 농연 상황에서 RGB 영상의 텍스쳐는 유효하지 않다. 카메라가 아닌 1채널 열화상 카메라의 경우, 디테일한 사물의 깊이를 파악하기 힘들다. 이를 보완하기 위 해서 농연 상황에도 온도로 주변 환경을 모니터링 할 수 있는 열화상 스테레오를 추가하였다. 열화상 스테레오의 결과를 시 각적으로 보여줌으로서 전반 상황의 대략적인 거리감을 제공 하여 현장 인식이 빠르도록 하였다. 스테레오 매칭이랑 각기 다른 위치의 두 카메라를 이용하여 깊이 정보를 계산하는 알 고리즘이다. 스테레오 매칭은 일반적으로 RGB 영상을 대상 으로 하며, 영상의 텍스처 정보를 사용하는 기법입니다. 하지 만 RGB 카메라는 농연 상황시 주변 환경을 모니터링이 불가 하다. 이를 보완하기 우해서 연기와 화염에도 주변 환경 모니 터링에 유용한 열화상 카메라를 이용하여 열화상 스테레오를 구성하였다. 스테레오 알고리즘으로는 기존 방법들 가운데서 가장 많이 사용되는 Semi-global matching^[10] 기법을 적용하였 다. 왼쪽 열화상 카메라 [Fig. 8(a)]와 오른쪽 열화상 카메라 [Fig. 8(b)]를 적용하여 스테레오 결과인 [Fig. 8(c)]를 계산하 였다. 그러나 열화상 영상은 물체의 방사열을 시각화한 센서 로서 일반적인 RGB 영상에 비해 특징점이 적다. 또한 영상 중 간 중간 3d 값이 나오지 않는 hole이 발생한다. [Fig. 8(c)]처럼 물체의 윤곽 정보가 부정확하여 열화상 스테레오의 깊이 색상 맵만으로 주변 구조를 파악하기 힘들다. hole을 채우고 영상의 윤곽을 이용하기 위해서 열화상 스테레오의 결과에 영상 분할 알고리즘을 이용한 후처리 작업을 진행한다. 열화상 카메라를 영상 분할 기법 중 하나인 슈퍼픽셀(Super Pixel)을 사용한다. 슈퍼픽셀은 기존 영상의 엣지정보을 고려하여 영상 내부를 격 자모양으로 분할하는 기법이다. 슈퍼픽셀 기법 중 하나인 Simple Linear Iterative Clustering (SLIC)^[11] 은 영상의 엣지 정 보를 효과적으로 살려 영상을 으로 영상을 분할 할 수 있다. 영 상 분할 후 각 라벨의 깊이 정보는 라벨에 포함된 픽셀들 중 hole을 제외한 픽셀들의 깊이 정보를 평균값 내어 계산한다. 해당 SLIC^[11]과 SGM^[10] 등 기존의 알고리즘은 속도 향상을 위 하여 CUDA를 이용한 병렬처리 알고리즘^[12,13]을 작용하였다. [Fig. 8(d)]처럼 사용자에게 거리 정보를 효과적으로 인식할 수 있도록 거리에 따라 색을 다르게 적용하였다. 거리를 가까운 물체는 빨강색, 먼 물체는 파랑색으로 표시하는 [Fig. 9]의 색 상표를 적용하여 시각적인 효과를 더하였다. 스테레오의 실제 거리 결과인 D가 0일 때 빨간색 , 측정 가능한 가장 먼 거리일 때 파란색을 적용하여 D_C을 구성하였다. 거리 결과가 유효하 지 않을 경우 거리 값을 0으로 이를 이용하여 색깔만으로도 물 체의 거리 차를 구분할 수 있도록 표현하였다.

Fig. 8 

Result image of thermal stereo (a) Left thermal image (b) Left thermal image (c) Thermal stereo (d) Thermal stereo using SLIC

Fig. 9 

Jet colormap

다양한 센서의 특징을 조합하기 위하여 RGB 카메라, 열화 상 카메라, 열화상 스테레오를 활용하여 융합 모드를 만들었 다. RGB 영상R 위에 열화상 스테레오 컬러 영상D_C를 오버레 이하여 전방의 물체나 주변 구조의 거리를 파악할 수 있도록 하였다. 와 같이 결과 영상 O(p)에 픽셀 p의 거리 D(p)가 최 대 측정 거리인T_D보다 클 경우 픽셀 p의 RGB 영상 값인 R(p)을 입력하고, T_D보다 작을 경우 D_C(p)을 입력한다.M1M2

정확한 물체의 윤곽을 알 수 있도록 sobel operation을 활용 하여 열화상 카메라의 윤곽선을 표현하였다. 왼쪽 열화상 영 상의 I에 식 (3), (4)의 Sobel operationS_x, S_y을 적용하여 G_x,G_y를 계산한다. 식 (7)에 G_x,G_y을 이용하여 윤곽선의 크 기 G를 구한다. 이후 식 픽셀p마다 G(p)의 값이 T_G보다 클 경우 1, 작을 경우 0인 가중치 지도 w_G 식 (8)을 계산한다. 식 (9)에 계산된 w_G를 이용하여 O에 열화상 카메라의 윤곽선을 표현한다. A는 윤곽선의 강도를 조절하는 변수로 이 알고리 즘에선 255을 사용했다. 위와 같은 방법으로 최종 융합 영상인 F를 계산한다.

RGB 카메라로 보이지 않는 상황에서도 색상의 차이를 통 해 물체의 멀고 가까움을 알 수 있다. 또한 물체의 edge를 표현 할 수 있어 더 구체적인 주변 환경의 모니터링이 가능하도록 하였다.

전방 환경에 강한 화염이 존재할 경우 RGB 카메라는 강한 빛으로, 열화상 카메라는 강한 열로 인해 영상이 모두 포화 되 어 시야가 확보되지 않는 현상이 발생한다. 이 때, 레이더의 데 이터를 영상으로 시각화하여 주변 환경을 모니터링 한다. 레 이터의 데이터는 센서를 기준으로 거리d와 각도θ로 구성된 다. 이 데이터를 식 (10)와 같이 x,y의 직교 좌표로 바꾼 후, 센 서를 원점으로 하는 [Fig. 10]과 같은 2D 그래프를 그리고 각 데이터를 점으로 표시한다.

Fig. 10 

Plot of the radar data

흰 연기 환경 실험은 흰 연기에 따른 시야 방해 상황을 재현 하여 실험하였다. 흰 연기는 화재 현장의 흰 연기와 유사한 연 기발생기를 이용하여 구성하였다. [Fig. 11(a)]와 같이 센서 기 준으로 1 m 간격으로 물체를 위치시킨 뒤, 연기 발생기로 흰 연기를 발생시켜 RGB 카메라 영상에서 충분히 시야를 가린 뒤, 각기 센서 모드를 이용하여 흰 연기로 인해 보이지 않는 물 체들이 보이는가를 테스트 하였다. [Fig. 11(b), (c)]를 참고하 면 RGB 영상을 제외한 모든 모드에서 물체의 위치를 파악할 수 있음이 확인된다.

Fig. 11 

White smoke experiment, (a) Test setup for white smoke experiment., (b) An image showing the two objects (c) An image showing the three objects (RGB Image, thermal image, thermal stereo, sensor fusion mode, top to bottom)

검은 연기 환경 실험을 위하여 [Fig. 12]처럼 3 m x 4 m 컨테 이너 박스에 환풍구를 설치하고 소각시설을 연결하여 소각 시 발생하는 연기를 흡입하는 실험장을 구성하였다. 마네킹과 구 조물을 세워두어 주변 정보를 파악할 수 있도록 하였다. 화재 발생 시 검은 연기는 주로 일상생활에서 자주 쓰이는 화학융 합물질인 PMMA의 연소로 인해 발생한다. 가연 물질로 PMMA를 사용하여 화재 시 발생하는 검은 연기를 재현하였 다. ‘검은 연기 초기 유입 상황’과 ‘검은 연기 완전 유입 상황’ 에서 센서의 성능을 검증하였다. [Fig. 13(b)], [Fig. 14(a)], [Fig. 15(a)], 상단의 RGB 영상을 보면 점차 검은 연기가 유입 되어 시야를 가리게 된다. 이 상황에서 열화상 스테레오 모드 를 적용하게 되면 깊이 정보를 통해 대략적인 깊이 정보를 알 수 있다. 또 융합 영상을 확인해보면 윤곽선영상이 부각되어 전방의 물체를 깊이와 윤각을 알 수 있어, RGB 영상보다 전방 의 상황의 정보를 더 많이 모니터링이 가능하다.

Fig. 12 

setup for dark smoke experiment.

Fig. 13 

Dark smoke experiment, intial state (a) RGB image (b) thermal image (c) thermal stereo (d) thermal stereo after post-processing (e) sensor fusion mode

Fig. 14 

Dark smoke experiment, intermediate state (a) RGB image (b) thermal image (c) thermal stereo (d) thermal stereo after post-processing (e) sensor fusion mode

Fig. 15 

Dark smoke experiment, smoke-filled state (a) RGB image (b) thermal image (c) thermal stereo (d) thermal stereo after post-processing (e) sensor fusion mode

실 화재 실험은 화점을 만들기 위하여 실험 공간 안에 화로 를 설치하였다[Fig. 16(b)]. 센서 기준으로 양 옆에 벽돌로 벽 을 쌓아 주변 구조물을 설치하였으며, 정중앙에 화로를 두어 강한 화염 및 연기 상황을 재연하였다. 화염 상황에서도 [Fig. 16(d)]처럼 구조물(초록색)과 벽(하늘색)으로 구분 가능하며 비상등의 대략적인 위치도 파악하는 등 주변 정보를 얻을 수 있다. 레이더 결과에서도 양 쪽의 벽돌벽과 전방의 벽을 검출 한 것을 확인할 수 있다.

Fig. 16 

(a) fire test (b) fire test setup (c) RGB image (d) the result of sensor fusion (e) the result of Radar

[Fig. 11(a)]의 테스트베드에 [Fig. 17(a)]처럼 1 m에 장애물 을 배치하여 Reference 물체을 둔다. 테스트베드에 Reference 물체와 랜덤하게 장애물을 3 ~ 5개 배치하며 피험자에게는 장 애물 개수와 형상 등의 사전 정보를 주지 않는다. 테스트베드 내에 연기를 40% obs/m 이상 채우고, 인간 시각을 모사한 RGB 카메라 영상에서 1 m에 있는 Reference 물체가 보이는 [Fig. 17(b)]에 각 융합센서모듈의 센서 데이터를 취득한다. 위 와 같은 절차를 이용하여 테스트 데이터 셋을 만들고, 융합센 서 데이터를 시각화한다. 피험자에게 시각화 영상에서 장애물 위치를 확인하게 한다. 피험자가 물체가 존재한다고 체크한 위치와 실제 배치된 장애물의 위치가 맞는 경우에만 정답으로 인정하며, 정답으로 인정된 장애물 중에 가장 멀리 떨어진 장 애물 거리를 이용하여 아래와 같이 가시성 향상을 측정한다. i 번째 테스트 셋의 가시성 향상을 V_i라고 할 때, 식 (11)과 같다.

Fig. 17 

Quantitative experiment (a) placement of reference object and obstacle (b) a situation where only the reference object is visible.

각 피실험자의 데이터를 평균을 내어 가시성 향상도 실험 을 한 결과 평균 131.30%의 향상률을 보였다 [Table 3].