실시간 순환 신경망 기반의 멀티빔 소나 이미지를 이용한 수중 물체의 추적에 관한 연구

1. 서 론

수중 환경에서 관심 있는 물체를 찾고 추적해내는 국방 또 는 방재 등의 관점에서 볼 때 매우 중요하다. 특히 그 물체가 사 람일 경우 그 파급력은 상당할 것이다. 국방의 관점에서는 높 은 보안 수준이 요구되는 영역에서 수중 침입자를 감시해야 할 경우, 방재의 관점에서는 수난사고 발생 시 인명을 구조해 야 할 경우, 또는 해녀 등과 같은 수중 작업을 수행하는 작업자 를 모니터링 해야 할 경우가 이에 해당할 것이다. 하지만 대부 분의 지류, 저수지, 양식장, 근해 등의 경우 수중에서의 가시성 은 현저히 낮아 비전 카메라와 같은 광학적 영상 정보로는 해 당 목표물을 거의 구분해 낼 수 없는 경우가 많다. 따라서 이러 한 열악한 상황을 극복하기 위해 일반적으로 수중 소나 이미 지가 주로 유용하게 사용된다. 또한 통신의 제약이 있는 수중 환경에서는 심해 조사, 수중 감시, 해저 탐사 등의 자율 수중 로봇 내비게이션을 위해 소나 영상에 나타나는 지표가 중요한 정보가 될 수 있기 때문에 지표 추적이 절대적으로 필요하다. 하지만 소나는 센서의 물리적 작동 메커니즘에 의해 그 해상 도가 다소 떨어지는 한계성을 가진다. 그럼에도 불구하고 수 중 소나 센서는 수중 모니터링을 위해서는 필수불가결한 장비 라 할 수 있다.

수중 목표물 모니터링 작업은 크게 물체 탐지와 추적으로 나누어 볼 수 있다. 물체가 영상의 관심 영역 내에 처음 출현했 을 때 그 물체를 정확하게 검출해내는 작업이 탐지라 한다면, 추적의 관점에서는 이렇게 탐지된 물체를 시간의 흐름에 따라 끊임없이 강인하게 추적해낼 수 있어야 한다. 물론 매 순간의 영상마다 시간적 유기성을 배제한 체 물체를 검출해내어 그 위치 정보만을 기반으로 추적을 할 수 있겠으나 소요되는 비 용이 상대적으로 클 수밖에 없다. 이에 반해 시간적 유기성을 고려하여 순간 영상의 연속성에 기반을 둔 물체의 추적은 매 우 효과적이라 할 수 있다. 다시 말하자면, 물체 탐지는 물체가 영상의 관심 영역 내에 출현 했을 때, 그 물체를 검출하지 못하 거나 물체의 종류를 분류하지 못한다면, 영상 내의 위치 정보 를 얻지 못한다. 하지만 물체 추적은 물체의 종류를 분류하 지 않고 물체 검출만하기 때문에 효율적으로 물체를 추적 할 수 있게 된다. Sussex 대학교에서 인지 신경과학자로 활동을 하시는 Anil Seth 교수가 TED2017에서 발표한 “Your brain hallucinates your conscious reality”의 영상을 보면 뇌가 어떻게 의식적 현실을 만들어내는지에 대한 내용을 담고 있다[1]. 이 영상의 6분대의 내용을 보면 음성 변조가 되어 알아듣기 힘든 소리를 2번 들려준다. 그 다음 음성 변조가 되기 전의 원본 소 리를 한번 들려주고 다시 음성 변조가 된 소리를 들려준다. 원 본 소리를 듣기 전에는 들리지 않던 단어와 문장이 들리게 된 다. 이는 뇌가 이전의 경험으로 예측 결과를 만들어 뇌의 인지 에 영향을 주기 때문이라고 한다. 이와 마찬가지로 동영상을 볼 때, 영상 내 출현하는 임의의 물체 또는 사람이 불명확한 형 태라도 한번 인식이 되면, 자연스럽게 그 물체 혹은 사람을 추 적 및 인식이 수월해진다. 이는 시간과 공간적 연속성을 무의 식적으로 추론하기 때문에 강인한 추론이 가능하게 된다. 이 러한 이 점을 딥러닝의 관점에서는 음성 인식, 신호 분석과 같 이 이러한 시간적 연속성을 기반으로 하는 종류의 문제에 순 환 신경망이 주로 사용되고 있다. 이와 더불어 최근에는 영상 정보 또한 시간의 연속성 관점에서 순환 신경망으로 분석하고 자 하는 시도가 이루어지고 있다.

본 논문에서는 실시간 순환 신경망 (Re³)을 기반으로 하여 수중 소나 이미지 내에 출현하는 휴먼 바디를 강인하게 추적 해내고자 시도하였다. 특히 실내 테스트 베드에서와 실제 해 안에서 실험하여 획득한 수중 소나 이미지 동영상을 이용해 마네킹 또는 다이버 등의 휴먼 바디를 추적하였다. 그리고 작 동 주파수가 다른 이종 간 수중 소나 센서 데이터에 따른 결과 를 비교함으로써 영상의 해상도에 따른 물체 추적 성능을 비 교 분석하였다. 마지막으로 다중 물체가 있을 시 관심 물체만 추적이 가능한지 확인하였다. 이 실험들은 물체가 물속 가운 데에 떠있는 경우와 바닥면에 가라앉은 경우, 수중 소나 이미 지의 화질이 다른 경우, 다중 물체가 있는 경우로 수중 소나 이 미지에서 생길 수 있는 여러 상황을 나열한 것이다. 본 논문에 서 각 실험들의 연구 목표는 다음과 같다.

• ․ 소나 센서 빔폭 내 마네킹의 위치 변화에 따른 순환 신경망의 추적 결과를 비교 분석한다.
• ․ 실제 해안에서의 마네킹 추적 결과를 비교 분석한다.
• ․ 이종 간 수중 소나 센서에 따른 타이어 추적 결과를 비교 분석한다.
• ․ 다양한 물체가 있는 환경 속에서 관심 물체만을 추적 할 수 있는지 확인한다.

2. 관련 연구

물체의 추적에 관한 연구는 ‘Visual Object Tracking challenge (VOT)’라는 대회에서 다양한 알고리즘으로 소개 되고 있다 [2-5]. ‘Visual Object Tracking challenge’는 물체 추적을 위한 방 대한 데이터를 제공하여, 동일한 데이터로 연구자들이 개발한 알고리즘을 서로 평가와 경쟁을 하는 대회이다. 이러한 알고 리즘은 크게 Online-trained, Offline-trained, Hybrid 추적기인 3 종류로 나누어진다. Online-trained 추적기는 가장 널리 사용 되는 유형의 추적기이다. 온라인에서 작동되며, 관심 객체를 지속적으로 학습시켜야한다. 그 결과 모델의 복잡성이 올라 가게 된다. 이러한 대표적인 추적기로 VOT 2014에서 우승한 Discriminative Scale Space Tracker (DSST)이 있다[6]. Offlinetrained 추적기는 방대한 양의 훈련 데이터를 활용 할 때 사용 한다. 시간적으로 연속된 물체 감지를 통해 물체 추적을 할 수 있지만, 시각적인 정보를 사용하여 모델을 조정하지 않아 새 로운 정보에 적응하기 힘들다. 이러한 추적기는 T_CNN이 있 다[7]. Hybrid 추적기는 Online-trained 추적기와 Offline-trained 추 적기의 단점을 상호 보안한다. 이미지 분류 네트워크를 교육 한 다음 온라인으로 객체 별 분류를 하게 된다. 이러한 대표적 인 추적기로 VOT 2015에서 우승한 MDNet와 본 논문에서 사 용한 Re³이 있다[8,9].

선행 연구에서는 수중 소나 이미지를 이용하여 물체 탐지 및 분류를 하는 연구를 하였다. 수중 소나 이미지를 분류하 는 연구는 Convolutional Neural Networks (CNN)기반으로 연구를 수행하였다[10]. CNN은 이미지를 분류하는 딥러닝 모델 로 2012년 개최된 ‘ImageNet Large Scale Visual Recognition Challenge’ 이미지 분류 분야에서 우승한 모델이다[11]. 이 대회 는 물체 분류를 위해 1,000개가 넘는 종류로 분류된 100만개의 이미지를 제공하여, 연구자들의 방법론으로 분류되는 정확도 를 겨루는 대회이다. 수중 소나 이미지 속의 관심 물체 탐지 연 구는 Faster R-CNN기반으로 연구를 수행하였다[12,13]. Faster R-CNN는 이미지속에 관심있는 물체를 바운딩 박스로 표시하 여 위치 정보와 물체 분류를 동시에 해주는 딥러닝 모델이다[14]. CNN기반으로 이미지 분류를 수행한 연구는 이미지속의 물체 의 위치를 알 수 없는 단점이 있다. Faster R-CNN기반으로 물 체 탐지하는 연구는 바운딩 박스가 검출되지 않으면 관심 물 체를 분류 할 수 없는 단점과 검출된 바운딩 박스를 끊임없이 분류하는 계산 과정이 포함되는 단점이 있었다. Re³기반의 물 체 추적은 한번만 관심 물체를 설정해주면, 지속적으로 물체 분류를 하지 않고도 추적이 가능하다. 본 연구는 선행 연구에 서 사용되는 물체 분류 과정을 제거하고 물체 추적을 수행하 게 된다. 또한, 광학 영상에서 사용되는 딥러닝 모델이 수중 소 나 영상에서도 작동하는지 타당성을 확인한다.

3. 실시간 순환 신경망

본 연구는 Re³을 수중 소나 이미지에 대해 학습을 하지 않고 사용하였다. Re³은 영상 속 물체를 추적하고자 하는 물체 있을 때, 초기의 물체 위치를 바운딩 박스로 사용자가 수동으로 한 번만 알려주면, 연속적으로 물체를 추적하는 구조이다. 또한, Re³에서는 추적하고 있는 물체가 중간에 모양이나 색상이 바 뀌어도 강인하게 원하는 물체를 강인하게 추적 할 수 있다. 단, 추적하고자하는 물체는 영상 속에서 시간에 따라 연속적으로 움직이는 데이터만 고려된다.

3.1 실시간 순환 신경망 구조

실시간 순환 신경망 구조는 다음 [Fig. 1]과 같이 ‘3.1.1 Object Appearance Embedding’과 ‘3.1.2 Recurrent Specifications’으로 나누어진다.

[Fig. 1]

Network Structure of Re3: Real-Time Recurrent Regression Networks

3.1.1 Object Appearance Embedding

물체 일반화 특징을 추출하기 위해 본 절에서는 ‘Network Input’과 ‘Skip connections’ 과정을 갖는다. ‘Network Input’에 서는 연속되는 영상 데이터를 안에서 물체의 위치들을 찾아 Convolutional layer에 넣어주는 단계이다. [Fig. 1]과 같이 다음 단계의 물체 위치를 예상하기 위한 준비로 현재 단계의 바운 딩 박스의 중심점을 똑같이 가져간다. 현재 단계의 바운딩 박 스의 폭과 높이의 2배의 길이로 확장시고 이미지를 잘라 227×227 pixel 크기로 변환시켜 Convolutional layer에 넣어 물 체 일반화 특징을 추출한다. 이때 초기 바운딩 박스는 초기에 한번 수동으로 설정하게 된다. ‘Skip connections’에서는 계산 비용 (Computational cost)을 낮추기 위해 1×1×C의 크기의 Full connected layer를 만든다. 이 때 C는 입력 채널보다 작도록 설 정이 된다.

3.1.2 Recurrent Specifications

본 절에서는 ‘Recurrent Structure’와 ‘Network Outputs’으로 구성된다. ‘Recurrent Structure’에서는 사용한 LSTM의 구조 를 정의하였다[15]. ‘Network Outputs’에서는 바운딩 박스를 만 들기 위해서, LSTM를 이용하여 왼쪽 상단과 오른쪽 하단에 위치하는 좌표 값을 얻는다. 이렇게 얻은 좌표 값으로 물체 추 적을 수행하게 된다.

4. 실험 결과

4.1 부유체 테스트 베드 실험

4.1.1 실험 조건

수중 소나 센서는 TELEDYNE BlueView 사의 M900-90 멀 티빔 이미징 소나를 사용하였다. 이 소나 센서의 작동 주파수 는 900 kHZ, 빔폭은 90°×20°, 탐지 가능거리는 최대 100 m이 다. 수중에 자리잡고 있는 마네킹의 소나 이미지를 여러 각도 에서 효과적으로 얻기 위해 [Fig. 2]와 같이 소나 센서를 일정 한 각도 간격으로 회전시킬 수 있는 기어 박스를 제작하여 [Fig. 3(a)]와 같이 USV에 장착하였다. 본 실험에서는 회전 각 도 간격을 5°로 하여 실험하였다. 실험은 한국로봇융합연구원 (KIRO) 지하에 위치한 수중 테스트 베드에서 수행하였다. 수 중 테스트 베드의 최대 수심은 약 10 m 가량이며, [Fig. 4]에서 와 같이 휴먼 바디를 연출하기 위해 사용된 마네킹은 약 4 m 정도의 수심에 위치시켰다. 실험은 두 종류의 조건으로 수행 되었다. 첫 번째는 마네킹을 센서 회전축 바로 아래에 위치시 킨 후 센서를 회전하여 소나 이미지를 획득하였고 두 번째는 [Fig. 3(b)]와 같이 마네킹을 센서 회전축에서 20°도 정도 벗어 난 곳에 위치시킨 후 센서를 회전하여 소나 이미지를 획득하 였다. 두 경우 모두 센서가 한 바퀴 회전하는 동안 총 60개의 정지 영상을 생성하였다.

[Fig. 2]

Rotating multi-beam sonar sensor configuration

[Fig. 3]

(a) Rotating sonar sensor mounted on USV and (b) submerged mannequin

[Fig. 4]

Result of object tracking about dummy object floated at the testbed

4.1.2 실험 결과

각 영상의 마네킹 추적 결과는 [Fig. 4]에서 예측된 노란색 바운딩 박스와 실제값에 해당하는 빨간색 바운딩 박스의 IoU 값으로 평가하였다. [Fig. 5]에서 보는바와 같이 θ=20°에 해 당하는 이미지 (Image Data 2)의 평균 IoU가 0.41로써 θ=0°에 해당하는 이미지 (Image Data 1)의 평균 IoU보다 0.12가량 낮 게 측정되었다. 특히 시간 인덱스 31부터 41까지의 구간에서 Image Data 2의 IoU가 현저히 저하되었다. 이는 소나 센서가 회전하는 동안 마네킹의 위치가 소나빔의 빔폭 영역에서 다소 벗어나 있기 때문에 마네킹에 대한 이미지 강도가 현저히 떨 어지게 된다. 따라서 이 결과를 통해 소나빔의 유효 빔폭 경계 구역에서는 관심 물체에 대한 이미지 강도 흔적이 존재한다 하더라도 물체에 대한 추적 성능이 현저히 떨어질 수 있고 상 황에 따라서는 그 위치를 놓칠 수 있는 가능성을 확인하였다. IoU 계산을 위한 식은 아래와 같다.

[Fig. 5]

Object tracking performance about dummy object floated at the testbed

$\[ IoU=\frac{AreaofOverlap}{AreaofUnion} \]$

(1)

4.2 침전체 해안 실험

4.2.1 실험 조건

실제 해안에서 익수자 형태의 소나 이미지를 얻기 위해 [Fig. 6]와 같은 실험 장비로 대천해수욕장에서 2회에 걸친 실 험을 수행하였다. 이 해안 실험이 앞에서 설명한 실내 테스트 베드 실험과 다른 점은 마네킹을 수중 바닥면에 최대한 밀착 시킨 것과 마네킹에 옷을 입혔다는 것이다. 마네킹을 수중 바 닥면에 최대한 밀착시킨 이유는 백그라운드에 의한 소나 산란 현상이 물체를 추적함에 있어 얼마나 영향을 미치는가에 대한 고찰을 갖기 위함이다. 또한 마네킹에 옷을 입힌 이유는 천 소 재의 옷이 소나 이미지에 어떤 영향을 미칠 것인가에 대한 고 찰을 갖기 위함이다. 첫 번째 실험 데이터를 TDI_01이라 명명 하였다. 이 실험에서는 마네킹을 수중에서 침전시킨 후 실험 자가 직접 소나 센서를 들고 입수하여 이미지를 획득하였다. 그렇기 때문에 안전상의 문제로 3 m이상 깊은 바다 속으로 들 어가기 어려웠다. 이러한 이유로 마네킹으로부터 센서까지의 최대 거리가 2.5 m를 넘지 않았다. 마네킹이 센서에서 상당히 가까웠기 때문에 [Fig. 7]에서 보는바와 같이 마네킹 주위의 영 상 강도가 백그라운드보다 강하게 나타나는 것을 확인할 수 있다. 두 번째 실험 데이터는 TDI_02라고 하였다. 이 실험은 마네킹을 수중에서 침전시킨 후 실험자가 보트를 타고 마네킹 주의를 맴돌면서 소나 이미지를 획득하였다. 두 번째 실험은 보트를 타고 안전하게 실험을 할 수 있는 거리까지 최대한 멀 리 나가 실험을 진행하였다. 이 때 바다의 깊이가 약 6 m이였 다. 그래서 마네킹은 센서로부터 최대 6 m까지 거리를 용이하 게 확보할 수 있었다. TDI_02에서는 TDI_01과는 달리 마네킹 의 영상 강도가 백그라운드보다 오히려 약하게 나타나는 현상 을 확인할 수 있었다.

[Fig. 6]

Sonar sensor mounted on kayak

[Fig. 7]

Result of object tracking about dummy object settled at the bottom of the sea

4.2.2 실험 결과

관심 물체와 센서간의 거리가 가까울수록 수중 소나 이미 지의 하단부에 물체가 생성되었다. 또한, 백그라운드보다 물 체의 강도가 강하게 나타났다. 반대로 관심 물체와 센서간의 거리가 떨어질수록 수중 소나 이미지의 상단부에 물체가 위치 되었고, 물체보다 백그라운드의 강도가 강하게 들어왔다. 이 는 수중 소나 센서의 특성상 비교적 가까운 물체가 있을시 바 닥면보다 먼저 접촉되는 물체에 강한 강도가 생겨 물체가 백 그라운드보다 강한 강도를 가지게 된다. 물체가 비교적 멀리 있다면, 물체보다 가까운 바닥면이 강한 강도를 갖게 되어 물 체가 백그라운드보다 약한 강도를 가지게 된다. 마네킹에 천 소재의 옷이 소나 이미지에 큰 영향을 주지 못하였다. 각 영상 의 마네킹 탐지 결과는 [Fig. 8]에서 보는바와 같이 TDI_01 이 미지의 평균 IoU가 0.49로써 TDI_02 이미지의 평균 IoU보다 0.07가량 낮게 측정되었다. 이를 통해 백그라운드에 의한 소나 산란 현상보다 마네킹과 센서의 거리에 따른 마네킹 주변의 영상 강도가 물체 추적 성능에 영향을 주는 것을 알 수 있었다. TDI_02 이미지를 보면 물체와 백그라운드의 이미지 강도가 확연히 구분되었다. 반면, TDI_01 이미지에서는 부드럽게 연 결되는 경향을 갖게 된다. 이 결과를 통해 백그라운드에 의한 소나 산란 현상이 존재한다 하더라도 시각적으로 바닥면과 물 체를 구별 할 수 있으면 추적 할 수 있는 가능성이 있고 명확하 게 구분될수록 탐지 성능이 올라감을 확인하였다.

[Fig. 8]

Object tracking performance about dummy object settled at the bottom of the sea

4.3 침전체 테스트 베드 실험

4.3.1 실험 조건

테스트 베드 실험에 사용된 수중 소나 센서는 M900-90 멀 티빔 이미징 소나와 Sound Metrics사 DIDSON 300 멀티빔 이 미징 소나를 사용하였다. 이 소나 센서의 작동 주파수는 1.8 MHZ, 빔폭은 29°×14°, 탐지 가능거리는 최대 300 m이다. 실험 은 선박해양플랜트연구소(KRSIO)에 위치한 수중 테스트 베 드에서 수행하였다. 수중 테스트 베드의 최대 수심은 약 2.6 m 가량이며, [Fig. 9]에서와 같이 침전체 영상을 얻기 위해 침전 체를 바닥면에 위치시켰다. 수표면에 있는 센서가 침전체가 있 는 방향으로 배를 타고 가듯이 바닥면과 평행하게 이동하면서 이미지를 획득하였다. 이 실험은 이종간 소나 센서를 동시에 이 용할시, 소나 이미지에 어떤 영향을 미칠 것인가에 대한 고찰을 갖기 위함이다. [Fig. 9]에서 보는바와 같이 BlueView_Tire 이미 지 보다 Didson_Tire 이미지가 관심 물체와 백그라운드의 구 분이 상대적으로 쉽고, 이미지 화질이 높았다.

[Fig. 9]

Result of object tracking about tire object settled at the bottom of the testbed

4.3.2 실험 결과

[Fig. 9]에서 보는바와 같이 작동 주파수의 영역 다른 이종 의 소나 센서를 동시에 사용을 해도, 서로간의 이미지에 큰 영 향을 주지 않음을 확인할 수 있다. 이 사례 연구에서는 그림자 부분을 포함하여 물체 추적을 하였다. 그 이유는 육안으로 관 심 물체와 백그라운드의 구분이 어려웠기 때문이다. 수중 소 나 이미지에서 음영 영역은 바닥면에 물체가 인접하게 위치 한다면, 물체와 한 세트처럼 나타나는 특징이 있기 때문에 이 를 착안하여 물체를 찾는 정보로 활용하였다. 추적 결과는 [Fig. 10]에서 보는바와 같이 Didson_Tire 이미지의 평균 IoU 가 0.64로써 BlueView_Tire 이미지의 평균 IoU보다 0.14가량 높게 측정되었다. 이는 효과적으로 물체의 구분이 강하게 된 Didson_Tire 이미지가 보다 높은 추적 성능이 나오게 했다. 이 를 통해 관심 물체의 구분이 명확할수록 효과적으로 탐지 성 능이 올라감을 확인 할 수 있었다.

[Fig. 10]

Object tracking performance about tire object settled at the bottom of the testbed

4.4 다양한 침전체 테스트 베드 실험

4.4.1 실험 조건

실험에 사용된 수중 소나 센서는 M900-90 멀티빔 이미징 소나이고 침전체로 사용된 객체는 마네킹, 타이어, 사각 박스 등을 이용하였다. 실험은 선박해양플랜트연구소(KRSIO)의 수 중 테스트 베드에서 수행하였다. [Fig. 11]에서와 같이 침전체 영 상을 얻기 위해 여러 종류의 침전체들을 바닥면에 고정시켰다. 이미지는 센서를 부착한 무인수상정이 테스트 베드를 자유롭게 이동하면서 획득하였다. 이 실험은 다양한 침전체가 있는 경우 에서 물체 추적에 어떤 영향을 미칠 것인가에 대한 고찰을 갖기 위함이다. [Fig. 11]에서 보는바와 같이 마네킹과 타이어가 동시 에 보이고, 중간에 마네킹이 사라졌다가 다시 생기는 상황이다.

[Fig. 11]

Result of object tracking about multi-objects settled at the bottom of the testbed

4.4.2 실험 결과

[Fig. 11]에서 보는바와 같이 두 개 이상의 물체가 동시에 보 이는 상황에서 관심 물체의 물체 추적을 수행하였다. 추적 결 과는 [Fig. 12]에서 보는바와 같이 평균 IoU가 0.44으로 측정되 었고, 시간 인덱스 18부터 23까지와 27부터 29까지의 구간에 서 IoU값이 0에 가깝게 나왔다. 이 부분은 관심 물체인 마네킹 에 대한 이미지 강도가 현저히 떨어지게 구간이다. [Fig. 11]의 시간 인덱스 20번은 육안으로 마네킹을 확인하기 어렵지만 물 체 추적 성능 평가를 위해 마네킹의 위치를 추정하여 실제값 을 빨간색 바운딩 박스로 표현 해놓았다. [Fig. 12]를 보면, 다른 실험 결과 값과 다르게 IoU값이 높은데 이는 초기 물체 위치의 바운딩 박스와 실제값의 바운딩 박스가 비슷한 위치에서 시작 되었기 때문이다. 마네킹에 대한 이미지 강도가 떨어지는 구 간을 지나고 선명한 마네킹의 이미지가 나오면 다시 추적하여 IoU값이 높아진다. 이러한 결과는 다중 물체에서도 관심 물체 만을 추적 할 수 있는 가능성을 확인 할 수 있었다.

[Fig. 12]

Object tracking performance about multi-objects settled at the bottom of the testbed

5. 결 론

본 논문에서 사용된 Re³은 수중 소나 이미지에 대한 파인튜 닝(fine-tuning)을 진행하지 않고, 기존에 학습된 레이어의 파 라미터를 사용하고 있다. Re³은 물체의 일반적인 특징을 학습 하여 물체를 추적한다. 그래서 추적하는 물체가 도중에 색상 이나 모양이 변화하도 물체 추적이 가능하다. 이러한 특징이 광학 카메라 영상보다 비교적 불명확한 수중 소나 영상에 적 용하기 용이할 것으로 기대하였다.

[Fig. 13]은 본 논문에서 사용된 ‘4.1 부유체 테스트 베드 실 험’과 ‘4.2 침전체 해안 실험’의 데이터를 Re³기반으로 물체 추 적한 결과 값과 [12]의 논문에서 Faster R-CNN기반으로 물체 감지한 결과 값을 PR곡선으로 표현한 것이다. 물체 감지 (object detecting)와 물체 추적(object tracking)은 다른 영역에 있는 연구로써 정확하게 두 모델의 물체 추적 성능을 비교하 기 어렵다. 두 모델의 성능을 비교하기 위해 두 모델에서 공통 적으로 사용하는 바운딩 박스를 이용하여 PR곡선으로 표현하 였다. [Fig. 13]에서 POOL, SEA2017, SEA2017-styled-POOL, SEA2017-styled-SIM의 결과 값은 Image Data 1-Re³, TDI_01-Re³ 의 데이터를 이용하여 Faster R-CNN에 학습한 후, 테스트 데 이터로 TDI_02를 사용하여 얻은 값이다. Image Data 1-Re³, Image Data 2-Re³, TDI_01-Re³, TDI_02-Re³은 Re³기반으로 물체 추 적한 결과이다. 그래서 [12]의 논문 결과 값과 직접적으로 물 체 추적 성능을 비교 할 수는 없었다. 다만 Image Data 1-Re³, Image Data 2-Re³, TDI_01-Re³, TDI_02-Re³의 물체 추적 성능 을 보면 Fater R-CNN기반의 물체 추적 성능보다 높아, 간접적 으로 Re³기반의 물체 추적 성능이 상대적으로 Faster R-CNN 기반의 물체 추적보다 좋음을 알 수 있다.

[Fig. 13]

PR curve comparison between object detection model (Faster R-CNN) and object tracking model (Re3)

본 논문에서는 4가지의 실험을 통해 수중 소나 영상에 대한 물체 추적 연구를 진행하였다. ‘4.1 부유체 테스트 베드 실험’ 은 물속에 가라앉지 않은 물체가 위치의 변화의 따라 추적 성 능이 어떻게 되는지 확인하는 실험이다. ‘4.2 침전체 해안 실 험’은 실제 해안에서 완전히 가라앉은 물체와 센서의 거리를 다르게 설정하여 추적 성능을 확인하는 실험이다. ‘4.3 침전체 테스트 베드 실험’은 같은 조건에서 같은 물체를 이종의 소나 센서로 동시에 얻은 영상으로 다른 화질의 수중 소나 이미지 에서 추적 성능을 확인하기 위한 실험이다. ‘4.4 다양한 침전체 테스트 베드 실험’은 다양한 물체 사이에서 관심 물체를 추적 할 수 있는지 확인하는 실험이다. ‘4.1 부유체 테스트 베드 실 험’에서 [Fig. 4]의 Image Data 2 이미지를 보면, 마네킹이 소나 빔의 빔폭 영역에서 벗어나 추적하는 관심 물체가 이미지 내 에서 사라진다. 또한, 시간에 따라 관측되는 마네킹의 모양도 변하고 있다. 그럼에도 불구하고 [Fig. 5]를 보면 Image Data 2 이미지의 시간 인덱스 31부터 41까지를 제외하면 IoU가 모두 0.3이상을 넘었다. ‘4.2 침전체 해안 실험’와 ‘4.3 침전체 테스 트 베드 실험’를 보면 백그라운드와 물체의 구분이 잘 될수록 IoU값이 향상되는 경향이 있었다. [Fig. 7]의 TDI_01와 [Fig. 9] 의 BlueView_Tire 이미지를 보았을 때, 백그라운드와 물체의 경계를 정확히 판단하기 난해한 부분이 있는 곳에서는 상대적 으로 낮은 IoU값이 측정되었다. 반대로 [Fig. 7]의 TDI_02와 [Fig. 9]의 Didson_Tire 이미지처럼 백그라운드와 물체의 경계 가 명확히 구분되는 영상에서는 높은 IoU값이 측정되었고, 전 체적으로 모두 IoU값이 0.3을 넘었다. ‘4.4 다양한 침전체 테스 트 베드 실험’에서 [Fig. 11]의 이미지를 보면 마네킹, 타이어, 사각 박스가 놓여 있고, 관심 물체인 마네킹을 추적하고 있다. [Fig. 12]를 보면 시간 인덱스 18부터 23까지와 27부터 29까지 구간의 IoU값이 0.3이하의 값을 갖고, 시간 인덱스 24, 25, 32 부터 35까지 구간에서 IoU값이 0.3이상의 값을 가졌다. [Fig. 13] 를 보면, PR곡선에 사용된 IoU의 임계값이 0.25이다. 이는 시 간적 유기성이 고려된 데이터에서 매 순간의 영상의 분류가 필요 없다면, Faster R-CNN기반으로 물체의 위치 정보를 얻어 물체 추적하는 방법보다 Re³기반으로 물체를 추적하는 방법 이 효율적임을 간접적으로 보여준다.

또한 이러한 결과는 수중 소나 이미지에 대한 파인튜닝이 진행되지 않은 상태이기 때문에 파인튜닝을 통한 물체 일반화 특징이 향상되면, 추적 성능 향상의 가능성을 보여준다.

추후 연구에서는 수중 소나 영상에 대한 정보를 Re³에 파인 튜닝하여 수중 소나 영상에 대한 강인한 물체 추적 연구를 진 행 할 예정이다.

사 사

소나 센서의 수중 ROV 탑재 및 수중 소나 이미지 획득 실험에 협 조해주신 카이스트 IRAP 연구실 김아영 교수님께 감사드립니다.

References

• A. Seth, Your brain hallucinates your conscious reality, TED2017, [Online], https://www.ted.com/talks/anil_seth_your_brain_hallucinates_your_conscious_reality/transcript?language=ko, Accessed: April 26, 2017.
• M. Kristan et al., “The visual object tracking VOT2014 challenge results,” Eur. Conf. Comput. Vision Workshops, pp. 191-217, 2014.
• M. Kristan et al., “The visual object tracking VOT2015 challenge results,” 2015 IEEE International Conference on Computer Vision Workshop (ICCVW), Santiago, Chile, pp. 1-23, 2015.
• M. Kristan et al., “The visual object tracking VOT2016 challenge results,” Eur. Conf. Comput. Vision Workshops, pp. 777-823, 2016.
• M. Kristan et al., “The visual object tracking VOT2017 challenge results,” 2017 IEEE International Conference on Computer Vision Workshops (ICCVW), pp. 1949-1972, 2017.
• M. Danelljan, G. H¨ager, F. S. Khan, and M. Felsberg, “Discriminative scale space tracking,” IEEE Trans. Pattern Anal. Mach. Intell., vol. 39, no. 8, pp. 1561-1575, August, 2017. [https://doi.org/10.1109/TPAMI.2016.2609928]
• K.Kang et al., “T-CNN: Tubelets with convolutional neural networks for object detection from videos,” IEEE Trans. Circuits Syst. Video Technol., vol. 28, no. 10, pp. 2896-2907, 2018. [https://doi.org/10.1109/TCSVT.2017.2736553]
• H. Nam and B. Han, “Learning multi-domain convolutional neural networks for visual tracking,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), pp. 4293-4302, 2016. [https://doi.org/10.1109/CVPR.2016.465]
• D. Gordon, A. Farhadi, and D. Fox., “Re³ : Real-Time Recurrent Regression Networks for Visual Tracking of Generic Objects,” IEEE Robotics and Automation Letters, vol. 3, no. 2, pp. 788-795, April, 2018. [https://doi.org/10.1109/LRA.2018.2792152]
• S. Lee, “Deep Learning of Submerged Body Images from 2D Sonar Sensor based on Convolutional Neural Network,” 2017 IEEE Underwater Technology (UT), pp. 1-3, 2017.
• A. Krizhevsky, I. Sutskever, and G. E. Hinton, “ImageNet Classification with Deep Convolutional Neural Networks,” Communications of the ACM, pp. 84-90, June, 2017. [https://doi.org/10.1145/3065386]
• S. Lee, B. Park, and A. Kim, “Deep Learning from Shallow Dives: Sonar Image Generation and Training for Underwater Object Detection,” arXiv:1810.07990 [cs.RO], October, 2018.
• E.-H. Lee, Y. Lee, J. Choi, and S. Lee, “Study of Marker Detection Performance on Deep Learning via Distortion and Rotation Augmentation of Training Data on Underwater Sonar Image,” Journal of Korea Robotics Society, vol. 14, no. 1, pp. 14-21, March, 2019. [https://doi.org/10.7746/jkros.2019.14.1.014]
• S. R en, K. He, R . Gir shick, a nd J. Sun, “ Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 6, pp. 1137-1149, June, 2017. [https://doi.org/10.1109/TPAMI.2016.2577031]
• K. Greff, R. K. Srivastava, J. Koutn´ık, B. R. Steunebrink, and J. Schmidhuber, “LSTM: A search space odyssey,” IEEE Trans. Neural Netw. Learn. Syst., vol. 28, no. 10, pp. 2222-2232, October, 2017. [https://doi.org/10.1109/TNNLS.2016.2582924]