Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 16, No. 2, pp.94-102
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 31 May 2021
Received 21 Dec 2020 Revised 03 Feb 2021 Accepted 03 Feb 2021
DOI: https://doi.org/10.7746/jkros.2021.16.2.094

복수의 수중 소나를 활용한 수중 로봇의 3차원 지형 맵핑에 관한 연구

조한길1 ; 유선철
Study on Seabed Mapping using Two Sonar Devices for AUV Application
Hangil Joe1 ; Son-Cheol Yu
1Assistant Professor, Department of Robot and Smart System Engineering, Kyungpook National University, Daegu, Korea hgjoe@knu.ac.kr

Correspondence to: Associate Professor, Corresponding author: Department of IT Engineering, POSTECH, Pohang, Korea ( sncyu@postech.ac.kr)

CopyrightⓒKROS

Abstract

This study addresses a method for 3D reconstruction using acoustic data with heterogeneous sonar devices: Forward-Looking Multibeam Sonar (FLMS) and Profiling Sonar (PS). The challenges in sonar image processing are perceptual ambiguity, the loss of elevation information, and low signal to noise ratio, which are caused by the ranging and intensity-based image generation mechanism of sonars. The conventional approaches utilize additional constraints such as Lambertian reflection and redundant data at various positions, but they are vulnerable to environmental conditions. Our approach is to use two sonars that have a complementary data type. Typically, the sonars provide reliable information in the horizontal but, the loss of elevation information degrades the quality of data in the vertical. To overcome the characteristic of sonar devices, we adopt the crossed installation in such a way that the PS is laid down on its side and mounted on the top of FLMS. From the installation, FLMS scans horizontal information and PS obtains a vertical profile of the front area of AUV. For the fusion of the two sonar data, we propose the probabilistic approach. A likelihood map using geometric constraints between two sonar devices is built and a monte-carlo experiment using a derived model is conducted to extract 3D points. To verify the proposed method, we conducted a simulation and field test. As a result, a consistent seabed map was obtained. This method can be utilized for 3D seabed mapping with an AUV.

Keywords:

AUV, Forward Looking Multibeam Sonar, Profiling Sonar, Seabed Mapping

1. 서 론

수중 환경은 대표적 극한 환경으로 전파 통신이 불가능 하여 GPS 사용이 제한적이다. 빛은 물에 흡수되거나 수중 부유물에 의해서 가시거리가 제약을 받아 카메라를 기반으로 하는 광학 센서의 사용이 제한된다. 이러한 점으로 인해 수중 로봇의 센싱은 주로 탁도에 강인한 초음파 기반의 이미지 소나를 이용하여 주변 환경을 인식한다. 최근에는 소나 기술의 발전으로 고해상도 멀티빔 이미지 소나(Forward Looking Multi-beam Sonar, FLMS)가 개발되었고, 흑백 광학 카메라와 유사한 품질의 영상을 제공한다. 하지만 FLMS의 이미지 생성 원리는 광학 카메라와 차이가 있고, 이로 인해 기존의 영상처리 알고리즘을 그대로 적용할 수 없는 어려움이 있다.

특히 FLMS는 파동 형태의 초음파를 사용하므로 본질적인 특성에 따른 단점이 존재한다. 첫번째는 높이 정보의 소실(Loss of Elevation Information), 두번째는 보는 각도에 따라 급격히 변하는 결과 이미지(Perceptual Ambiguity), 세번째는 낮은 신호대 잡은 비율(SNR)이다. 이런 특징으로 인해 초음파 이미지 정보로 3차원을 복원하는 문제는 대표적 불능 문제(Ill-posed Problem)로 귀결되어 정확한 높이 정보 복원이 어렵게 된다

기존의 많은 선행연구들은 초음파 카메라를 이용한 3차원 복원 문제를 풀기 위해 추가적인 구속 조건을 정의하거나[1], 다양한 위치에서 중복된 데이터를 획득하는 접근법[2]을 제안하였다. 하지만 동적인 수중의 특성과, 로봇의 배터리 용량을 고려하면 단일 경로로 한번의 스캔 만으로 강인하게 해저 환경을 3차원 지도 제작 할 수 있는 기술이 필요하다.

본 논문에서는 해저 지도 제작과 무인 자율 수중 로봇의 위치파악 문제를 해결하기 위해 복수의 초음파 장비(FLMS와 프로파일링 소나(Profiling Sonar, PS))의 데이터를 융합하는 새로운 접근법을 소개한다. 제안하는 방법은 두 초음파 장비의 설치 방식에 따른 기하학적 구속 조건과, 확률적 접근법을 이용한다. 하나의 초음파 장비로부터 다른 초음파 장비의 데이터를 추정하고, 관측을 통해서 보정 해나가는 방법이다. 제안하는 방법은 연구실에서 자체 개발한 무인 자율 수중 로봇 싸이클롭스(Cyclops)에 이식하여 실험을 통해 검증하였다. 제안 하는 방법의 우수성은 불필요한 경로 설정 없이 탁도에 강인하게 고해상도 3차원 해저 지도 생성이 가능하다는 점이다.


2. 단일 소나를 이용한 3차원 정보 추출

2.1 초음파 영상 기반 3차원 추출 방법의 어려움

수중은 빛의 흡수와 해중설과 같은 미세부유입자로 인해 카메라의 사용이 제한적이다. 따라서 초음파 기반 센서에 많이 의존한다. 최근에는 FLMS의 사용으로 비디오 카메라와 유사한 품질의 초음파 영상 획득이 가능하다. 하지만 이미지 생성 방식의 차이로 인해 기존 비전 기반 접근법을 적용하기에는 한계가 있다. FLMS는 음파 송수신기 배열(Transmitter Array)에서 방출된 초음파 신호가 반사되어 올 때 신호의 세기와 걸린 시간(Time of Flight)정보 등을 분석해서 각 픽셀의 화소강도(Intensity)(0~255)가 결정된다. 음파의 특성상 상호 간섭으로 인해 노이즈 심하고, 보는 각도에 따라 모호성이 존재한다. 또한 일반적인 멀티빔 소나는 음파 송신기 배열이 일렬로 배열이 되는데, 수평폭에 비해 큰 수직폭을 가지는 방출된 음파의 반사파는 높이 정보의 손실을 일으킨다. 이로 인해 소나의 주사 각도에 따라 초음파 이미지는 큰 차이를 보인다. [Fig. 1]과 같이 초음파 소나의 보는 방향과 각도에 따라 초음파 이미지는 급격한 변화가 일어나는데 이런 점이 기존의 비전 기반 접근법을 적용하는데 어려움이 된다. 또한, 해저 바닥에서 반사된 음파로 인해 배경이 초음파 이미지의 가운데 생성되는데[Fig. 2], 이로 인해 초음파 이미지에서 관심영역을 추출하는데 방해가 된다. [Fig. 2]의 (a)는 원형 실린더를 해저에 세워놓고 획득한 초음파 이미지로 Thresholding을 통해 하이라이트 영역을 추출한 결과 이미지이다. 육안으로는 물체의 화소강도가 배경보다 높아 보이지만 단계적으로 임의의 임계치를 지정해서 Threshoding을 하고 이진화를 해보면 물체가 깔끔하게 추출되지 않는 것을 확인할 수 있다. 또한 Speckle 노이즈로 인해 물체의 하이라이트 영역의 경계면이 불확실하고, 해저 바닥에서 반사된 강한 화소강도의 음파들의 영향으로 관심 영역 추출 결과가 좋지 않을 것을 보여준다. 이런 어려움을 해결하기 위해 수중 로봇의 이동성을 이용한 연구가 수행되었다. Cho et al.은 물체에 로봇이 접근할 때 초음파 이미지의 변화를 이용하여 필요 정보를 추출하는 방법을 제안하였다[3].

[Fig. 1]

Perceptual ambiguity of acoustic image generated by multibeam sonar with changing of roll angle (Post-processed pan-shaped image). The object is concrete brick. (a) tilt = 45°, roll=0°, (b) tilt = 45°, roll=45°, (c) tilt = 45°, roll=90°

[Fig. 2]

Results of applying a threshold to extract region of interest (Raw data image). (a) Original acoustic image, (b) Threshold =60, (c) Threshold=80, (d) Threshold=100

2.2 물체와 소나의 거리에 따른 데이터 변화

FLMS의 초음파 이미지는 다음과 같이 구역을 구분할 수 있다. 음파의 FOV (Field of View)에 해당하는 유효영역(Effective Region)과 전, 후로 전방영역(Front Region)과 후방영역(Rear Region)으로 구분한다. [Fig. 3]과 같이 유효영역은 해저바닥에서 반사된 음파에서 기인한 노이즈로 인해 물체의 하이라이트를 추출하는데 어려움이 있다. 소나가 물체에 충분히 접근하면 물체의 하이라이트가 전방영역에 나타나게 된다. 이때 배경없이 특징점 추출이 용이하게 된다. 이를 위해 초음파이미지의 전방영역을 관심 영역(ROI, Region of Interest)로 설정한다.

[Fig. 3]

Regions on an acoustic image

해저에 돌출된 물체가 놓여있다고 가정하면 FLMS의 기하학적 이미지 생성 모델은 [Fig. 4]와 같이 나타낼 수 있다. 초음파 영상의 해상도를 m x n이라 할 때 물체에서 반사된 점과 최단 거리는 r은 식 (1)과 같이 나타낼 수 있다.

r=rmin+Lwr¯n(1) 
[Fig. 4]

Geometric model of multi-beam sonar

여기서 Lw은 FLMS의 윈도우 길이(Window length)이다. 윈도우 길이는 FLMS의 파라미터 설정 값으로 반사된 음파를 수신하는 최대 거리와 최소 거리의 차로 구해진다. 해저의 돌출된 물체의 높이 h는 최단 거리 r과 FLMS의 고도(Altitude) hs를 이용한 간단한 식으로 구할 수 있다(식 (2)).

h=hs-rsinα(2) 

여기서 α는 반사파 r의 각도정보인데, 음파의 폭으로 인해 정확한 α를 측정할 수 없고, 필연적으로 높이 정보의 손실이 발생한다.

단일 소나로는 각도 정보 α를 추정할 수 없기 때문에 Cho et al.[3]은 물체가 음파의 FOV경계면을 지날 때 높이 정보를 추출하는 방법을 제안하였다. FLMS가 부착된 AUV가 일정한 고도를 유지하면서 물체에 다가갈 때, 초음파 영상에서 물체의 하이라이트는 유효영역에서 전방영역으로 증가하게 된다. [Fig. 5]와 같이 멀티빔 소나가 돌출된 물체에 근접하게 되면 초음파 이미지상의 물체의 하이라이트가 증가하다([Fig. 5]의 (a)와 (b)) 음파 폭의 경계면을 지나게 되면([Fig. 5]의 (c)) 하이라이트의 길이가 일정하게 유지된다. 이때 α=t+s/2가 되므로 반사된 음파의 불확실성이 줄어든다. 여기서 t는 멀티빔 소나의 경사각(tilt angle), s는 음파의 수직 빔 폭 이다. 이를 이용해 일시적으로 물체의 높이 정보를 추출 할 수 있다.

[Fig. 5]

Highlight changes when the sonar approaches an object on the seabed with constant altitude

초음파 이미지 상에서 하이라이트 길이가 최대가 되는 끝점의 픽셀의 위치를 r-c라고 하면([Fig. 5] (c)) 소나에서 가장 가까운 반사된 물체까지 거리 rc=rmin+Lwr-cn를 이용한 돌출 물체의 3차원 정보는 식 (3)으로 구할 수 있다.

x0yozo=xsyszs+rccost+s2+θcosζ+ψcost+s2+θsinζ+ψsint+s2+θ(3) 

여기서 ζ는 소나 빔의 Azimuth 각도, [xs, ys, zs]T는 소나의 위치, θ는 AUV의 pitch 각도, ψ는 AUV의 Yaw 각도 이다.

2.3. 3차원 정보 추출에서 단일 소나의 한계

초음파 영상의 전방영역에서 하이라이트 변화를 이용해 3차원 정보를 추출하는 방법은 1) 잡음이 심한 배경으로부터 물체 부분을 추출하는 어려움이 없으며, 2) ROI에 하이라이트 경계점 rc만 추출하여 점진적(Incremental)으로 3차원 포인트를 획득할 수 있다는 장점이 있다. 하지만 소나가 물체에 접근함에 따라 물체의 하이라이트가 점진적으로 증가하기 때문에 생성된 포인트클라우드에 불필요한 경사면이 생긴다는 점이다. 이 경사면을 제거하고 보다 정확한 포인트클라우드 생성을 위해 프로파일링 소나 데이터를 융합하여 확률적 포인트클라우드 생성 방법을 제안한다.


3. 방법론

본 연구에 사용한 초음파 장비는 FLMS와 PS이다. FLMS는 96개의 음파 송수신기가 1열로 배열되어 16개씩 8싸이클에 걸쳐서 음파를 발생, 수신하여 아래 [Fig. 6]의 왼쪽과 같은 이미지데이터를 획득한다. PS는 기계적으로 회전하는 단일 음파 송수신기가 360도로 회전을 하며 주변 정보를 획득한다([Fig. 6] 우측). [Fig. 7]과 같이 FLMS와 PS를 설치하고, 수중 로봇의 앞쪽 하방에 고정을 시키게 되면 두 초음파 장비는 서로 직교하는 각도를 가지고 데이터를 획득한다. FLMS는 전방의 수평적 데이터를 획득하고 PS는 로봇 전방의 단면 프로파일을 획득하게 된다. 그러나 FLMS 데이터는 높이 정보의 유실이 발생하고 PS는 폭 정보가 없는 단면 2차원 정보만 획득하게 된다. 두 초음파 장비가 획득한 데이터는 상호 보완적이기 때문에 두 데이터를 융합하면 단일 경로 1회 스캔만으로도 3차원 복원 문제를 풀 수 있게 된다.

[Fig. 6]

An example of acoustic image from multi-beam sonar (left) and obtained data from profiling sonar

[Fig. 7]

Sonar configuration for sensor fusion of two sonar devices

상호 보완적인 두 데이터를 융합하기 위해 본 연구에서는 확률적 접근법을 사용하여 유실된 FLMS의 높이 정보를 복원하고자 한다.

두 초음파 장비는 서로 다른 초음파 획득 방법을 가지고 있기 때문에 데이터 획득에 시간 차이가 존재한다. FLMS는 고정된 화각을 가지고 근거리 데이터를 획득하는 반면 PS는 회전식으로 전방의 수직 정보를 획득하는데 음파 송수신기 헤드의 위치에 따라 중거리 정보 획득이 가능하다. 따라서 PS는 FLMS에 비해 먼 거리의 데이터를 이른 시간에 획득하게 된다. PS 데이터를 기반으로 두 소나의 설치된 기하학적 구속 조건을 이용하면 FLMS 데이터의 예상된 값을 추정할 수 있고 이를 이용하여 나중에 FLMS의 높이 정보를 추정한다. PS는 Fan-Shaped 빔을 방사하므로 중거리 영역의 데이터는 불확실성이 높은데, AUV가 앞으로 나아감에 따라 반복적인 데이터 획득을 실시하여 확률지도의 재귀적인 업데이트를 통해 불확실성을 개선한다. 최신 획득 데이터를 기반으로한 FLMS 추정 정보로 확률 지도를 재귀적으로 업데이트 함으로써 중거리 데이터의 불확실성을 개선한다.

3.1 확률지도 생성

PS 데이터를 기반으로 소나의 구속 조건을 활용하여 FLMS의 높이 정보에 대한 확률 지도를 생성한다. 소나의 기구학적 구속 조건은 두 소나의 설치 위치에 대한 것으로 식 (4)와 같이 나타낼 수 있다.

xF=RxP+Δx(4) 

여기서 Δx는 두 소나의 음파 송수신기 위치의 차이이다. 프로파일링 소나의 음파로 반사된 곳의 좌표는 식 (5)와 같이 나타낼 수 있다.

xt=xF+rPTt,ξP,θr,ψr(5) 

여기서

Tt,ξP,θr,ψr=cost+ξP+θrcosψrcost+ξP+θrsinψrsint+ξP+θr(6) 

PS 데이터를 기반으로 FLMS 데이터를 예측하는데 추가적인 구속조건은 FLMS의 빔 폭이다. 연구에서 사용한 FLMS는 DIDSON으로 수직 방향 빔폭이 29도인 반면 PS는 스캔 범위가 60도 이므로 FLMS에 비해 먼 곳의 데이터를 스캔 할 수 있다. 획득된 PS 데이터를 기반으로 FLMS 데이터를 예측하기 위해서는 두 소나의 빔폭을 고려하여 가상의 FLMS의 위치를 도입한다. AUV가 직선으로 운행한다고 가정하면, 가상의 위치의 범위는 식 (7)과 같이 나타낼 수 있다.

xt-zt-zFtant-s2<x^F<xt-zt-zFtant+s2(7) 

이를 기반으로 한 가상의 FLMS 데이터와 그로부터 생성된 가상의 포인트클라우드는 다음과 같다[Fig. 8].

x^Fxt-zt-zF21tant-s/2+1tant+s/2yFzF(8) 
[Fig. 8]

Pointcloud generated by the profiling sonar (top) and predicted results of multibeam sonar from the obtained profiling sonar data (bottom)

이를 기반으로 한 가상의 FLMS 데이터와 그로부터 생성된 가상의 포인트클라우드는 다음과 같다.

s^Fj=r^Fjξ^Fj=xt-x^Fcosϕj-tan-1zt-zFxt-x^F(9) 
P^Fj=x^F+r^FjTt,ξ^F,θr,ψr(10) 

PS는 AUV의 전방 영역을 음파 송수신기를 회전 시키며 연속적으로 획득을 하는데, PS 데이터를 기반으로 생성한 가상의 FLMS데이터도 PS의 음파 송수신기 회전에 따라 점차적으로 생성된다. 이런 특징을 활용하고, PS 데이터의 불확실성을 반복적인 스캔을 통해 확률적인 방법으로 나타내기 위해 점유격자지도 방식(Occupancy Grid Map)을 도입한다.

lmip^F, 1:t,x^F, 1:t=lmip^F, t,x^F, t+lmip^F, 1:t-1,x^F, 1:t-1-lmi(11) 

여기서 l(mi)은 지도의 사전정보(Prior)이고, lmip^F, 1:t-1,x^F, 1:t-1는 재귀적으로 업데이트 되는 점유격자지도가 되며, lmip^F,t,  x^F, t는 예측된 FLMS 데이터를 기반으로 한 인버스센서모델의 Log Odd가 된다. 인버스 센서모델은 식 (12)를 통해 계산이 된다.

pmip^F, t,x^F, t=1-11+explmip^F, t, x^F, t(12) 

생성된 점유격자지도는 AUV 전방 물체들의 수직정보의 가성을 나타내는 가능성 지도(Likelihood Map)을 형성한다[Fig. 9].

[Fig. 9]

An example of occupancy grid based likelihood map which provides a vertical profile of the front area of AUV

3.2 멀티빔 소나의 높이 정보 추정

본 연구에서 제안하는 방법은 전방 물체들의 수직 정보를 나타내는 가능성 지도를 기반으로 FLMS의 높이 정보를 추정한다. FLMS의 센서모델 p(zF|x,m)을 음파의 거리 정보 r과 높이 정보 ξ를 분리해서 고려하면 다음과 같이 나타낼 수 있다.

pzFx, m=pξ, rx, m(13) 
ηpξr, zp, x, mprzp, x, m(14) 

여기서 zp는 PS 센서 데이터를 의미한다.

pξr, zp, x, mηpξzp, x, m(15) 

그리고

przp, x, mprx, m(16) 

이므로, 식 (17)과 같이 간략화하여 나타낼 수 있다

pzFx, mηpξzp, x, mprx, m(17) 

여기서 p(ξ|zp, x, m)은 가능성 지도에 FLMS의 FOV 영역에 샘플링을 통해서 획득을 하고, p(r|x, m)는 가우시안(Gaussian)으로 식 (18)과 같이 나타낼 수 있다.

prx, m=η12πσexp-r-r^c22σ(18) 

여기서 r^c[3]의 Critical Point로 FLMS 음파송수신기 FOV내의 물체까지 가장 가까운 거리를 나타낸다.


4. 실험 결과

4.1 시뮬레이션

제안 하는 방법을 검증하기 위해 시뮬레이션과 필드실험을 실시하였다. 시뮬레이션과 실험에서 사용한 FLMS 는 Sound Matrics 사의 DIDSON을 사용하였다. DIDSON은 96개의 음파 송수신기로 구성되어 있고, 각각의 음파 송수신기는 수평각도 0.3도, 수직각도 14도의 Fan-shaped 음파를 생성한다. FLMS의 스캔 범위를 10 m로 설정하였고, 512 × 96 크기의 초음파 이미지를 10 fps의 속도로 생성하였다. FLMS의 Window Start와 Window Length는 각각 0.42 m, 5 m로 설정하였다. 사용한 PS는 1개의 음파 송수신기를 기계적 회전 장치를 이용하여 360도 회전을 하며 2D 수평 정보를 획득하는데, Imagenex사의 881A를 사용하였다. 수평 빔폭은 1.8도, 수직 빔폭은 20도로 Fan-shaped 빔을 방출한다. 스캔 속도는 1초에 3.6도의 속도였다. PS의 Range는 10 m, 게인은 30으로 설정하였다. 전방의 수직 정보를 획득하기 위해 PS는 90도로 눞혀서 FLMS의 상단부에 고정을 하였다. 두 소나의 주사각은 시뮬레이션에서는 30도, 필드실험에서는 Pan-tilt Rotator를 이용하여 25도로 설정하였다.

필드 실험에 앞서 제안 하는 방법을 검증하기 위해 먼저 시뮬레이션을 실시하였다. 사용한 시뮬레이터는 Ray-casting 방법으로 구현된 멀티빔 소나 시뮬레이터[4]([Fig. 10])에 PS 모델을 추가하여 구현을 하였다. 시뮬레이션에서는 5개의 전방 기울기가 서로 다른 물체([Fig. 11])를 FLMS만 사용하여 포인트를 추출한 결과와 FLMS와 PS를 퓨전하여 포인트를 추출한 결과를 비교하였다.

[Fig. 10]

Comparison of real sonar images and generated images by sonar simulator

[Fig. 11]

Five objects used in simulation. The front slope is changed from 30 to 90 degrees

단일 소나로 포인트 추출을 위해 사용한 방법은 [3]의 방법을 활용하였다. 단일 소나를 사용한 방법과 제안하는 센서 퓨전 방법으로 생성된 결과 비교는 생성된 포인트 클라우드의 X-Z 평면에서의 면적을 비교를 통해 분석하였다. 그 이유는 제안하는 방법은 소나의 수직 정보의 복원을 위해서 추가적인 소나 정보를 활용하는 것이기 때문에, 기존 단일 소나로 큰 오차가 발생하는 수직으로 돌출된 물체의 정보를 정확하게 복원이 가능한지를 확인하기 위해서다. 따라서 오차 모델은 아래와 같이 X-Z평면상에서 면적을 비교하여 효과를 검증하였다.

e=AXY-ArefAref(19) 

그 결과는 [Fig. 12]에 나타내었다. 물체의 기울기가 완만할 경우(전방 경사≤60도) 단일 멀티빔 소나만 사용하는 경우 오차가 크지 않았고, 오히려 더 낮은 오차율을 보였다. 하지만 물체의 기울기가 급할 경우(전방 경사 > 60도)일 경우는 단일 소나의 수직 정보 불확실성에서 기인하는 오차가 급격히 증가함을 확인 할 수 있었다. 복수 소나를 융합하여 제안하는 방법을 사용하는 경우는 물체의 기울기가 급할 때 오히려 개선된 결과를 나타내었다.

[Fig. 12]

Results of the comparison simulation between the single-sonar method and the proposed method. Dots represent error rates when extracting 3D points with the single sonar method, and solid line denotes error rate when extracting 3D points with the proposed method

4.2 필드 실험

필드 실험에서는 포항공대에서 개발한 AUV 싸이클롭스를 활용하였다([Fig. 13]). AUV 싸이클롭스의 주요 사양은 [Table 1]과 같다. 사용한 소나 장비는 시뮬레이션에서 설명한 장비와 동일한 장비를 사용하였다. 실험 장소는 포항 구룡포 장길리 연안에서 실시를 하였다.

[Fig. 13]

AUV Cyclops in field test

The specification of AUV Cyclops

필드실험에서는 해저면을 지그재그로 스캔하며 제안하는 방법을 통해 해저의 3차원 정보를 획득하였다. 생성된 지도의 일관성을 파악하기 위해 해저에 벽돌로 제작된 두개의 물체([Fig. 14])를 설치하였다.

[Fig. 14]

Objects used in field test: (a) Alphabet F shaped bricks, (b) Alphabet C shaped bricks

필드 실험 결과는 [Fig. 15], [Fig. 16]에 나타내었다. [Fig. 15]는 필드 실험 동안의 AUV의 경로로, 빨간 별 표식이 시작점이고, 빨간 원이 종료지점이다. 생성된 해저 지도는 [Fig. 16]과 같다. 왼쪽 지도를 보면 가운데 물체 (a)와 (b)를 작게 확인할 수 있는데, 확대를 하면 [Fig. 16]의 우측 하단에 그림과 같이 생성된 것을 확인할 수 있다. 실험을 실시한 지역은 경사면으로 시작 지점의 수심이 얇았고, 앞으로 갈수록 깊어지는 지형이었는데, 생성된 지도에 잘 나타나 있는 것을 볼 수 있다. 또한 (16, 1)지역과 (12,-5)지역에서 수초 군집이 존재하는 것을 확인할 수 있는데, 수초 군집의 규모와 형태를 파악할 수 있다.

[Fig. 15]

AUV trajectories during the field test. Red star(*) is start point and red circle(o) is end point

[Fig. 16]

Field test results. Object (a) and (b) in the middle of map shows the consistency of the map


5. 결 론

본 연구에서는 이종의 소나 센서들을 이용하여 단일 소나의 높이 정보 손실 문제를 해결하는 방법을 제안하였다. FLMS의 데이터는 수평 정보는 정확한 반면, 높이 정보의 손실로 해저 돌출 물체의 높이 정보 추출 시 오차가 존재한다. 이를 해결하기 위해 PS 데이터를 이용하여 로봇 전방 영역의 수직 프로파일을 획득하고 예측된 FLMS 데이터를 이용하여 점유 격자 지도를 도입하여 확률 지도를 생성하였다. 이 확률 지도와 FLMS의 센서 모델을 기반으로 유실된 높이 정보를 복원하였다. 제안하는 방법은 시뮬레이션을 통해 성능을 확인하였고, 필드 실험을 통해 검증하였다. Ray-casting 기반 소나 시뮬레이터를 이용한 시뮬레이션 결과 제안하는 방법은 물체의 전방 기울기가 80도 이상인 돌출한 물체의 경우 단일 소나를 사용하는 방법보다 개선된 결과를 제공하였다. 수중 로봇을 이용한 필드 실험에서는 일관성 있는 해저 지도를 생성하였다.

Acknowledgments

This research was a part of the project titled “Gyeongbuk Sea Grant Program”, funded by the Ministry of Oceans and Fisheries, Korea

References

  • M. Moszynski, K. Bikonis, and Z. Lubniewski, “Reconstruction of 3D shape from side scan sonar images using shape from shading technique,” Hydroacoustics, vol. 16, pp. 181-188, 2013, [Online], https://www.infona.pl/resource/bwmeta1.element.baztech-eb5be2ea-dc33-47d8-b806-98e3c178b4c9, .
  • M. D. Aykin and S. Negahdaripour, “Threedimensional target reconstruction from multiple 2-D forward-scan sonar views by space carving,” IEEE Journal of Oceanic Engineering, vol. 42, no. 3, pp. 574-589, Jul., 2017. [https://doi.org/10.1109/JOE.2016.2591738]
  • H. Cho, B. Kim, and S.-C. Yu, “AUV-based underwater 3-D point cloud generation using acoustic lens-based multibeam sonar,” IEEE Journal of Oceanic Engineering, vol. 43, no. 4, pp. 856-872, Oct., 2017. [https://doi.org/10.1109/JOE.2017.2751139]
  • J. Kim, M. Sung, and S.-C. Yu, “Development of simulator for autonomous underwater vehicles utilizing underwater acoustic and optical sensing emulators,” IEEE 18th International Conference on Control, Automation and Systems (ICCAS), PyeongChang, South Korea, 2018, [Online], https://ieeexplore.ieee.org/abstract/document/8571669, .
조 한 길

2012 부산대학교 기계공학부(공학사)

2014 포항공과대학교 해양대학원(공학석사)

2019 포항공과대학교 창의IT융합공학과(공학박사)

2020~현재 경북대학교 조교수

관심분야: 수중로봇, 수중로봇센싱, Localization

유 선 철

1998 인하대학교 조선해양공학과(공학사)

2000 The University of Tokyo(공학석사)

2003 The University of Tokyo(공학박사)

2008~2010 부산대학교 조교수

2010~현재 포항공과대학교 부교수

관심분야: 수중로봇, 극한환경로봇

[Fig. 1]

[Fig. 1]
Perceptual ambiguity of acoustic image generated by multibeam sonar with changing of roll angle (Post-processed pan-shaped image). The object is concrete brick. (a) tilt = 45°, roll=0°, (b) tilt = 45°, roll=45°, (c) tilt = 45°, roll=90°

[Fig. 2]

[Fig. 2]
Results of applying a threshold to extract region of interest (Raw data image). (a) Original acoustic image, (b) Threshold =60, (c) Threshold=80, (d) Threshold=100

[Fig. 3]

[Fig. 3]
Regions on an acoustic image

[Fig. 4]

[Fig. 4]
Geometric model of multi-beam sonar

[Fig. 5]

[Fig. 5]
Highlight changes when the sonar approaches an object on the seabed with constant altitude

[Fig. 6]

[Fig. 6]
An example of acoustic image from multi-beam sonar (left) and obtained data from profiling sonar

[Fig. 7]

[Fig. 7]
Sonar configuration for sensor fusion of two sonar devices

[Fig. 8]

[Fig. 8]
Pointcloud generated by the profiling sonar (top) and predicted results of multibeam sonar from the obtained profiling sonar data (bottom)

[Fig. 9]

[Fig. 9]
An example of occupancy grid based likelihood map which provides a vertical profile of the front area of AUV

[Fig. 10]

[Fig. 10]
Comparison of real sonar images and generated images by sonar simulator

[Fig. 11]

[Fig. 11]
Five objects used in simulation. The front slope is changed from 30 to 90 degrees

[Fig. 12]

[Fig. 12]
Results of the comparison simulation between the single-sonar method and the proposed method. Dots represent error rates when extracting 3D points with the single sonar method, and solid line denotes error rate when extracting 3D points with the proposed method

[Fig. 13]

[Fig. 13]
AUV Cyclops in field test

[Fig. 14]

[Fig. 14]
Objects used in field test: (a) Alphabet F shaped bricks, (b) Alphabet C shaped bricks

[Fig. 15]

[Fig. 15]
AUV trajectories during the field test. Red star(*) is start point and red circle(o) is end point

[Fig. 16]

[Fig. 16]
Field test results. Object (a) and (b) in the middle of map shows the consistency of the map

[Table 1]

The specification of AUV Cyclops

Weight 210 kg in air
Depth rating 100 m
Propulsion 8 thruster (475 W)
Max. speed 2 knots
Power source 24 VDC (600 Wh Li-Po battery x
Computer PC 104 × 2, Jetson AGX Javier
Sensors FLMS (1.1 MHz/1.8 MHz)
PS(675 kHz/ 1 MHz)
Digital pressure transducer
Doppler velocity log (1.2 MHz)
Still camera (10 Mega pixels)
Fiber optic gyro
Full HD Video camera