복수의 수중 소나를 활용한 수중 로봇의 3차원 지형 맵핑에 관한 연구

2.1 초음파 영상 기반 3차원 추출 방법의 어려움

수중은 빛의 흡수와 해중설과 같은 미세부유입자로 인해 카메라의 사용이 제한적이다. 따라서 초음파 기반 센서에 많이 의존한다. 최근에는 FLMS의 사용으로 비디오 카메라와 유사한 품질의 초음파 영상 획득이 가능하다. 하지만 이미지 생성 방식의 차이로 인해 기존 비전 기반 접근법을 적용하기에는 한계가 있다. FLMS는 음파 송수신기 배열(Transmitter Array)에서 방출된 초음파 신호가 반사되어 올 때 신호의 세기와 걸린 시간(Time of Flight)정보 등을 분석해서 각 픽셀의 화소강도(Intensity)(0~255)가 결정된다. 음파의 특성상 상호 간섭으로 인해 노이즈 심하고, 보는 각도에 따라 모호성이 존재한다. 또한 일반적인 멀티빔 소나는 음파 송신기 배열이 일렬로 배열이 되는데, 수평폭에 비해 큰 수직폭을 가지는 방출된 음파의 반사파는 높이 정보의 손실을 일으킨다. 이로 인해 소나의 주사 각도에 따라 초음파 이미지는 큰 차이를 보인다. [Fig. 1]과 같이 초음파 소나의 보는 방향과 각도에 따라 초음파 이미지는 급격한 변화가 일어나는데 이런 점이 기존의 비전 기반 접근법을 적용하는데 어려움이 된다. 또한, 해저 바닥에서 반사된 음파로 인해 배경이 초음파 이미지의 가운데 생성되는데[Fig. 2], 이로 인해 초음파 이미지에서 관심영역을 추출하는데 방해가 된다. [Fig. 2]의 (a)는 원형 실린더를 해저에 세워놓고 획득한 초음파 이미지로 Thresholding을 통해 하이라이트 영역을 추출한 결과 이미지이다. 육안으로는 물체의 화소강도가 배경보다 높아 보이지만 단계적으로 임의의 임계치를 지정해서 Threshoding을 하고 이진화를 해보면 물체가 깔끔하게 추출되지 않는 것을 확인할 수 있다. 또한 Speckle 노이즈로 인해 물체의 하이라이트 영역의 경계면이 불확실하고, 해저 바닥에서 반사된 강한 화소강도의 음파들의 영향으로 관심 영역 추출 결과가 좋지 않을 것을 보여준다. 이런 어려움을 해결하기 위해 수중 로봇의 이동성을 이용한 연구가 수행되었다. Cho et al.은 물체에 로봇이 접근할 때 초음파 이미지의 변화를 이용하여 필요 정보를 추출하는 방법을 제안하였다^[3].

[Fig. 1]

Perceptual ambiguity of acoustic image generated by multibeam sonar with changing of roll angle (Post-processed pan-shaped image). The object is concrete brick. (a) tilt = 45°, roll=0°, (b) tilt = 45°, roll=45°, (c) tilt = 45°, roll=90°

[Fig. 2]

Results of applying a threshold to extract region of interest (Raw data image). (a) Original acoustic image, (b) Threshold =60, (c) Threshold=80, (d) Threshold=100

2.2 물체와 소나의 거리에 따른 데이터 변화

FLMS의 초음파 이미지는 다음과 같이 구역을 구분할 수 있다. 음파의 FOV (Field of View)에 해당하는 유효영역(Effective Region)과 전, 후로 전방영역(Front Region)과 후방영역(Rear Region)으로 구분한다. [Fig. 3]과 같이 유효영역은 해저바닥에서 반사된 음파에서 기인한 노이즈로 인해 물체의 하이라이트를 추출하는데 어려움이 있다. 소나가 물체에 충분히 접근하면 물체의 하이라이트가 전방영역에 나타나게 된다. 이때 배경없이 특징점 추출이 용이하게 된다. 이를 위해 초음파이미지의 전방영역을 관심 영역(ROI, Region of Interest)로 설정한다.

[Fig. 3]

Regions on an acoustic image

해저에 돌출된 물체가 놓여있다고 가정하면 FLMS의 기하학적 이미지 생성 모델은 [Fig. 4]와 같이 나타낼 수 있다. 초음파 영상의 해상도를 m x n이라 할 때 물체에서 반사된 점과 최단 거리는 r은 식 (1)과 같이 나타낼 수 있다.

[Fig. 4]

Geometric model of multi-beam sonar

여기서 L_w은 FLMS의 윈도우 길이(Window length)이다. 윈도우 길이는 FLMS의 파라미터 설정 값으로 반사된 음파를 수신하는 최대 거리와 최소 거리의 차로 구해진다. 해저의 돌출된 물체의 높이 h는 최단 거리 r과 FLMS의 고도(Altitude) h_s를 이용한 간단한 식으로 구할 수 있다(식 (2)).

여기서 α는 반사파 r의 각도정보인데, 음파의 폭으로 인해 정확한 α를 측정할 수 없고, 필연적으로 높이 정보의 손실이 발생한다.

단일 소나로는 각도 정보 α를 추정할 수 없기 때문에 Cho et al.^[3]은 물체가 음파의 FOV경계면을 지날 때 높이 정보를 추출하는 방법을 제안하였다. FLMS가 부착된 AUV가 일정한 고도를 유지하면서 물체에 다가갈 때, 초음파 영상에서 물체의 하이라이트는 유효영역에서 전방영역으로 증가하게 된다. [Fig. 5]와 같이 멀티빔 소나가 돌출된 물체에 근접하게 되면 초음파 이미지상의 물체의 하이라이트가 증가하다([Fig. 5]의 (a)와 (b)) 음파 폭의 경계면을 지나게 되면([Fig. 5]의 (c)) 하이라이트의 길이가 일정하게 유지된다. 이때 α=t+s/2가 되므로 반사된 음파의 불확실성이 줄어든다. 여기서 t는 멀티빔 소나의 경사각(tilt angle), s는 음파의 수직 빔 폭 이다. 이를 이용해 일시적으로 물체의 높이 정보를 추출 할 수 있다.

[Fig. 5]

Highlight changes when the sonar approaches an object on the seabed with constant altitude

초음파 이미지 상에서 하이라이트 길이가 최대가 되는 끝점의 픽셀의 위치를 $$ {\stackrel{-}{r}}_c$$라고 하면([Fig. 5] (c)) 소나에서 가장 가까운 반사된 물체까지 거리 $$ r_c=r_{\mathrm{m}\mathrm{i}\mathrm{n}}+L_w\frac{{\stackrel{-}{r}}_c}{n}$$를 이용한 돌출 물체의 3차원 정보는 식 (3)으로 구할 수 있다.

여기서 ζ는 소나 빔의 Azimuth 각도, [x_s, y_s, z_s]^T는 소나의 위치, θ는 AUV의 pitch 각도, ψ는 AUV의 Yaw 각도 이다.

2.3. 3차원 정보 추출에서 단일 소나의 한계

초음파 영상의 전방영역에서 하이라이트 변화를 이용해 3차원 정보를 추출하는 방법은 1) 잡음이 심한 배경으로부터 물체 부분을 추출하는 어려움이 없으며, 2) ROI에 하이라이트 경계점 r_c만 추출하여 점진적(Incremental)으로 3차원 포인트를 획득할 수 있다는 장점이 있다. 하지만 소나가 물체에 접근함에 따라 물체의 하이라이트가 점진적으로 증가하기 때문에 생성된 포인트클라우드에 불필요한 경사면이 생긴다는 점이다. 이 경사면을 제거하고 보다 정확한 포인트클라우드 생성을 위해 프로파일링 소나 데이터를 융합하여 확률적 포인트클라우드 생성 방법을 제안한다.

3.1 확률지도 생성

PS 데이터를 기반으로 소나의 구속 조건을 활용하여 FLMS의 높이 정보에 대한 확률 지도를 생성한다. 소나의 기구학적 구속 조건은 두 소나의 설치 위치에 대한 것으로 식 (4)와 같이 나타낼 수 있다.

여기서 Δx는 두 소나의 음파 송수신기 위치의 차이이다. 프로파일링 소나의 음파로 반사된 곳의 좌표는 식 (5)와 같이 나타낼 수 있다.

여기서

PS 데이터를 기반으로 FLMS 데이터를 예측하는데 추가적인 구속조건은 FLMS의 빔 폭이다. 연구에서 사용한 FLMS는 DIDSON으로 수직 방향 빔폭이 29도인 반면 PS는 스캔 범위가 60도 이므로 FLMS에 비해 먼 곳의 데이터를 스캔 할 수 있다. 획득된 PS 데이터를 기반으로 FLMS 데이터를 예측하기 위해서는 두 소나의 빔폭을 고려하여 가상의 FLMS의 위치를 도입한다. AUV가 직선으로 운행한다고 가정하면, 가상의 위치의 범위는 식 (7)과 같이 나타낼 수 있다.

이를 기반으로 한 가상의 FLMS 데이터와 그로부터 생성된 가상의 포인트클라우드는 다음과 같다[Fig. 8].

[Fig. 8]

Pointcloud generated by the profiling sonar (top) and predicted results of multibeam sonar from the obtained profiling sonar data (bottom)

이를 기반으로 한 가상의 FLMS 데이터와 그로부터 생성된 가상의 포인트클라우드는 다음과 같다.

PS는 AUV의 전방 영역을 음파 송수신기를 회전 시키며 연속적으로 획득을 하는데, PS 데이터를 기반으로 생성한 가상의 FLMS데이터도 PS의 음파 송수신기 회전에 따라 점차적으로 생성된다. 이런 특징을 활용하고, PS 데이터의 불확실성을 반복적인 스캔을 통해 확률적인 방법으로 나타내기 위해 점유격자지도 방식(Occupancy Grid Map)을 도입한다.

여기서 l(m_i)은 지도의 사전정보(Prior)이고, $$ l\left(m_i|{\widehat{p}}_{F, 1:t-1},{\widehat{\mathrm{x}}}_{F, 1:t-1}\right)$$는 재귀적으로 업데이트 되는 점유격자지도가 되며, $$ l\left(m_i|{\widehat{p}}_{F,t}, {\widehat{\mathrm{x}}}_{F, t}\right)$$는 예측된 FLMS 데이터를 기반으로 한 인버스센서모델의 Log Odd가 된다. 인버스 센서모델은 식 (12)를 통해 계산이 된다.

생성된 점유격자지도는 AUV 전방 물체들의 수직정보의 가성을 나타내는 가능성 지도(Likelihood Map)을 형성한다[Fig. 9].

[Fig. 9]

An example of occupancy grid based likelihood map which provides a vertical profile of the front area of AUV

3.2 멀티빔 소나의 높이 정보 추정

본 연구에서 제안하는 방법은 전방 물체들의 수직 정보를 나타내는 가능성 지도를 기반으로 FLMS의 높이 정보를 추정한다. FLMS의 센서모델 p(z_F|x,m)을 음파의 거리 정보 r과 높이 정보 ξ를 분리해서 고려하면 다음과 같이 나타낼 수 있다.

여기서 z_p는 PS 센서 데이터를 의미한다.

그리고

이므로, 식 (17)과 같이 간략화하여 나타낼 수 있다

여기서 p(ξ|z_p, x, m)은 가능성 지도에 FLMS의 FOV 영역에 샘플링을 통해서 획득을 하고, p(r|x, m)는 가우시안(Gaussian)으로 식 (18)과 같이 나타낼 수 있다.

여기서 $$ {\widehat{r}}_c$$는 ^[3]의 Critical Point로 FLMS 음파송수신기 FOV내의 물체까지 가장 가까운 거리를 나타낸다.

4.1 시뮬레이션

제안 하는 방법을 검증하기 위해 시뮬레이션과 필드실험을 실시하였다. 시뮬레이션과 실험에서 사용한 FLMS 는 Sound Matrics 사의 DIDSON을 사용하였다. DIDSON은 96개의 음파 송수신기로 구성되어 있고, 각각의 음파 송수신기는 수평각도 0.3도, 수직각도 14도의 Fan-shaped 음파를 생성한다. FLMS의 스캔 범위를 10 m로 설정하였고, 512 × 96 크기의 초음파 이미지를 10 fps의 속도로 생성하였다. FLMS의 Window Start와 Window Length는 각각 0.42 m, 5 m로 설정하였다. 사용한 PS는 1개의 음파 송수신기를 기계적 회전 장치를 이용하여 360도 회전을 하며 2D 수평 정보를 획득하는데, Imagenex사의 881A를 사용하였다. 수평 빔폭은 1.8도, 수직 빔폭은 20도로 Fan-shaped 빔을 방출한다. 스캔 속도는 1초에 3.6도의 속도였다. PS의 Range는 10 m, 게인은 30으로 설정하였다. 전방의 수직 정보를 획득하기 위해 PS는 90도로 눞혀서 FLMS의 상단부에 고정을 하였다. 두 소나의 주사각은 시뮬레이션에서는 30도, 필드실험에서는 Pan-tilt Rotator를 이용하여 25도로 설정하였다.

필드 실험에 앞서 제안 하는 방법을 검증하기 위해 먼저 시뮬레이션을 실시하였다. 사용한 시뮬레이터는 Ray-casting 방법으로 구현된 멀티빔 소나 시뮬레이터^[4]([Fig. 10])에 PS 모델을 추가하여 구현을 하였다. 시뮬레이션에서는 5개의 전방 기울기가 서로 다른 물체([Fig. 11])를 FLMS만 사용하여 포인트를 추출한 결과와 FLMS와 PS를 퓨전하여 포인트를 추출한 결과를 비교하였다.

[Fig. 10]

Comparison of real sonar images and generated images by sonar simulator

[Fig. 11]

Five objects used in simulation. The front slope is changed from 30 to 90 degrees

단일 소나로 포인트 추출을 위해 사용한 방법은 ^[3]의 방법을 활용하였다. 단일 소나를 사용한 방법과 제안하는 센서 퓨전 방법으로 생성된 결과 비교는 생성된 포인트 클라우드의 X-Z 평면에서의 면적을 비교를 통해 분석하였다. 그 이유는 제안하는 방법은 소나의 수직 정보의 복원을 위해서 추가적인 소나 정보를 활용하는 것이기 때문에, 기존 단일 소나로 큰 오차가 발생하는 수직으로 돌출된 물체의 정보를 정확하게 복원이 가능한지를 확인하기 위해서다. 따라서 오차 모델은 아래와 같이 X-Z평면상에서 면적을 비교하여 효과를 검증하였다.

그 결과는 [Fig. 12]에 나타내었다. 물체의 기울기가 완만할 경우(전방 경사≤60도) 단일 멀티빔 소나만 사용하는 경우 오차가 크지 않았고, 오히려 더 낮은 오차율을 보였다. 하지만 물체의 기울기가 급할 경우(전방 경사 > 60도)일 경우는 단일 소나의 수직 정보 불확실성에서 기인하는 오차가 급격히 증가함을 확인 할 수 있었다. 복수 소나를 융합하여 제안하는 방법을 사용하는 경우는 물체의 기울기가 급할 때 오히려 개선된 결과를 나타내었다.

[Fig. 12]

Results of the comparison simulation between the single-sonar method and the proposed method. Dots represent error rates when extracting 3D points with the single sonar method, and solid line denotes error rate when extracting 3D points with the proposed method

4.2 필드 실험

필드 실험에서는 포항공대에서 개발한 AUV 싸이클롭스를 활용하였다([Fig. 13]). AUV 싸이클롭스의 주요 사양은 [Table 1]과 같다. 사용한 소나 장비는 시뮬레이션에서 설명한 장비와 동일한 장비를 사용하였다. 실험 장소는 포항 구룡포 장길리 연안에서 실시를 하였다.

[Fig. 13]

AUV Cyclops in field test

[Table 1]

The specification of AUV Cyclops

필드실험에서는 해저면을 지그재그로 스캔하며 제안하는 방법을 통해 해저의 3차원 정보를 획득하였다. 생성된 지도의 일관성을 파악하기 위해 해저에 벽돌로 제작된 두개의 물체([Fig. 14])를 설치하였다.

[Fig. 14]

Objects used in field test: (a) Alphabet F shaped bricks, (b) Alphabet C shaped bricks

필드 실험 결과는 [Fig. 15], [Fig. 16]에 나타내었다. [Fig. 15]는 필드 실험 동안의 AUV의 경로로, 빨간 별 표식이 시작점이고, 빨간 원이 종료지점이다. 생성된 해저 지도는 [Fig. 16]과 같다. 왼쪽 지도를 보면 가운데 물체 (a)와 (b)를 작게 확인할 수 있는데, 확대를 하면 [Fig. 16]의 우측 하단에 그림과 같이 생성된 것을 확인할 수 있다. 실험을 실시한 지역은 경사면으로 시작 지점의 수심이 얇았고, 앞으로 갈수록 깊어지는 지형이었는데, 생성된 지도에 잘 나타나 있는 것을 볼 수 있다. 또한 (16, 1)지역과 (12,-5)지역에서 수초 군집이 존재하는 것을 확인할 수 있는데, 수초 군집의 규모와 형태를 파악할 수 있다.

[Fig. 15]

AUV trajectories during the field test. Red star(*) is start point and red circle(o) is end point

[Fig. 16]

Field test results. Object (a) and (b) in the middle of map shows the consistency of the map