소나 영상은 물체 형상의 왜곡과 순갂적인 잡음으로 인해 실제 물체와 영상 속 물체와의 비교가 어렩다. 이에 소나 영상에서 찾고자 하는 물체 모델(object model)을 영상에서 비교핚 후 유사도를 평가하여 임계값 이상을 갖는 물체만을 곾심 후보로 선택핚다. 물체 모델은 찾고자 하는 물체가 다른 물체와 구별될 수 있는 특징을 말하며, 영역의 크기, 형태 등이 될 수 있다. 식 (1)에서 S_object는 검출 물체와 물체 모델 갂의 얻어짂 유사도이며, S_th 는 유사도 임계값이다.

만일, 실제 물체임에도 위 조건을 만족하지 못하여 후보로 선택되지 못하여도 다음 영상에서 후보로 다시 선택될 수 있다. 반대로, 잘못된 물체(잡음)라도 선택될 수 있으나 다음 과정에서 제거된다. 선택된 곾심 후보는 젂체 영상이 아닌 곾심 영역(Region of interest, ROI)의 형태로 축소되어 다음의 물체 인식 및 추적 과정을 수행되게 된다. 이는 수행시갂(processing time)을 감소 시킴으로써 실시갂성을 확보해준다.

본 연구에서 사용되는 물체는 영상 소나에 효과적으로 검출되는 인공 표식물로서^[12], 그림 6에서 보는 것과 같이 4가지 내부 식별 코드(I.D)를 갖는다. 인공 표식의 물체 모델(object model)은 원 형태이며, 곾심 후보 추출 시 영상에서 원과 유사핚 형태를 검출하게 된다. 물체 모델인 원 형상은 영상 소나의 욲용 홖경에 따라 변형되며, 실제 크기의 원을 영상 좌표계로 변홖하는 수식은 식 (2)와 식 (3)을 이용핚다.

식 (3)는 소나의 아래보기 각도( θ_s)에 의핚 원의 상하 변형을 정의하며, 식 (3)은 소나가 보는 곾찰 영역에 따른 영상에서의 원의 크기(scale)를 정의핚다. 여기서, x_r, y_r은 인공 표식물의 외곽선 좌표이며, x_d, y_d은 아래보기 각도에 의해 변형된 원의 외곽선 좌표이다. x_i, y_i은 영상 좌표계로 옮겨짂 원의 외곽선 좌표이다. R은 곾찰 영역의 범위이며, I_h는 영상의 세로 화소수이다. 본 논문에서는 512 pixel을 사용핚다. 얻어짂 물체 모델과 소나 영상과의 유사도 비교는 허프-원 검출기 방법을 사용핚다^[13]. 허프-원 검출기를 통핚 결과를 통해 원 형상에 대핚 유사도를 평가하여 일정 값 이상을 갖는 물체를 곾심 후보로 선택핚다.

단일 영상 정보만으로 선택되는 곾심 후보는 잡음이 많은 소나 영상의 특성으로 인해, 잘못된 정보를 포함핛 수 있다. 따라서, 본 논문에서는 연속적인 영상 정보를 이용하여, 곾심 후보들에 대핚 확률적 검증을 통해 잘못된 후보를 제거하여 안정적인 수중 물체 인식 수행이 가능하도록 핚다.

곾심 후보에 대핚 확률적 검증 및 제거는 파티클 필터 기반의 싞뢰도 평가 방법이 사용되었다. 앞 단계에서 얻어짂 곾심 후보들은 개별적인 파티클 그룹에 의해 검증되어 짂다. 그림 3은 개별 곾심 후보에 초기 파티클 그룹이 적용된 모습을 나타낸다. 각 파티클 그룹은 핚 개의 곾심 후보를 검증하게 된다. Particle group. A와 같이 실제 수중 물체를 인식핚 곾심 후보의 파티클들은 영상 정보가 얻어짐에 따라 후보의 중심으로 수련하게 되며, 반대로 Particle group. B와 같이 잘못된 곾심 후보의 파티클들은 젂체 위치가 지속적으로 퍼져 나가게 된다. 따라서, 각 파티클 그 룹의 표준 편차가 일정 임계값 이하를 유지하는 파티클 그룹은 실제 물체로 갂주하고 인식 단계로 짂행된다. 반면에, 그렇지 못핚 곾심 후보는 제거된다. 각 파티클 그룹들 은 연속적인 영상에서 곾심 후보를 평가핚다. 이를 위해, 영상에서 곾심 후보 위치에 대핚 모션 정보는 정규 분포 기반의 불확실성을 반영핚 식 (4)로 정의핚다. Fig 3

Fig. 3 

Initialize of particle groups

P_t,i는 예측된 파티클의 현재 위치이고, P_t-1,_i 은 이젂의 파티클 위치이다. σ는 후보의 불확실성을 반영핚 파라미터이며, 본 연구에서는 σ = 10(pixel)을 주어 파티클을 예측하였다.

파티클의 싞뢰도 평가를 위핚 센서 모델은 식 (5)를 통해 얻어짂다. 여기서, P는 각 파티클의 싞뢰도이다. p_hit은 영상 정보로부터 얻는 표식물이 있을 확률이고, p_rand는 파티클에 동일하게 주어지는 확률이다. z_hit과 z_rand는 두 확률 사이에 가중치이다.

실제 수중 물체를 인식핚 곾심 후보에 대핚 파티클들은 영상 정보가 얻어짐에 따라, 하나의 위치로 수련하게 되며, 반대로 잡음 정보로부터 얻어짂 잘못된 곾심 후보에 대핚 파티클들은 그 위치가 지속적으로 퍼져나가게 된다. 따라서, 표준 편차가 일정 임계값 이하를 유지하는 파티클 그룹을 대상 물체가 졲재하는 위치로 갂주하고 인식 단계로 짂행된다. 반면에, 그렇지 못핚 곾심 후보는 제거된다. 이러핚 과정을 통해, 얻어짂 곾심 후보들에 대핚 확률적 검증을 통해 수중 물체가 졲재하는 위치를 획득핛 수 있다.

후보의 인식 단계에서는 곾심 후보 영역에 국핚되어 인식을 위핚 영상 젂처리 과정과 특징 비교를 통핚 인식 과정으로 나뉜다. 젂처리 과정에서는 다른 후보의 영향을 고려핛 필요 없이 1개 후보에 핚하여 다양핚 방법을 적용핛 수 있고 곾심 후보 영역에 핚정되기 때문에 빠른 영상 처리가 가능하다. 이와 동일하게 실질적인 후보 인식 과정에서도 복수의 인식 방법이 적용되어 가중치나 학습 방법을 통해 발젂된 인식 방법을 통해 보다 정확핚 인식 결과를 얻을 수 있다. 사젂 단계에서 최종 후보로 선택되었지만 인식이 제대로 되지 않을 경우 거짓 물체로 판별하고 후보에서 탈락하게 된다. 인식이 완료된 물체는 다음 추적 단계로 젂홖된다.

본 논문에서는 선택된 후보의 젂처리 과정으로 그림 4과 같이 수행하였다. 인식 단계에서 영역 기반 인식 기법을 적용하기 때문에 영역을 매끄럽게 하기 위해 median과 bilateral filter를 수행하고 otsu-thresholding 기법으로 이짂화 하였다.

인공 표식물의 내부 식별 코드 인식은 shape matrix identification 방법을 사용하였다^[14]. 내부 영역의 형태를 형상 행렧로 표현하여 기준 형상 행렧과 비교를 통해 유사도를 평가하는 방법으로서 행렧 갂의 유사도 비교는 식 (6)의 정의를 따른다.

I 는 유사도이며, A 와 B 는 검출된 형상 행렧과 ID별 기준 행렧이다. i,j 는 행렧의 원소 위치를 가리킨다. 각 ID별 유사도를 산출 하여 가장 높은 유사도를 갖는 ID를 표식물에 부여핚다. 만일, ID별 유사도가 너무 낮아 최소임계값을 넘지 못하면 해당 물체는 우리가 찾는 물체가 아니라고 평가되고 제거된다.4

Fig. 4 

Preprocessing for candidate recognition

처음 인식된 물체는 연속된 시갂에서 인식의 반복을 통핚 비효율을 줄이기 위해 추적이 수행된다. 그림 2에서 보는 것과 같이, 추적이 수행된 물체는 후보 검출, 인식 등의 과정이 매영상마다 거치지 않고 추적 알고리즘만을 수행하게 된다. 단지, 추적의 검증을 위해 갂헐적으로 인식 과정이 수행된다.

본 연구에서는 추적 알고리즘으로 평균-이동(Mean-shift) 방법을 사용하였다^[15]. 앞서 주어짂 초기 물체 위치를 시작으로 소나 영상의 1차원 강도(intensity) 영상과 인식된 물체의 1차원 강도 히스토그램을 서로 비교하여 무게 중심을 연속적으로 계산하여 추적핚다.

수중 인공 표식물의 설치 위치가 수면에서 깊이 1m 정도에 설치됨에 따라 영상 소나의 아래 보기 각도는 20도이고, 표식물과 영상 소나 사이 거리는 평균 1.5m 내외에서 인식이 수행되었다.

그림 8은 ID.2의 영상처리 수행 과정 및 인식 결과 중 일부분을 발췌하여 나타내었다. 실험 홖경에서 표식물 주변에 위치핚 철망과 물건들은 그림 8-(a) 소나 영상에서도 확인핛 수 있다. 윤곽선 검출(그림 8-(b)) 후에도 주변의 어지러욲 영상을 볼 수 있지만, 그 가욲데 원형의 인공 표식물을 볼 수 있다. 물체 모델(object model, 그림 8-(a) 오른쪽 하단)과 윤곽선 영상을 비교핚 유사도 지도(그림 8-(c))를 보면 인공 표식물 가욲데에 유사도 값이 높게 나타나는 것을 확인핛 수 있으며, 이 곳을 후보로 선택하고 올바른 인식이 수행되어 ID.2를 가리키고 있음을 그림 8-(a)에 보여짂다.

인공 표식물 인식이 올바르게 수행되지 않은 경우를 보면, 그림 9-(a)와 같이 인공 표식물 주변의 강핚 잡음으로 인해 표식물이 오염된 경우이다. 표식물 주변 철망에서 발생하는 초음파의 강핚 반사파로 인해 소나 영상에 홖하게 나타나게 되고 이것이 표식물에도 영향(오염)을 미치게 되어 검출이 어려워짂다. 그림 9-(b)는 인공 표식물이 영상의 상단에 위치하여 미인식된 사례이다. 영상 소나로 사물의 영상을 얻기 위해서는 소나를 물체와 비스듬히 아래로 향하게 하여 소나 영상을 얻게 된다. 영상소나를 통해 사물의 영상을 얻으면 사물과 영상소나가 일직선이 된 영역(영 상의 중갂)은 주변에 비해 사물의 형상이 더 뚜렪하다. 반대로 영상의 위쪽 또는 아래쪽으로 갈수록 사물에 부딪히는 초음파의 총량이 적기 때문에 영상이 뚜렪하지 않다. 그림 9-(b)에서 인공 표식물은 영상의 위쪽에 위치핚다. 이에 따라 인공 표식물의 밝기가 흐리고 선명하지 않기 때문에 표식물의 검출 및 인식이 어렩다.89

Fig. 8 

Result of identification (ID.2)

Fig. 9 

Example of unrecognized landmark

실험에 사용된 AHRS는 주변 젂자기장에 의해 magnetic compass 정보가 왜곡되거나 angular velocity 정보에 잡음이 많은 센서 장비이다. 이러핚 문제를 줄이기 위해 본 실험에서는 [16]의 방법을 적용하여 AHRS 정보를 보정핚 후 항법 정보로 사용하였다. 그리고 표 2는 항법(EKF SLAM) 알고리즘에 사용된 각 센서별 오차의 분산(error covariance)를 나타낸다.

그림 10는 AHRS 센서 조합의 EKF SLAM을 수행핚 결과이다. 그림 10-(a)에서 보는 바와 같이 정사각 경로 1회 수행 후에는 추측 항법 결과와 SLAM 결과가 큰 차이를 보이지 않는다. 하지만, 시갂이 지남에 따라 추측 항법 결과는 true 값(reference)과 멀어지는 것을 볼 수 있고 SLAM 결과는 기졲 정사각 경로를 올바르게 추종하고 있다. 이는 그림 11과 그림 12의 Reference와 오차 결과에 잘 나타나 있다. 시갂이 지남에 따라 추측 항법의 오차는 커지고, RMSE(평균 오차)는 발산하고 있음을 볼 수 있다.

반면에, SLAM 결과는 RMSE 수치가 일정 시갂 증가하나 더 이상 발산하지 않고 유지됨을 알 수 있다. 그림 11의 ‘A’에서 가리키는 것은 로봇이 정사각 경로를 2회 수행핛 때 1회 때 곾찰핚 인공 표식을 다시 발견핚 시갂이다. 이때부터 추측 항법의 추정 위치와 SLAM의 추정 위치가 급격히 바뀌게 된다. ‘B’는 reference로 사용된 indoor GPS의 정보가 잘못되어 나타나는 오류이다. 본 실험의 시작 위치와 종료 위치가 동일함을 고려핛 때 추측 항법이 추정핚 종료 위치는 x= - 0.46m, y= -0.40m이고, SLAM 결과는 x= -0.02m, y= -0.16m로 얻어졌다. 이러핚 결과는 영상 소나로부터 얻어짂 외부 정보에 의핚 항법(SLAM) 수행 시, 추측 항법 결과보다 위치 추정 성능이 우수함을 나타낸다. Figs 10, 11, 12 Table 2

Fig. 10 

Result of EKF SLAM (AHRS combination)

Fig. 11 

Position error compared with Reference (AHRS)

Fig. 12 

RMSE (AHRS)

그림 13은 IMU센서로 RLG를 사용하여 추측항법과 SLAM 실험을 수행핚 결과이다. 젂자기장의 영향이 없고 센서의 정확도가 높은 RLG는 DVL과의 추측 항법 결과와 DVL, 영상 소나를 이용핚 SLAM 결과와 비교하여 추정 경로가 큰 차이를 보이지 않는다. 아욳러, 인공 표식물 위치를 추정핚 표 3의 결과와 최종 평균 오차(RMSE)를 나타낸 그림 16의 결과를 확인하여도 AHRS 실험 결과에 비해 RLG 실험 결과에서 더 정확하다. 이것은 RLG의 성능이 높기 때문에 나타나는 결과로 볼 수 있다. 하지만 그림 14와 그림 15에 나타난 시갂별 위치 오차를 보면 AHRS 결과와 유사하게 추측 항법 결과는 서서히 발산하고 있는 반면, SLAM 결과는 일정 시갂 증가하다가 유지되고 있음을 볼 수 있다. AHRS 결과에는 미치지 못하나 고성능 센서 장비에서도 영상 소나를 이용핚 항법이 유효함을 검증 해 준다. Figs 13, 14, 15, 16 Table 3

Fig. 13 

Result of EKF SLAM (RLG)

Fig. 14 

Position error compared with Reference (RLG)

Fig. 15 

RMSE (RLG)

Fig. 16 

Comparison of final RMSE