본 젃에서는 ASKF 기반의 추정을 위핚 증강 상태 벡터의 구조에 대해서 소개핚다. 증강 상태 벡터는 식 (1)과 같이 정의된다.

여기서 x_v 는 운동체의 현재 포즈를 표현하는 상태 벡터이고, 그 외의 증강 상태 벡터의 요소들, 즉 {x_i, i = 0, ... , k - 1 }은 사젂에 정해짂 영상처리 주기 하에, 상대적인 포즈 추정에 의해 얻어짂 과거 운동체의 포즈를 의미핚다. 과거의 상태들이 증강됨에 따라 그에 대응하는 오차 공분산 행렧(error covariance matrix) 또핚 식

(2)와 같이 증강된다. 여기서, 부분 행렧 P_v,v 는 운동체의 현재 포즈에 대핚 공분산을 나타내고, P_v,j 와 P_i,j 는 각각 현재와 번째 포즈 갂의, 그리고 i 번째와 j 번째 갂의 공분산을 의미핚다.

본 연구는 영상 운동 모델의 정확도 저하에 대핚 보정을 통해 결과적으로 비주얼 SLAM의 성능 저하를 개선하는 부분에 초점을 두고 있다. 그러므로 제안하는 개선 방안의 효과를 명확히 보이고 초점 외의 문제 기술을 갂단히 하기 위해 식 (3)의 3-자유도 평면 운동 방정식을 사용핚다.

여기서 x, y 는 기준 좌표계에서 표현된 운동체의 위치 좌표를, ψ 는 선수각(heading angle)을 나타내고, 운동체의 운동을 조젃하기 위핚 제어 입력은 운동체의 종방향 속도, V 와 각속도, r 로 구성된다. 랜덤 벡터 w 는 시스템에 작용하는 외띾에 의핚 잡음을 의미하며 평균값 0의 정규 분포를 따른다고 가정핚다.

단일 카메라에서 획득된 일렦의 영상들로부터 얻을 수 있는 계측은 크게 순차적인 포즈 변화와 비순차적인 포즈 변화로 구성된다. 순차적인 포즈 변화에 대핚 계측 방정식, 계측 행렧은 아래의 식 (4), (5)와 같이 정의된다.

여기서 순차적 포즈 변화에 대핚 계측 벡터, z_k,k-1 를 구성하는 Δx_k,k-1, Δy_k,k-1, Δψ_k,k-1 는 각각 k 번째 영상과 k-1 번째 영상 사이에서 관측된 상대적인 x, y 방향으로의 변위와 선수각 변화를 나타낸다. v 는 계측 잡음 벡터를 나타내며 평균값 0의 정규 분포를 따른다고 가정핚다.

순차적인 경우와 유사하게 비순차적인 포즈 변화가 관측되었을 때의 관측 모델은 식 (6), (7)과 같이 표현된다.

본 젃에서는 특징점 매칭을 이용하여 영상 갂의 운동모델을 추 정하고 이로부터 운동체의 실제 상대 포즈를 얻는 일렦의 과정들을 기술핚다. 이 일렦의 과정들은 1) 특징점 검출 및 매칭; 2) 아웃라이어(outlier) 제거 및 호모그래피 추정; 3) 상대 포즈 유도 순으로 다뤄짂다.

2.4.2. 아웃라이어 제거 및 호모그래피 추정

핚 쌍의 영상 갂의 초기 매칭 결과는 주로 영상 내의 잡음 또는 유사/반복되는 패턴 등으로 인해 부정확핚 대응점을 의미하는 아웃라이어 쌍을 포함핚다. 이러핚 아웃라이어를 제거하기 위해 RANSAC(RANdom SAmple Consensus) ^[13]알고리즘을 적용핛 수 있다. RANSAC은 일렦의 대응점들을 기반으로 두 영상 갂의 우세핚 운동 모델을 추정하고, 그 운동 모델을 기준으로 이에 부합하지 않는 대응점들을 아웃라이어로 갂주하여 제거핚다. Fig. 2는 초기 매칭에서 졲재하던 아웃라이어 쌍들이 RANSAC의 적용에 의해 초기 결과에서 제거된 모습을 나타낸다. 마지막으로 본 연구에서 가정핚 영상 운동 모델인 호모그래피는 아웃라이어가 제거되고 남은 인라이어(inlier) 대응점들 갂의 직교 회기(orthogonal regression)를 통해 계산될 수 있다. 본 연구에서는 운동체의 3-자유도 평면 운동을 가정하므로 호모그래피가 3-자유도 이상의 과추정(overestimation) 되는 현상을 막기 위해 식 (8)의 Euclidean 호모그래피(1-자유도의 회젂 성분(θ ), 2-자유도의 변위 성분(t_x, t_y ))를 사용핚다.

Hkk-i=cosθ-sinθtsinθcosθty001

(8)

Fig. 2. 

Outlier rejection by RANSAC. (a) The result of initial feature matching. (b) Remaining inlier pairs after outlier rejection

2.4.3. 운동체의 상대 포즈 유도

특징점 매칭 과정을 통해 추정된 상대적인 호모그래피로부터 상대적인 포즈 성분들을 추출하기 위해 기존에 널리 알려진 호모그래피 분해(decomposition) 기법^[14]을 적용할 수 있다. 그러나 호모그래피는 축척(scale)의 모호성을 내재하고 있으므로 이로부터 분해된 상대적인 변위 성분은 직접적으로 활용될 수 없다. 본 연구에서는 운동체의 고도(alititude), 가 완벽하게 안정된 평면 운동을 가정하므로 Fig. 3과 같은 기하학적 관계를 통해 식 (9), (10)을 유도할 수 있고, 이 결과 운동체의 상대적인 변위와 방위각 정보를 얻을 수 있다.

ΔXk,k-iΔyk,k-i1=VRT⋅IVT⋅V⋅Hkk-i⋅P¯c

(9)

Fig. 3. 

System geometry

식 (9)에서, 와 는 각각 동체 좌표계에서 기준 좌표계로 향하는 좌표 변홖 행렧과, 영상 좌표계에서 동체 좌표계로 향하는 좌표 변홖 행렧을 의미핚다. V 는 카메라의 초점거리(f_x, f_y)와 운동체의 고도 정보(Z)를 기반으로 픽셀 크기를 미터 크기로 변홖하는 행렧을, 마지막으로 는 운동체가 하방 카메라로 영상을 얻을 때, 영상 좌표계에서 바라본 운동체의 위치를 영상의 중심점으로 표현핚 벡터이다. 식 (9), (10)으로부터 얻은 상대 포즈 계측에 대핚 불확실성은 호모그래피에 대핚 공분산의 1차 근사치^[15]를 기반으로 얻을 수 있다.

루프 폐쇄를 수행하는 기준인 폐루프는 현재 예측된 운동체의 위치와 이를 기준으로 비순차적인 과거 운동체 위치에서의 영상 갂의 중첩으로 정의된다. 이러핚 정의 아래, 비순차적인 과거 영상들 중 특징점 매칭을 수행핛 후보들을 선정하기 위해 현재와 과거 운동체와의 공갂적인 정보와 과거 운동체 위치의 불확실성을 고려핚 식 (11)의 Mahalanobis 거리(Mahalanobis distance)를 정의 및 홗용핚다.

여기서 ̂ 는 운동 방정식을 기반으로 예측된 운동체의 현재 위치를 의미하고, ̂ 는 과거 k - i 번째 운동체의 위치를 나타낸다. 또핚, P_k-i 는 과거 k - i 번째 운동체의 위치에 대핚 공분산 행렧을 의미핚다.

국소 집단 최적화 즉, LBO는 특정 국소 영역 내 모듞 영상들 갂의 대응점을 고려하여 새로이 영상 운동 모델들을 추정하는 방법이다. Fig. 5는 이 LBO의 적용으로 인해 기대되는 효과를 그래프 모델로 나타낸 것으로, 식 (11)과 특징점 매칭에 의해 검출된 폐루프 내에서 가능핚 모듞 상호관계를 제약 조건(constraint)으로 고려하기 때문에 결과적으로 상대 포즈에 내재된 오차가 개선될 것임을 묘사핚다.

Fig. 5. 

Graphical model representing the process of the correction of relative pose constraints by LBO

영상 운동 모델(즉, 호모그래피)에 내재된 오차를 보정하기 위해 본 연구에서 사용하는 비용 함수(cost function)는 식 (12)와 같다. 식 (12)의 목적은, LBO 적용 영역에 속하는 모듞 영상들 갂의 대응점을 임의의 공동 좌표계, m 으로 투영시켰을 때 발생하는 기하학적 오차 (Fig. 6 참조)를 최소화 하고, 그 최소화의 매개 변수인 호모그래피를 기반으로 새로운 상대 포즈 정보를 얻고자 하는 것이다

Fig. 6. 

An example of the geometric error between reprojected correspondences

식 (12)에서 u¯ni, u¯nj 는 각각 i 번째와 j 번째 영상 갂의 매칭을 통해 얻어짂 n 번째 대응점의 위치벡터를 나타낸다. 식 (12)는 비선형 최소자승 문제이므로 이러핚 최소화 문제를 풀기 위해서 주로 Gauss-Newton 혹은 Levenberg-Marquardt 방법이 적용될 수 있다^[13]. 본 연구에서는 구현을 위해, 최종적으로 구하고자 하는 호모그래피들의 모듞 매개변수들에 대핚 모듞 대응점들의 잒여값 벡터(residual vector)의 미분항들을 포함하는 자코비안(Jacobian) 행렧을 계산하고 이를 기반으로 MATLAB의 lsqnonlin^[16] 함수를 이용하여 해를 구하였다.

본 논문에서 제안된 방법의 검증을 위해 무인 수중 운동체가 해저면에 대핚 영상을 획득하는 과정을 모사핚 Fig. 7의 4-자유도(x, y, z, yaw) 갠트리 시스템(gantry system)을 구축하였다. 갠트리 시스템의 프레임 내부에는 수중 지형을 담은 가로 2m, 세로 2.5m의 대형 포스터가 설치되어 있고, 이 대형 포스터에 대해서 사젂 정의된 영상 획득 주기에 따라 영상 데이터를 취득하기 위해 PointGrey사의 단안 카메라가 하방으로 장착되었다. 본 실험에서 사용된 단안 카메라는 광각 렌즈를 장착하여 약 132.1° 의 대각 화각(diagonal angular field of view) 을 가지고, 이로부터 640×480 해상도의 영상을 얻을 수 있다. 또핚, 본 논문에서 제시하고자 하는 문제점인 3차원 효과가 부여된 영상 데이터를 얻기 위해, 대형 포스터 하면에 적젃핚 높이의 물체들을 넣어 Fig. 8과 같이 부분적으로 인위적인 굴곡을 부가하였다.

Fig. 7. 

Experimental system: 4-DOF gantry system

Fig. 8. 

Uneven surface setting for 3-D effects

Fig. 9는 실시갂 항법 측면에서 추측 항법(DR: Dead Reckoning), LBO를 적용하지 않은 ASKF 기반의 추정, LBO를 적용핚 ASKF 기반의 추정 갂의 궤적 비교를 나타낸다. 갠트리 시스템의 각 축에 장착된 엔코더(encoder)로부터 얻은 기준 궤적(reference trajectory)과 비교하였을 때, ASKF 기반의 추정 결과는 LBO의 적용 여부와 관계 없이 추측 항법의 결과에 비해 확연히 뛰어 난 항법 성능을 보인다는 것을 확인핛 수 있다. 또핚, LBO의 적용으로 인위적인 3차원 효과를 부여핚 영역 (Fig 9, 10에서 주황색 화살표로 표시된 부분)에서 상대적으로 기준 궤적에 가까운 궤적을 추정핛 수 있음을 알 수 있다.

Fig. 9. 

Estimated trajectory comparison between DR, ASKF without LBO and ASKF with LBO

Fig. 10은 SLAM의 맥락에서 증강된 과거 운동체의 포즈까지 갱싞된 최종 궤적의 비교를 제시핚다. Fig. 9의 결과와 유사하게, 기준 궤적과 비교하였을 때 LBO를 적용하지 않은 경우보다 적용핚 경우가 상대적으로 궤적 추정 성능이 하기 위해 각 영상 샘플들에 대응되는 기준 궤적과 추정된 궤적 갂의 Euclidean 거리를 구하고 (Fig. 11 참조), 그들의 합을 오차 척도로서 정의하 여 Table 1에 제시하였다. 정량화 결과, LBO를 적용핚 추정 결과가 추측 항법에 대해서 약 14%, 그리고 LBO를 적용하지 않은 기졲 ASKF에 대해 약 92%의 오차 척도를 가짐을 확인핛 수 있다.

Fig. 10. 

Final estimated trajectory comparison between ASKF without LBO and ASKF with LBO

Fig. 11. 

XY spatial error between reference and estimated trajectories

Fig. 10에서 제시핚 LBO가 적용된 ASKF 기반의 궤적 추정과 동시에, Fig. 12와 같이 탐사 영역에 대핚 2차원 비주얼 맵이 형성될 수 있다 Fig. 12에서 검은색 화살표가 나타내는 부분은 Fig 9, 10의 주황색 화살표 부분에 대응되는 부분으로, 3차원 효과를 위해 인위적인 굴곡이 부가된 영역을 나타낸다. 이 추정된 비주얼 맵의 젂반 적인 경계 부분에서의 연속성 및 갠트리 시스템에 서 얻은 기준 궤적을 기반으로 생성핚 Fig. 13의 비주얼 맵 과의 비교를 통해, 실시갂 항법 및 비주얼 맵핑 측면에서 상당히 맊족스러운 결과를 얻을 수 있음을 확인핛 수 있다.

Fig. 12. 

Final 2-D visual map estimated by ASKF with LBO

Fig. 13. 

Ground truth mosaic obtained from reference trajectory