실제 환경에서 평행한 선들은 3D에서 2D로의 투영 과정에서 발생하는 원근효과 때문에 영상에서는 하나의 소실점으로 수렴한다. 실제 송전선 환경에서는 2가닥 이상의 송전선들이 서로 평행하게 설치되기 때문에 송전선들의 소실점은 송전선에서 추출된 선들의 교점들로부터 추정될 수 있다.

영상에서 하나의 선은 비슷한 방향으로 정렬된 화소들의 집합으로 구성되는데 영상의 노이즈나 선 추출 과정에서 발생할 수 있는 오차 등의 영향으로 인해서 화소들의 정렬에 오차가 발생 할 수 있다. 이러한 정렬 오차는 정확한 소실점 추정을 어렵게 만든다. Fig. 2에 빨간색 사각형으로 표시한 입력 영상에서 추출된 선분들(녹색선)의 교점을 다양한 색상으로 도시하였는데, 동일한 송전선에서 추출된 선분들의 교점들도 앞서 언급한 정렬 오차 때문에 하나의 소실점(빨간점)으로 수렴하지 않는다는 것을 알 수 있다.

Fig. 2. 

The example of line segments and intersection points.

따라서 본 논문에서는 이러한 오차를 확률적으로 고려하기 위하여, 먼저 LSD(Line Segment Detector) 방법^[9]을 이용하여 선분을 추출한다. LSD에서는 선분을 사각형 영역으로 고려하고 그 영역에 포함되는 화소들에 대한 방향성의 일치 정도를 NFA(Number of False Alarms)로 측정하여 확률이 높은 선분들을 추출하기 때문에, 영상에서 경계가 뚜렷한 에지에서 추출된 선분들이 낮은 NFA 값을 가진다. 영상에서 송전선은 배경에 있는 물체보다 상 대적으로 길고 뚜렷한 에지 성분을 가지고 있기 때문에, 본 논문에서는 추출된 선분, L_i에 대한 선분 강도, τ를 다음과 같이 정의한다.

여기서 l_i는 L_i의 길이이다. 그리고 선분쌍 (L_i,L_j)에 대 한 교점을 다음과 같은 가우시안 분포로 고려한다.

(m_ij;x, m_ij;y) 는 영상 좌표계에서 (L_i,L_j) 의 교점의 좌표이다. σ_ij;x 와 σ_ij;y 는 각각 x 및 y축 방향으로의 표준편차이고, P_Vij를 등방성으로 가정하여, σij;x=σij;y=σi2+σj2,σi=α⋅exp1/wi⋅τi 로 정의한다. 여기서 α 는 비례상수이고, w_i 는 L_i 에 대한 가중치를 의미하는데, Fig. 2에 도시한 바와 같이, 배경에서보다 송전선에서 선분에 대한 사각형 영역의 폭이 넓은 선분들이 추출되는 경향이 크기 때문에, 송전선에서 추출된 선분들의 영향력을 더 크게 하기 위하여 본 논문에서는 w_i 를 선분에 대한 사각형 영역의 폭으로 정의한다.

소실점을 추정하기 위한 보팅 함수는 다음과 같다.

여기서 N 은 선분들의 개수이다. 마지막으로 송전선의 소 실점을 추정하기 위해 다음과 같은 추정 함수를 사용한다.

추정된 소실점을 지나는 대부분의 선분들은 송전선

에서 추출된 선분들이지만 실제 3D 공간에서는 송전선과 평행하지 않더라도 영상으로 투영된 2D 공간에서 우연히 소실점을 지나는 이상치(outlier) 선분들이 있을 수 있다. 따라서 본 논문에서는 이러한 이상치 선분들의 영향을 줄이는 총 2단계로 구성된 송전선 검출 방법을 제안한다.

3.2.1. 후보 선분 선택 단계

앞서 추정된 송전선의 소실점을 지나지 않는 선분들은 송전선이 될 수 없기 때문에 이러한 선분들을 먼저 제거하기 위해서 다음과 같은 기준 조건을 정의한다.

di⋅sinωi<tc

(5)

여기서 t_c 는 문턱치 값이다. 그리고 Fig. (a)에 도시한 바와 같이, d_i 는 소실점 V(x,y) 와 L_i 사이의 수직 거리이고 ω_i 는 L_i 의 중점과 소실점을 지나는 임의의 직선과 L_i 사이의 예각을 의미한다. 이 조건을 만족하는 선분들을 우리는 송전선이 될 수 있는 후보 선분들로 선택한다.

Fig. 3. 

Decision of power transmission lines. (a) Parameters to select a candidate line segments. (b) Searching in a fan-shaped area. (c) Score function for power transmission lines detection.

제안하는 소실점 추정 방법의 성능을 평가하기 위하여, Fig. 4(a)와 같이 하나의 소실점으로 수렴하는 선분들로 구성된 합성 영상에 대하여, 선분들의 양 끝점에 평균 0, 표준편차 σ_l 인 가우시안 잡음을 추가한 영상들을 생성하여 실험을 수행하였다. Fig. 4의 위쪽 행에 선분 영상과 보팅 함수 결과를 겹쳐서 도시하였는데, 밝은 화소일수록 소실점이 될 확률이 높아짐을 의미한다. σ_l이 3과 5인 경우를 Fig. 4(b), (c)에 각각 도시하였는데, 제안하는 방법에서는 잡음이 증가하여 선분의 방향성에 대한 왜곡이 커지는 경우에도 소실점을 정확하게 추정하여 직선들을 강건하게 검출하고 있음을 알 수 있다.

Fig. 4. 

The estimated vanishing point (a red point) and result of line detection (bottom row). (a) ground truth. (b) σ_l=3. (c) σ_l=5.

Fig. 5는 σ_l을 1부터 5까지 1씩 증가시키며 각각 100장씩 테스트 영상을 생성하여 제안하는 방법으로 소실점을 추정하고, 추정된 소실점의 좌표와 원 영상의 소실점 좌표와의 차이에 대한 평균과 표준편차를 비교한 결과이다. 추정된 소실점의 좌표 오차는 가우시안 잡음의 표준편차가 5까지 커졌음에도 불구하고 평균 4화소 이하에 불과하며, 제안하는 방법이 잡음에 강건하게 송전선을 추정할 수 있음을 알 수 있다.

Fig. 5. 

The vanishing point estimation error on noisy line segment

제안하는 방법의 송전선 검출 능력을 평가하기 위해서 본 논문에서 사용한 로봇에서 송전선 영상들을 취득하여 총 3가지 종류로 구성된 KPTL 데이터 세트(KPTL-A, KPTL-B, KPTL-C)를 구축하고 이것을 평가에 이용하였다. 각각의 세트는 서로 다른 환경에서 로봇이 움직이면서 실시간으로 취득한 영상들이며 각각 101, 70, 184장으로 구성된다. 그리고 사용된 로봇은 롤러가 있는 구동부가 송전선에 걸치게 되고 송전선에 평행하게 매달려 앞-뒤로만 움직일 수 있는 구조로써 카메라가 바라보는 방향은 Fig. 1(a)와 같이 아래에서 위로 향한다.

Fig. 6(a)는 송전선 주위의 벽, 형광등, 창문 등에서 송전선과 비슷한 방향을 가지는 선분들이 포함된 복잡한 배경을 가지고 있는 실내에 구성된 송전선 데모 룸에서 취득한 데이터 세트에서 테스트한 결과 샘플들이다. 복잡한 배경에서도 제안하는 방법이 송전선의 소실점과 송전선을 각각 정확하게 추정하고 검출하였음을 알 수 있다. 실외 환경에서 취득된 데이터 세트에서 테스트한 결과 샘플인 Fig. 6(b)와 Fig. 6(c)에서도 Fig. 6(a) 환경과 마찬가지로 다양한 구조물들과 나무들 때문에 복잡한 배경을 가지고 있지만 제안하는 방법이 잘 동작하고 있음을 알 수 있다. Fig. 6의 마지막 열은 4개의 송전선 중 검출에 실패한 송전선이 있는 경우를 도시한 것인데, 송전선의 검출 기준은 원 영상의 송전선 대비 ±5° 이내에 있어야 하고 50% 이상 겹쳐야 하는 것으로 정의하였다. 이에 따라 Fig. 6의 마지막 열에서 Fig. 6(a)의 녹색 선, Fig. 6(b)의 하늘색 선, Fig. 6(c)의 파란색 선의 겹치는 비율과 각도는 각각 29%/3°, 0%/11.5°, 0%/2°로 검출에 실패한 경우이다.

Fig. 6. 

Sample results of the proposed power transmission lines detection method on KPTL image sets.

Table 1은 KPTL 데이터세트에서의검출률을[12]의방법과비교한결과를나타낸다. Accuracy per image는전체영상개수대비 4개의송전선을모두정확하게검출 한 영상의 개수이고, Accuracy per line은 전체 송전선 개수 대비 검출된 송전선 개수로 정의하였다. 기존 방법은 각각의 송전선 검출률이 평균 52%에 불과하여, 4개의 송전선을 모두 정확하게 검출하는 경우가 평균 2.4%로 거의 없었음을 알 수 있다. 그러나 제안하는 방법은 각각의 송전선 검출률이 평균 98%이고, 4개의 송전선을 모두 정확하게 검출하는 경우가 평균 95%로, 복잡한 환경에서도 송전선을 잘 검출할 수 있었음을 알 수 있다. 마지막으로 본 실험에서 사용한 매개 변수값은 다음과 같다. α = 10, Δθ = 0.5, t_c = 3.88 (d = 5,ω = 15).