본 논문에서 제안한 주행차로 추정 기법의 첫 단계는 표지판 검출이다. 표지판 검출 과정은 표지판 후보 검출 과 기계 학습을 이용한 표지판 확정으로 두 단계로 이루 어져 있다. 차량에 설치된 카메라에서 입력으로 들어오 는 영상의 모든 영역에서 표지판을 검출 하는 것은 시간 비용이 상당하다. 그렇기 때문에 표지판 인식을 위해 전 체 영역에서 표지판 후보 검출 과정을 진행하여 표지판 일 가능성이 있는 후보들을 선별하여야 한다.

본 논문에서 사용한 표지판은 경고, 주의 표지판 두 종류이다. 이들의 색상이 빨간색인 점에 착안하여 색상 기반의 표지판 후보 검출 기술을 사용하였다. 우선 입력 영상을 HSV채널로 변환 후 각 채널에 문턱값(threshold) 을 설정하여 빨간색 영역을 추출한다. 수식 (1)에서 (7) 은 RGB 입력 영상을 HSV 채널로 변환 하기위하여 사용 하였다.M2M3M4M5M6

HSV의 각각의 문턱값은 표지판 검출을 위한 학습 데 이터 세트에서 표지판의 빨간색 테두리가 모두 검출 될 수 있도록 HSV 각 채널의 문턱값을 실험적으로 정하였 다. 빨간색 영역을 추출 후 모폴로지 침식 및 팽창 연산 을 수행하여 매우 작은 검출영역을 제거한다. 그리고 커 넥티드 컴포넌트 라벨링 기법을 적용하여 빨간색 픽셀 들끼리 군집화를 진행한다. 이 과정을 이용해 생성된 빨 간 픽셀들의 군집들은 표지판 후보이다.

표지판 후보들을 검출하였더라도 모든 빨간색 군집들 이 표지판은 아니기 때문에 기계 학습 기법을 적용하여 표지판 검출을 확정하여야 한다. 일반적으로 표지판 검 출 연구에서는 신경망 기법 또는 SVM을 이용하여 표지 판 검출을 확정한다^[3-5,13,14]. 최근에는 이러한 기계 학습 방법 중 깊은 신경망을 이용한 CNN (Convolutional Neural network)과 같은 학습 방법이 주목 받고 있다^[15-17]. 하 지만 깊은 신경망에 사용되는 오류 역전파(error back propagation) 방법으로 깊은 신경망의 레이어를 학습하 기 위해서는 많은 수의 데이터가 있어야 지역 최소점 (Local minima)에 빠지지 않고 학습을 수행할 수 있다.

하지만 본 연구는 국내의 교통 표지판을 대상으로 연 구를 진행하며 국내에는 표지판 검출 연구에 사용할 수 있는 공개된 데이터베이스가 존재하지 않는다. 따라서 본 연구의 기계 학습을 위해 사용된 긍정(positive), 부정 (negative) 클래스(class) 학습 데이터는 모두 본 연구실 에서 실제 도로를 직접 주행하여 획득한 표지판 정보이 다. 그래서 깊은 신경망을 적용하기에 적합한 많은 데이 터를 획득할 수 없었다. 데이터의 수가 적은 경우는 신경 망보다는 SVM도 좋은 성능을 얻을 수 있고 본 논문에서 제안하는 기술은 주행 차로의 추정이기 때문에 일반적 으로 많이 사용하는 방법 중의 하나를 선택하였다.

일반적으로 신경망의 오류 역전파 학습 알고리즘의 경우 지역 최소점에 빠지는 경우가 많다. 하지만 SVM의 경우 학습에 사용된 모든 긍정, 부정 클래스에 대해 최대 마진(margin)을 가지는 초평면(hyper plane)을 찾는 알고 리즘이기 때문에 언제나 전역 최소점을 찾는다. 따라서 본 연구에서는 SVM을 이용하여 표지판 검출을 확정하 였다.

표지판 검출을 위하여 우선 표지판의 특징값으로 SVM 을 학습시켜야 한다. 표지판은 크게 모양에 따라 원형, 삼각형, 역삼각형 총 3가지의 모양을 가지고 있다. 표지 판을 학습시킬 때 3가지 모양의 표지판을 한 클래스로 두고 학습시킬 수도 있다. 하지만 3가지 모양이 다른 표 지판의 경우 표지판의 테두리의 변위가 크기 때문에 하 나의 클래스로 두고 학습하기보다 각각의 클래스를 따 로 두고 학습하는 것이 적절한 최대 마진을 갖는 초평면 을 찾기에 효율적이다.

SVM을 학습하기 표지판의 특징으로 본 논문에서는 Dollar^[18]가 제안한 결합채널특징(Integral Channel Feature) 을 간략화하여 표지판 검출을 위한 새로운 특징을 제안 한다. 표지판 영상으로부터 5가지 특징을 추출하여 경량 결합채널특징(Light Integral Channel Feature)으로 명명 하였다. 먼저 앞서 검출된 표지판 후보 영역을 50×50픽 셀로 정규화한다. 정규화된 표지판 영상에서 가로, 세로, 대각선 방향에서 Fig. 5와 같은 소벨(Sobel) 연산자를 적 용하여 3가지의 경사값 특징 영상을 추출한다. 또한 표 지판 영상에서 빨간색 영역을 추출한 이진 특징영상과 밝기값만을 추출한 특징영상을 만든다. 결론적으로 Fig. 6과 같이 모두 5가지 특징 영상을 벡터화하여 50×50×5 차원의 특징 벡터를 생성한다. 생성된 특징 벡터는 표지 판에 대한 외곽선 특징과 빨간색 테두리의 모양에 대한 특징과 밝기 값에 대한 특징이 있기 때문에 배경과 표지 판을 구별하기 위한 특징으로 사용된다.

Fig. 5 

Sobel operator of (a) x direction (b) y direction and (c) diagonal direction

Fig. 6 

Feature images of traffic sign detection (a) vertical edge (b) horizontal edge (c) diagonal edge (d) red channel (e) normalized V channel

원형, 삼각형, 역삼각형의 긍정 클래스와 부정 클래스 로부터 위의 특징 벡터를 추출 하여 멀티 클래스 분류를 위한 SVM을 학습시킨다. 멀티 클래스 분류 방법은 “One versus rest” 분류 방법을 이용하여 학습시킨다^[19].

실제 표지판 검출 과정에서는 표지판 후보 추출 후 추출된 표지판 후보에서 특징 벡터를 추출하여 SVM 질 의하여 표지판 검출을 확정한다. 원형, 삼각형, 역삼각형 클래스가 결정되면 표지판으로 확정하고 부정클래스로 결정되면 배경으로 확정한다.

제안된 결합채널특징은 표지판의 영상에서 추출한 12500차원의 특징벡터로 표현되기 때문에 HSV 컬러채 널에서 유사한 컬러 특징을 가진 배경물체를 제외하고 표지판의 영영만을 검출하는 좋은 성능을 보였다. 표지 판의 검출성능에 대한 결과는 4절에서 보였다.

본 시스템은 표지판의 3차원 위치의 추적경로(tracking path)를 획득하고 자동차와 차도의 수평 거리(카메라좌 표계의 x축 방향)를 측정하여 주행 차량의 차로를 추정 한다. 그러므로 표지판의 3차원 추적경로를 구하기 위해 서는 매 프레임마다 검출되는 표지판에 ID(Identification number)를 부여하고 동일한 표지판을 연속적으로 추적 하고 동일한 ID를 할당하여 이들의 2차원 좌표를 기록하 여야 한다. 이는 카메라로 획득한 영상에서 Fig. 7에서와 같이 두 개 이상의 표지판이 검출되는 경우도 있기 때문 에 서로 다른 표지판에는 서로 다른 고유한 ID를 할당하 여 표지판의 2차원 좌표를 기록하는 과정이 반드시 필요 하기 때문이다.

Fig. 7 

Traffic sign tracking and ID assignment

연속하는 프레임 간의 시간은 매우 짧기 때문에 검출 되는 동일한 표지판 이미지의 변화량은 적다고 간주할 수 있다. 따라서 연속되는 프레임에서 검출 되는 표지판 들이 동일한 표지판인지 식별하기 위하여 이전 프레임 에서 검출된 표지판의 영상 템플릿을 이용하여 현재 프 레임에서 검출된 표지판과 정합과정을 수행한다. 템플 릿 정합의 비용 계산은 간단한 SAD (Sum of Absolute Difference)를 이용하였다. 연속된 프레임에서의 표지판 의 영상 변화가 거의 없기 때문에 단순한 정합기술로 동일한 표지판을 추적하는데 문제가 거의 발생하지 않 았다.

오차에 강한 표지판 추적과 ID할당을 위하여 이전 5개 프레임을 모두 이용하여 표지판을 추적하고 ID를 할당 하였다. Table 1에서 표지판 추적과 ID할당 과정을 유사 코드(Pseudocode)로 표현하였다. 우선 최근의 5개 프레 임에서 검출된 표지판 영상과 ID를 모두 저장한다. 그리 고 현재 프레임에서 검출된 표지판의 템플릿과 최근 5개 프레임에서 저장된 5개의 표지판 영상을 모두 정합하여 SAD 값이 일정 문턱값 이하이고 최소가 되는 표지판을 동일한 표지판으로 결정하고 그 표지판의 ID를 물려받 는다. 만약 동일한 표지판 없는 경우 현재 프레임에서 검출된 표지판에는 새로운 ID를 부여한다.

표지판의 3차원 추적경로를 구하기 위해서 표지판의 2차원 좌표로부터 카메라 좌표계를 기준으로 3차원 위 치를 계산해야 한다. 표지판의 3차원 위치를 계산하기 위해서 스테레오 정합 기술을 사용하였다. 일반적으로 스테레오 정합은 영상의 모든 픽셀에 대하여 정합을 실 시하여 모든 픽셀의 3차원 좌표값을 계산하는 과정을 거친다. 하지만 본 논문에서는 영상 전체가 아닌 검출된 표지판의 3차원 위치만 계산하면 되기 때문에 영상의 전체가 아닌 좌영상에서 검출된 표지판 영역만을 우영 상에서 정합하였다.

스테레오 카메라에서 획득한 좌, 우 영상 모두에서 표 지판을 검출하고 표지판 영역의 중심점 좌표를 이용하 여 3차원 위치를 계산할 수 있다. 그러나 이러한 방법은 좌, 우 두 영상에서 표지판 검출 과정을 모두 거쳐야 하 기 때문에 계산 비용이 높다. 따라서 본 논문에서는 좌영 상에서만 표지판을 검출하고 우영상의 에피폴라 라인 (epipolar line) 상에서 스테레오 정합을 실시하여 계산 비용을 줄였다. 좌, 우 영상에서 에피폴라 라인은 카메라 의 보정(calibration)을 통하여 수평선과 평행하게 조정 (rectification)하였다^[20].

스테레오 조정을 적용 후 좌영상과 우영상의 에피폴 라 라인이 수평선과 평행하기 때문에 Fig. 8과 같이 좌영 상에서 검출한 표지판 영역(빨간색 사각형)을 템플릿으 로 만들고 우영상에서 대응되는 표지판의 좌표를 에피 폴라 라인 위에서 검출하였다. 표지판의 2차원 좌표는 표지판 영역의 중심좌표로 구한다.

Fig. 8 

The red rectangle in the left image is the template of the detected sign. Letter l means the x-coordinate of the one corner of a sign template. And m in the right image means the search area for stereo matching

Fig. 8에서와 같이 좌영상에서 표지판을 검출 후 우 영상의 정합 후보영역(m)에서 템플릿 정합을 시행하였 다. 템플릿 정합의 비용 계산은 NCC (Normalized Cross Correlation)를 이용하였다. 정합 후보영역에서 NCC 값 이 최대가 되는 지점을 대응점(corresponding point)으로 결정한다. 우영상에서 대응점이 결정되면 대응점의 NCC 값, 대응점으로부터 왼쪽 5개 픽셀위치의 NCC값, 그리 고 대응점으로부터 오른쪽 5개 픽셀위치의 NCC값, 총 11개의 NCC값을 이용하여 서브픽셀 단위의 2차원 대응 점의 좌표를 계산한다. 계산은 최소자승법(least square minimization)을 이용해 총 11개의 NCC값에 대응되는 2차 곡선을 획득하고 2차 곡선의 변곡점에서 최적의 대 응점 좌표가 구해진다.

좌영상에서 검출된 표지판 영역 중심의 2차원 좌표와 우영상에서 대응되는 표지판 영역 중심의 2차원 좌표, 그리고 스테레오 카메라의 보정정보를 이용하여 표지판 의 3차원 좌표를 계산한다. 각 프레임에서 검출되는 표 지판의 3차원 위치는 Fig. 9에서와 같이 스테레오 카메 라의 좌측 영상센서의 좌표계를 기준으로 표현된다. 연 속되는 프레임에서 동일한 ID를 가진 표지판의 3차원 위치를 계산하고 저장하여 표지판의 3차원 추적경로를 획득하였다.

Fig. 9 

3D position of a traffic sign with respect to the left camera coordinate system

본 논문에서 사용한 스테레오 카메라는 초당 16프레 임 이상의 영상을 획득하였고 45 m 이내의 표지판을 검 출한다. 차량이 주행하는 동안 표지판이 최초 검출되면 추적과정이 실행되고 동일한 표지판이 영상에서 사라지 기 전까지의 연속된 프레임들을 하나의 장면(Scene)이 라 하자. 표지판은 하나의 장면에서 최소 약 5개에서 최 대 약 15개 프레임에서 추적되었다. 이렇게 하나의 장면 에서 추적되는 표지판의 개수는 적기 때문에 표지판의 3차원 추적경로 정보에 포함된 3차원 위치는 이산적인 형태를 갖는다.

이제 주행 차량과 표지판까지의 수평거리를 계산하기 위하여 3차원 추적경로를 2차원 도로평면에 투영하고자 한다. 그러나 실제적으로는 도로평면이 아닌 카메라의 XZ평면으로 투영하게 된다. 일반적으로 차량에 설치되 는 카메라는 도로평면에 대하여 X축으로 약간의 회전성 분이 있어 도로평면과 카메라의 좌표계의 XZ평면의 평 행하지 않을 수 있다. 그러나 이런 경우라도 우리가 구하 고자 하는 정보는 X축과의 교점이기 때문에 도로평면과 카메라의 XZ평면의 각도 오차는 거의 무시할 수 있다.

주행 차량과 표지판 사이의 수평 거리(X축 거리)를 계산하기 위해 Fig. 10과 같이 추적된 표지판의 3차원 좌표들을 도로 평면에 투영하여 2차원 곡선으로 모델링 하고 수평거리 거리 D를 계산하였다. 거리 D는 2차 곡선 의 X절편으로 구한다.

Fig. 10 

Intersection points of 2D curve of sign tracking path and the X-axis of the camera coordinate system

한편 XZ평면에서 2차 방정식으로 2차원 경로 곡선을 모델링하기 위해서는 최소 3개의 좌표점만 있으면 가능 하다. 그러나 하나의 2차원 곡선으로 X축의 절편을 구하 는 것은 표지판 3차원 위치의 오차에 영향을 받기 때문 에 여러 개의 2차원 곡선들의 절편값을 동시에 사용하는 것이 필요하다. 예를 들어 Fig. 10에서와 같이 최초 3개 의 2차원 좌표점을 획득하면 곡선을 모델링 후 절편 C₁ 을 구할 수 있다. 이 후 4개의 좌표점이 획득되면 C₂ 절편 을, (n+2)개의 좌표점을 획득하면 C_n 절편을 구하고 이들 의 가중치 합으로 D를 결정할 수 있다. 가중치는 곡선 모델링에 사용된 좌표점의 개수의 제곱을 사용하여 더 많은 수의 좌표점을 사용한 절편값에 가중치를 높게 주 었다. 가중합을 이용한 거리 D의 계산은 식 (8)과 같다.

최종적으로 수평거리 D가 구해지면 차로의 수 L, 차선 폭 W, 마지막 바깥 차선과 도로 연석 사이의 간격 α를 이용하여 주행 차로를 결정한다. 주행 차로는 차로의 왼 쪽에서 오른쪽으로 번호가 매겨지기 때문에 다음 식 (9) 를 이용하여 주행 차로를 결정한다.

식 (9)는 총 차로 수 L에 대하여 차로 폭을 곱하고 맨 바깥 차선과 연석 사이의 간격을 뺀 D로 나누게 되면 오른쪽에부터 시작하여 차선의 수가 나오게 된다. 이때 이 값을 총 차로 수에서 빼면 왼쪽에서 계수되는 최종적 인 차로 번호를 획득할 수 있다.

한편 일반 도로에서는 경고나 주의 교통 표지판의 위 치가 항상 도로 오른쪽 경계에 있지 않고 도로 중앙의 위쪽에 매달려 있거나 중앙분리대에 설치된 경우를 볼 수 있다. 표지판의 설치 위치는 카메라 좌표계를 기준으 로 X축 또는 Y축의 거리값으로 충분히 판단할 수 있다. 예를 들어 도로 중앙의 상공에 매달린 표지판의 경우 Y축 거리값이 매우 크고, 그리고 중앙분리대에 설치된 표지판의 경우 X축 거리값이 음수이기 때문에 모든 표 지판이 검출되더라도 도로 오른쪽 경계부분에 있지 않 는 표지판은 주행차로 계산에서 모두 제외하였다.