운전자가 응시하는 위치에 따라서 머리가 이동할 수 있기 때문에 운전자의 머리 운동 정보를 사용할 때 항상 응시 영역 의 설정이 필요하다^[11,12]. 일반적으로 운전자의 응시 영역은 운전자의 정면과 백미러와 두 개의 양쪽 사이드 미러를 포함 한다. 운전자는 주행 중에 발생하는 위험을 감소시키기 위하 여 가능한 정면 응시를 하려고 한다. 따라서 정면 응시로부터 되도록 작은 각도 범위 안에서 머리를 이동하면서 도로의 상 황을 파악하고자 한다. 그러나 정면 응시로부터 큰 각도 범위 로 머리를 이동하는 경우에 도로의 상황을 신속히 파악하기 힘들다. 따라서 제안한 시스템은 운전자가 실제의 주행 과정 에서 발생할 수 있는 운전자의 머리의 움직임을 고려하여 [Fig. 2]와 같은 응시 영역을 설정한다.

Fig. 2 

The gaze angle used in the proposed system

응시 영역은 8개의 영역인 0° ‒ 20° (①), -20° ‒ 0° (②), 20°‒ 40° (③), -40°‒ -20° (④), 40°‒ 60° (⑤), -60°‒ -40° (⑥), 60°‒ 90° (⑦), -90°‒ -60° (⑧) 로 설정한다. 운전자의 머리의 움직임이 -90° 와 90° 보다 더 큰 각도를 나타낸 경우에도 -90° 또는 90° 로 설정하였다. 0° 는 직진으로 운전하는 경우로 운전자의 정 면 응시를 의미한다. -20° ‒ 20° 일 경우는 운전자가 직진 과정 에서 정면 응시로부터 양쪽 사이드미러를 응시하는 경우를 나 타난다. 우회전이나 좌회전, 전방의 차선 상태를 확인할 때는 20°‒ 40°와 -40°‒ -20°의 응시하는 경우이다. 40°‒ 60°와 -60°‒ -40°는 차선 변경과 유턴할 때 항상 나타난다. 60°‒ 90°와 -90°‒ -60°는 후진하여 주차를 하고자 하는 경우와 교차로의 합류 지 점에서 진입하고자하는 도로에 합류하는 경우에 나타난다.

제안한 시스템은 운전자의 운전 상태의 이미지들을 수집하 기 위하여 [Fig. 3]과 같은 가상실험 장치 플랫폼을 사용한다. [Fig. 3]은 Basler회사의 Gige Vision C-Mount v01 카메라를 이 용하여 제안한 시나리오에 따라 운전자가 운전하는 모습을 촬 영한다. [Fig. 3 (a)]와 같이 운전자의 앉은 상태의 상체를 촬영 하기 위하여 운전자의 앞쪽에 카메라를 설치한다. [Fig. 3 (b)] 와 같은 촬영장비 거치대를 설치하여 운전자의 신장에 맞추어 조절이 가능하다. 카메라 거치대가 높이뿐만 아니라 운전자와 플랫폼과의 거리와 각도를 자유롭게 조절할 수 있기 때문에 최대한 운전자의 운전 상황에 맞는 데이터베이스를 구축하는 것이 가능하였다. 가상실험 장치 플랫폼에서 [Table 1]과 같은 시나리오들을 사용하여 -90° ‒ 90° 각도 범위의 운전자의 머리 운동에 관한 이미지들을 수집한다.

Fig. 3 

The virtual driving experimental device platform used in the proposed system

[Table 1]에서는 총 4개 시나리오를 제안하고 각각의 시나 리오 구성은 다음과 같다. 1번 시나리오는 (1)→(2)→(1)→(2) →(1)로 구성되어 있고 (1)과 (2)는 각각 직진과 우회전을 표시 한다. 1번 시나리오를 통해서 ①, ③, ⑤와 관련된 응시 영역의 운전자의 머리 운동 이미지들을 수집할 수 있다. 2번 시나리오 는 (1)→(3)→(1)→(3)→(1)로 표시하고 (3)은 좌회전을 나타낸 다. 2번 시나리오를 사용하여 ②, ④, ⑥과 관련된 응시 영역의 이미지들을 수집한다.

3번 시나리오는 (1)→(4)→(5)→(6)→(1)로 교차로에서 도로 에 합류하기 위하여 진입하는 경우를 나타낸다. 교차로에서 합류하고자 하는 도로에 차량들이 존재하면 운전자가 일단 정 지하고 합류하고자 하는 도로의 차량들의 흐름을 확인하여 합 류할 타이밍을 찾는다. 처음에는 (4)약한 좌측 응시(-40°‒ 0°) 범위로 좌측으로 응시하고 다음으로 (5)중간 좌측 응시(-60°‒ 0°)범위에서 좌측으로 응시를 한다. 마지막으로 (6)강한 좌측 응시(-90°‒ 0°)범위로 정면 응시로부터 큰 각도의 범위로 좌측 으로 응시를 하다가 직진하여 합류 도로로 진입하는 과정을 의미한다. 3번 시나리오를 사용하여 ②, ④, ⑥, ⑧의 응시 영역 과 관련된 이미지를 수집한다.

마지막으로 4번 시나리오는 후진하여 주차하는 경우로 (1) →(7)→(8)→(9)로 설정하였다. (7)은 후진을 의미하고 (8)은 정 면 응시를 나타내고 (9)는 정면 응시로부터 후면 응시를 하는 경우이다. 운전자가 주차를 하기 위하여 후진을 하면서 차량 의 뒤쪽도 확인하는 과정을 거쳐서 주차를 한다. 정면 응시로 부터 오른쪽으로 차량의 후면(0°‒ 90°)을 확인하는 행동을 거 쳐 운전자가 ①, ③, ⑤, ⑦ 의 영역을 응시하며 관련된 이미지 들을 수집한다.

제안한 시스템은 운전자의 머리 움직임에 따라서 운전자의 안전과 위험의 상태를 인지하기 위하여 수집된 -90° ‒ 90° 각도 범위의 이미지들을 안전과 위험으로 태깅(Tagging)한다. -60° ‒ 60° 범위에서 운전자가 백미러와 두 개 사이드 미러를 사용 하여 차량 주위의 도로 상황을 파악할 수 있기 때문에 ①, ②, ③, ④, ⑤, ⑥의 응시 영역에 있는 이미지들은 안전으로 표시 한다. 만약에 운전하는 과정에서 60°‒ 90°의 범위에 운전자의 응시 영역이 존재하면 눈으로 볼 수 없는 사각 지대인 -90°‒ -40° 범위의 도로 상황에 대하여 신속히 파악할 수 없다. 마찬 가지로 -90°‒ -60° 범위에서도 사각 지대인 40°‒ 90° 범위의 도 로 상황에 대하여 신속하게 파악할 수 없기 때문에 ⑦, ⑧의 응 시 영역에 있는 이미지들은 위험으로 표시한다. 다음으로 안 전과 위험으로 분류한 운전자의 상체 이미지들로 구성된 데이 터베이스를 사용하여 CNN 신경망에 대하여 학습(Train)한다.

일반적으로 CNN 신경망의 구조는 컨볼루션 레이어 (Convolutional layer)와 풀링 레이어(Pooling layer)와 완전하 게 연결된 레이어(Fully connection layer) 등으로 구성한다. 각 각의 레이어의 수량의 조합 방식에 따라서 다양한 CNN 구조 를 만들 수 있다. CNN 신경망의 구조 중에서 AlexNet은 5개의 컨볼루션 레이어와 3개의 풀링 레이어와 3개의 완전하게 연결 된 레이어로 구성되어 있으며 이미지 인지에 대하여 일반적으 로 널리 사용되고 있는 CNN 신경망이다^[10]. 기본적인 AlexNet 이 사용하는 데이터베이스는 ImageNet이며 ImageNet은 22,000개의 다른 유형의 이미지들로 구성되어 있다. 제안한 시 스템은 운전자 가상 실험 플랫폼에 설치된 카메라로부터 수집 된 운전자의 앉아있는 상체 이미지로 구성된 데이터베이스를 사용한다. 따라서 논문에서 제안한 시스템에 적합한 AlexNet 의 구조를 찾기 위하여 기본적인 AlexNet을 변화시켜서 [Fig. 4]와 같이 3개의 레이어로 구성된 AlexNet과 6개의 레이어로 구성된 AlexNet의 구조로 설정한다.

Fig. 4 

Proposed AlexNet models

[Fig. 4 (a)]는 3개의 레이어 AlexNet의 구조를 나타내고 1개 의 컨볼루션 레이어와 1개의 풀링 레이어와 1개의 완전하게 연결된 레이어로 구성한다. 컨볼루션 레이어에서 사용한 커널 (Kernel)의 크기는 11×11이고 보폭(Stride)은 4이다. 풀링 레이 어의 커널의 크기는 3×3으로 설정하고 보폭은 2로 설정한다. 컨볼루션 레이어, ReLU (Rectified Linear Unit), LRN (Local Response Normalization), 풀링 레이어의 순서로 연결한다.

[Fig. 4 (b)]는 2개의 컨볼루션 레이어와 2개의 풀링 레이어 와 2개의 완전하게 연결된 레이어로 구성된 6개의 레이어 AlexNet 구조를 나타낸다. 첫 번째의 컨볼루션 레이어와 풀링 레이어의 파라미터의 설정은 3개의 레이어 AlexNet 구조와 같 다. 두 번째 컨볼루션 레이어의 파라미터 커널의 크기와 보폭 은 각각 5×5와 4이다. 기본적인 AlexNet 구조에서는 첫 번째의 완전하게 연결된 레이어의 입력데이터의 크기가 6×6이다. 따 라서 6개의 레이어 AlexNet 구조의 두 번째의 풀링 레이어와 완전하게 연결된 레이어를 연결하고 두 번째 풀링 레이어의 파라미터 커널과 보폭을 설정하기 위하여 식 (1)을 사용한다 .

여기에서 F는 출력 데이터의 크기를 나타내고 F_b는 이전 레이어에서 획득된 데이터의 크기를 나타낸다. k와 s는 각각 커널과 보폭의 값을 나타낸다. 6개의 레이어 AlexNet 구조에 서 식 (1)을 적용하여 두 번째의 컨볼루션 레이어의 출력 데이 터의 크기를 계산하고 그 결과 27×27 (F = 27) 크기의 이미지 를 얻을 수 있다. 다음으로 풀링 레이어에서 6×6 (F = 6) 크기 의 출력 데이터를 얻기 위하여 F와 F_b 의 값을 각각 6과 27로 설정한다. 그 결과 파라미터 커널과 보폭의 값들은 ^[7,2], ^[12,3], ^[7,4]로 계산될 수 있다. [Table 2]에서 나타난 바와 같이 6 개의 레이어 AlexNet 구조를 6_1, 6_2, 6_3과 같이 파라미터 값 들을 설정하였다.