최근 그래픽 처리 장치의 발달로 인해 연산 능력이 크게 향 상되어, 많은 연산량으로 인해 실시간성의 한계에 부딪혀 암 흑기를 맞았던 인공지능 분야가 재조명 받고 있다. 특히 인공 지능의 핵심기술 중 하나인 딥러닝에 대한 연구가 활발하게 이루어지고 있으며, 그 중에서도 비전센서를 이용한 영상 데 이터 기반의 딥러닝 기술이 화제가 되고있다. 영상 데이터 기 반의 딥러닝 기술은 제조 공정의 불량검사, 물체 인식 및 분류 그리고 보안을 위한 홍채 및 지문 인식 등과 같이 다양한 분야 에 적용되고있다.

딥러닝 기술을 사용하기 위해서는 목적에 맞는 딥러닝 모 델을 설계하고, 설계한 모델을 학습하는 단계를 거쳐야한다. 연구되어진 딥러닝 모델 중 CNN (Convolutional Neural Network), R-CNN (Region based Convolutional Neural Network), Fast R-CNN, Faster R-CNN, YOLO (You Only Look Once) 등은 영 상 데이터 기반의 물체 인식 및 분류에 특화된 딥러닝 모델이 다. CNN 모델은 입력된 영상이 학습된 카테고리 중 어떤 것과 가장 유사한지 계산하여 분류하는 모델로서, 대표적으로 AlexNet, GoogLeNet, VGGNet 등의 유명한 모델들이 사용되 어지고 있다^[1]. R-CNN, Fast R-CNN, Faster R-CNN, YOLO는 물체의 존재 예상 범위를 추출한 후, 그 범위에 존재하는 물체 를 분류한다^[2-5]. 영상에 포함된 다중 물체를 분류하고 위치를 파악하기 위해서는 후자의 딥러닝 모델이 주로 사용된다. 딥 러닝 모델의 성능을 향상시키려면 학습 데이터가 목적과 관련 된 정보를 충분히 나타낼 수 있어야 하는데, 예를 들어 축구공 을 학습하기 위해서는 축구공의 다양한 모양, 색깔, 문양 등과 같이 축구공의 특징에 대한 정보를 나타낼 수 있는 학습 데이 터가 필요하다. 그리고 딥러닝에 관련된 많은 연구 결과들에 의하면, 학습에 사용되는 데이터의 수가 모델의 성능에 큰 영 향을 미친다^[6].

최근 공장의 조립 공정 및 검사 공정 등에서 사용되었던 머 신비전 기술이 딥러닝 기술로 대체되고 있는데, 이는 규칙 기 반의 머신비전 기술이 해결할 수 없었던 복잡한 문제들을 딥 러닝 기술을 이용하여 해결할 수 있기 때문이다^[7]. 하지만 딥 러닝 기술을 도입하기 위해서는 딥러닝 모델을 학습하기 위한 많은 데이터가 요구된다는 점에서 문제가 발생한다. 공장에서 사용되는 물체는 축구공, 야구공, 풍선 등과 같이 인터넷에서 쉽게 찾을 수 있거나, 데이터 베이스가 구축된 물체가 아니기 때문에 데이터를 얻기 어렵다. 또한 공장에서 사용되는 일부 물체에 대한 데이터는 보안상 공장 관계자 외엔 접할 수도 없 고 수집할 수도 없기 때문에, 데이터 구축을 위해 많은 시간과 노력을 투자해야 한다는 한계성이 있다.

따라서 본 논문은 데이터 수집에 한계가 있는 물체를 대상 으로 물체 인식 및 분류 그리고 물체 영역 파악을 위한 YOLOv2 모델 학습에 있어서, 최소한의 데이터를 기반으로 투시 변환 및 영상 합성을 이용하여 데이터를 확장하는 기법에 대하여 연구하였다. 본 논문은 2장에서 제안하는 방법에 대하여 설명 하며, 3장에서는 제안하는 방법의 성능 검증을 위한 실험 및 결과, 그리고 4장에서는 결론 및 향후 연구에 관하여 얘기하고 자 한다.

본 장에서는 제안하는 방법을 이용하여 소규모 데이터를 기반으로 데이터를 확장시키는 방법에 대하여 설명한다. 제안 하는 방법은 크게 데이터 수집, 데이터 전처리, 데이터 변환 및 확장 세단계로 구성되어 있으며, 흐름도는 [Fig. 1]과 같다.

[Fig. 1] 

Flowchart of the proposed method

첫 번째 단계인 데이터 수집 단계에서는 데이터 확장을 위 한 최소한의 물체 영상을 수집하고, 배경 합성에 쓰일 배경 영 상을 수집한다. 물체 인식 대상에 사용될 물체는 데이터 수집 에 한계가 있는 5가지 물체를 선정하였으며 [Fig. 2]와 같다. 물 체 영상은 비전 센서인 Intel 사의 RealSense D435를 이용하여 위에서 아래로 내려다보는 방향으로 정해진 규칙에 따라 촬영 하여 수집하였으며, 그 과정은 [Fig. 3]과 같다. 먼저, 물체와 색 상이 겹치지 않는 단색 판넬을 작업대 위에 설치하고, 카메라 프레임의 최대 정방영역을 9등분한 후, 각 등분된 정방영역 위 에서 같은 자세로 물체 영상을 수집했다. 또한, 물체가 놓일 수 있는 모든 자세에 대하여 같은 작업을 반복 수행하였으며, 이러한 규칙에 따라 수집한 물체 당 데이터 수는 [Table 1]과 같다. 그리고 이후의 전처리인 물체 영역 추출 수행을 위해 단 색 판넬 영상을 수집한다. 다음으로, 배경 합성으로 사용될 배 경 영상은 물체 인식에 사용할 물체가 포함되어 있지 않은 영상 으로 확장할 데이터 수만큼 수집한다. 본 논문은 ILSVRC-2012 Dataset을 사용하였으며, 총 15개의 카테고리에서 각각 1,300 장의 영상을 수집하여 총 19,500장의 배경 영상을 수집하였다.

[Fig. 2] 

Selected object for object recognition

[Fig. 3] 

The process of collecting object images

두 번째 단계인 데이터 전처리 단계에서는 [Fig. 4]와 같은 과정을 거쳐, 물체 영상에서 물체에 해당하는 ROI (Region of Interest)의 RGB 영상과 이진 영상을 추출한 후 불필요한 영역 을 잘라내고 하나의 파일에 저장하는 단계이다. 먼저, 물체 영 상과 단색 판넬 영상에서 프레임의 최대 정방영역을 잘라낸 후, 각각의 영상을 CIE L*a*b* 색공간으로 변환시킨다. 변환 된 두 영상의 a*, b*에 해당하는 채널에 대한 차를 구한 후 절대 값을 취하게 되면, 차영상은 물체가 존재하는 영역에 대한 픽 셀값이 크게 나타난다. 이러한 차영상의 특성을 시각화 하기 위해 a*, b* 채널에 대한 차영상을 0-255 범위의 값으로 정규화 한다. 그 다음 정규화 된 차영상의 물체 영역에 대한 픽셀 특성 을 분석한 후, 적절한 문턱값을 설정하여 이진화를 수행하고 두 이진 영상을 합하면 물체의 ROI에 해당되는 이진 영상을 얻을 수 있다. 마지막으로 물체 영상에서 물체의 ROI에 해당 하는 RGB 영상값을 추출한 후 물체의 ROI를 포함하는 최소 사각 영역을 잘라내는 과정을 거친다. 이렇게 추출한 물체의 RGB 영상과 이진 영상을 한 파일에 저장하기 위해 RGB 채널과 투명도를 결정하는 Alpha 채널을 지원하는 PNG 파일 형식의 특 성을 이용하여, 물체의 이진 영상을 Alpha 채널에 저장한다.

[Fig. 4] 

The process of extracting the ROI of the object from the object image and saving the ROI of the object

세 번째 단계인 데이터 변환 및 확장 단계에서는 투시 변환 과 영상 합성을 이용하여 데이터를 확장시키는 단계이다. 일 반적으로 데이터를 확장하기 위해 영상을 기하학적 구조를 변 환시키는 대칭 변환, 회전 변환, 이동 변환, 전단 변환 등을 포 함하는 아핀 변환을 사용한다. 본 논문은 데이터의 다양성을 위해 6-자유도를 가지는 아핀 변환에서 물체의 투영 정도를 결 정하는 두 개의 파라미터가 추가한 8-자유도를 가지는 투시 변 환을 사용하여 데이터를 확장하였다. 투시 변환식을 동차 좌 표계를 이용하여 나타내면 다음과 같다.

식 (1)에서 ω는 동차 좌표계 표현에 있어서의 Scale Factor 를 의미하고, x', y'은 변환 후 좌표이며, x, y는 변환 전 좌표이 다. 변환 전 좌표 행렬 앞에 곱해져 있는 행렬을 Homography 행렬이라고 부르며, 이동 변환, 회전 변환, 대칭 변환, 투영 변 환 등의 변환식을 적절하게 조합하여 구성할 수 있다^[8]. 본 논 문은 물체의 특성을 최대한 유지하기 위해 대칭 변환, 회전 변 환, 투영 변환의 3가지 변환을 이용하여 Homography 행렬을 구성하였다. 대칭 변환에 있어서는 대칭 없음, x축 대칭, y축 대칭 3가지 옵션에 대해 각각 1/3 확률로 선정하여 변환식을 구성하였으며, 회전 변환은 0°-360° 범위에 대하여 Uniform Distribution에 따라 각도를 선정한 후 회전 변환식을 구성하였 다. 그리고 투영 변환에 대해서는 물체의 형태를 알아볼 수 있 는 정도의 한계값을 실험을 통해 도출하였으며, 0-0.003 범위 의 값에 대해 Uniform Distribution에 따라 값을 선정한 후 투영 변환식을 구성하였다. 최종 Homography 행렬은 세 개의 변환 식을 곱하여 구성하였으며, 최종 변환식을 이용하여 각 물체 당 6,000장의 영상으로 확장하였다. 이러한 투시 변환을 이용 하여 데이터를 확장하면 [Fig. 5]와 같은 결과가 도출된다.

[Fig. 5] 

The result of performing perspective transform on the preprocessed images

마지막으로 [Fig. 6]에서 나타내는 바와 같이 투시 변환을 이용해 확장한 물체 영상과 미리 수집한 배경 영상을 합성하 는 동시에 합성한 물체의 영역을 나타내는 Bounding Box 정보 를 저장하는 과정을 수행한다. 배경 합성을 하는 이유는 데이 터의 복잡성을 증가시킴으로써 딥러닝 모델이 물체와 배경을 분리해내는 능력을 강화하기 위함이다^[9]. 먼저, 한 배경 영상 에 몇 개의 물체 영상을 합성할지 결정한다. 본 논문에서는 80% 확률로 한 개의 물체, 15% 확률로 두 개의 물체, 5% 확률 로 세 개의 물체를 선정하였으며, 물체 선정은 각 카테고리당 20% 확률로 비복원 추출하였다. 그 다음 배경 영상과 물체 영 상을 합성하기 위해 물체 영상의 크기를 변환한다. 본 논문에 서는 물체 영상을 배경 영상의 15%-40% 비율을 가지도록 Uniform Distribution에 따라 비율을 선정한 후 크기 변환을 수 행하였다. 그 다음 배경 영상에 합성할 수 있는 영역에 대해 Discrete Uniform Distribution을 적용하여 선정한 후, 물체 영 상의 Alpha 채널에 저장되어 있는 이진 영상에 해당하는 물체 RGB 영상을 배경 영상에 합성한다.

[Fig. 6] 

Result of displaying bounding box after combining object image and background image

기존의 방법들은 데이터를 확장한 후 확장한 데이터에 대 해서 물체가 존재하는 영역에 대한 Bounding Box 정보를 일일 이 다 찾아서 저장해야 하는 번거로움이 있어 많은 시간과 노 력을 요구한다. 그러나, 제안하는 방법은 물체의 ROI에 대한 정보와 합성 위치에 대한 정보를 알고 있기 때문에, 영상 데이 터 확장과 동시에 영상 내의 물체의 Bounding Box 정보를 같이 저장할 수 있어, 많은 시간을 절약할 수 있다는 장점이 있다. 이 에 본 논문은 이러한 이점을 이용하여 미리 수집한 배경 영상 을 비복원 추출하여 합성하는 방법을 활용하여 최종적으로 126장의 학습데이터를 19,500장의 학습 데이터로 확장하였다.

물체 영상 데이터 수의 평형성을 위해 각 물체 영상의 사용 된 수를 체크한 결과는 [Table 2]에서 나타냈으며, 5개의 물체 영상의 사용 빈도가 비슷함을 확인할 수 있었다.

제안하는 방법의 검증을 위해 기존의 모델을 전이학습한 후 학습에 사용되지 않은 테스트 데이터에 대한 분류 정확도 를 비교하는 실험을 진행하였다.

제안하는 방법을 이용하여 확장한 데이터가 딥러닝 모델 성능 향상에 효과적임을 검증하기 위해 [Table 1]에 나와 있는 원본 물체 영상 데이터를 기반으로 기존의 방법인 아핀 변환 을 사용하여 확장한 학습 데이터를 비교용 학습 데이터로 사 용하였으며, 물체 영역에 대한 정보는 수동적으로 Bounding Box을 마크하여 YOLOv2 모델 학습을 위한 데이터 타입으 로 제작하였다. 학습 모델은 분류 모델을 Inception-v3 모델로 구성한 YOLOv2 모델을 이용하였고, 마지막 분류층의 Fully Connected Layer를 5개의 노드를 가지는 Fully Connected Layer 로 대체하였다^[10]. 이 모델을 비교용 학습 데이터와 제안하는 방법으로 확장한 데이터를 각각 전이학습 하였으며, 학습 옵 션은 [Table 3]에 나타낸 바와 같다. 비교 실험의 형평성을 위 해서는 두 학습 데이터군의 데이터 수를 맞춰야 하지만, 앞에 서 언급했듯이 기존의 방법을 이용한 데이터 확장기법은 확장 한 모든 학습 데이터에 대해 Bounding Box를 마크해야 되므로 19,500장의 학습 데이터로 확장하는 데에 한계가 있다. 이에 본 논문은 원본 데이터를 학습할 시 MATLAB의 데이터 확장 함수를 이용하여 매 반복마다 학습 데이터에 대하여 아핀 변 환을 수행하는 방법을 이용하여 학습하였다.

학습된 두 모델의 성능 비교를 위해 [Fig. 7]과 같이 학습에 사용되지 않은 테스트 데이터를 구성하여 물체 인식 정확도를 도출하는 실험을 수행하였고, 두 모델의 과적합 여부 판별을 위해 학습 데이터에 대한 물체 인식 정확도 도출 실험 또한 수 행하였다. 실험 결과는 [Table 4]와 같다. 먼저, 학습에 사용되 지 않은 테스트 데이터에 대해서는 제안하는 방법으로 데이터 를 확장하여 학습한 모델의 성능이 86.8%로, 기존의 방법으로 데이터를 확장하여 학습한 모델의 성능인 9.2%보다 더 높은 분류 정확도를 보였다. 다음으로, 과적합 여부 판단을 위해 학 습 데이터로 실험한 결과는 기존의 방법으로 확장한 데이터로 학습한 모델은 테스트 데이터에 대해서는 9.2%의 낮은 정확 도를 보였음에 반해, 학습 데이터에 대해서는 85.7%의 높은 정확도를 보였다. 이는 기존의 방법을 이용하여 확장한 데이 터로 학습한 모델이 학습 데이터에 과적합 되었다고 볼 수 있다. 그에 반해 제안하는 방법은 테스트 데이터에 대한 성능과 학 습 데이터에 대한 성능이 크게 차이가 없다는 것을 확인할 수 있다. 따라서 제안하는 방법을 이용하여 최소한의 소규모 데 이터를 기반으로 확장한 데이터가 기존의 방법에 비해서 YOLOv2 모델 학습에 유효하다는 것과, 과적합을 피하기에 충분한 데이터 다양성을 가지고 있다는 것을 검증하였다.

[Fig. 7] 

Test data for verifying the proposed method

실험 결과, 제안하는 방법을 이용하여 데이터를 확장시킨 후 YOLOv2 모델을 학습시켰을 때, 기존의 방법을 이용하여 데이터를 확장시킨 후 학습시킨 모델보다 테스트 영상의 분류 정확도가 높았으며, 과적합 문제 및 데이터 다양성 문제 또한 해결할 수 있었다.

향후 연구로 제안하는 방법의 전처리 과정 중, Alpha 채널 이 물체에 해당하는 픽셀 정보를 가지고 있다는 점을 이용하 여 Mask-CNN 모델을 대상으로 하는 학습 데이터를 확장시키 는 기법에 대하여 연구하고자 한다.