폐색 이미지 분류를 위한 강건한 가중치 전환 학습

1. 서 론

이미지 분류 문제에 있어서 폐색(Occlusion)은 오래된 문제이면서도 아직까지 풀어야 할 숙제로 남아있다. 대부분의 데이터 세트와 달리, 현실 세계의 이미지 분류는 다양한 폐색에 직면할 수 있다. 일부 데이터 세트에서 높은 분류성능을 보이더라도 모델이 집중하는 특징이 가려지면 기존 이미지 분류성능을 보장할 수 없다.

실생활에서의 폐색의 형태는 매우 다양하여 사전에 모든 가능성을 고려하는 것은 사실상 불가능하다. 만일 이전에 학습한 폐색 이미지와 다른 형태가 나타날 경우, 기존에 학습되었던 모델은 심각한 분류성능 저하를 보일 수 있다. 따라서, 기존에 학습하지 못했던 폐색을 지속적으로 학습하여 이후에 나타나는 예상하지 못한 폐색에 대응해 나가는 학습 방법이 필요하다.

분류하고자 하는 대상의 일부라도 가려질 경우 분류성능 저하를 보이는 것은 사람과 달리 모델이 대상의 전체적인 특징에 의존하여 학습하기 때문이라고 볼 수 있다. 이를 극복하기 위하여 다양한 폐색의 형태를 미리 학습하는 방법이 있지만, 현실에서의 폐색 형태는 매우 다양하여 이를 모두 증강(Augmentation)하여 사용하기 어려울 뿐 아니라 효율적이지도 않다. 모델 관점에서는 폐색을 생성하여 폐색되지 않은 이미지와 함께 학습할 경우, 그에 따른 학습 시간 증가를 피할 수 없다^[1]. 이에 따라 모델 구조는 폐색된 이미지를 학습하기 위해 복잡해지고 구조 변경으로 인한 비효율성이 나타날 수 있다.

이러한 문제를 해결하기 위하여 본 연구에서는 Conversion Learning을 제안한다. Conversion Learning은 기존 모델 구조를 동일하게 유지하면서도 모델 파라미터 수의 증가 없이 파라미터를 전환하여 보다 강건한 학습을 진행할 수 있는 방법이다. 이와 관련하여 모델을 최대한 복잡하지 않게 만드는데 초점을 맞췄다. 왜냐하면 모델이 복잡하고 정교해질 수록 폐색 등 환경적인 변화에 더 적응이 어렵기 때문이다.

Conversion Learning 방법은 세 가지 주요 단계로 구성된다.

• ⦁동일한 데이터 세트에서 서로 다른 환경의 이미지들을 학습한 모델들을 준비
• ⦁학습된 가중치를 전환하는 경우를 탐색하여 원하는 모델로 가중치 전환
• ⦁가중치가 전환된 모델의 평가 및 환경적 변화를 고려한 최적의 모델 선택

2. 관련 연구

3. 제안 방법

모델 구조나 파라미터 변경없이 폐색에 강건해지기 위해서 폐색된 이미지를 학습한 모델의 파라미터를 원하는 모델로 전환한다. 이는 효율적으로 폐색된 이미지를 학습한 파라미터를 다른 모델로 전환할 수 있으며, 이를 통해 다양한 폐색에 의한 성능저하를 줄일 수 있다.

[Fig. 1]은 전체적인 학습방법의 개념도이다. 파라미터 전환은 크게 3단계로 이루어진다. 원하는 모델과 폐색된 이미지를 학습한 모델이 각각 요구되는 1단계, 학습한 모델의 파라미터 중 일부를 전환하는 2단계, 전환 후 평가에 의해 전환하게 될 파라미터를 선택하는 3단계이다.

[Fig. 1]

Conceptual diagram of the proposed Conversion Learning method

한편, 전이학습(Transfer Learning)의 경우 이전에 학습하였던 파라미터를 고정하고 모델의 일부 파라미터를 원하는 데이터 셋에 맞게 재학습하는 반면, 제안 방법은 같은 데이터 셋에서 폐색 등 환경적 변화에 적응하기 위해 이미 학습된 모델들의 파라미터를 원하는 모델에 주입하기 때문에 그 활용이 다르다.

제안하는 방법을 통해 얻게 되는 장점은 원하는 모델의 분류성능 저하 없이 추가적인 폐색상황에 대응할 수 있는 파라미터를 타 모델들로부터 원하는 모델이 공급받을 수 있다는 점이다. 이는 파라미터를 주입할 때 분류 성능 평가에 의하여 평가 결과가 분류성능의 유지 또는 향상인 경우에만 파라미터를 전환할 수 있으므로 환경변화를 학습한 모델이 있다면 기존 모델을 재학습없이 개선할 수 있는 효과적인 방법이 된다.

[Fig. 2]에서 제안하는 방법의 알고리즘 예에서는 y (label)이 생략되었다. 데이터 셋 $$ D\subset \left\{X_{tr}^r,X_{ts}^r\right\}$$와 D에 occlusion을 적용 $$ \left\{X_{tr}^o,X_{ts}^o\right\}$$하여, 이를 학습한 모델 M_m, 그리고 $$ X_{tr}^r$$를 학습한 모델 M_r의 학습된 파라미터는 각각 W_m, W_r이다. 이 모델들은 구조가 같으며 layer의 수 N도 같다. Test accuracy가 ACC일 때, M_r을 $$ X_{ts}^r$$와 $$ X_{ts}^o$$로 각각 평가한 분류 성능은 $$ {ACC}_r^r,{ACC}_r^o$$이다.

[Fig. 2]

Algorithm of the proposed Conversion Learning

C(N, i)는 set 내의 object 수 N, 몇 개의 object를 선택 i 하는지에 대한 조합(combination)의 경우의 수이다. For loop에서 M_r의 학습된 파라미터 W_ri에 W_mi을 전환(Conversion) 후 $$ X_{ts}^r$$와 $$ X_{ts}^o$$로 각각 평가한 분류 성능 $$ {ACC}_t^r,{ACC}_t^o$$을 평균한 ACC_t는 평가의 기준이 된다. 이중 가장 분류 성능이 높은 값의 인덱스 i에 해당하는 파라미터 W_mi을 M_r에 전환한 모델 M_c의 학습 방법에 관한 알고리즘이다.

본 연구의 실험에서는 제안하는 알고리즘에 의해 파라미터 수를 유지한 모델의 성능향상이 가능한지 확인해 본다.

4. 실험 및 결과

4.1 The Datasets and settings

실험에서 사용한 두 가지 데이터 셋 MNIST^[11]와 CIFAR10^[12]은 분류 문제에서 사용되는 벤치마크 데이터 셋으로 널리 알려져 있다. [Fig. 3]에서는 3가지 폐색 형태(Cross Line (CL), Upper Bar (UB), Middle Box (MB))를 가정하고 제안하는 학습 방법을 실험하였다.

[Fig. 3]

The original images and three occlusion type images

MNIST^[11] 데이터셋에서 사용하는 CNN 모델은 Tensorflow Sequential 모델을 사용하였다. 구체적으로 Conv 2D, MaxPooling 2D, Conv 2D, Flatten, Dense, and SoftMax로 구성된 모델이다. Optimizer는 Adam^[13]을 사용하였다.

CIFAR10^[12] 데이터셋에서 사용하는 CNN 모델은 Conv 2D, ReLU (Rectified Linear Unit), Conv 2D, ReLU, MaxPooling 2D, Dropout, Conv 2D, ReLU, Conv 2D, ReLU, MaxPooling 2D, Dropout, Flatten, Dense, ReLU, Dropout, and SoftMax로 구성되었다. Optimizer는 RMSProp^[14] (gradient descent algorithm with momentum)을 사용하였다.

Baseline CNN 모델과 제안하는 모델을 비교하기 위해 사용한 평가 방법은 다음과 같다. Train set은 원래의 이미지들로 동일하고, Test set은 원래의 이미지들과 폐색된 이미지들 각각 두가지로 구성하여 두 Test set의 분류 정확도 평균(ACC_t, Average accuracy [%])으로 정의하였다. 이를 제안 모델과 Baseline 모델의 평균 분류 정확도 차이(DAA, Difference Average Accuracy of M_c, M_r)를 통해 분류 정확도 향상 정도를 평가한다.

4.2 Having the prior knowledge of occlusion in MNIST

4.2.1 Convolution weight layer

먼저 제안 방법이 효과가 있는 지 확인하기 위해, 폐색된 형태를 알고 있지만 폐색 이미지들을 학습하지 못한 경우를 가정한 실험을 진행하였다. 즉, 직접적으로 학습 데이터 셋에 폐색 이미지를 포함시킨 것이 아닌, 제안하는 가중치 Conversion Learning을 통해 폐색이 학습되지 않은 모델에서의 성능 변화를 평가하였다.

[Fig. 4]은 폐색 형태가 한 가지와 두 가지일 때 Conversion Learning 적용 시 분류성능 향상정도를 확인한 것이다. 폐색 형태가 두 가지인 경우([Fig. 4] right)는 각각의 폐색 형태에 대해 학습한 서로 다른 두 개의 타모델들로부터(ex, M_mk=1, M_mk=2) 순차적으로 원하는 모델(M_r)로 파라미터(W_mki*)을 주입하여 실험하였다. 예를 들어, 전환되는 2개의 weight layers인 경우 각 하나의 폐색형태를 할당하여 탐색한 후 절반(h) 씩 전환하였다(ex, W_mk=1i^*, W_mk=2i^*, M_r[W_r[1:h] = W_mk=1i^*], M_r[W_r[h:end] = W_{mk = 2i^*}]).

[Fig. 4]

Comparison between the conversion and baseline models in the type (left: an occlusion, right: two occlusions) of occlusions

한편, 폐색 형태가 한 가지인 경우 test set은 raw 이미지와 한 가지 폐색 형태로 구성되어 두 분류 성능을 평균하는데, 폐색 형태가 두 가지인 경우에는 test set의 이미지 수를 각각의 폐색 형태 0.5 비율로 생성하여 그 합이 1이 되도록 하여 평가하였다. 폐색 상황이 심해질수록 분류성능이 눈에 띄게 저하된다.

한 가지 폐색 형태에서는([Fig. 4] left) 가장 많이 폐색된 MB 폐색에서 가장적은 분류 향상을 보였지만, 나머지 두 상황에서는 상당한 개선을 보였다. 두 가지 폐색일 때는([Fig. 4] right) 다소 향상 정도가 줄어들었지만 여전히 성능 개선을 보였다.

[Fig. 4]의 left, right 각각 방법에 대한 평균 분류성능 향상 정도(DAA)는 7.91, 3.04 [%p]이다.

4.2.2 Dense weight layer

Convolution layer에 이어 이번에는 Dense layer에서 보다 작은 단위의 가중치 전환이 가능한지 확인해 보았다. Dense layer weight matrix의 행과 열로 각각 실험하였는데 Convolution layer과 마찬가지로 분류성능 향상을 보였다.

[Fig. 5]는 Dense layer weight matrix의 행 과 열 각각을 누적하여 전환하였을 때의 결과이다. Convolution layer 뿐만 아니라 Dense layer에서도 전환학습에 의한 분류성능 향상이 확인되었으며, 전환되는 파라미터가 증가될수록 분류성능이 향상되는 경향을 보인다. 전환된 Dense layer parameter matrix의 행보다 열에서 분류성능이 더 향상된 것을 확인하였다.

[Fig. 5]

Variation of classification performance by rows (green), columns (red) of parameters converted to existed model at UB

5. 결 론

본 연구에서는 다양한 폐색 상황에서 적응할 수 있는 모델을 만들기 위한 방법을 제안하였다. 구체적으로 각각의 서로 다른 모델들의 파라미터를 원하는 하나의 모델로 전환하는 방법에 관한 것이다. 이 방법을 통해 모델의 구조나 파라미터의 증가 없이 모델을 보다 강건하게 할 수 있다.

이는 폐색 상황 외에도 다양한 분야에 적용할 수 있는데 예를 들어 자연적, 시간적, 공간적 변화 등 환경적 변화에 의한 모델의 성능저하를 줄일 수 있다.

하지만 본 연구에서 제안하는 방법은 일종의 학습과정(평가)에 포함되어 inference time에는 영향을 미치지 않는다. 전환학습 과정에서 computational cost를 줄이기 위해서는 모든 경우의 수를 탐색하기 보다 예를 들어 전환할 파라미터의 layer를 2개로 고정하여 전환할 경우 baseline 보다 향상된 분류 성능을 빠르게 찾을 수 있을 것이다.

후속 연구로 분류성능 향상과 관련된 파라미터를 선별적으로 선택하여 파라미터 전환효과를 높이는 방법의 탐색이 필요하다.

Acknowledgments

This research was supported by the MSIT (Ministry of Science, ICT), Korea, under the High-Potential Individuals Global Training Program) (RS-2022-00155054) supervised by the IITP (Institute for Information & Communications Technology Planning & Evaluation). Following are results of a study on the “Leaders in INdustry-university Cooperation 3.0” Project, supported by the Ministry of Education and National Research Foundation of Korea

References

• S. O’Gara and K. McGuinness, “Comparing data augmentation strategies for deep image classification,” IMVIP 2019: Irish Machine Vision and Image Processing (IMVIP), Dublin, Ireland, 2019. [https://doi.org/10.21427/148b-ar75]
• A. Bochkovskiy, C.-Y. Wang, and H.-Y. M. Liao, “Yolov4: Op-timal speed and accuracy of object detection,” Computer Vision and Pattern Recognition, 2020. [https://doi.org/10.48550/arXiv.2004.10934]
• Z. Zhong, L. Zheng, G. Kang, S. Li, and Y. Yang, “Random erasing data augmentation,” AAAI Conference on Artificial Intelligence, vol. 34, no. 7, 2020. [https://doi.org/10.1609/aaai.v34i07.7000]
• T. DeVries and G. W. Taylor, “Improved regularization of convolutional neural networks with cutout,” Computer Vision and Pattern Recognition, 2017. [https://doi.org/10.48550/arXiv.1708.04552]
• K. K. Singh and Y. J. Lee, “Hide-and-seek: Forcing a network to be meticulous for weakly-supervised object and action localization,” International Conference on Computer Vision (ICCV), Venice, Italy, 2017. [https://doi.org/10.1109/ICCV.2017.381]
• P. Chen, S. Liu, H. Zhao, and J. Jia, “Gridmask data augmentation,” Computer Vision and Pattern Recognition, 2020. [https://doi.org/10.48550/arXiv.2001.04086]
• D. Walawalkar, Z. Shen, Z. Liu, and M. Savvides, “Attentive cutmix: An enhanced data augmentation approach for deep learning based image classification,” Computer Vision and Pattern Recognition, 2020. [https://doi.org/10.1109/ICASSP40776.2020.9053994]
• D. Zeng, R. Veldhuis, and L. Spreeuwers, “A survey of face recognition techniques under occlusion,” IET biometrics, vol. 10, no. 6, pp. 581-606, 2021. [https://doi.org/10.1049/bme2.12029]
• L. Song, D. Gong, Z. Li, C. Liu, and W. Liu, “Occlusion robust face recognition based on mask learning with pairwise differential Siamese network,” International Conference on Computer Vision (ICCV), 2019. [https://doi.org/10.1109/ICCV.2019.00086]
• F. Cen, X. Zhao, W. Li, and G. Wang, “Deep feature augmentation for occluded image classification,” Pattern Recognition, vol. 111, 2021. [https://doi.org/10.1016/j.patcog.2020.107737]
• Y. LeCun, C. Cortes, and C. J. C. Burges, “The mnist database of handwritten digits,” THE MNIST DATABASE, 1998, [Online], http://yann.lecun.com/exdb/mnist/, , Accessed: Jan. 04, 2021.
• A. Krizhevsky, “Learning multiple layers of features from tiny images,” 2009, [Online], http://www.cs.utoronto.ca/~kriz/learning-features-2009-TR.pdf, .
• D. P. Kingma and J. Ba, “Adam: A method for stochastic optimization,” 2014, Machine Learning. [https://doi.org/10.48550/arXiv.1412.6980]
• T. Tieleman and G. Hinton, “Lecture 6.5-rmsprop: Divide the gradient by a running average of its recent magnitude,” COURSERA: Neural networks for machine learning, vol. 4, no. 2, pp. 26-31, 2012, [Online], https://www.coursera.org/lecture/deep-neural-network/rmsprop-BhJlm/, , Accessed: Feb. 20, 2021.