CAE는 입력과 출력이 모두 자기 자신이기 때문에 따로 라벨 (label)이 따로 필요 없는 대표적인 비지도 학습구조 중 하나이다. [Fig. 2]는 CAE의 구조를 자세히 나타낸 그림이다.

[Fig. 2] 

The structure of the proposed CAE. This structure is divided into the encoding and the decoding parts. The first part transforms an input image to a low dimensional latent representation, and the second part reconstructs it to the input image

그림에서 살펴볼 수 있듯이 CAE는 크게 입력 이미지를 압축 하는 Encoding 단계와 다시 복원하는 Decoding 단계로 나눌 수 있다. Encoding 단계에서는 입력 이미지 x∈Rm×n convolution layer와 fully connected layer를 거쳐 저차원의 벡터인 z∈Rd 로 압축된다. 그 이후에 Decoding 단계에서는 다시 fully connected layer와 deconvolution layer를 거쳐 입력 이미지 x를 복원하는 구조로 이루어져 있다. 이 때 Encoding 함수를 fθ: x→z, Decoding 함수를 gϕ: z→x라고 정의하고 θ, ϕ는 각각 함수의 파라미터 라고 하면, 두 함수는 네트워크를 거치면서 복잡한 비선형 함 수의 형태를 가지게 된다. 이 때 네트워크의 학습 과정은 결국 파라미터 θ, ϕ의 값을 알아내는 과정이라고 할 수 있다. 이를 수식으로 표현하면 식 (1)과 같다.

여기서 L은 손실 함수(Loss function)이며 목적에 따라 다양 한 형태의 함수들이 있다. 본 논문에서는 식 (2)와 같이 크기가

m×n인 두 이미지 x, y 사이에 정의된 mean squared error 함수 L(x, y)를 사용하였다.

학습 데이터가 여러 개인 경우 각각의 손실 함수의 합을 최 소화하는 파라미터를 찾도록 학습이 이루어 지게 된다. 학습 은 stochastic gradient descent 혹은 Adam과 같이 최적화 툴이 널리 쓰이고 있다. 네트워크의 구조에 따라 적합한 툴을 이용 하여 학습을 수행하게 된다. 학습이 끝난 후에 이 네트워크는 자기 자신을 복원할 수 있기 때문에 denoising과 같은 용도로 쓰일 수 있다^[17].

이제 변화하는 환경에서 장소 인식을 수행하기 위해 두 환 경에서 얻은 이미지쌍 집합 {(x(1), y(1)), ⋯, (x(n), y(n))} 이 학 습 데이터로 주어져 있다고 가정한다. 이와 같이 학습 데이터 가 주어져 있다는 가정은 장소 인식 분야에서 보다 높은 성능 을 위하여 널리 쓰이고 있는 가정이다^[4], ^[6], ^[7].

CAE는 원래 입력과 출력을 같게 하여 학습을 수행한다. 하 지만 본 논문에서는 입력에 상관없이 출력을 원하는 환경의 이미지 y∈Rm×n로 주고 변화한 환경의 이미지를 생성하도 록 학습을 수행한다. 즉, Encoding 함수를 fθ: x→z, Decoding 함수를 gϕ: z→y라고 정의하고, 학습은 다음과 같이 식 (2)를 만족하도록 파라미터를 학습한다.

즉 학습이 완료되면 이 네트워크는 입력 이미지의 환경에 상관없이 원하는 조건의 이미지를 만들어 내는 결과를 갖는 다. 따라서 서로 다른 두 환경의 이미지도 유사한 조건의 이미 지로 만들어서 비교할 수 있기 때문에 환경의 영향을 최소화할 수 있다. 특히 딥러닝 구조는 이와 같이 서로 다른 두 환경에서 얻은 이미지 사이의 비선형 변환을 추정하는데 유리하기 때문 에 기존의 다른 학습 방법보다 높은 성능을 기대할 수 있다.

이미지를 유사한 환경의 이미지로 생성하여 비교하는 방법 도 있지만 이미지 정보를 압축한 descriptor를 사용하면 비교 연산 시간도 줄이면서도 데이터의 핵심 정보만 이용하기 때문 에 노이즈에 강인하다는 장점이 있다. CAE는 [Fig. 2]에서 볼 수 있듯이 Encoding 함수를 거친 입력이 저차원의 벡터 z로 압 축되기 때문에 이 벡터를 이미지 descriptor로 이용할 수 있다. 서로 다른 환경의 이미지를 압축한 descriptor u∈Rd 와 v∈Rd 를 얻었다고 하자. 이 때 두 벡터 사이의 거리는 값이 [-1,1] 사 이의 값을 가지는 코사인 거리(cosine distance)를 이용하였다.

이와 같이 두 벡터 사이의 거리를 계산한 후 두 이미지 시퀀 스가 주어졌을 때 가장 가까운 벡터를 찾아 두 이미지가 같은 장소라고 인식할 수 있다. Descriptor 간의 거리 유사도로부터 장소를 인식하는 방법은 가장 간단한 방법이고 이 방법은 필 터 기반의 로봇 위치 추정^[4]이나 시퀀스 기반의 장소 인식 방 법^[6]과 같은 추정 등과 같은 다른 추정 정보와 결합할 수 있다. 이러한 방법과 결합된다면 보다 환경 변화에 강인한 장소 인 식을 수행할 수 있다.

제안한 방법을 검증하기 위해 실제 환경 변화가 뚜렷한 데 이터셋 이미지를 이용하여 실험을 수행하였다. 사용한 데이터 셋은 Nordland 데이터셋^[7]으로, 노르웨이를 가로지르는 기차 가 약 728km 거리를 주행하면서 촬영한 이미지이다. 이 데이 터셋은 1년에 걸쳐 봄, 여름, 가을, 겨울에 촬영한 이미지를 모 두 가지고 있으며 기차 트랙 위에서 주행하면서 얻은 이미지 이기 때문에 카메라 시점의 변화 없이 환경의 변화만 있다. 따 라서 다른 조건은 통제한 채 변화하는 환경에서의 장소 인식 성능을 테스트하기 적합한 데이터이다. 본 논문에서는 4계절 전부를 이용하지 않고 환경의 변화가 뚜렷한 봄과 겨울에서 얻은 이미지를 가지고 실험을 수행하였다. 각각 3200장의 이 미지를 가지고 있으며 해상도는 32 × 64의 크기에 컬러 채널을 가지고 있어서 총 32 × 64 × 3의 차원을 가지고 있다.

실험에 쓰인 네트워크 구조는 [Table 1]과 같다. 입력 이미지 의 차원이 크지 않기 때문에 Encoder 부분에서는 convolutional layer와 max pooling layer 2층과 fully-connected 1층, 그리고 z 로 압축된 후 Decoder 부분에서 fully-connected 1층, 그리고 deconvolutional layer 2층 후 출력 이미지를 복원하는 구조로 되어 있다. 네트워크의 층 수와 노드 개수는 데이터셋에 따라 더 높은 성능을 위해 달라질 수 있다.

먼저 입력 이미지와 출력 이미지를 다르게 학습하였을 때 이 네트워크가 실제로 이미지 복원을 수행할 수 있는지 실험 을 수행하였다. 입력으로는 봄에 찍은 이미지들을 주고 출력 으로는 그에 대응되는 겨울에 찍은 이미지들을 주어서 학습을 수행하였다. 그 후 학습된 네트워크에 학습에 쓰이지 않은 입 력 이미지를 주었을 때 복원된 겨울 이미지가 실제 겨울 이미 지와 유사하게 나타나는지 실험을 수행하였다.

그 결과 [Fig. 3]과 같이 복원 이미지는 실제와 매우 유사한 이 미지가 생성되는 것을 관찰할 수 있었다. 복원된 이미지가 실제 이미지보다 뿌옇게 나오는 blur되는 현상이 관찰되긴 하지만, 겨 울의 특징인 짙은 푸른 색의 하늘과 바닥에는 하얀 눈이 생성되 고, 나무의 색도 보다 어두운 색으로 변한 것을 볼 수 있었다. 봄 이미지에는 없던 환경이 CAE를 통해 새로운 환경을 생성한 것이다. 이는 생성 모델(generative model)인 Auto-encoder의 특징이기도 하다. 이 특징을 이용하면 봄 이미지를 겨울 이미 지로 바꾸어서 비교할 수 있는 것처럼 서로 다른 환경도 유사 한 환경으로 변환시킨 후 비교할 수 있다. 변환시킨 이미지 사 이에 이미지 feature를 비교하면 변화하는 환경에서도 보다 정 확한 장소 인식을 수행할 수 있다.

[Fig. 3] 

The reconstruction test of the proposed method. Using the trained CAE, the input image can be transformed to reconstructed image. Although the input images are not in the training set, we can find that the reconstructed images are similar to real images

학습된 네트워크를 이용하여 실제 장소 인식 성능이 높아 지는지 살펴보기 위하여 실험을 수행하였다. 장소 인식 성능 은 일반적으로 Precision-recall curve를 통해 평가할 수 있다^[1]. 장소 인식 성능은 Precision과 Recall이 모두 1에 가까울수록 높은 성능을 가지지만, False positive에 보다 더 민감하다. 따 라서 Precision 성능을 우선시하여 최대한 높인 후에 Recall 성 능이 높을수록 보다 우수한 장소 인식 성능을 가지고 있다.

이제 Precision-recall curve로 장소 인식을 검증하기 전에 먼 저 Training data의 비율에 따라 이 성능이 어떻게 바뀌는지를 살펴보았다. 그 결과는 [Fig. 4]와 같다. Training data의 비율이 높을수록 보다 많은 데이터를 가지고 학습을 수행하기 때문에 그 환경에 대한 정보를 더 많이 가질 수 있다. 따라서 더 높은 장소 인식 성능을 가진다.

[Fig. 4] 

Precision-recall curve results of the Nordland spring-winter dataset. The higher the ratio of the training data, the better the performance of the place recognition

이제 Precision-recall curve로 장소 인식을 검증하기 전에 먼 저 Training data의 비율에 따라 이 성능이 어떻게 바뀌는지를 살펴보았다. 그 결과는 [Fig. 4]와 같다. Training data의 비율이 높을수록 보다 많은 데이터를 가지고 학습을 수행하기 때문에 그 환경에 대한 정보를 더 많이 가질 수 있다. 따라서 더 높은 장소 인식 성능을 가진다.

제안한 알고리즘이 다른 알고리즘보다 우수한 장소 인식을 가지는지 살펴보기 위하여 Precision-recall curve를 그려서 비 교하였다. 결과는 [Fig. 5]와 같다.

비교한 알고리즘은 Local feature 기반의 FAB-MAP^[4]와 이미 지를 저차원으로 변환 후 contrast enhancement를 통해 비교하 는 SeqSLAM^[5]에서 쓰인 Sum-of-absolute-difference (SAD) 방 식과 비교하였다. 제안하는 방법은 Training data의 비율을 20% 로 고정하고 80%를 Test data로 이용하였다. Test 이미지 간은 평균적으로 약 200 m의 거리가 떨어져 있다. 비교하는 알고리 즘은 정적인 환경에서는 우수한 장소 인식 성능을 가지지만 이 번 실험과 같이 변화하는 환경에서는 Precision과 Recall이 모두 낮게 나타나는 것을 볼 수 있다. 반면 제안한 방법은 이전의 방 법들보다 높은 Precision과 Recall을 가지기 때문에 변화하는 환 경에서의 장소 인식 성능이 우수하다는 것을 확인할 수 있었다.

[Fig. 5] 

The comparison of the precision-recall curve results of the Nordland spring-winter dataset. The results showed that our method outperforms than other methods

마지막으로 Training data의 비율이 20%일 때 로봇 경로상 에서 장소 인식 성공 및 실패 여부를 나타낸 결과는 [Fig. 6]과 같다. 그림과 같이 변화하는 환경에서도 대부분의 위치에서 장소 인식이 성공함을 알 수 있다.

[Fig. 6] 

The place recognition results of the robot trajectory. The blue line is the robot trajectory, and the green dots are the locations of the training data. Locations marked with a red cross are false positives