로봇이 3차원 공간에서 작업을 수행하기 위해서는 물체 환경 인식이 중요하며 시각 센서인 카메라를 활용한 물체 인식 및 자세 추정에 관한 연구가 로봇 분야에서 활발히 진행되고 있다^[1-4]. 또한 최근 Microsoft 사에서 개발된 Kinect는 저렴한 가격과 작은 크기로 이러한 연구의 확대에 기여하고 있다^[5,6]. 하지만 Kinect는 고가의 성능이 좋은 장비와 비교할 때 정확도가 떨어진다. 이런 부정확성은 로봇을 조작하여 대상 물체와 작업을 수행할 때, 특히 파지 동작에서 문제를 야기한다. 그러므로 Kinect를 이용하여 로봇이 물체를 조작하기 위해서는 정확한 물체 인식과 위치 및 자세 추정이 선행되어야 한다. 이 논문에서는 Kinect를 활용할 때 발생하는 카메라의 오차 보정과 정확도를 향상시키기 위한 새로운 기법을 제안하고자 한다.

Kinect는 원래 게임용으로 개발된 컨트롤러로 원래 사람의 몸이나 손을 인식하고 추적하기 위한 장치이다. 따라서, 외부 변수가 많은 실외 환경보다는 실내 환경에서 사용이 적합하며, 측정거리가 짧고 잡음이 심한 단점이 있다. 그러므로 Kinect에 관한 연구의 대부분은 사람의 제스처나 움직임을 인식하는 분야에서 활발히 진행되고 있다.

A. Weiss 외 2인은 사람의 실루엣을 기반으로 3차원 점군들에서 생기는 오차 범위에 대해 최적화 하는 연구를 진행하였으며, RGB의 윤곽선만 사용했을 경우 최대 약 8cm의 오차를 RGB와 depth를 동시에 사용하였을 경우 최대 약 6cm의 오차로 줄일 수 있었다^[7]. I. Oikonomidis 외 2인은 사람 손을 추적하기 위한 용도로 Kinect를 사용하였고 5m에서 평균 5mm의 오차와 2.5m 부근에서는 7.5mm의 오차가 발생하며 손 위치의 오차 범위가 최소 5mm에서 최대 25mm 사이가 발생한다고 하였다^[8]. 또한, Kinect의 잡음으로 인하여 정확한 데이터를 얻기 어려워 Kinect 보정과 영상 필터에 관한 연구가 필요하게 되었다. K. Khoshelham 외 1인은 Kinect의 해상도는 거리가 멀어질수록 적외선 패턴 간의 거리가 조밀해지지 못해 정확도 높은 데이터를 얻기 어려워 Kinect를 1-3m 사이에 사용시 적합하다고 하였으며, 오차 보정 후 5m 거리에서 최대 7cm의 오차가 발생한다고 하였다^[9].

사람의 몸이나 손과 같이 신체 일부분을 인식할 경우, 일상 생활에 사용하는 물체보다 영상 평면에서 차지하는 표면적이 넓기 때문에 전체 영상에서 차지하는 비율이 높게 된다. 일반적으로 영상에서 목표로 하는 대상의 영역이 많이 포함되어 있을수록 인식률은 높아진다. 하지만, 일상 생활 속 물체를 인식하기 위해 Kinect를 사용하는 경우 물체가 영상 평면에서 차지하는 비율이 낮아 물체 인식이 어렵다.

따라서, 본 연구에서는 특징점 알고리즘 중 하나인 SURF(Speeded Up Robust Feature) 알고리즘을 이용하여 물체를 인식하고^[10], 호모그라피를 이용해 평면 기반의 위치 및 자세추정을 진행한다. 이 과정에서 기존 SURF 알고리즘의 내부 변수를 수정해 속도와 정확도를 향상 하며, 기존의 방법인 RGB 정보만을 이용한 호모그라피 대신 depth 정보를 활용하여 기준영상의 크기를 자동으로 조정하는 기법인 오토스케일링 기법(Auto-scaling)을 통해 물체의 위치와 자세 추정의 정확도를 향상시킬 수 있는 알고리즘을 제안하고자 한다. 아울러 동 알고리즘을 실제 시스템에 구현하여 실효성을 입증하고자 한다.

SURF 알고리즘은 SIFT(Scale-invariant feature transform) 알고리즘^[11]에서 가장 문제가 되었던 속도를 개선한 알고리즘이다. 하지만 SURF 알고리즘만으로 물체를 인식 하고 실시간 로봇 조작하기에는 인식률과 속도면에서 한계가 있다.

본 논문에서는 인식률과 속도 개선을 위해 SURF 알고리즘을 크게 변형하지 않고 사각 필터간 거리 조절, 헤시안 행렬의 값 조절, 잘못 측정된 값을 제거하는 방법을 사용하였다.

SURF 알고리즘은 적분영상으로 사각 필터를 만들어 적분 값을 계산하는데 수식 (1)과 같이 계산한다. 적분영상 I(X) 는 4개의 픽셀 값만을 사용하여 원점에서 각각의 위치 X = (x,y)^T 에서 픽셀 값들을 합하여 사각형 영역을 계산한다.

수식 (1)에서 생성된 사각 필터에서 수식 (2)와 같이 근사화된 헤시안 행렬(Approximated Hessian matrix)을 이용하여 특징점을 추출한다.

여기서 X는 입력 영상 위치를 나타내며 L_xx (X,σ)는 입력 영상과 σ의 분산을 갖는 x방향의 가우시안의 2차 미분 값 ∂2∂x2gσ 의 회선(convolution)이고, L_xy (X,σ)는 xy방향, L_yy (X,σ)는 y방향으로 2차 미분된 회선을 나타낸다.

사각 필터들의 크기를 증가하면서 특징점을 추출할 때, 사각 필터간 거리를 조절하면 후보 점들 중에서 최적의 특징점이 되는 범위를 선정한다. 첫 번째 사각 필터의 중심 픽셀을 D_center1 (x_cent1, y_cent1), 크기가 조절된 두 번째 사각 필터의 중심 픽셀을 D_center2 (x_cent2, y_cent2) 라고 하면 사각 필터간의 중심거리 Dist는 수식 (3)과 같이 나타낼 수 있다.

수식 (4)의 Dist_min 과 Dist_max 는 실험에 의해 결정되는 상수 값으로 이 값으로 인식 범위를 조절하여 인식 률을 향상시킬 수 있다.

속도 개선 방법으로는 수식 (2)의 결과 H값의 최소 범위를 높게 선정한다. H 값이 클수록 추출되는 특징점의 수는 적어지지만, 정확한 특징점의 후보들로 기존의 SURF 알고리즘보다 개선된 속도를 얻을 수 있다.

SUFR 알고리즘을 이용해 특징점을 검출할 때 부정확한 특징점도 함께 검출되는데 이는 물체 인식률을 떨어뜨리는 요인이 된다. 잘못 대응된 특징점의 경우 RANSAC (Random Sample Consensus) ^[12]을 사용하여 잡음이 심한 원본 데이터로 최소한의 특징점을 랜덤 샘플링하여 적절하지 않은 특징점을 제거하고, Brute Force로 정합을 수행한다. 이렇게 내부변수의 수정을 한 SURF알고리즘을 Modifed SURF라 부르도록 하겠다. Modified SURF 알고리즘에서 인식하고자 하는 물체의 정보가 담긴 화면을 기준 영상(reference image)이라 하며, Kinect에 입력 영상으로 보이는 화면을 용어의 혼재를 피하기 위해 현재 영상(scene image)이라 정의 한다.

실험은 Fig. 4와 같이 총 3개의 크기가 다른 상자를 가지고 진행하였으며, Kinect가 깊이 값을 인식하는 범위인 800mm 이상인 지점에 물체를 놓고 실험을 하였다.

Fig. 4. 

Different size of objects

실험에 사용된 컴퓨터 사양은 Intel Core i5 760 CPU, 4 GB RAM, NVDIA GeForce GT 220과 4GB memory이며, Table 1의 변수 값에 의해 실험을 진행하였다.

Fig 5.는 3개의 알고리즘을 비교한 그림이다. SIFT 알고리즘은 많은 특징점으로부터 물체를 인식하기 때문에 SURF 알고리즘에 비해 기준 영상과 현재 영상에서 보여지는 특징점의 수가 많다. 반면 SURF 알고리즘의 경우 SIFT 알고리즘에 비해 특징점의 수가 적은 특징을 볼 수 있다. Modified SURF 알고리즘 역시 SURF 알고리즘처럼 적은 특징점으로 물체 인식을 하며, 오정합된 특징점이 SURF에 비해 현저히 낮다는 것을 육안으로 확인 할 수 있다.

Fig. 5. 

Compare with the object recognition methods

물체 인식률에 관한 실험은 Fig. 6과 같이 물체의 종류에 따라 인식률이 달라지지만, 제안한 알고리즘이 95.944%의 인식률로 SURF 알고리즘의 91.567% 인식률과 SIFT 알고리즘의 92.567% 인식률에 비해 높은 인식률을 가지며, 기준 영상과 현재 영상간의 특징점 정합을 나타내는 정합률 역시 제안한 알고리즘이 기존의 알고리즘보다 높은 정합률을 가지고 있음을 Fig. 7에서 확인할 수 있었다. 물체 인식의 계산 시간도 0.458초로 SURF 알고리즘의 0.805초와 SIFT의 1.360초에 비해 개선된 속도를 확인 할 수 있다.

Fig. 6. 

Compare with the object recognition and task times

Fig. 7. 

Compare with the matching rate of keypoint

물체의 자세 추정은 modified SURF 알고리즘을 이용해 물체 인식을 한 후 진행되었으며 물체의 이동 시 오차는 월드 좌표계에서 A에서 G까지 Table 2와 같이 6개의 구간을 나누어 실험을 진행하였고, Table 2에서 기준이 되는 지점과 물체를 이동 했을 때의 비교 결과를 Fig. 8과 같이 나타내었다. 호모그라피의 보정과 오토 스케일이 포함된 결과에서 X_w 축 오차는 18.72cm, Y_w 축은 8.80cm의 오차로 특히 RGB만을 사용하여 기준 영상의 크기 조절을 하지 않았을 때 X_w 축으로 50.65cm, Y_w 축으로 103.94cm의 오차가 발생하였다. 또한, 물체를 Y_w 축을 기준으로 10° 간격으로 ±40 ° 사이의 각도를 회전 하여 추정한 각도 값의 오차는 Fig. 9와 같다. 이 때 최대 오차가 약 8°이고 평균 3° 이내로 제안하는 알고리즘의 유용성을 입증하였다.

Fig. 8. 

Translation errors from the six spots in the world coordinate system

Fig. 9. 

Rotation angle errors from the objects in the world coordinate system

본 논문에서는 기존 SURF 알고리즘의 내부 변수와 정합 필터를 강화하여 사각 필터간 거리 조절, 헤시안 행렬 값의 조절, 부정확한 대응 점의 제거로 인해 물체 인식의 속도 개선과 인식률을 높여 강건한 물체 인식이 가능한 알고리즘을 제안하였다. 물체의 위치와 자세 추정 시 변형이 심한 호모그라피를 보정하기 위해 호모그라피에 가까운 값을 선택할 확률을 지정한 후 N번의 호모그라피 값을 누적하여 호모그라피의 민감도를 줄였다. 또한, 오토 스케일링 기법으로 물체의 자세 추정 시 생기는 오차를 줄여 본 연구의 유용성을 입증할 수 있었다. 향후 다양한 형상의 물체 인식에 적용하기 위한 알고리즘 개선이 진행될 예정이다.