모바일 머니퓰레이터의 작업을 위한 카메라 보정 및 포즈 추정

2.1 모바일 머니퓰레이터 기반의 집기 및 놓기 작업

본 연구에서 모바일 머니퓰레이터 기반의 작업은 모바일 플랫폼 위에 있는 물체를 집어서 작업대의 지정된 위치에 놓거나 작업대의 지정된 위치에 있는 물체를 집어서 모바일 플랫폼 위에 놓는 작업이다. 머니퓰레이터는 모바일 플랫폼 위에 고정되어 상대 위치가 변하지 않으므로 머니퓰레이터 기반의 작업은 초기에 한 번만 교시하면 모바일 플랫폼의 위치와 관계없이 항상 정확하게 수행하는 것이 가능하다. 즉, [Fig. 1(a)]과 같이 머니퓰레이터의 베이스 좌표계 {B}를 기준으로 모바일 플랫폼 상의 지그의 위치(P2)를 교시하여 작업에 사용할 수 있다. 그러나 머니퓰레이터가 작업대 위에 있는 물체를 집거나 작업대 위의 지정 위치에 물체를 놓는 작업의 경우, 모바일 플랫폼의 위치추정 오차로 인하여 작업마다 머니퓰레이터의 베이스 좌표계를 기준으로 한 작업대의 위치 및 방위가 달라지므로, 단순하게 교시를 통해 생성한 작업을 수행해서는 정밀한 작업을 하기 어렵다. 따라서 모바일 머니퓰레이터를 정밀 작업에 활용하기 위해서는 작업대의 상대 위치를 정확하게 추정하여 머니퓰레이터를 작업대와 정렬하는 과정이 필수적이다.

[Fig. 1]

Position teaching for manipulator task: (a) mobile manipulator, and (b) worktable

본 연구에서 대상으로 사용하는 작업대는 [Fig. 1(b)]와 같이 작업대 위에 부착된 마커가 있으며, 마커의 중심으로부터 일정한 거리 (∆x, ∆y)에 지그의 중심이 위치하여 머니퓰레이터가 물체를 내려놓을 수 있다. 따라서 머니퓰레이터의 말단에 부착된 카메라를 통해 마커를 인식하고, 마커가 카메라 영상의 중심에 위치하도록 머니퓰레이터 말단을 정렬시킨 뒤, 이 자세를 기준으로 머니퓰레이터가 물체를 지그에 내려놓는 상대 자세를 교시하면 모바일 플랫폼의 위치추정 오차와 관계없이 작업대 위의 일정한 위치에 집기 및 놓기 작업을 수행하는 것이 가능해진다. 이와 같이 카메라의 영상을 통해 머니퓰레이터 말단을 마커와 정렬하기 위한 일련의 기능 및 동작을 자동 정렬 시스템이라고 한다.

2.2 자동 정렬 시스템의 구성

자동 정렬 시스템은 카메라 영상에서 마커를 인식하여 마커의 포즈(즉, 위치와 방위)를 추정하고, 마커의 중심점이 카메라 영상의 중심으로 오도록 머니퓰레이터의 말단을 정렬하는 과정을 모두 포함한다. 이러한 과정을 통해 모바일 머니퓰레이터는 작업대 위의 고정된 지그에 물체를 내려놓거나 물체를 집어 올리는 작업을 수행하는 것이 가능하다.

[Fig. 2]는 자동 정렬 프로그램의 실행 순서도이다. 이 프로그램은 총 7단계로 실행되며, 각 단계에 해당하는 작업을 차례로 수행하여 카메라를 통한 머니퓰레이터 말단의 정렬 작업이 완료되면 머니퓰레이터가 작업대에 있는 지그에 물체를 집기 및 놓기를 수행한다. 자동 정렬 프로그램은 크게 마커 인식, 카메라 보정 및 포즈 추정, 머니퓰레이터 정렬과 집기-놓기 작업으로 나눌 수 있다. 1단계부터 2단계는 자동 정렬을 수행하기 위해 카메라가 작업대에 부착된 마커를 인식하는 단계이며, 3단계부터 5단계는 사전에 작업대에서 얻은 마커의 중심점과 현재 다른 위치에 있는 카메라가 관측한 마커를 사용하여 포즈를 추정하는 단계이다. 여기서 정확한 포즈를 추정하기 전에 카메라 보정이 사전에 필수적이며, 이러한 보정 작업은 사전에 한 번만 수행하면 된다. 6단계는 5단계에서 카메라를 사용하여 추정한 포즈 정보를 기반으로 머니퓰레이터의 말단을 이동하는 단계이다. 최종적으로 7단계는 정렬된 위치에서 머니퓰레이터가 마커로부터 떨어진 지그의 위치로 이동하여 지그에 물체의 집기 및 놓기를 수행한다.

[Fig. 2]

Workflow for automatic alignment system

3.1 카메라 보정

본 연구에서는 [Fig. 3(a)]와 같이 서로 다른 ID의 마커로 구성된 마커보드를 사용하여 카메라 보정을 수행한다. 먼저, 카메라 보정을 위해 마커의 변과 중심이 필요하다. [Fig. 3(b)]에서 마커의 밑변이 S_i,1이고, 다른 변은 S_i,1을 기준으로 반시계 방향으로 S_i,2, S_i,3, S_i,4로 정의한다. [Fig. 3(b)]에서 꼭짓점은 c이고, S의 교차점으로 구할 수 있다. 그리고 마커의 중심을 구하기 위해 c_i,1와 c_i,3를 지나는 직선 l_i,1과 c_i,2와 c_i,4를 지나는 직선 l_i,2을 구한다. 직선 l_i,1와 l_i,2의 교차점이 마커의 중심 m_i이다. 여기서, i는 마커의 ID, S는 픽셀의 수이고, c와 m은 픽셀 단위의 영상 좌표이다. 그리고 xy 평면의 실제 마커보드에서 마커의 중심은 M_i이다.

[Fig. 3]

Marker board: (a) the point of marker corresponding to the ID of marker in the image, and (b) extraction of the vertex and center points of the marker

실제 마커보드의 마커는 정사각형이고, 각 마커 간의 거리는 동일한 간격으로 구성되어 있다. 렌즈의 왜곡으로 인해 영상의 마커보드와 실제 마커보드 간에 차이가 존재하여, 마커들의 위치와 길이가 다르다. 이를 해결하기 위해 [Fig. 4]와 같이 왜곡보정을 수행할 수 있는 순서도를 사용한다. 먼저, 왜곡된 영상에서 각 마커의 꼭짓점을 왜곡보정 모델^[8]에 적용하여 영상 좌표를 구한다. 이때, 왜곡보정 모델에 사용되는 주점(principal point) c_x, c_y와 왜곡계수 k₁, k₂, p₁, p₂의 초기값이 필요하다. 여기서, 주점은 카메라 렌즈의 중심에서 이미지 센서에 내린 수선의 발의 영상 좌표이고, k₁, k₂는 방사왜곡(radial distortion), p₁, p₂는 접선왜곡(tangential distortion)이다. 주점의 초기값은 카메라 센서의 해상도(resolution)의 절반이고, 왜곡계수의 초기값은 0으로 설정하였다.

[Fig. 4]

Camera calibration method: (a) Marker board in the image, and (b) flowchart of nonlinear optimization

실제 마커보드와 왜곡된 영상에서 마커보드의 차이를 사용하여 오차를 구한다. 그리고 오차가 최소가 되도록 비선형 최소제곱법을 사용하여 카메라의 내부 파라미터와 왜곡보정 계수를 구한다. 비선형 최소제곱법을 사용하기 위해 오차를 구하는 방법은 다음과 같다.

식 (1)은 마커의 각 변의 픽셀 수를 구하는 식이다.

식 (2)는 M_i와 단위를 일치시키기 위한 식이다. α는 실제 마커의 한 변의 길이를 S₇의 평균값으로 나눈 값으로, 여기서 7번의 마커는 마커보드에서 중앙에 있는 마커이다.

식 (3)에서 p_i는 영상에서 마커보드의 중앙 m₇을 기준으로 다른 14개 마커들의 중심 m_i 값의 차이이고, 단위는 픽셀이다. M_i와 단위를 일치시키기 위해 p_i에 앞서 구한 α를 곱한다. 식 (4)에서 αp_i와 실제 마커보드 M_i의 차는 밀리미터 단위의 오차이므로, 이 오차를 α로 나눠 픽셀의 오차 e₁을 구한다. 그리고 마커의 픽셀 수로 구한 변을 이용하여 식 (5)에서 오차 e₂를 구한다. 여기서 e₁은 마커의 일정한 간격의 오차를 의미하고, e₂는 마커의 각 변의 픽셀 수 오차를 나타낸다. 식 (6)에서 오차 e가 최소가 될 수 있도록 비선형 최소제곱법인 식 (7)을 사용한다. 오차 e가 가장 최소가 되는 d = [c_x, c_y, k₁, k₂, p₁, p₂]의 값을 구하여 [Table 1]에 정리하였다.

[Table 1]

Results of camera calibration

카메라 보정은 15개의 마커로 설계된 마커보드를 카메라로 한번 관측하여 1개의 마커에서 4개의 꼭짓점과 1개의 중심을 추출하여 총 75개의 점을 사용하였다. [Fig. 5]는 영상에서 마커보드의 왜곡된 점들과 왜곡 보정된 점을 나타낸 결과이다. 왜곡 보정된 점은 [Table 1]에서 구한 값을 왜곡 보정 모델에 적용하여 구하였다. [Fig. 5]에서 청색은 왜곡된 점이고, 적색은 왜곡 보정된 점이다. 청색의 점을 보면 영상의 중심에서 멀어질수록 왜곡의 영향이 커지는 것을 확인할 수 있다.

[Fig. 5]

Camera calibration result

3.2 포즈 추정

포즈 추정의 성능을 정밀하게 측정하기 위해 카메라를 이동시키는 대신 카메라를 움직이지 않게 고정한 후, 마커 간의 거리가 일정한 마커보드를 사용했다. 마커 간의 포즈 추정은 영상의 마커를 기준으로 주변의 다른 마커의 포즈를 상대적으로 추정할 수 있다. 즉, 마커 간의 포즈 추정은 하나의 마커를 움직였을 때, 마커의 이동량을 추정할 수 있음을 의미한다. 마커나 카메라 둘 중 어느 것이 움직여도 상대적인 움직임은 동일하므로 이와 같은 방법은 의미가 있다.

[Fig. 6]에서 ∆u, ∆v는 0번 마커의 중심과 1번 마커 중심 간의 픽셀 수이다. 이때, 픽셀 수는 각 마커의 위치 왜곡 오차를 보정한 마커 사이의 픽셀 수이다. 이 거리에 α을 곱하면 0번 마커의 중심으로부터 1번 마커의 중심까지의 실제 거리를 다음과 같이 구할 수 있다.

[Fig. 6]

Pose estimation between markers

식 (8)에서 α는 각 픽셀의 길이이다. 그리고 내적을 사용하면 마커의 각도도 다음과 같이 구할 수 있다.

식 (9)에서 a와 b는 마커의 밑변과 관련된 벡터이고, θ는 a와 b를 내적 한 결과이다. 이와 같은 방법으로 한 개의 마커를 기준으로 다른 마커 간의 포즈 (x, y, θ)를 구할 수 있다.

4.1 마커 간의 포즈 추정 실험

본 실험에서는 Cognex의 프로그램을 변경할 수 없기 때문에 Cognex의 카메라 보정 방법과 Cognex 사에서 사용하는 마커를 Point grey 카메라에는 적용할 수 없고, 반대로 Cognex에 본 논문에서 제안하는 방법과 마커를 사용할 수 없었다. 따라서 제안한 방법과 Cognex의 포즈 추정 정확도를 비교하기 위해 [Fig. 7]과 같이 카메라가 움직이지 않도록 브라켓에 고정한 뒤 마커보드를 관측할 수 있는 환경을 구축하였다. Cognex 카메라를 이용한 포즈 추정 실험은 [Fig. 7(a)]과 같이 Cognex 사에서 사용하는 마커를 사용하여 수행하였으며, Point grey 카메라를 이용한 포즈 추정 실험은 [Fig. 7(b)]과 같은 마커를 사용하여 수행하였다. 서로 다른 마커를 사용하였지만, 마커의 크기 및 마커들의 간격은 모두 동일하며, 마커보드는 아크릴판에 UV 프린터(최대 20 μm 정밀도)를 사용하여 제작하였다. 또한, Point grey 카메라의 경우 본 논문에서 제안한 방식으로 보정하였으며, Cognex의 경우 회사에서 제공하는 방식으로 보정한 후에 실험을 진행하였다.

[Fig. 7]

Experimental environment: (a) Cognex camera, and (b) Point grey camera

Cognex는 실제 산업현장에서 사용되고 있고, 이미 기술적으로 검증된 센서이므로 Cognex와 Point grey를 동일한 환경으로 설정하여 비교하는 것은 의미가 있다. 실험을 통해 [Fig. 7]과 같이 마커보드를 관측하여 중앙에 있는 마커의 포즈와 다른 14개 마커의 포즈를 추정하고, 실제 마커의 간격과 추정한 포즈의 차를 구하여 오차를 측정하였다. Cognex와 제안한 방법을 비교하기 위해 오차의 평균과 표준편차를 [Table 2]에 정리하였다.

[Table 2]

Comparison of the proposed method with Cognex

다음으로 마커가 회전한 상태에서의 포즈 추정 정확도를 비교하기 위해 [Fig. 8]과 같이 마커보드의 중앙에 있는 마커를 제외하고, 다른 14개의 마커를 45° 회전하여 마커보드를 UV 프린터를 사용하여 제작하였다. 앞선 실험 환경과 동일하게 브라켓을 사용하였으며, 마커보드는 0°, 45°를 사용하여 마커 간의 포즈를 추정하였다. 실험을 통해 Cognex 기반의 포즈 추정, 제안한 방법으로 보정한 Point grey 기반의 포즈 추정을 수행하였다. 그리고 OpenCV에서 제공하는 카메라 보정 알고리즘을 사용하기 위해 카메라를 고정하여 일정한 크기를 갖는 체커보드를 움직여 다양한 각도의 영상을 수집하여 카메라 보정에 사용하고 Point grey에 적용하여 포즈 추정을 수행하였다. 이때, 마커 간의 추정한 포즈의 오차는 평균 RMS (root mean square) 위치오차를 계산하여 평균 RMS 위치오차의 평균과 표준편차를 구하여 [Table 3]에 정리하였다.

[Fig. 8]

Rotation of marker: (a) Align tag, and (b) April tag

[Table 3]

Pose estimation results

[Table 3]에서 평균 RMS 위치오차의 평균과 표준편차를 결과를 비교하였을 때, 제안한 방법의 오차의 평균은 OpenCV에서 제공하는 카메라 보정 방법보다 67.9% 작고, Cognex보다 2.5% 작았다.

4.2 로봇에 적용한 자동 정렬 시스템 실험

본 연구에서의 성능을 검증하기 위해 [Fig. 9]와 같이 모바일 머니퓰레이터가 모바일 플랫폼 위에 고정된 지그 A에 있는 물체를 집어 작업대 위에 고정된 지그 B에 내려놓는 작업과 반대로 지그 B에 있는 물체를 집어서 지그 A에 내려놓는 작업을 수행하였다. 이때, 작업대 위에는 지그 B로부터 (∆x, ∆y)만큼 떨어진 위치에 마커가 고정되며, 모바일 머니퓰레이터는 머니퓰레이터 말단에 고정된 카메라를 통해 마커를 인식하여 마커의 위치 및 방위를 추정함으로써 지그 B의 위치 및 방위를 알아내어 집기 및 놓기 작업을 수행한다. 지그는 물체의 길이에 0.54 mm의 여유를 갖는다.

[Fig. 9]

Experimental environment: (a) Point grey camera, (b) April tag and zig fixed to the worktable, (c) Cognex camera, and (d) Align tag and zig fixed to the worktable

마커의 중심이 카메라 영상의 중심과 일치되도록 모바일 머니퓰레이터를 이동시켜 15회 실험을 하였고, 카메라 영상을 사분면으로 나누어 카메라의 영상에서 각 사분면에 마커가 보이는 위치로 모바일 머니퓰레이터를 이동시킨 후 각각 15회씩 실험을 진행하여, 총 75회의 실험을 수행하였다. 머니퓰레이터가 현재 포즈를 추정하기 위해 앞서 설명한 자동 정렬 시스템의 5단계까지 수행한다. 그리고 머니퓰레이터는 카메라의 포즈 추정을 기반으로 6단계를 수행하여 정렬한다. 그리고 머니퓰레이터는 지그 A에 있는 물체를 집고 정렬한 위치까지 이동하여 지그 B에 물체를 놓고 다시 물체를 집어 지그 A에 물체를 놓는다. 이와 같은 방법으로 75회 반복 실험하여 물체를 지그에 놓을 수 있는 성공 횟수를 측정하였는데, Cognex와 제안한 방법 모두 75회 성공, 즉 100% 성공률을 보여주었다. 실험 결과로부터 알 수 있듯이, 제안한 방법은 모바일 플랫폼의 위치추정 오차와 관계없이 작업대 위에 고정된 지그에 물체를 집기 및 놓기 작업을 수행할 수 있다.