윤곽선의 선분 근사화를 활용한 양팔 화가 로봇의 개발

전체 시스템

본 논문에서는 사물이나 사람을 카메라로 촬영한 영상 에서 선분을 추출하기 위해 캐니-윤곽선 추출 기법과 허프 변환을 이용하고, 좌표 변환과 역기구학을 이용해 그림을 그리는 양팔 화가 로봇을 구현한다.

전체 시스템의 구성은 Fig. 1과 같다. 카메라를 통해 촬 영한 컬러이미지를 흑백화 한다. 흑백화 된 이미지에서 잡 음을 제거하기 위해 가우시안 필터를 적용한 후, 캐니 윤 곽선 추출 알고리즘을 이용하여 윤곽선을 추출한다. 추출 된 윤곽선 이미지를 여러 개의 셀로 분할하고 각 셀 내에 서 허프 변환을 적용한다. 허프 변환의 결과로 나온 직선 들을 선분화 한다. 그 후 성분이 비슷한 선분들을 군집화 시키고, 끝점이 이어지는 선분들은 연결하여 선분의 개수 를 줄인다. 이렇게 얻은 선분들을 로봇 팔이 그릴 수 있도 록 화면상의 좌표를 로봇이 그릴 도화지상의 좌표로 변환 하고, 역기구학을 이용하여 모터의 각도를 계산한다. 그 다음 모터에게 명령을 보내어 로봇이 그림을 그릴 수 있 도록 제어한다.

로봇 기구부 설계

Fig. 2는 로봇의 왼쪽 팔로 3개의 모터로 구성된다. 3개의 모터 중 2개의 모터를 사용하여 펜이 그릴 위치로 이동할 수 있도록 하며, 나머지 모터는 펜을 위아래로 움직여 종 이에서 접촉할 수 있게 한다. Fig 3은 그림이 그려질 종이 상의 좌표를 나타낸 것이다.

그림을 그리기 위해서는 3자유도의 팔 제어가 필수적이 므로 좌표 변환과 역기구학을 유도한다. 우선 좌표변환은 카메라를 통해 얻어지는 640 * 480 픽셀(pixel) 이미지 좌표 를 종이 위 20cm * 15cm의 좌표로 변환하는 역할을 한다. 이것은 로봇 팔을 종이 위에서 정확하게 제어하기 위해 역기구학에서 필요한 로봇 기준 좌표를 구하는 과정이다. 다음으로, 역기구학은 로봇 좌표계 위치를 3자유도 모터의 각도로 계산하는 역할을 한다. 그 계산은 다음과 같다.

역기구학 식은 ⁰₂T = ⁰₁T¹₂T 이고, ⁰₂T는 주어진다.

이 때, 역 기구학의 위치정보를 이용하면

가 되며, 식 (1), (2)의 양변을 각각 제곱하여 더하고, sin²θ₂ + cos²θ₂ = 1를 이용하면, θ₂를 식 (3)과 같이 계 산할 수 있다.

이 때, 양과 음의 부호에 따라 값이 두 개가 존재하게 되는 데 본 논문에서는 양의 부호를 이용하여 자세를 결정한다.

다음으로 θ₁을 구하면,

가 되며, 식 (4), (5)를 행렬로 정리하면

가 되므로, 크레이머 공식에 의해

에서 최종적으로 θ₁을 식 (6)과 같이 구할 수 있다^[6].

이렇게 구한 θ₁, θ₂값을 모터에 각각 설정하여 목표위치 까지 이동시킬 수 있다. 반대쪽 팔의 모터의 각도 값 역시 위와 동일한 과정을 거쳐 계산할 수 있고, 그 값들을 미러 링(mirroring)하여 반대쪽 로봇 팔과 대칭적인 각도에서 모 터가 동작하도록 모터들에게 명령어를 내린다.

제어 소프트웨어 설계

소프트웨어의 아키텍쳐(architeecture)는 Fig. 4와 같이 카메 라 부, 컴퓨터 부 및 로봇 시스템 부로 구성되어 있다. 전 체적인 흐름은, 카메라로 받아들인 영상 데이터를 PC에서 가공하여 윤곽선을 선분의 조합으로 변환하고, 이 선분 식 을 이용하여 로봇 팔을 제어하는 것이다.

이 과정을 자세히 설명하면 다음과 같다. 먼저 카메라를 통해 대상의 이미지를 획득한 후, 그 이미지를 흑백화(grey scalee)한다. 이후 캐니 윤곽선 추출 알고리즘(canny edge detecction algorithm))을 적용하여 윤곽선을 추출한 후, 허프 변환(Hough transfoorm)을 응용하여 윤곽선을 선분의 조합으 로 근사화한다.

여기서 캐니 윤곽선 추출 알고리즘은 다음과 같은 과정 으로 이루어진다. 가장 먼저 가우시안 마스크(Gaussian maskk)를 이용하여 스무딩(smoothhing)을 수행을 한 후, 소벨 마스크(Sobel maskk)를 x방향, y방향에 대해 적용하여 x방향 미분 값과 y방향 미분 값을 구하여 기울기 크기와 방향각 을 구한다. 다음으로 기울기 크기가 방향각 방향의 주변 값보다 작을 경우, 윤곽선 대상에서 제거한다. 마지막으로 상한과 하한의 문턱치(thrreshold)를 두어 상한을 초과하는 경우 무조건 윤곽선으로 삼고, 하한의 미만일 경우에는 윤 곽선에서 제외시키며, 그 사이는 주변에 자신 이상인 것이 있을 때 윤곽선으로 삼는 과정을 거친다^{[7, 8]}.

허프 변환은 이미지를 구성하는 점들을 이용하여 주요 직선 성분을 찾는 과정이다. 직각 좌표계 상의 임의의 점 (x, y)를 지나는 모든 직선들은 원점 (0, 0)에서부터의 직 선거리와 방향각을 파라미터(parameter)로 재구성한 공간에 서는 곡선으로 표현되는데, 이 공간에서 특정한 점을 지나 는 곡선이 많다는 것은 원래 영상에 해당 파라메터로 표 현되는 직선이 존재한다는 것을 의미하게 된다. 따라서 변 환된 공간에서 임계치를 넘는 점들을 선별하면 직선 식을 구할 수 있다^[9].

본 논문에서는 Fig. 5와 같이 전체 영상을 작은 셀(cell)로 분할하여 허프 변환을 적용하는데, 전체 영상을 대상으로 그대로 허프 변환을 적용하면 연산의 속도가 매우 느려질 뿐만 아니라, 임계치를 설정하는 데에 따라 실제로는 바로 연결되지 않은 긴 직선 성분이 많이 나타나 짧은 곡선이 나 섬세한 선들의 정보를 얻을 수 없기 때문이다. 이미지 를 분할하면 분할된 셀(cell) 내의 점만으로 검사하기 때문 에 연산량이 많이 줄어들며, 실제로 연결된 직선 성분들을 구할 수 있게 된다.

이렇게 직선을 구한 후에는 시작점과 끝점을 찾아 선분 으로 변환하는 작업이 필요하다. 만일 직선을 그대로 그리 면 마치 낙서를 한 듯한 직선들이 그려져 윤곽선의 형태 를 알아볼 수 없게 되기 때문이다. Fig. 6은 직선과 선분이 어떻게 다른 영상을 만들어 내는 지 보여준다. 처음의 점 영상과 그 점 영상을 허프 변환하여 직선으로 구성한 영 상, 그리고 연구에서 제안한 알고리즘으로 구한 선분 영상 을 통해 윤곽선의 근사화 과정을 알 수 있다.

선분들의 추출 과정이 완료되면 다음으로 분할된 셀들 의 선분들을 합치는 과정이 진행된다. 셀들의 선분들을 합 치는 과정은 직선 군집화를 응용하였다. 직선의 군집화란 직선들끼리의 떨어진 거리, 차이 나는 각도를 계산하고, 평행한지 교점이 있는 지를 검사하며 교점이 없다면 최단 거리를 계산하여 직선들끼리의 연관성을 찾아내고 연관성 이 있다면 최적의 직선으로 합치는 과정을 반복하는 것이 다^[10]. 본 논문에서는 직선의 군집화를 응용하여 Fig. 7과 같 이 선분을 군집화하는 과정을 진행한다.

우선 하나의 기준 선분을 결정하고 비교할 직선을 결정 한다. 결정된 두 선분을 그림으로 표현하면 Fig. 8과 같다. 기준 선분과 비교 선분을 정하면, 두 선분 각도의 차이를 식 (7)과 같이 구할 수 있다.

식 (7)이 임계값 보다 크면 다른 선분과 비교하며, 그렇지 않으면 기준 선분의 끝점과 비교 선분의 시작점과의 거리 식(8)을 계산한다.

식 (8)의 거리가 가깝다면 기준 선분의 시작점 (x₁, y₁) 과 비교 선분의 끝 점 (x₄, y₄)을 잇는 새로운 선분을 만든 다. 만일 두 선분 사이의 거리가 멀다면 두 선분의 교점을 검사한다. 교점의 좌표는 다음과 같이 구한다. 선분을 포 함한 직선 식은 각각

r₁ = (y₂ - y₁), r₂ = (y₄ - y₃),

s₁ = -(x₂ - x₁), s₂ = -(x₄ - x₃),

t₁ = x₂y₁ - x₁y₂, t₂ = x₄y₃ - x₃y₄

이므로 r₁x + s₁y + t₁ = 0, r₂x + s₂y + t₂ = 0일 때, 교 점의 좌표는 식 (9)와 같이 된다.

하지만 이 교점의 좌표가 직선 식에서 구한 식이기 때문 에 선분 상에서 교점이 있는 없는 지를 아직 알 수 없다. 교점의 좌표를 (x_c, y_c) 라 한다면 x_c 는 x₁,x₂ 의 사이와 x₃,x₄의 사이에 존재하고 y_c는 y₁,y₂의 사이와 y₃,y₄의 사이에 존재해야 두 선분끼리 교점이 존재한다. 이렇게 교 점을 검출이 되면 두 선분의 각각의 시작점, 끝점 중 가장 긴 선분을 결정하여 새로운 선분을 만든다. 두 선분이 교 점이 없다면 평행이거나 약간만 연장을 하면 교점을 가진 다. 그러므로 두 선분 사이의 최소 거리를 계산하여 임계 값 보다 작다면 두 선분을 군집화한다. 그 과정은 교점이 발생된 선분들을 연결하는 것과 동일하다. 이렇게 기준 선 분과 비교 선분을 바꿔가면서 군집되는 선분이 없을 때까 지 Fig. 7의 과정을 반복을 한다. 군집되는 선분이 없으면 비로소 군집 합병 과정이 끝나게 된다.

Fig. 9는 캐니 윤관선 이미지와 군집화 과정을 반복으로 얻게 된 선분들의 이미지를 보인다. 이처럼 곡선을 선분들 의 조합으로 표현하는 것이 가능하게 되며, 이를 그림으로 옮기면 마치 연필로 스케치한 듯한 효과가 생성된다고 할 수 있다.

이러한 과정을 통해 선별된 선분들을 시작점과 끝점을 활용하여 그리기 위해서는 직선 보간 (linear interpolation)이 필요하다. 직선 보간은 시작점과 끝점 사이에서 중간 점들 을 구하는데, 다음과 같은 식 (10)으로 표현된다.

x→t는 중간 점 벡터, x→s는 시작점 벡터, x→d는 끝점의 벡터 로 k를 0부터 1까지 증가시킨다. k의 값은 선분의 길이에 따라 보간의 섬세함이 비례해야 하기 때문에 길수록 서서 히 증가 해야 한다. k는 식 (11)와 같다.

여기서 n은 0∼x→d-x→s사이 값에서 일정하게 증가한 다. 직선이 길면 의 값이 0∼x→d-x→s까지 증가하는 데 걸리는 횟수가 많이 필요하고, 직선의 길이가 짧다면 n의 증가 횟수가 적게 필요하다. 이렇게 k의 값은 0부터 1까지 증가하게 되며, 시작점에서 시작하여 중간 점들을 하나씩 샘플링을 하면서 끝점까지 직선 보간이 이루어지게 된다. 직선 보간에서 중간 점의 샘플링이 이뤄질 때마다 그 중 간 점들을 역기구학을 이용하여 모터들의 각도 값을 계산 하고 명령을 주어 그 점들을 이어 선분의 그림을 그릴 수 있게 한다.

그림을 그리는 속도는 중간 점들의 샘플링 주파수와 샘 플링 픽셀에 결정된다. 샘플링 주파수는 5Hz이며, 매 샘플 링 마다 일정하게 5픽셀 거리를 움직인다. 640 * 480 픽셀 을 20cm * 15cm로 출력하면 초당 0.78cm의 선분을 그린다. 여기서 5픽셀을 정한 이유를 설명하자면, 로봇 시스템을 구현에 이용된 모터의 최소 제어 각도는 0.29°이다. 최소 표현 가능 동작은 0.125cm이다. 5픽셀은 0.156cm이므로 최 소 움직임 보다 약간 크므로 5픽셀로 정했다. 아래 Fig. 10 에 보인 초상화의 경우, 허프 변환으로 발생되는 선분의 수는 대략 200~300개이며 선분의 평균 길이는 20~30픽셀 로 그림을 그리는 시간은 10~20분 정도 소요된다.