비주얼 서보잉을 위한 딥러닝 기반 물체 인식 및 자세 추정

1. 서 론

제조 공정 자동화는 수작업 공정보다 효율성이 높고, 인력 감소로 인한 자동화 장비 교체의 필요성 증가 및 비전과 로봇 기술의 발전으로 산업혁명 이후 꾸준히 발전해왔다. 제조 공 정 자동화는 단순 반복 작업을 대체할 수 있는 로봇개발에 집 중되어 로봇 반복 정밀도 향상 등과 같은 하드웨어 관련 분야 에서 주로 연구되어 왔다. 그러나 전자분야의 부품 포장 및 조 립공정 작업에 대한 자동화는 기술개발의 한계로 인하여 여전 히 수작업에 의존하고 있다. 최근 4차 산업혁명으로 인하여 스 마트공장 분야가 대두되면서 실시간 모니터링, 부품조립, 물 류 및 작업 내역 추적관리, 작업 상태파악, 불량관리 등의 분야에 자동화를 위한 인공지능기술이 적용되고 있다.

전자부품 포장 및 조립 공정 자동화에 대한 수요의 증가로 부품조립 분야에서는 인공지능기술을 기반으로 움직이는 물 체를 인식하고 추적하여 로봇이 물체를 파지할 수 있도록 하 는 비주얼 서보잉 기술 개발이 활발히 진행되고 있다. 비주얼 서보잉을 이용한 물체 추적 기술은 위치기반 시각적 제어 (Position Based Visual Servoing, PBVS)^[1] 와 이미지기반 시각 적 제어(Image Based Visual Servoing, IBVS)^[2] 로 분류될 수 있 다. PBVS는 3차원 공간 속의 물체와 2차원 공간의 영상과의 관계를 이용하여 제어하는 기법으로써, 카메라 내∙외부 매개 변수 추출 및 영상 왜곡으로 인한 오차 보상이 필요한 단점이 있다. IBVS는 카메라 내∙외부 매개변수 추출은 필요하지 않 지만, 카메라 영상에서 획득한 특징점들이 영상 위의 목표 위 치로 이동하는 제어 방식을 카메라 영상에 의존하고 있기 때 문에 조명 등 외부 환경 변화에 영향을 받아 제어가 어려운 단 점이 있다. 따라서 이러한 단점을 보완하기 위해 두 가지 방법 을 결합하여 사용하는 기술^[3] 등의 연구개발이 진행되고 있다.

제조 현장의 작업자들이 작업하고 있는 조립분야를 로봇으 로 대체하기 위해서는 물체 검출 정확도가 높고 실시간 처리 기술이 요구되기 때문에 실제 현장에 적용할 수 있는 상용화 단계의 기술 개발은 미흡한 편이다. 현재 연구단계에서, 저속 동적 물체에 대한 비주얼 서보잉 기술은 로봇이 안정적으로 물 체를 추적하는 단계까지 기술이 개발되어 있는 실정이다. 고 속 동적 물체 조립의 경우, 물체 검출의 정확도 및 자세 추정 정 밀도를 높이는 연구가 진행되어 왔지만, 동적물체의 경우 속도 가 높을수록 영상 블러링이 많이 발생하기 때문에 물체 검출 정확도와 자세 추정 정밀도가 떨어지는 문제점이 발생하였다.

본 논문에서는 이러한 문제점들을 해결하기 위해, 고속 동 적 물체를 로봇이 파지함에 있어서 딥러닝 기술을 활용하였 다. 실시간으로 안정적인 물체 검출과 인식을 수행하고, 물체 의 관심영역(Region Of Interest, ROI) 추출, 2개의 에지 검출 알 고리즘과 스켈레톤 정보를 활용한 강인한 에지 정보를 추출하 여 물체영역 검출의 정확도를 높일 수 있도록 하였다. 또한 비 주얼 서보잉을 위한 물체의 최적 외곽선 검출을 통해 자세를 추정하였다. 본 논문에서 제안한 비주얼 서보잉 물체 인식 및 자세 추정 기법의 타당성을 검증하기 위해 실제 로봇을 이용 하여 부품을 파지하는 실험을 진행하였다.

2. 제조 공정에서의 물체 인식 및 자세 추정

2.2 실시간 물체 검출 및 자세 추정

산업 현장 제조 공정과정에 실제 적용하기 위해서는 먼저, 실시간으로 안정적인 물체 검출이 이루어져야한다. 그러나 기 존 전통방식을 동적물체조립에 적용할 경우 정확한 물체 검출 및 자세 추정 정밀도가 저하되는 문제점이 발생하였다. 따라 서 본 논문에서는 [Fig. 1]과 같이 CNN을 기반으로하여 실시 간으로 물체를 검출하고 내부 특징을 추출하여 대상 물체의 영역 검출 및 정밀한 자세를 추정할 수 있도록 하였다.

[Fig. 1]

Flow chart of object detection system

3. 딥러닝 기반 제조 공정 물체 인식 및 자세 추정 기법

물체 검출 및 자세 추정의 정밀도를 높이고 실시간으로 대 상물체를 검출하기 위해 YOLO^[5]를 비주얼 서보잉 기술에 적 용하여 대상물체 영역을 검출하였다. 클래스 개수는 조립과정 에서 사용되는 덮개와 본체 2개의 대상 물체로 구성하였다.

YOLO로 검출된 물체의 관심영역을 설정하고 그 내부의 선 분 및 랜드 마크 특징을 활용하여 물체의 최적 외곽선을 추출 하고 자세를 추정하도록 하였다.

3.1 물체 인식을 위한 YOLO 모듈

YOLO는 CNN기반으로써 기존 방법의 객체 검출과 인식하 는 과정을 하나로 통합한 시스템이다. 따라서 R-CNN^[6], Faster R-CNN^[7] 및 Mask R-CNN^[8] 등과 같은 기존 방식의 딥러닝 알 고리즘보다 속도가 빠르며 기존 방식과 유사한 성능의 인식률 을 나타내므로 실시간 객체 인식에 사용하기 매우 적합하다. YOLO 모델은 각각의 입력 이미지를 SxS 그리드로 나누고 학 습 과정을 통해 각 그리드마다 객체가 존재할만한 위치에서 사용자가 설정한 B개 만큼의 바운딩 박스를 찾는다. 이때 바운 딩 박스의 위치는 중심좌표(x, y), 가로(w)와 세로(h)값으로 표 현된다. 각각의 예측한 바운딩 박스는 그 위치에 대한 신뢰도 값을 갖기 때문에 하나의 바운딩 박스에 대하여 5개의 예측 값 이 필요하다. 또한 각각의 그리드에 대하여 클래스 확률을 예 측하기 때문에 클래스 개수(C)만큼의 예측 값이 더 필요하다. 따라서 YOLO모델을 통해 최종적으로 산출해야 할 예측 값의 개수는 SxSx (Bx5+C)이다. 다음의 [Fig. 2]는 물체영역 검출을 위한 YOLO의 구조를 나타낸 것이다.

[Fig. 2]

YOLO Structure for Object Region Detection

먼저, YOLO 모델의 기본 값을 선정하여 입력 그리드는 7x7 로 나누었으며, B값은 2로 세팅하였다. 여기서 클래스의 수는 2개이므로 최종 출력 레이어에서 예측해야 하는 값은 588개이 다. 또한 검출 후 세부 분석을 위해 ROI는 검출 바운딩 박스 영 역의 K배(K<1.5) 크기로 설정하여 안정적으로 물체 영역을 검 출할 수 있도록 하였다. [Fig. 3]은 물체영역 검출 결과를 나타낸 것으로써, 주황색 박스는 검출된 물체영역, 검은 박스는 검출된 물체 영역으로부터 물체의 ROI검출 결과를 나타낸 것이다.

[Fig. 3]

Detected target object (left: cover, right: body) and ROI (black bounding box)

3.2 최적의 외곽선 검출

3.2.1 물체 에지 검출

대상물체의 자세 추정에 필요한 윤곽선 검출을 위해 획득 된 영상에 대한 에지 성분을 추출하였다. 실시간 동적 물체에 대하여 Canny 에지 검출기를 사용하였을 때 팽창과 압축을 통 해 원활한 검출을 할 수 있도록 끊어진 에지 성분들을 연결하 였고, Skeleton을 검출하여 두 검출 결과를 결합함으로써 물체 외곽 선분들을 보다 강인하게 검출할 수 있도록 하였다. 또한 안정적인 선분 검출을 위해 Sobel 에지 검출기를 사용하여 에 지 성분을 추가로 추출하고 [Fig. 4]와 같이 총 두 개의 에지 검 출 결과를 얻었다.

[Fig. 4]

left: Canny edge detection, middle: skeleton detection, right: Sobel edge detection

3.2.2 물체 외각 성분 검출

물체의 정확한 영역을 검출하기 위해 총 2개의 에지 추출 결 과에 대하여 각각 물체외각의 후보 선분을 추출하였다. 대상 물체의 외각 후보 선분은 Line Segment Detection알고리즘^[9]을 활용하여 검출하였다. 기존 방법인 Canny 에지 검출기로 추출 한 에지 성분에서 선분을 추출하였을 때 선분의 일부가 소실 되어 끊어지는 현상이 발생하여 외각 성분을 추출하기 어려웠 다. 따라서 본 논문에서는 Canny 에지 검출기로 검출한 에지 성분과 Skeleton 성분 추출을 결합하여 사용하였고, 강인한 에 지 검출을 위해 Sobel 에지 검출기로 검출한 에지 성분에서도 선분을 추출하여 추출한 두 선분을 결합하고, 길이와 방향성 을 비교하여 상대적으로 짧고 방향성이 다른 선분들은 제거하 여 [Fig. 5]와 같이 외곽선 후보 선분으로 추정되는 선분들을 추출할 수 있었다.

[Fig. 5]

left: LSD algorithm applied to the combination of Canny edge detection result and skeleton result images, middle: LSD algorithm applied to Sobel edge detection result image, right: A combination image of left image and middle image

3.2.3 외곽선 후보 검출 및 교차점 획득

대상물체의 자세 추정에 필요한 윤곽선 검출을 위해 빠른 직선 처리 알고리즘으로 많이 사용되는 허프 변환을 이용하였 다. 직선의 방정식은 y축과 평행한 직선이 주어진 경우 기울기 값이 무한대의 값이므로 표현하지 못하기 때문에 다음 식 (1) 과 같이 극좌표계를 사용한다.

$\[ \rho =x\hspace{0.17em}·\hspace{0.17em}\text{cos}\theta +y\hspace{0.17em}·\hspace{0.17em}\text{sin}\theta ,\theta \in \left[0,\pi \right] \]$

(1)

ρ와θ의 누적 값이 acc(ρ, θ) > T 조건을 만족시킬 때, 매 핑 직선이 이미지에 존재한다고 가정한다. T는 직선의 길이 에 대한 임계값으로, 전처리과정에서 외곽선 후보로 사용할 선분들을 미리 찾아놓았기 때문에 안정적인 외곽선 검출을 위 하여 임계값을 T = 40으로 낮게 설정하였다.

[Fig. 6]은 이전단계의 에지에서 추출한 선분들 중 설정된 임계값 이상의 선분들로부터 연결된 선분들의 교차점을 추출 하여 꼭짓점 후보를 선별한 결과를 나타낸 것으로써, 물체 외 곽에 여러 개의 꼭짓점 후보들이 검출된 것을 확인할 수 있다.

[Fig. 6]

(a) Outline candidates detection using hough transform, (b) Multiple intersection points from outline candidiates

3.2.4 후보 꼭짓점 클러스터링

최적의 꼭짓점을 찾기 위해 각각의 후보 꼭짓점들을 분리 할 수 있는 K-means clustering^[10] 알고리즘을 사용하였다. K-means clustering 알고리즘은 사용자가 군집 수(K)를 지정해주면 K에 맞는 각 군집 영역에 대하여 하나의 중심을 가지며, 가장 가까 운 중심에 개체들이 모여 하나의 군집을 형성한다. 현재 사용 한 대상물체의 형태는 사각형이기 때문에 K=4로 설정하여 4 개의 영역으로 나눈 다음, 식 (2)를 이용하여 [Fig. 7]과 같이 꼭 짓점 후보군을 생성하였다.

[Fig. 7]

Candidate vertices clustering

$\[ \begin{array}{l}x=C_1\cup C_2\cdots \cup C_K,C_i\cap C_j=\varphi \\ {\text{argmin}}_C{\displaystyle \sum _{i=1}^K{\displaystyle \sum _{x_j\in C_i}{\Vert x_j-C_i\Vert }^2}}\end{array} \]$

(2)

여기서, x는 물체의 집합, C는 군집의 중심점을 나타낸다.

3.2.5 꼭짓점 선정 및 외곽선 검출

물체 외곽의 꼭짓점은 여러 개의 꼭짓점 후보들로 구성되 기 때문에 최적의 꼭짓점을 찾기 위한 과정이 진행되어야 한 다. 최적의 꼭짓점을 찾기 위해 꼭짓점 후보의 주변 픽셀들을 참조하였다^[11]. 후보 꼭짓점 p를 중심으로 16개의 픽셀로 이루 어진 원의 내부 픽셀을 참조 영역으로 정하고 [Fig. 8]과 같이 점 p 위의 빨간 기준선을 중심으로 픽셀의 평균값을 구하고 물 체 외곽선의 픽셀 평균값인 임계치 T와 비교하여 빨간 기준선 아래쪽의 픽셀 평균이 T와의 오차 범위 내인 점 p를 꼭짓점으 로 선정하기 위하여 식 (3)을 이용하였다.

[Fig. 8]

Optimal vertex detection with reference to peripheral pixels

$\[ \begin{array}{l}a\left(p\right)=({\displaystyle \sum _{i=0}^n{p}_i-T})/n\\ P_{\upsilon }\{\begin{array}{ll}{a}_u\left(p\right)\hfill & >E_{\upsilon }\hfill \\ a_d\left(p\right)\hfill & \ge E_{\upsilon }\hfill \end{array}\end{array} \]$

(3)

식 (3)에서, a(p)는 점 p 주변 픽셀들의 평균 오차율이며 p_i 는 각 픽셀의 밝기 값이다. P_υ는 꼭짓점, a_u(p) 와 a_d(p)는 빨 간 기준선 위쪽과 아래쪽의 평균 오차율이며, E_υ는 꼭짓점을 판단하는 허용 오차이다. 식 (3)을 적용하여 최적의 꼭짓점을 구하고 외곽선 검출을 위해 원점에서 가장 가까운 꼭짓점을 기준으로 우선순위를 부여하여 [Fig. 9]와 같이 최종 꼭짓점을 검출하였다.

[Fig. 9]

Acquisition and Ordering vortices for optimal outline detection

[Fig. 10]은 최종적인 외곽선 검출과 꼭짓점을 활용하여 중 심점을 구한 결과이다.

[Fig. 10]

Final outline detection result

3.3 물체 자세 추정

물체의 자세 추정을 위한 회전각을 계산하기 위해서 Perspective transform을 통하여 임의의 각도로 놓여있는 물체를 0∘로 복원 하였다. 이때 이전 단계에서 획득한 4개의 꼭짓점 정보와 Affine transform을 사용하였다. 물체가 사각형이기 때문에 참조 영상 과 비교하여 회전각을 추정하기 위해 물체의 랜드 마크를 검 출하고 기하학적인 위치를 반영하여 회전각을 구하였다.

실험에 사용한 물체의 원형 랜드 마크가 안정적으로 검출 되었으므로 원형 랜드 마크와 이전 단계에서 획득한 중점 좌 표를 사용하여 회전각을 추정하였다. 그러나 덮개 부분은 랜 드 마크가 하나만 검출되어 기하학적인 위치를 반영하는 데 문제가 있었다. 랜드 마크가 중앙에 위치하지 않기 때문에 각 외곽선의 중점을 구해서 랜드 마크와 그 중점의 유클라디안 거리가 가장 긴 방향을 0° 기준 각으로 하여 회전각을 계산하 였다. 다음 [Fig. 11]은 Perspective transform을 적용하고 랜드 마크를 구한 결과 영상이다.

[Fig. 11]

Perspective Transform result

4. 실험 및 결과

딥러닝 기법을 활용하여 로봇 팔이 컨베이어 벨트 위의 움 직이는 물체를 파지할 수 있도록 하기 위해 물체 인식 및 자세 추정 실험을 통해 제안하는 방법의 타당성을 증명하였다. 실 험에 사용된 물체는 실제 제조 공정에서 조립이 필요한 부품 이며, 실험은 조명장치를 별도로 설치하지 않은 환경에서 획 득한 자연 영상을 사용하여 진행되었다.

YOLO에서 물체를 검출하고 인식한 다음 정밀한 자세 추정 실험도 진행하였다. YOLO에서 물체 전체영역을 검출하지 못 한 경우 물체 검출 영역에 비례하게 ROI를 설정하여 물체 영 역이 검출되도록 하였다. 물체가 인식되었을 때, 물체의 선분 을 검출하고, 검출된 선분을 연장하여 선분 간의 교차점을 획 득하였다. 교차점을 각 꼭짓점의 수에 맞게 후보군으로 나누 어 각 꼭짓점 후보군 중에서 픽셀 정보를 참조하여 최적의 꼭 짓점을 검출하여 중점을 획득하였다. 또한, 물체의 랜드 마크 를 검출하고 중점을 활용하여 물체의 자세를 추정하였다.

실험에 사용된 컴퓨터 사양은 Intel Core i7-7820X CPU, 32GB RAM, NVIDIA GeForce GTX 1080 Ti와 16GB memory 이며, 실험에 사용된 데이터는 [Table 1]과 같다. 실험에 사용 된 물체 영상들은 각각의 물체에 대하여 크기 및 조명이 다른 12개의 이미지를 10°씩 회전시켜 얻은 432개의 이미지를 배경 이미지와 합성하여 생성되었다. 생성된 영상들은 [Table 1]과 같이 학습과 테스트에 각각 사용되었다.

Table 1

Training and Test Data

실험은 실시간 처리속도, 물체인식의 정확도 및 자세추정 의 정밀도에 중점을 두고 진행하였다. 실험 영상은 컨베이어 벨트 위에서 23~25m/min 정도의 속도로 물체를 이동시키면 서 웹 카메라로 획득한 것이다. YOLO 기반 물체 검출 및 인식 과정에서는 200,000장의 영상데이터를 학습용으로 사용하였 으며, 학습 후 120,000장의 영상으로 테스트한 결과 물체 검출 율은 98%로 높은 성능을 나타내었다. 최종 단계로 로봇과 연 동을 위한 이미지에서 ROI를 설정하여 ROI내에서만 검출 및 인식을 수행하여 물체 오검출을 줄이고 초당 약 22프레임 정 도의 처리 속도를 얻었다. 자세 추정과정에서는 실시간으로 이동하는 물체의 랜드 마크를 검출하여 92%의 랜드 마크 검출 율을 보였으나, 동적물체에서의 블러링 등의 변수로 인하여 물체 영역을 제대로 검출하지 못하는 경우가 발생하였다. 랜 드 마크 검출을 통한 자세 추정 오차율은 영상의 블러링으로 인하여 10%까지 나타났다. 그러나 물체의 외곽선을 정확히 검출한 영상에서의 자세 추정 정밀도는 약 4 mm 이내로 측정 되었다. [Table 2]에서는 물체 영역 검출 및 인식과 자세 추정 에 대한 실험결과를 나타내었다. [Fig. 12]는 제안한 물체 검출, 인식 및 자세 추정 결과를 최종적으로 도출하여 나타낸 것이다.

Table 2

Experimental Results of Object Recognition and Pose Estimation

[Fig. 12]

Final Object Recognition & Pose Estimation result

5. 결 론

본 논문에서는 비주얼 서보잉을 위한 물체 인식 및 자세 추 정을 위하여 YOLO기반의 물체 검출 및 인식과 내부 특징을 활용한 자세 추정 방법을 제안하였다.. 물체 검출 및 인식 에서 는 320,000장의 영상데이터와 실시간으로 좋은 성능을 내는 YOLO를 활용하여 98% 이상의 높은 물체 검출 결과를 도출하 였다. 물체영역이 정확히 검출된 경우 자세 추정은 4 mm이내 의 결과를 보였으나, 블러링된 물체 영상에 대해서는 자세 추 정 오차율이 10%까지 나타났다. 자세 추정 오차율의 대부분 은 물체 이동시 사각형의 모든 꼭짓점을 찾지 못하여 발생하 였으므로 물체의 비율을 자동으로 검출하는 방법을 이용하여 오류율을 개선할 수 있을 것이다. 향후 물체 검출 오류 및 자세 추정 알고리즘 개선과 대용량 영상 DB를 활용한 학습을 통해 성능 향상을 할 예정이다.

References

• W. J. Wilson, C. C. W. Hulls, and G. S. Bell, “Relative endeffector control using Cartesian position based visual servoing,” IEEE Transactions on Robotics and Automation, vol. 12, no. 5, pp. 684-696, Oct, 1996. [https://doi.org/10.1109/70.538974]
• E. Malis and P. Rives, “Robustness of image-based visual servoing with respect to depth distribution errors,” 2003 IEEE International Conference on Robotics and Automation, Taipei, Taiwan, pp. 1056-1061, 2003. [https://doi.org/10.1109/ROBOT.2003.1241732]
• F. Chaumette “Potential problems of stability and convergence in image-based and position-based visual servoing,” The confluence of vision and control. Lecture Notes in Control and Information Sciences, D. J. Kriegman, G. D. Hager, A. S. Morse eds., vol. 237, Springer, London, 1998. [https://doi.org/10.1007/BFb0109663]
• B. Nelson, N. P. Papanikolopoulous, and P. K. Khosla, “VISUAL SERVOING FOR ROBOTIC ASSEMBLY,” Visual Servoing, 7^th ed. World Scie.jpgic, ch. 6, pp. 139-164, 1993.
• J. Redmon and A. Farhadi, “YOLO9000: better, faster, stronger,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, 2017, DOI: 10.1109/CVPR.2017.690. [https://doi.org/10.1109/CVPR.2017.690]
• R. Girshick, J. Donahue, T. Darrell, and J. Malik, “Rich feature hierarchies for accurate object detection and semantic segmentation,” 2014 IEEE Conference on Computer Vision and Pattern Recognition, Columbus, OH, USA, pp. 580-587, 2014. [https://doi.org/10.1109/CVPR.2014.81]
• S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: Towards Real-Time Object Detection with Region Proposal Networks,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 39, no. 6, pp. 1137-1149, Jun., 2017. [https://doi.org/10.1109/TPAMI.2016.2577031]
• K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask R-CNN,” 2017 IEEE International Conference on Computer Vision (ICCV), Venice, Italy, 2017, DOI: 10.1109/ICCV.2017.322. [https://doi.org/10.1109/ICCV.2017.322]
• R. G. von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “LSD: a Line Segment Detector,” Image Processing On Line, vol. 2, pp. 35–55. 2012. [https://doi.org/10.5201/ipol.2012.gjmr-lsd]
• J. A. Hartigan and M. A. Wong , “Algorithm AS 136: A k-means clustering algorithm,” Journal of the Royal Statistical Society. Series C (Applied Statistics), vol. 28, no. 1, pp. 100-108, 1979.
• E. Rosten and T. Drummond , “Machine learning for highspeed corner detection,” European Conference on Computer Vision, vol. 3951, pp. 430-443, 2006 [https://doi.org/10.1007/11744023_34]