점군 기반의 심층학습을 이용한 파지 알고리즘

1. 서 론

최근 로봇 분야에서는 파지 알고리즘에 대한 연구가 활발히 진행되고 있다. 그러나 산업 현장에 적용하기 위해 고려되어야 할 사항들을 배제한 채로 진행되는 연구가 많다. 실제 산업 현장에서 중요한 요소는 새로운 환경에 개발한 알고리즘을 적용하기 위해 필요한 시간, 1회의 파지에 필요한 사이클 타임, 그리고 파지 성공률이다. 심층학습 기반의 파지 알고리즘들은 사이클 타임과 파지 성공률은 우수하지만, 새로운 환경에 적용하기 위해 많은 데이터와 시간이 필요하다. 따라서 새로운 환경에 빠르게 적용할 수 있는 파지 알고리즘에 대한 연구가 필요하다.

물체의 형상과 같은 특성을 고려하여 물체를 파지하는 파지 방법^[1]은 오래전부터 제시되었지만, 이러한 전통적인 방법의 사이클 타임과 파지 성공률은 최근 개발된 심층학습 기반의 방법에 비해 좋지 못하다. 반면에, Dex-Net^[2]과 같이 최근에 제안된 심층학습 기반의 파지 알고리즘은 사이클 타임과 파지성공률이 뛰어나다. 이를 위해 이들은 주로 기존에 수집되어 있던 방대한 데이터셋^[3]을 활용하거나 직접 데이터를 수집하였다. 따라서 환경이 변하면 데이터셋을 다시 수집해야 하는데, 이는 비용 문제로 인해 산업 현장에서는 실질적으로 매우 어려운 접근법이다. 또한, 이러한 방법들^[4,5]은 다양한 일상 생활용품들이 바닥에 흩어진 상황을 대상으로 파지 작업을 수행하였지만, 산업 현장에서는 좁은 상자 안에 동일한 물체들이 임의의 자세로 쌓여 있는 상태에서 파지 작업을 수행한다. 따라서 기 연구된 심층학습 기반의 파지 알고리즘들이 목표하는 환경과 산업 현장의 환경이 상이하므로, 이러한 알고리즘을 산업 현장에 적용하기에는 어려움이 있다.

본 연구에서는 산업 현장에 쉽게 적용할 수 있도록 새로운 환경에 빠르게 적용할 수 있으며 신속하고 정확하게 물체를 파지할 수 있는 알고리즘을 제시한다. 제안한 알고리즘은 실제 산업 환경과 유사하게 상자(bin)에 무작위로 담긴 물체를 대상으로 한다. 우선 고정된 위치에 있는 깊이 카메라를 이용하여 상자 내부의 물체들에 대한 점군(point cloud)을 얻는다. 이를 기반으로 심층학습을 사용하여 물체들의 파지 가능성을 추정하고, 가장 적합한 파지 대상을 선정한다. 이후 선정된 파지 대상을 파지하기 위한 로봇의 파지 자세와 이동 경로를 설정하고, 로봇은 설정된 이동 경로를 따라 물체에 접근하여 물체를 파지한다.

본 연구의 기여는 다음과 같다. 첫째, 새로운 환경에 적용하기 용이하고, 짧은 시간에 파지 가능성을 추정할 수 있는 알고리즘을 제안한다. 둘째, 점군으로부터 해당 물체의 파지 가능성을 추정할 수 있는 심층학습 모델을 제안한다. 셋째, 빈피킹(bin picking) 시에 상자와의 충돌 없이 목표 물체에 접근하는 방법을 제안한다.

본 논문은 다음과 같이 구성된다. 2장에서는 본 논문에서 제안된 알고리즘의 전체 구조에 대해 설명한다. 3장에서는 깊이 카메라을 이용하여 점군을 취득하고, 이를 군집화^[6]하는 전처리기에 대해 설명한다. 4장에서는 군집화된 점군으로부터 파지 목표 물체를 선정하는 방법에 대해 설명한다. 5장에서는 파지 대상으로 선정된 점군으로부터 파지 자세와 로봇의 이동 경로를 계획하는 파지 계획기에 대해 설명한다. 6장에서는 실험을 통해 제안된 알고리즘을 검증한다. 마지막으로, 7장에서는 결론을 도출한다.

2. 전체 알고리즘 구조

본 연구에서는 전통적인 방법과 심층학습 방법을 융합하여, 새로운 환경에 빠르게 적용할 수 있으며, 파지작업을 빠르고 정확하게 수행하는 파지 알고리즘인 GresNet (Grasp-resNet)을 제안한다. 이 GresNet은 [Fig. 1]과 같이 전처리기(preprocessor), 목표물체 선정기(target object selector), 그리고 파지 계획기(grasp planner)로 구성된다. 먼저, 전처리기는 점군이 입력되면 사용자가 정해놓은 작업공간 내의 점군을 군집화하여 점군을 물체별로 구분한다. 목표물체 선정기는 점군이 입력되면 기학습된 심층학습 모델을 이용하여 파지 가능성을 추정하고, 여러 점군 중에서 가장 파지 가능성이 높은 군집을 파지 대상으로 선정한다. 마지막으로, 파지 계획기는 선정된 군집의 위치를 고려하여 물체의 파지 자세와 상자와의 충돌 없이 파지 자세로 이동할 수 있는 경로를 추정한다.

[Fig. 1]

Flowchart of the grasping algorithm

3. 전처리기

전처리기에서는 깊이 카메라를 통해 얻은 점군에 군집화를 적용하여 점군을 물체별로 나눈다. 이를 위해 먼저 상자의 위치와 크기를 고려하여 [Fig. 2(a)]의 붉은 직육면체와 같이 상자 내부를 작업공간으로 결정하고, [Fig. 2(b)]와 같이 작업공간 내의 점군만을 취득한다. 이는 상자 내부의 물체를 파지할 때 상자와 상자 외부영역의 점군은 불필요하기 때문이다. 다음으로, 작업공간 내부의 점군은 일반적으로 필요 이상의 많은 점으로 구성되어 있으므로 모든 점을 군집화하려면 긴 시간이 소요된다. 따라서 [Fig. 2(c)]와 같이 복셀 그리드 필터(voxel grid filter)를 이용하여 점군의 기하학적 형상을 유지한 채로 점의 개수를 줄인다. 여기서 복셀은 부피(volume)와 픽셀(pixel)의 합성어로 3차원의 공간을 표현하는 단위이다. 이 복셀을 이용하여 3차원의 격자를 만든 것이 복셀 그리드이고, 복셀 그리드를 이용하여 점군을 다운샘플링(downsampling)하는 것이 복셀 그리드 필터이다. 이 복셀 그리드 필터를 이용하여 다운샘플링을 하면 [Fig. 3]과 같이 한 복셀 영역 내의 점들을 복셀의 중심점으로 대체하여 점군을 구성하는 점의 개수를 줄일 수 있다. 마지막으로, 유클리드 군집화(Euclidean clustering)을 통해 점군을 각 물체별로 군집화할 수 있다. 유클리드 군집화에서 [Fig. 4]와 같이 기준 거리가 r이라면, 임의로 선정한 하나의 점 _p1으로부터 거리 r보다 가까운 점들을 하나의 군집으로 여긴다. 그리고 군집 안에 새롭게 포함된 점 _p2, _p3, _p4를 기준으로 하여 거리 r보다 가까운 점들도 같은 군집에 포함시킨다. 모든 점에 대해 이와 같은 과정을 반복한다. 이를 통해 [Fig. 2(d)]와 같이 점군을 여러 군집으로 나눌 수 있다.

[Fig. 2]

(a) Raw point cloud, (b) point cloud in workspace, (c) downsampled point cloud, and (d) clustered point cloud

[Fig. 3]

Voxel grid filter

[Fig. 4]

Euclidean clustering

4. 목표 물체 선정기

목표 물체 선정기는 파지 가능성 추정기(graspability estimator)를 이용하여 주어진 점군으로부터 그 점군의 파지 가능성을 추정하고, 여러 점군의 파지 가능성을 종합하여 가장 적절한 파지 대상 물체를 선정한다. 여기서 파지 가능성 추정기는 인공신경망 기반의 알고리즘이며, 이에 따라 주어진 환경에 따른 데이터를 수집하여 학습을 진행할 필요가 있다. 본 장에서는 파지 가능성 추정기를 위한 데이터의 수집, 인공신경망의 구조와 그 학습 방법, 그리고 활용 방법에 대해 설명한다.

4.1 학습 데이터 수집

파지 가능성 추정기를 학습시키기 위해 군집화된 점군과 이 점군의 파지 성공 여부로 구성된 데이터가 필요하다. 그러나 새로운 작업 대상이 주어지면 해당 물체에 대한 데이터는 없는 상태이므로 로봇을 이용하여 직접 파지작업을 진행하면서 데이터를 수집한다. 이때 데이터를 수집하기 위해 [Fig. 5]와 같이 SAC-IA (sample consensus initial alignment)^[7]와 ICP (iterative closest point)^[8] 방법을 사용하여 목표 물체의 CAD 모델에서 얻은 점군과 군집화된 점군을 매칭한다. SAC-IA는 각 점군 특징을 도수분포도(histogram)로 나타내고, 두 점군의 유사한 부분을 찾아서 매칭되도록 정렬하는 방법이다. 또한, ICP는 두 점군 사이의 거리가 최소가 되도록 하기 위해 한 점군을 회전과 병진 이동을 반복하여 다른 점군을 향해 이동시킴으로써 두 점군을 매칭시키는 방법이다.

[Fig. 5]

(a) SAC-IA and (b) ICP

4.2 파지 가능성 추정기의 구조 및 학습

본 연구에서는 잔여블록(residual block)^[9]을 활용하여 [Fig. 6]과 같이 심층학습 모델을 구성하였다. 점군은 x, y, z 좌표로 표현되는 여러 점들의 집합이므로, 점군 내에 n개의 점이 있으면 점군은 n x 3 크기의 정보를 가진다. 따라서 n x 3 크기의 정보를 다룰 수 있도록 m x 1 형태의 비대칭적인 필터를 가지는 합성곱층(convolutional layer)을 사용하여 신경망을 구성하였다. 동일한 필터 수의 층을 6층씩 쌓았고, 6층마다 잔여블록 구조를 적용하였으며, 총 31층의 합성곱층을 쌓았다. 또한, 마지막 합성곱층에 3층의 전연결층(fully-connected layer)을 추가하였으며, 드롭아웃(dropout)을 적용하여 학습 시에 신경망이 과적합(overfitting)되는 것을 방지하였다. 이와 같은 과정을 통해 마지막 전연결층에서 파지의 가능 여부에 대한 점수를 출력한다.

[Fig. 6]

Architecture of the graspability estimator

4.3 파지 가능성 추정기를 활용한 파지 대상 선정

파지 가능성 추정기의 학습이 완료된 후에 학습된 모델을 활용하여 파지 가능성을 추정한다. 하지만 깊이 카메라에서 얻은 점군에 포함된 모든 군집의 파지 가능성을 추정하려면 많은 시간이 필요하므로 군집 중 몇개의 군집만 선택해서 파지 가능성을 추정한다. 이때 군집을 선택하는 기준은 점군에 속한 점의 수인데, 이는 [Fig. 7]과 같이 점군에 속한 점의 수가 많을수록 점군이 물체의 형태를 보다 잘 표현할 수 있기 때문이다. 이와 같이 선택된 몇 개의 군집에 대해 파지 가능성 추정기를 통해 각각의 파지 가능 점수를 구하고, 이 점수가 가장 높은 군집을 파지 대상으로 선정한다.

[Fig. 7]

Clustered point cloud with (a) 866 points and (b) 1,575 points

5. 파지 계획기

파지 계획기는 로봇이 바닥면과 수직한 경로를 통해 물체를 파지하는 탑다운 방식으로 물체를 파지할 수 있는 경로를 계획한다. 상자에 담긴 물체를 파지할 경우, 로봇의 경로 상에 상자가 있으면 로봇과 상자의 충돌이 발생할 수 있다. 따라서 본 연구에서는 상자 상단부에 가상점(virtual point)을 만들고, 이 점으로부터 물체로 향하는 벡터를 이용하여 파지 자세와 파지 경로를 추정한다.

5.1 로봇 파지 자세 추정

파지점(grasping point)은 파지 대상으로 선정된 군집에서 점들의 평균 위치로 손쉽게 추정할 수 있는 반면에, 회전 정보는 다소 복잡하다. 먼저 로봇 파지 자세를 추정하기 위해 [Fig. 8]과 같이 상자 중심의 위에 가상점을 설정한다. 로봇 베이스 좌표계에 대한 가상점의 위치벡터 ^Rv_v와 파지점의 위치벡터 ^Rv_g를 이용하여 가상점에서 파지점으로 향하는 단위벡터 $$ {\widehat{{v}}}_{\upsilon g}$$를 구하면, 이 단위벡터 방향으로 파지 자세의 z축이 설정된다. 또한, 본 연구에서는 흡착 그리퍼를 사용하므로 파지 자세의 x축과 y축의 방향벡터는 중요하지 않다. 위와 같은 과정을 통해 물체의 파지자세를 구할 수 있다. 이때 가상점의 높이 h_v가 커지면 θ가 줄어들고, h_v가 충분히 크면 θ가 0에 가까워지므로 바닥면에 수직한 방향으로 로봇이 물체에 접근하는 것이 가능하다.

[Fig. 8]

Grasping pose estimation

5.2 로봇 파지 경로 계획

로봇이 상자와의 충돌 없이 추정된 파지자세로 이동하여 물체를 파지하기 위한 로봇의 시작점(start point)은 [Fig. 9]와 같이 상자보다 높은 곳에 설정한다. 또한, 가상점과 물체의 파지점을 잇는 가상의 선 위에서 파지점으로부터 d만큼 떨어진 위치에 경유점(waypoint)을 형성한다. 이때 θ는 0에 가까우므로 물체와 가상점의 높이 차이 dcosθ는 d와 유사하다. 따라서 d가 상자의 높이 h_b 보다 크면 경유점이 상자보다 높은 곳에 위치하므로 경유점을 거쳐 파지점을 향해 이동하면 상자와 충돌 없이 물체에 접근할 수 있다. 단, 파지점에서 물체의 표면까지는 α의 거리가 있으므로 로봇 진입 시 α만큼 덜 진입하여 물체를 파지한다. 이 α 값은 물체의 형상과 크기를 참고하여 정한다.

[Fig. 9]

Path planning for top-down grasp

6. 실 험

6.1 실험 환경

GresNet을 검증하기 위해 [Fig. 10]과 같이 실험환경을 구성한 후 실험을 진행하였다. 3차원 측정 카메라로 Zivid one plus medium 제품을 사용하였고, UR5 로봇에 Schmalz의 진공발생기(vacuum generator) ECBPM과 진공그리퍼를 장착하여 물체를 파지하였다. 파지 분석 및 심층학습을 위해서 RTX 2080 Ti의 그래픽 카드가 내장된 PC를 사용하였다. 대상 물체는 자동차 부품 중 하나인 캡을 이용하였으며, 공장에서 흔히 볼 수 있는 480 × 330 × 170 mm 크기의 제품 상자를 이용하였다.

[Fig. 10]

Experimental set-up

본 실험에서 복셀의 크기는 2.5 mm, 유클리드 군집화의 기준 거리 r = 2.5 mm으로 설정하였는데, 이는 1~3 mm의 범위에서 0.5 mm 간격으로 시험한 거리 중에서 가장 군집화가 잘 되는 값이다. 그리고 물체의 형상과 크기를 고려하여 파지점에서 물체 표면까지의 거리는 α = 2 mm로 정하였고, 상자의 높이는 h_b = 170 mm이므로 물체와 경유점 사이의 거리는 d = 300 mm로 설정하였다. 마지막으로, 파지 대상을 선정할 때는 10개의 군집을 이용하였다.

6.3 파지 실험 결과

[Fig. 11]과 같이 CAD 모델 기반의 전통적인 파지 방법을 사용한 경우에는 62.3%의 평균 파지 성공률을 얻었다. 학습 과정이 없으므로 실험을 진행하는 동안 파지 정확도의 개선은 없었고, 실험마다 물체의 배치가 조금씩 달라졌으므로 실험 간의 파지 성공률에는 다소 차이가 나타났다. PointNet 기반의 파지 방법은 400개의 점군 데이터를 활용한 경우 전통적인 방법에 비해 파지 성공률이 16.7% 증가하였으나, 데이터를 추가하여 학습시켜도 파지 성공률이 크게 개선되지 않았다. 반면에, GresNet의 경우에는 데이터를 많이 수집할수록 파지 성공률이 향상하는 것을 확인하였으며, 2,000개의 데이터를 이용하였을 때는 파지 성공률이 90%까지 증가하였다. 따라서 GresNet의 파지 성능이 가장 우수하였다.

[Fig. 11]

Success rate of grasp with respect to the number of data

이와 같은 결과는 GresNet과 PointNet의 학습 모델 구조에 기인한 것이다. GresNet은 잔여블록 기반의 네트워크이므로 단순 네트워크 구조인 PointNet에 비해 특징을 잘 추출한 것으로 보인다. 이 구조는 학습 시의 경사 소실 문제(vanishing gradient problem)을 해결하는 방법이므로, 잔여블록이 영상 기반의 학습 모델뿐만 아니라 점군 기반의 학습 모델에서도 성능 향상을 보여주는 것을 알 수 있다. 또한, PointNet의 경우에는 채널 수가 최대 21배로 급격히 증가하지만, GresNet의 경우에는 항상 최대 2배로 완만히 증가하여 GresNet이 PointNet보다 많은 파라미터를 가지므로 특징도 잘 추출한다.

새로운 환경에 적용하기 위한 시간은 데이터 수집 시간과 학습 시간을 모두 더한 시간이다. [Table 1]에서 보듯이 전통적인 파지 방법은 학습에 기반한 방법이 아니므로 학습에 필요한 데이터와 시간이 필요 없다. 그러나 [Table 2]에서 보듯이 이 방법은 사이클 타임이 25.71초로 타 알고리즘에 비해 오래 걸린다. 반면에, PointNet은 8.31시간 정도가 소요되었으므로 빠른 시간 안에 학습이 가능했으며, 사이클 타임도 11.26초 정도로 짧다. 마지막으로, GresNet은 새로운 제품에 대한 알고리즘의 총 적용 시간은 약 9.82시간이 소요되었으며, 사이클 타임은 11.84초 로 PointNet과 유사하였다.

[Table 1]

Application time of the grasping algorithm

[Table 2]

Cycle time of the grasping algorithm

GresNet과 PointNet은 학습을 진행할수록 파지 성공률이 증가하지만, PointNet은 [Fig. 11]과 같이 파지 성공률이 80%에 수렴한다. 따라서 80%보다 높은 파지 성공률을 기준으로 두 알고리즘을 비교하기는 힘들다. 그러므로 GresNet과 PointNet의 성능이 80%에 도달하는 시간을 비교하면 GresNet은 4.45시간, PointNet은 8.31시간이다. 즉, GresNet이 PointNet보다 3.86시간 빠르게 파지 성공률 80%를 만족하였으므로, GresNet이 PointNet보다 성능이 더 신속하게 증가하여 새로운 환경에 더 빠르게 적용할 수 있다.

세 가지 방법 중 전통적인 파지 방법은 사이클 타임이 길고 파지 성공률이 낮아 성능이 가장 좋지 않다. PointNet의 경우, 제안한 알고리즘보다 새로운 환경에 적용하는 시간이 짧고 사이클 타임도 짧지만 파지 성공률이 상대적으로 낮으므로 파지 성능이 좋다고 하기 어렵다. 반면에, GresNet은 PointNet와 비교하면, 새로운 환경에 적용하기 위한 준비 시간은 18%(약 1.49시간), 사이클 타임은 5%(약 0.58초) 정도 오래 소요되지만, 파지 성공률은 PointNet보다 약 11% 높으므로, 타 알고리즘에 비하여 우수하다고 볼 수 있다. 즉, 파지 성공률을 고려하여 100번 파지 성공을 위해 필요한 시간을 계산하면, GresNet은 1316초로 PointNet의 1425초보다 시간이 적게 소요된다.

7. 결 론

본 연구에서는 심층학습을 이용하여 새로운 환경에 신속하게 적응할 수 있으며, 빠르고 정확하게 물체를 파지할 수 있는 GresNet을 제안하였다. 이를 위해 점군을 기반으로 파지 가능성을 추정할 수 있는 새로운 인공신경망 모델을 제안하였다. 실험을 통하여 다음과 같은 결론을 도출하였다.

첫째, 실험을 통해 파지 성공률은 90%, 사이클 타임은 12초, 그리고 새로운 환경에의 적용에 9.82시간이 소요된다는 것을 확인하였다.

둘째, 제안된 심층학습 모델을 이용하여 점군의 파지 가능성을 추정할 수 있다.

셋째, 상자와의 충돌을 회피하여 물체로 접근하는 경로를 계획하고, 물체를 파지할 수 있다.

GresNet은 짧은 시간에 새로운 환경에 적용이 가능하여 다양한 제품에 적용할 수 있고, 짧은 사이클 타임과 높은 파지 성공률로 인해 다양한 분야에 적용할 수 있다. 또한, 상자와 충돌을 회피할 수 있으므로 빈피킹이 가능하므로, 작업자를 대체하여 생산성을 향상시킬 것으로 기대된다.

Acknowledgments

This work was supported by IITP grant funded by the Korea Government MSIT. (No. 2018-0-00622)

References

• L. P. Ellekilde, J. A. Jørgensen, D. Kraft, N. Kruger, N. Krüger, J. Piater, and H. G. Petersen, “Applying a learning framework for improving success rates in industrial bin picking,” 2012 IEEE/RSJ International Conference on Intelligent Robots and Systems, pp. 1637-1643, Oct., 2012. [https://doi.org/10.1109/IROS.2012.6385827]
• J. Mahler and K. Goldberg, “Learning deep policies for robot bin picking by simulating robust grasping sequences,” Machine Learning Research, vol. 78, pp. 515-524, Oct., 2017, [Online], http://proceedings.mlr.press/v78/mahler17a.html, .
• A. X. Chang, T. Funkhouser, L. Guibas, P. Hanrahan, Q. Huang, Z. Li, S. Savarese, M. Savva, S. Song, H. Su, J. Xiao, L. Yi, and F. Yu, “ShapeNet: An information-rich 3d model repository,” arXiv preprint arXiv:1512.03012, 2015, [Online], https://arxiv.org/abs/1512.03012, .
• Y. Jiang, S. Moseson, and A. Saxena, “Efficient grasping from rgbd images: Learning using a new rectangle representation,” 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, pp. 3304-3311, 2011. [https://doi.org/10.1109/ICRA.2011.5980145]
• I. Lenz, H. Lee, and A. Saxena, “Deep learning for detecting robotic grasps,” The International Journal of Robotics Research, 2015, [Online]. [https://doi.org/10.15607/RSS.2013.IX.012]
• R. B. Rusu and S. Cousins, “3d is here: Point cloud library (pcl),” 2011 IEEE International Conference on Robotics and Automation, Shanghai, China, 2011. [https://doi.org/10.1109/ICRA.2011.5980567]
• R. B. Rusu, N. Blodow, and M. Beetz, “Fast point feature histograms (FPFH) for 3D registration,” 2009 IEEE International Conference on Robotics and Automation, Kobe, Japan, pp. 3212-3217, 2009. [https://doi.org/10.1109/ROBOT.2009.5152473]
• S. Rusinkiewicz and M. Levoy, “Efficient variants of the ICP algorithm,” Third International Conference on 3-D Digital Imaging and Modeling, Quebec City, QC, Canada, pp. 145-152, 2001. [https://doi.org/10.1109/IM.2001.924423]
• K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 770-778, 2016. [https://doi.org/10.1109/CVPR.2016.90]
• C. R. Qi, H. Su, K. Mo, and L. J. Guibas, “PointNet: Deep learning on point sets for 3d classification and segmentation,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 652-660, 2017. [https://doi.org/10.1109/CVPR.2017.16]