파지 가능성 추정기를 학습시키기 위해 군집화된 점군과 이 점군의 파지 성공 여부로 구성된 데이터가 필요하다. 그러나 새로운 작업 대상이 주어지면 해당 물체에 대한 데이터는 없는 상태이므로 로봇을 이용하여 직접 파지작업을 진행하면서 데이터를 수집한다. 이때 데이터를 수집하기 위해 [Fig. 5]와 같이 SAC-IA (sample consensus initial alignment)^[7]와 ICP (iterative closest point)^[8] 방법을 사용하여 목표 물체의 CAD 모델에서 얻은 점군과 군집화된 점군을 매칭한다. SAC-IA는 각 점군 특징을 도수분포도(histogram)로 나타내고, 두 점군의 유사한 부분을 찾아서 매칭되도록 정렬하는 방법이다. 또한, ICP는 두 점군 사이의 거리가 최소가 되도록 하기 위해 한 점군을 회전과 병진 이동을 반복하여 다른 점군을 향해 이동시킴으로써 두 점군을 매칭시키는 방법이다.

[Fig. 5] 
(a) SAC-IA and (b) ICP

본 연구에서는 잔여블록(residual block)^[9]을 활용하여 [Fig. 6]과 같이 심층학습 모델을 구성하였다. 점군은 x, y, z 좌표로 표현되는 여러 점들의 집합이므로, 점군 내에 n개의 점이 있으면 점군은 n x 3 크기의 정보를 가진다. 따라서 n x 3 크기의 정보를 다룰 수 있도록 m x 1 형태의 비대칭적인 필터를 가지는 합성곱층(convolutional layer)을 사용하여 신경망을 구성하였다. 동일한 필터 수의 층을 6층씩 쌓았고, 6층마다 잔여블록 구조를 적용하였으며, 총 31층의 합성곱층을 쌓았다. 또한, 마지막 합성곱층에 3층의 전연결층(fully-connected layer)을 추가하였으며, 드롭아웃(dropout)을 적용하여 학습 시에 신경망이 과적합(overfitting)되는 것을 방지하였다. 이와 같은 과정을 통해 마지막 전연결층에서 파지의 가능 여부에 대한 점수를 출력한다.

[Fig. 6] 
Architecture of the graspability estimator

파지 가능성 추정기의 학습이 완료된 후에 학습된 모델을 활용하여 파지 가능성을 추정한다. 하지만 깊이 카메라에서 얻은 점군에 포함된 모든 군집의 파지 가능성을 추정하려면 많은 시간이 필요하므로 군집 중 몇개의 군집만 선택해서 파지 가능성을 추정한다. 이때 군집을 선택하는 기준은 점군에 속한 점의 수인데, 이는 [Fig. 7]과 같이 점군에 속한 점의 수가 많을수록 점군이 물체의 형태를 보다 잘 표현할 수 있기 때문이다. 이와 같이 선택된 몇 개의 군집에 대해 파지 가능성 추정기를 통해 각각의 파지 가능 점수를 구하고, 이 점수가 가장 높은 군집을 파지 대상으로 선정한다.

[Fig. 7] 
Clustered point cloud with (a) 866 points and (b) 1,575 points

파지점(grasping point)은 파지 대상으로 선정된 군집에서 점들의 평균 위치로 손쉽게 추정할 수 있는 반면에, 회전 정보는 다소 복잡하다. 먼저 로봇 파지 자세를 추정하기 위해 [Fig. 8]과 같이 상자 중심의 위에 가상점을 설정한다. 로봇 베이스 좌표계에 대한 가상점의 위치벡터 ^Rv_v와 파지점의 위치벡터 ^Rv_g를 이용하여 가상점에서 파지점으로 향하는 단위벡터 v^υg를 구하면, 이 단위벡터 방향으로 파지 자세의 z축이 설정된다. 또한, 본 연구에서는 흡착 그리퍼를 사용하므로 파지 자세의 x축과 y축의 방향벡터는 중요하지 않다. 위와 같은 과정을 통해 물체의 파지자세를 구할 수 있다. 이때 가상점의 높이 h_v가 커지면 θ가 줄어들고, h_v가 충분히 크면 θ가 0에 가까워지므로 바닥면에 수직한 방향으로 로봇이 물체에 접근하는 것이 가능하다.

[Fig. 8] 
Grasping pose estimation

로봇이 상자와의 충돌 없이 추정된 파지자세로 이동하여 물체를 파지하기 위한 로봇의 시작점(start point)은 [Fig. 9]와 같이 상자보다 높은 곳에 설정한다. 또한, 가상점과 물체의 파지점을 잇는 가상의 선 위에서 파지점으로부터 d만큼 떨어진 위치에 경유점(waypoint)을 형성한다. 이때 θ는 0에 가까우므로 물체와 가상점의 높이 차이 dcosθ는 d와 유사하다. 따라서 d가 상자의 높이 h_b 보다 크면 경유점이 상자보다 높은 곳에 위치하므로 경유점을 거쳐 파지점을 향해 이동하면 상자와 충돌 없이 물체에 접근할 수 있다. 단, 파지점에서 물체의 표면까지는 α의 거리가 있으므로 로봇 진입 시 α만큼 덜 진입하여 물체를 파지한다. 이 α 값은 물체의 형상과 크기를 참고하여 정한다.

[Fig. 9] 
Path planning for top-down grasp

GresNet을 검증하기 위해 [Fig. 10]과 같이 실험환경을 구성한 후 실험을 진행하였다. 3차원 측정 카메라로 Zivid one plus medium 제품을 사용하였고, UR5 로봇에 Schmalz의 진공발생기(vacuum generator) ECBPM과 진공그리퍼를 장착하여 물체를 파지하였다. 파지 분석 및 심층학습을 위해서 RTX 2080 Ti의 그래픽 카드가 내장된 PC를 사용하였다. 대상 물체는 자동차 부품 중 하나인 캡을 이용하였으며, 공장에서 흔히 볼 수 있는 480 × 330 × 170 mm 크기의 제품 상자를 이용하였다.

[Fig. 10] 
Experimental set-up

본 실험에서 복셀의 크기는 2.5 mm, 유클리드 군집화의 기준 거리 r = 2.5 mm으로 설정하였는데, 이는 1~3 mm의 범위에서 0.5 mm 간격으로 시험한 거리 중에서 가장 군집화가 잘 되는 값이다. 그리고 물체의 형상과 크기를 고려하여 파지점에서 물체 표면까지의 거리는 α = 2 mm로 정하였고, 상자의 높이는 h_b = 170 mm이므로 물체와 경유점 사이의 거리는 d = 300 mm로 설정하였다. 마지막으로, 파지 대상을 선정할 때는 10개의 군집을 이용하였다.

먼저 상자에 약 60개의 캡을 무작위로 담는다. 이후 GresNet을 이용하여 로봇으로 물체를 파지하고, 파지한 물체는 다른 상자에 옮겨 담는다. 단, 파지에 실패한 경우 사람이 상자를 흔들어 물체를 재배치하였다. 이때 실험마다 100번의 파지를 수행하였으며, 상자 안에 물체가 없으면 상자에 물체를 채우고 실험을 재개하였다. 또한, 자료의 수에 따른 파지 정확도를 측정하기 위해 400개 단위로 데이터를 수집하고, 그때까지 수집된 데이터를 학습한 대상 물체 선정기를 사용하여 실험하였다. GresNet을 CAD 모델 기반의 파지자세를 추정하는 전통적인 방법(conventional method) 및 PointNet^[10]을 이용하여 파지자세를 추정하는 방법과 비교하였다. PointNet을 이용한 실험에서 전처리기로는 GresNet과 동일한 방법을 사용하였으며, 목표물체 선정기로는 PointNet의 중추 신경망(backbone network)과 분류 신경망(classification network)을 사용하였다. 이와 같은 환경에서 PointNet을 GresNet과 동일한 방법으로 학습한 후 실험하였다.

[Fig. 11]과 같이 CAD 모델 기반의 전통적인 파지 방법을 사용한 경우에는 62.3%의 평균 파지 성공률을 얻었다. 학습 과정이 없으므로 실험을 진행하는 동안 파지 정확도의 개선은 없었고, 실험마다 물체의 배치가 조금씩 달라졌으므로 실험 간의 파지 성공률에는 다소 차이가 나타났다. PointNet 기반의 파지 방법은 400개의 점군 데이터를 활용한 경우 전통적인 방법에 비해 파지 성공률이 16.7% 증가하였으나, 데이터를 추가하여 학습시켜도 파지 성공률이 크게 개선되지 않았다. 반면에, GresNet의 경우에는 데이터를 많이 수집할수록 파지 성공률이 향상하는 것을 확인하였으며, 2,000개의 데이터를 이용하였을 때는 파지 성공률이 90%까지 증가하였다. 따라서 GresNet의 파지 성능이 가장 우수하였다.

[Fig. 11] 
Success rate of grasp with respect to the number of data

이와 같은 결과는 GresNet과 PointNet의 학습 모델 구조에 기인한 것이다. GresNet은 잔여블록 기반의 네트워크이므로 단순 네트워크 구조인 PointNet에 비해 특징을 잘 추출한 것으로 보인다. 이 구조는 학습 시의 경사 소실 문제(vanishing gradient problem)을 해결하는 방법이므로, 잔여블록이 영상 기반의 학습 모델뿐만 아니라 점군 기반의 학습 모델에서도 성능 향상을 보여주는 것을 알 수 있다. 또한, PointNet의 경우에는 채널 수가 최대 21배로 급격히 증가하지만, GresNet의 경우에는 항상 최대 2배로 완만히 증가하여 GresNet이 PointNet보다 많은 파라미터를 가지므로 특징도 잘 추출한다.

새로운 환경에 적용하기 위한 시간은 데이터 수집 시간과 학습 시간을 모두 더한 시간이다. [Table 1]에서 보듯이 전통적인 파지 방법은 학습에 기반한 방법이 아니므로 학습에 필요한 데이터와 시간이 필요 없다. 그러나 [Table 2]에서 보듯이 이 방법은 사이클 타임이 25.71초로 타 알고리즘에 비해 오래 걸린다. 반면에, PointNet은 8.31시간 정도가 소요되었으므로 빠른 시간 안에 학습이 가능했으며, 사이클 타임도 11.26초 정도로 짧다. 마지막으로, GresNet은 새로운 제품에 대한 알고리즘의 총 적용 시간은 약 9.82시간이 소요되었으며, 사이클 타임은 11.84초 로 PointNet과 유사하였다.

GresNet과 PointNet은 학습을 진행할수록 파지 성공률이 증가하지만, PointNet은 [Fig. 11]과 같이 파지 성공률이 80%에 수렴한다. 따라서 80%보다 높은 파지 성공률을 기준으로 두 알고리즘을 비교하기는 힘들다. 그러므로 GresNet과 PointNet의 성능이 80%에 도달하는 시간을 비교하면 GresNet은 4.45시간, PointNet은 8.31시간이다. 즉, GresNet이 PointNet보다 3.86시간 빠르게 파지 성공률 80%를 만족하였으므로, GresNet이 PointNet보다 성능이 더 신속하게 증가하여 새로운 환경에 더 빠르게 적용할 수 있다.

세 가지 방법 중 전통적인 파지 방법은 사이클 타임이 길고 파지 성공률이 낮아 성능이 가장 좋지 않다. PointNet의 경우, 제안한 알고리즘보다 새로운 환경에 적용하는 시간이 짧고 사이클 타임도 짧지만 파지 성공률이 상대적으로 낮으므로 파지 성능이 좋다고 하기 어렵다. 반면에, GresNet은 PointNet와 비교하면, 새로운 환경에 적용하기 위한 준비 시간은 18%(약 1.49시간), 사이클 타임은 5%(약 0.58초) 정도 오래 소요되지만, 파지 성공률은 PointNet보다 약 11% 높으므로, 타 알고리즘에 비하여 우수하다고 볼 수 있다. 즉, 파지 성공률을 고려하여 100번 파지 성공을 위해 필요한 시간을 계산하면, GresNet은 1316초로 PointNet의 1425초보다 시간이 적게 소요된다.