물체를 파지하고 물체의 바코드를 찍는 작업을 수행하기 위해 협동 로봇팔인 Doosan Robot Arm M1013 모델의 엔드 이펙터에 그리퍼를 결합한 형태로 로봇팔을 구성하였다. 그리퍼를 이용하여 물체를 정확하게 파지하고 물체를 re-orientation 하기 위해서는 [Fig. 1]과 같이 자유도가 높은 손가락형 그리퍼를 제작하여 사용하였다. 낮은 자유도의 그리퍼를 사용할 경우 물체를 re-orientation 하기 위해 물체를 파지한 상태에서 로봇팔의 엔드 이펙터의 orientation을 수정해야 때문에 로봇팔의 많은 관절 움직임이 필요하다. 본 시스템에서는 높은 자유도의 손가락형 그리퍼를 사용함으로써 사람이 물체를 잡고 자세를 바꾸듯이 손가락 관절만을 사용하여 로봇팔의 관절 움직임을 최소화하고, 물체를 빠르게 re-orientation 할 수 있게 하였다. 총 12개의 dynamixel ax-12a 모터를 사용하4 개의 손가락으로 구성하였고 각 손가락은 3자유도를 가지는 3개의 모터로 구성하였고 손가락 관절은 {b} 프레임에서 가까운 순서대로 pitch방향, roll방향, roll방향으로 회전하게 구성하였다. [Fig. 1]의 {s}프레임은 두산 로봇팔의 엔드 이펙터 좌표계이고, {b}프레임은 각 손가락의 기구학을 풀기 위해 설정한 손가락 좌표계이다. l_g는 손바닥에서 첫 번째 손가락 관절까지의 거리로 44 mm, l₁은 첫 번째 관절에서 두 번째 관절까지의 거리로 72 mm, l₂은 두 번째 관절에서 세 번째 관절까지의 거리로 72 mm, 세 번째 관절에서 손가락 끝점까지의 거리는 l₃로 93 mm이다. 최대 z 방향으로 280 mm의 길이까지 파지점을 가질 수 있다. 네 손가락으로 물체를 파지할 때 최대 300 g의 무게까지 안정적으로 파지할 수 있었다. 손가락의 링크들이 충돌하지 모든 관절에 80°~280°의 범위만 움직일 수 있도록 joint limit을 추가하였다. 그리퍼에 사용된 브라켓 및 손바닥은 3D프린터를 사용하여 제작하였다.

[Fig. 1] 
12 DOF gripper : robotic arm end-effector frame ({s} frame), finger frame ({b} frame), 3 joints in finger (red dot)

본 연구에서는 reconstruction에 필요한 최소한의 데이터인 3방향에서 본 RGB-D 데이터를 취득하기 위해 3대의 뎁스 카메라를 인식할 물체가 있는 방향으로 향하게 설치하였다. [Fig. 2]의 (a)는 정확한 카메라의 위치와 자세를 설정하기 위해서 3D cad tool을 사용하여 지정한 카메라와 실험에 사용한 두산 로봇팔의 배치를 나타낸다. 실험을 진행하기 위해서 RGB-D 데이터로부터 point cloud를 reconstruction할 때 완전한 물체의 point cloud를 얻기 위해 3대의 카메라를 약 120° 간격으로 설치하여 비전 시스템을 구성하였다. 카메라의 FOV를 고려하여 탐지 영역이 30×30×30 (cm)이 되도록 카메라의 위치와 각도를 고정하였다. 탐지 영역은 [Fig. 2]의 (b)와 같이 두산 로봇팔의 base 프레임에서 y축으로 45 cm 떨어진 곳에 빨간색 선의 영역으로 설정하였다. 물체가 탐지 영역 내에 존재할 때 3대의 카메라를 통해 물체의 RGB-D 데이터를 얻어 비전 처리를 진행한다. [Fig. 2]의 (b)의 우측 하단에 설치되어 있는 카메라는 일반 웹캠으로 바코드가 정확히 찍혔는지 확인하는 용도이다.

[Fig. 2] 
(a) Relative camera position value fixed using CAD tool. (b) Experimental environment. The area marked in red is the detection area. Circled in yellow is the position of the camera and circled in blue is the position of barcode reader webcam

실험은 실내에서 진행하였기 때문에 강한 빛 반사나 그림자에 대한 점은 고려하지 않았고 실내 환경에서 안정적으로 RGB-D 데이터 취득이 가능한 Intel d435 카메라를 사용하였다. 카메라로부터 RGB-D 이미지를 받아온 뒤 이미지에 대한 전처리 과정을 거치기 위해 RealSense SDK를 사용하였다. 2D detection과 visualization을 위해서 YOLO v8과 OpenCV를 사용하였고, point cloud 데이터를 처리하기 위해 Open3D 라이브러리를 사용하였다^[18]. 전체 비전 데이터를 처리하기 위한 프로세서로는 Intel(R) i5-10400 CPU, 32gb RAM, RTX 3070 Ti 그래픽카드를 사용하였다.

먼저 현재 탐지된 물체와 물체 내의 바코드 위치를 인식하기 위하여 YOLO v8 segmentation 모델을 사용하였다. 개별적인 물체의 인식뿐만 아니라 여러 물체가 혼재되어 있는 상황에서도 높은 인식률을 가지기 위하여 YOLO v8n segmentation 모델을 사용하였다. 전체 학습에 사용된 데이터는 training dataset 1832장, validation dataset 552장, testing dataset 274장을 사용하였다. 학습된 이미지 class는 바코드, can, spam, tea box, tissue 각 943장, 111장, 135장, 99장, 123장이다. 그리고 혼재된 물체들에 대한 이미지 283장을 추가로 training dataset로 사용하였다. 상대적으로 카메라에 보이는 바코드는 크기가 작아서 인식률이 낮은 문제가 있어서 학습시키기 전에 mosaic augmentation을 사용하여 이미지상에서 크기가 작은 물체를 detection 하기 어려운 점을 최대한 극복하였다. 모든 클래스에 대해서 98% 이상의 정확도로 학습이 되었다.

3대의 카메라를 사용한 이점을 살리기 위해 물체에 대한 추론을 3대의 카메라를 모두 동시에 2d segmentation을 진행하였다. 따라서 하나의 카메라에서는 물체가 가려져서 잘 보지 못하는 물체에 대해서도 확인할 수 있었다. [Fig. 6]은 각 물체와 바코드에 대한 segmentation 결과를 시각화 한 것이다.

[Fig. 6] 
Segmentation result using YOLO for objects and barcodes from 3 cameras. Class ID 0 is barcode, 1 is can, 3 is spam, 5 is tea box

Segmentation 과정이 기본적으로 추론 속도가 오래 걸리는 편이지만 하드웨어 성능의 발전과 모델들의 최적화가 진행됨에 따라서 충분히 실시간성을 가질 수 있게 되었다. 3대의 카메라로 segmentation을 진행하였을 때 7fps의 처리 속도로 실시간으로 물체에 대해서 탐지할 수 있었다.

물체에 해당되는 point cloud를 얻기 위해 [Fig. 7]과 같이 3대의 카메라에서 얻은 Depth 이미지로부터 point cloud를 생성하고 하나의 장면으로 reconstruction을 하였다. 하나의 카메라를 기준으로 다른 카메라에 대한 transformation 값을 미리 설정해 두고 각 카메라에서 생성된 point cloud에 transformation 값을 적용하여 하나의 장면을 3 방향에서 본 point cloud로 생성하였다. 합쳐진 point cloud 들에서 중복되는 점들을 제거하기 위해서 voxel radius와 inlier radius를 설정하여 voxel radius보다는 크고 inlier radius보다는 작은 범위 내의 점들만 point cloud로 생성하고 그 외 범위의 점들은 모두 제거한다.

[Fig. 7] 
3D reconstruction of object using 3 cameras

Reconstruction 된 point cloud에서 관심있는 물체의 영역을 제외한 부분을 제거하기 위해서 filtering 과정이 필요하다. 물체들은 바닥에 놓여있는 상태로 계산대에 있기 때문에 먼저 RANSAC (RANdom SAmple consensus) 알고리즘을 사용하여 바닥에 해당하는 평면 값을 찾고 해당 point cloud를 제거한다. 그리고 뎁스 카메라로부터 생긴 노이즈들을 제거하기 위해서 필터링 알고리즘을 적용하였다. 대표적인 방법으로 statistical outlier removal (SOR)와radius outlier removal (ROR)가 있다. Statistical outlier removal는 n개의 이웃한 점들에서 서로 간의 거리를 구하여 평균 거리를 지정하고 평균 거리의 표준 편차를 기반으로 임계값 t를 정하여 노이즈를 제거한다. Radius outlier removal는 구의 반경 r을 설정하고 해당 구 내부에 n개의 이웃한 점들이 없는 경우 노이즈로 판단하고 제거한다. 본 연구에서는 point cloud에서 같은 노이즈를 제거하더라도 SOR이 노이즈가 아닌 물체의 영역을 보존하면서 노이즈를 효과적으로 제거하는 것을 확인할 수 있었다. ROR의 경우 밀도에 감하지 않아서 노이즈에 따라서 알고리즘의 파라미터인 r값과 n값을 다르게 설정해주어야 하는 어려움이 있었고 SOR은 밀도의 변화에 민감하여 다양한 노이즈가 있는 상황에서도 같은 파라미터로 노이즈를 효과적으로 필터링할 수 있다.

여러 물체가 탐지 영역에 존재할 때는 [Fig. 8]과 같이 각각의 point cloud들을 clustering 하였다. Point cloud clustering에 대표적인 방법으로 K-means clustering과 Density-based spatial clustering of applications with noise (DBSCAN)이 있다^[19,20]. K-means clustering 방식의 경우 초기 중심점을 선택하고 각 데이터 포인트를 해당 중심점에 가장 가까운 클러스터에 할당하며, 중심점을 재조정하여 클러스터를 업데이트하게 된다. 따라서 cluster가 원형으로 가정되며, 중심점과의 거리를 기반으로 cluster를 형성하기 때문에 구 형태의 point cloud에 효과적이다. DBSCAN clustering은 임의의 데이터 포인트를 선택하고 그 주변의 이웃을 확인하여 밀도를 기반으로 cluster를 확장하게 된다. 따라서 상대적으로 밀도가 작은 노이즈를 무시하거나 개별의 cluster로 처리가 가능하여 노이즈에 강인하다. 본 연구에서는 물체의 모양이 다양하고, 노이즈가 있는 상황에서도 적용할 수 있는 clustering 방법인 DBSCAN clustering을 적용하였다.

[Fig. 8] 
(a) Floor plane removal using RANSAC algorithm. (b) Point cloud of objects containing noise. (c) Point cloud with noise removed. (d) clusters with DBSCAN clustering applied

Clustering된 point cloud의 자세를 추정하기 위해서 PCA알고리즘을 적용하였다. PCA는 데이터 분석에서 차원 축소 및 특징 추출에 사용되는 통계 방법으로 데이터 내에서 가장 중요한 분산 방향을 식별한다. Point cloud에서 PCA를 적용하여 포인트 클라우드 데이터 내 최대 분산의 주성분이나 방향을 식별하여 해당 물체의 자세를 추정할 수 있다. 주성분은 점이 가장 많이 퍼져 있는 축을 뜻한다. 특히나 가로, 세로, 높이가 구분되고 표면이 평평한 물체에 대해서 더 높은 정확도를 가질 수 있다. 물체의 자세를 추정하고 나면 point cloud의 3D 바운딩 박스로 8개의 꼭짓점을 찾는다.

물체의 크기와 상태에 따라 안정적인 파지법이 필요하다. 물체를 파지하기 가장 안정적인 방법은 물체의 가로, 세로, 높이에 맞게 해당 면의 중심을 잡는 방법이다. 물체 파지의 기본 방법은 [Fig. 9]와 같이 물체의 point cloud에서 생성된 3D 바운딩 박스에서 옆면 4면의 중심점을 파지점으로 설정한다. 기본적으로 물체의 4점을 파지하도록 설정하였고, 물체의 바코드가 그리퍼의 손가락에 가려져 있을 때 바코드를 찍기 위해서 손가락 하나를 때더라도 3점 파지로 물체를 안정적으로 잡을 수 있는 위치인 것을 확인하였다.

[Fig. 9] 
Grasping point of object. The four arrows are the grasping points of the gripper’s fingers

그리퍼의 각 손가락의 끝단을 파지점으로 이동시켜 물체를 파지하기 위해 각 손가락의 역 기구학을 풀어서 제어하였다. 첫 번째 조인트에서 손가락 끝단까지 l_1e, 두 번째 조인트에서 손가락 끝단까지 l_2e, l₁과 l_2e의 사이 각을 θ_q1, l₂와 l_2e의 사이 각을 θ_q2로 설정하였다. [Fig. 1]의 {b} 프레임에서 손가락 끝단의 desired position을 (x_d, y_d, z_d)로 설정하고 4개의 손가락에 동일하게 적용하였다. 역 기구학의 풀이 과정은 식 (1) ~ (7)까지의 과정과 같다. 최종적으로 구해진 (θ₁, θ₂, θ₃)를 각 모터의 입력값으로 넣어 주어 제어하였다.

물체의 초기 자세가 랜덤한 상태일 때 항상 일정한 파지 방법을 적용할 수 없다. 그리고 물체에 따라 물체 내에 있는 바코드의 위치가 다르기 때문에 파지하기 위해 지정된 자세로 초기 상태를 맞춰줄 필요가 있다. 각 물체의 지정된 초기 상태는 물체를 파지하고 최소 3개의 손가락으로 물체를 파지한 상태에서 바코드를 찍을 수 있는 상태이다. 본 시스템에서 re-grasping이 발생하는 경우는 스팸, 캔, 티 박스가 지정된 자세로 놓여있지 않을 경우에 실행한다. 물체 내의 바코드 위치는 3대의 카메라를 통해서 확인되며 물체의 옆면에 바코드가 있을 때 확인이 가능하다. 따라서 re-grasping은 바코드가 확인되지 않는 물체의 윗면 아랫면에 있을 경우 물체 내의 바코드가 옆면으로 가도록 re-orientation 한다.

스팸과 티 박스는 같은 방식으로 re-grasping을 진행하였으며 물체의 자세로 인해서 물체의 바코드가 위나 아래 방향으로 향하게 되어 바코드를 인식할 수 없게 되면 물체를 바코드가 옆면에 위치하게 하는 자세로 눕히는 과정을 추가하였다. 물체를 수평으로 눕힌 후에 추가적인 과정 없이 바로 파지할 수 있게 안정적인 re-grasping이 중요하다. 이를 위해서 re-grasping 과정을 여러 단계로 나누어 진행하였다. 첫 번째로 point cloud의 3D 바운딩 박스에서 물체의 가로, 세로, 높이 값과 바코드 위치에 대한 값을 받아와서 해당 물체가 re-grasping 필요한지 확인한다. 다음으로 물체와 바닥 면 사이의 supporting point 가 한 점이 되도록 눕히려는 방향으로 rotation을 주기 위해 두 손가락으로 물체를 기울이는 각도를 생성한다. 물체의 회전 방향에 개입하는 손가락 2개를 사용하고 그 외 두 손가락은 물체를 re-grasping 하는 과정에서 넘어지는 것을 방지하기 위해 물체 두께 값에 이격을 둔 위치로 설정하였다. 물체의 회전 방향으로 그리퍼의 손가락으로 물체를 밀어서 물체의 무게중심이 supporting point를 넘어가게 한다. 그리퍼의 제어는 역 기구학을 통해 제어되기 때문에 물체의 무게중심이 supporting point를 지나는 점 (x,x2+y2)을 [Fig. 10]과 같이 구하였고 해당 좌표를 그리퍼의 goal position으로 지정하여 물체를 넘어뜨린다. 그리고 난 뒤 그리퍼를 바닥 방향으로 내려서 물체를 바닥에 놓고 파지를 위해 물체를 그리퍼의 가운데 지점으로 이동시킨 후 물체를 파지하고 바코드를 찍는 작업을 수행한다. 해당 작업은 사람이 물체의 자세를 수정하는 방법과 유사하게 손가락형 그리퍼의 이점을 살려 로봇팔의 조인트 움직임을 최소화한 상태에서 진행하였다.

[Fig. 10] 
The whole process including re-grasping of tea box. The process of finding the coordinates of the gripper to lay down an object

다음으로 캔을 re-grasping 하는 과정은 위의 방법과 달리 넘어져 있는 물체를 바로 세우는 방식으로 진행하였다. 캔은 바코드가 캔의 옆면에 있기 때문에 바닥에 누워 있을 경우 그대로 파지하면 바코드가 손가락에 가려지기 때문에 바코드를 아래로 가도록 세로로 세운 뒤 바코드를 찍는 작업을 수행한다. 첫 번째로 point cloud의 3D 바운딩 박스에서 물체의 가로, 세로, 높이 값과 바코드 위치에 대한 값을 받아와서 해당 물체가 re-grasping 필요한지 확인한다. 다음으로 바코드 위치가 아래로 가도록 세우기 위해 바코드의 반대 방향으로 로봇팔을 이동시키고 그리퍼의 두 손가락으로 캔을 파지 후 수직으로 로봇팔을 이동시켜 캔을 세운다. 그리고 물체를 4개의 손가락으로 안정적으로 파지한 후 바코드를 찍는 작업을 수행한다. [Fig. 11]은 물체의 자세를 인식하고 re-grasping 한 뒤 물체의 바코드를 찍는 전체 과정이다.

[Fig. 11] 
The whole regrasping process of can

실험에 사용할 물체로는 마트 내에서 흔히 볼 수 있는 물체로 선정하였다. 마트 내의 물건들의 일반적인 특징은 [Fig. 12]와 같이 종이 상자로 포장된 물체, 알루미늄 캔 통조림류, 비닐로 포장된 물체들이다. 이에 맞게 통조림인 스팸, 캔, 상자 포장 물체인 티 박스, 물티슈를 실험에 사용할 물체로 선정하였다. [Table 1]은 각 물체의 크기, 무게를 나타낸 표이다.

[Fig. 12] 
Objects selected for experiment (tea box, spam, tissue, can)