본 연구에서 제안된 로봇 시스템은 산업용 PC 조립 라인을 대상으로 하며, 로봇과 사람이 [Fig. 1]과 같은 환경에서 작업을 공유한다. 먼저 전면에 배치된 컨베이어를 통해 PC 본체가 영역 A로 공급된다. 영역 A에서는 [Fig. 2]에 열거된 PC의 구성 부품(CPU, cooler, SSD, RAM)의 조립 작업 A가 수행된다. 컨베이어의 측면에는 Universal Robots사의 6자유도 로봇(UR5)이 배치되어 있고, 맞은편에 사람이 위치하여 로봇과 작업을 공유한다. 이때 사람의 작업 여부를 인식하기 위해 영역 A의 상단에 PointGrey의 카메라(GS3-U3-23S6C-C)를 설치하여 작업에 대한 영상 정보를 수집한다. 다음으로, 영역 B에서는 조립된 PC의 작동 여부를 검사하는 작업 B가 수행되며, 이 작업에서 로봇은 커넥터(Power, USB, HDMI) 파지와 조립을 사람의 도움 없이 수행한다. 한편 ZIVID사의 3차원 스캐너(ZIVID One+)를 로봇 말단에 부착하여 3차원 점군(point cloud) 정보를 획득하여, 로봇의 부품 파지에 사용한다. 또한, 로봇의 툴 교체 없이 모든 부품과 커넥터를 파지하도록 자체 설계한 그리퍼를 사용하였다. 한편, 접촉이 발생하는 조립의 경우, 로봇의 힘 제어를 수행하기 위해 말단부에 ATI사의 힘/토크 센서(Gamma)를 부착하여, 접촉 시에 발생하는 힘/토크 정보를 실시간으로 수집하였다.

[Fig. 1] 
Robot system for PC assembly process

[Fig. 2] 
PC assembly parts and process

작업 A는 미세한 접촉에도 핀(pin) 손상 가능성이 높은 CPU 조립과, 단자의 삽입 후에 래치(latch) 조임이 필요한 Cooler, 볼트 체결이 필요한 SSD 및 RAM 조립으로 구성된다. 이 작업은 조립을 위해 여러 작업을 순차적으로 수행해야 하고, 부품의 손상 가능성이 높아 조립 난이도가 높다. 로봇이 성공적으로 조립을 수행하더라도, 현실적으로 사람의 조립 속도를 따라가기 어렵다. 한편 대상 부품은 모두 진공 흡착(vacuum suction)만으로 파지가 가능하다. 만약 로봇은 부품 파지만 수행하고, 부품을 신속히 사람에게 전달하여 사람이 조립에만 집중하도록 작업을 공유하면 공정 효율을 높일 수 있다. 따라서 작업 A에서 로봇은 PC 부품이 적재된 박스에서 부품을 파지하여 사람에게 전달(handover)하고, 부품을 전달받은 사람은 PC에 부품을 조립하도록 공정을 구축하였다. 각 부품에 대한 공정 수행 과정은 [Fig. 3]과 같다.

[Fig. 3] 
Task A: parts grasping and handover (robot) and parts assembly (human)

작업 B는 작업 A의 부품 조립이 완료된 PC의 커넥터 단자에 커넥터를 삽입하여 PC의 단자 불량 여부를 검사한다. 이때 Power, USB, HDMI 커넥터의 조립공차는 약 400, 200, 80 μm으로 조립 난이도가 높지만, 로봇의 힘 제어를 통해 극복 가능한 수준이다. [Fig. 4]는 커넥터 조립 과정을 보여준다. 먼저 커넥터와 단자 사이의 정렬(alignment)이 수행된다. 정렬은 커넥터를 단자에 삽입하기 위해 두 부품 사이의 자세 오차를 줄이는 과정이다.

[Fig. 4] 
Task B: grasping and assembling connectors (robot)

두 부품이 정렬되면 적절히 접촉력을 제어하여 커넥터를 단자에 삽입한다. 만약 로봇이 부품을 정확히 파지한다면, 로봇이 신속히 조립을 수행할 수 있으므로, 작업 B는 사람의 개입 없이 파지부터 조립까지 모든 과정을 로봇이 수행한다.

PC 부품과 커넥터는 [Fig. 2]와 같이 별도의 지그가 없는 비정형 환경에서 공급된다. 부품은 종류에 따라 흡착식 또는 기계식 파지가 필요하다. 본 연구에서는 툴 교환이 필요하지 않도록 [Fig. 5]와 같은 다용도 그리퍼를 자체 제작하여 사용하였다. 다용도 그리퍼는 수평 방향으로 병진 이동이 가능한 공압(pnematic) 슬라이드 1과 2지(2-finger) 그리퍼 팁을 이용하여 물체를 파지할 수 있다. 또한 수직 방향으로 병진 이동이 가능한 공압 슬라이드 2와 진공 흡착 패드(vacuum suction pad)를 이용하여 흡착식 파지를 구현한다. 예를 들어, [Fig. 6(a)]와 같이 작업 A의 부품은 모두 흡착식으로 파지할 수 있다. [Fig. 6(b)]는 흡착식과 2지 방식을 이용한 커넥터 파지 결과를 보여준다. 흡착식과 2지 파지를 순차적으로 이용하여 바닥에 무작위로 놓인 커넥터를 파지하는 것을 확인할 수 있다.

[Fig. 5] 
(a) versatile gripper, (b) vacuum suction grasping, and (c) 2-finger grasping

[Fig. 6] 
Grasping results: (a) vacuum grasping, and (b) vacuum and 2-finger grasping

한편, 부품의 파지 자세는 점군(point cloud) 기반의 파지 알고리즘을 통해 추정한다. 먼저 3차원 스캐너로부터 대상 물체를 측정하여 점군 정보를 획득한다. 본 연구에서는 정밀한 자세 추정을 위해 대상 부품의 CAD를 이용한 ICP (iterative closest point)^[4] 기반의 매칭(matching)을 이용한다. 매칭은 두 점군의 근접 점 사이의 오차를 줄이도록 점군을 일치시키는 작업으로, 매칭의 결과로부터 두 점군 사이의 상대 자세를 산출할 수 있다.

먼저 대상 부품에 대한 STEP 형식의 CAD를 [Fig. 7]과 같은 점군 정보(P_c)로 변환한다. 여기서 {B}는 로봇의 베이스 좌표계, {S}는 3차원 스캐너 좌표계, {C}는 CAD의 기준 좌표계, {O}는 측정된 대상 부품의 물체 좌표계이다. 3차원 측정을 통해 얻은 점군 정보는 스캔 영역 내의 모든 점군을 포함하므로 파지 대상 물체의 점군만을 추출해야 한다. 본 연구에서는 부품의 마스크(mask) 정보를 추출할 수 있는 딥러닝 기반의 인식 네트워크인 Mask R-CNN^[5]을 이용하여 대상 부품의 점군(P_s)을 추출하여 사용하였다. 파지 자세는 {B}에 대한 {O}의 원점과 방위이므로 ^BT_O를 산출한다. 먼저 변환행렬 ^BT_S를 이용하여 {S}에 대한 점군 P_s를 {B}에 대한 점군 P_b로 변환한다. ^BT_S는 로봇과 3차원 스캐너 사이의 캘리브레이션(calibration)을 통해 산출된다. 다음으로 P_c와 P_b에 대해 ICP을 이용한 정합을 수행하여, ^CT_O를 얻을 수 있다. 본 연구에서는 {C}를 {B}와 동일하게 설정하였으므로, ^CT_O와 ^BT_O는 동일하게 된다. 산출된 ^BT_O를 자세로 변환하여 로봇의 파지 자세로 사용하며, 이를 통해 PC 부품과 커넥터에 대한 파지 자세를 추정할 수 있다.

[Fig. 7] 
Pose estimation using ICP

커넥터가 단자에 정렬되면 최종 삽입을 통해 조립이 수행된다. 정렬은 [6]에서 제안된 강화학습(reinforcement learning, RL)을 이용한 영상 정보 기반의 정렬을 이용하여 수행하였다. 이 방법은 로봇 말단의 상대 자세를 로봇의 행동(action)으로 출력하며, 커넥터와 단자 사이의 자세 오차를 감소시키도록 학습된다. 이때 영상 정보는 [Fig. 5(a)]와 같이 그리퍼에 장착된 Intel사의 카메라(RealSense D435)를 통해 수집된다.

학습된 네트워크에 [Fig. 8]과 같이 커넥터와 단자가 화각(FOV) 안에 포함된 영상 정보가 입력되면, 커넥터와 커넥터 단자 사이의 오차를 줄이도록 로봇 말단의 상대 자세가 출력되며, 정렬이 수행된다. 정렬 과정에서는 접촉이 발생하지 않으므로, 로봇은 위치 제어를 기반으로 구동되며, 로봇은 네트워크로부터 출력된 정렬 궤적을 따라 구동된다.

[Fig. 8] 
Image-based alignment

정렬이 완료되면 커넥터의 삽입 깊이만큼 사다리꼴 속도 프로파일을 기반으로 로봇의 직선 궤적을 생성한다. 생성된 궤적을 따라 커넥터가 삽입되고 접촉이 발생하는 데, 커넥터의 조립 공차가 작으므로 미세한 오차에도 과도한 접촉력이 발생하여 조립이 실패할 수 있다. 이를 방지하기 위해 간접 힘제어의 일종인 임피던스 제어(impedance control)^[7]를 기반으로 로봇을 구동한다. 임피던스 제어는 로봇의 움직임과 접촉력 사이의 동적 관계를 이용하여 접촉력을 제어하는 방법이다. 임피던스 제어기는 발생한 접촉력에 대한 위치 보상을 수행하여, 현재 로봇의 위치 궤적을 보상한다. 로봇에 입력되는 제어 입력 x_c는 다음과 같다.

여기서 x_d는 삽입을 위해 생성된 궤적의 목표 위치, x_F는 임피던스 제어기로부터 산출되는 접촉력에 따른 위치 보상으로 다음과 같이 정의된다.

여기서 임피던스 파라미터인 B와 K는 로봇 말단에서 구현되는 감쇠계수 및 강성에 각각 해당하며, F는 로봇과 접촉 환경 사이에 발생하는 접촉력으로 힘/토크 센서를 통해 측정된다. 임피던스 제어를 적용하면 로봇 조립 시에 안정적인 접촉을 구현하여 과도한 접촉력을 방지할 수 있다. 앞서 분석한 조립 공정에 대응하기 위해 제안된 로봇 시스템의 전체 구성도는 [Fig. 9]와 같다.

[Fig. 9] 
The overall structure of the robotic system for the assembly process

사람이 작업 A의 조립을 수행하는 도중에 로봇이 대기하는 것보다 작업 B를 수행하는 것이 효율적이다. 이를 위해 사람의 작업 인식(task recognition)이 필요하다. 본 연구에서는 영상 정보를 이용한 딥러닝 기반의 물체 인식 네트워크인 YOLOv3^[8]를 이용하여 사람의 작업 여부를 인식한다. 로봇 시스템에서 영역 A의 상단에 수직으로 설치된 카메라로부터 작업 A의 영상 정보를 얻을 수 있다. [Fig. 10]은 수집된 영상 정보에서 사람 손이 인식된 예시를 보여준다. 사람 손의 인식 결과는 영상 정보의 수집 주기인 67 ms마다 출력되며, 사람 손이 1초 간 10회 이상 인식되면 작업 A는 진행 상태로 간주된다. 여기서 작업 인식은 컨베이어가 정지 상태인 경우에만 수행되며, 컨베이어가 동작하는 중에는 수행되지 않는다.

[Fig. 10] 
Task recognition in workspace A

작업 B는 커넥터의 공차가 작고, 커넥터와 단자 사이에 오차가 존재하여 조립이 실패할 가능성이 높다. 로봇은 단순히 반복하여 조립만 수행할 뿐, 조립의 성공/실패 여부를 알 수 없다. 본 연구에서는 조립 중에 발생하는 힘/토크 정보 기반의 조립 성공/실패 판별 알고리즘^[9]을 사용하여 조립의 성공/실패 여부를 판별한다.

이 방법은 접촉력의 양상이 일정한 패턴을 가지고 있음에 착안하여, 미리 구축한 모델 데이터와 실시간 측정 데이터 사이의 유사도(similarity)를 평가한다. 모델 데이터는 조립 성공 시의 힘(f_x, f_y, f_z)과 토크(τ_x, τ_y, τ_z)로 구성되는 행렬로, 조립 성공에 대한 접촉 데이터를 포함하는 행렬이다. [Fig. 11]은 파워 커넥터의 10회 조립 성공 시에 측정된 로봇의 위치 x와 힘/토크 정보를 중첩하여 도시한 결과다. 여기서 A₁, A₂는 각각 약 0.6초간 접촉이 일정하게 유지되는 상태로, 황색 및 청색으로 표시된 음영 구간에서 일정한 데이터 패턴을 갖는다. 이러한 10회의 조립 성공 데이터를 공정 초기에 수집하여 모델 데이터를 생성한다. [Fig. 12]는 생성된 모델 데이터와 실시간 측정 데이터 사이의 유사도를 산출한 결과를 보여준다. 유사도가 적색 점선으로 표시된 임계값보다 높으면 조립 성공, 낮으면 조립 실패로 판별된다. 이 방법은 공정 초기 10회의 데이터 수집만으로 모델 데이터를 생성하므로 대상 공정이 변경되더라도 빠른 적용이 가능하다.

[Fig. 11] 
Measured data during the assembly process

[Fig. 12] 
Similarity evaluation: (a) assembly success, and (b) assembly failure

조립 공정의 모니터링 정보는 작업의 영상 정보와 힘/토크 정보이다. 본 연구에서 영상 정보와 힘/토크 정보의 수집 주기는 각각 67, 20 ms로 설정하였다. 먼저, 컨베이어를 통해 PC가 공급되고, 영역 A에서 작업인식을 수행하여 사람이 작업 대기 상태이면, 로봇은 작업 A의 부품 파지 및 전달 작업을 수행한다. 만약 사람이 작업 수행 중이라 인식되면 로봇은 작업 B의 커넥터 파지 및 조립 작업을 수행한다. 이때 커넥터의 조립 성공/실패를 판별하여 만약 조립이 실패하면, 재조립을 수행하여 공정이 중지되지 않도록 한다. 마지막으로 작업 B의 조립이 성공하면, 다시 작업인식을 수행한다. 최종적으로 작업 A, B의 모든 부품에 대한 조립이 완료될 때까지 위 과정을 반복한다. 작업 A, B가 완료되면 컨베이어 시스템이 동작하여 조립된 PC를 다음 영역으로 이송하고, 새 PC를 작업영역으로 공급한다. 조립 공정 모니터링의 흐름도는 [Fig. 13]과 같다.

[Fig. 13] 
Flowchart of assembly process monitoring