Current Issue

Journal of Korea Robotics Society - Vol. 19 , No. 1

[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 18, No. 4, pp. 419-426
Abbreviation: J. Korea Robot. Soc.
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 30 Nov 2023
Received 08 May 2023 Revised 31 Jul 2023 Accepted 04 Sep 2023
DOI: https://doi.org/10.7746/jkros.2023.18.4.419

조립 공정을 위한 로봇-사람 간 작업 공유 시스템
나민우1 ; 홍태화2 ; 윤준완3 ; 송재복

Robot-Human Task Sharing System for Assembly Process
Minwoo Na1 ; Tae Hwa Hong2 ; Junwan Yun3 ; Jae-Bok Song
1Ph.D. Student, Mechanical Engineering, Korea University, Seoul, Korea (jrmwl@korea.ac.kr)
2Master Student, Mechatronics, Korea University, Seoul, Korea (hth941004@naver.com)
3Master Student, Mechanical Engineering, Korea University, Seoul, Korea (wns9677@korea.ac.kr)
Correspondence to : Professor, Corresponding author: Mechanical Engineering, Korea University, Seoul, Korea (jbsong@korea.ac.kr)


CopyrightⓒKROS
Funding Information ▼

Abstract

Assembly tasks are difficult to fully automate due to uncertain errors occurring in unstructured environments. When assembling parts such as electrical connectors, advances in grasping and assembling technology have made it possible for the robot to assemble the connectors without the aid of humans. However, some parts with tight assembly tolerances should be assembled by humans. Therefore, task sharing with human-robot interaction is emerging as an alternative. The goal of this concept is to achieve shared autonomy, which reduces the efforts of humans when carrying out repetitive tasks. In this study, a task-sharing robotic system for assembly process has been proposed to achieve shared autonomy. This system consists of two parts, one for robotic grasping and assembly, and the other for monitoring the process for robot-human task sharing. Experimental results show that robots and humans share tasks efficiently while performing assembly tasks successfully.


Keywords: Robotic System, Shared Autonomy, Robotic Assembly, Human-Robot Interaction

1. 서 론

최근 로봇에 기반한 작업은 팔레타이징, 도장 등과 같이 완전 자동화 작업을 넘어 PC, 스마트폰 등과 같은 전자제품의 조립으로 영역을 넓히고 있다[1]. 사람이 수행하던 단순 반복 작업을 로봇이 대체하고 있으며, 협동로봇의 등장으로 사람과 로봇이 작업공간을 공유하게 되면서 공유 자율성(shared autonomy)의 개념이 대두되고 있다[2]. 이 개념의 목표는 예측하기 어려운 환경 변화에 로봇이 자율적으로 대응하는 데 있으며, 로봇이 사람의 작업 의도를 유추하여 현재 상황에 맞게 작업을 선택하는 것을 예로 들 수 있다. 그러나 로봇은 오직 반복 작업에 특화되어 있으므로, 부품이 무작위로 제공되고 환경 변화가 잦은 조립 공정에 대한 로봇의 도입은 더딘 상황이다. 이를 해결하기 위한 현실적인 방안 중 하나는 로봇 단독으로 수행 가능한 작업과 사람이 수행하는 작업을 분류한 후, 로봇이 상황에 맞게 사람의 작업을 보조하거나 직접 작업을 수행하는 것이다.

실제 현장의 경우에 작업자가 수시로 환경 내에서 이동하므로 로봇이 환경을 실시간으로 인식하여 상황에 적합한 작업을 선택하여야 한다. 그러나 로봇은 미리 프로그래밍된 작업 정보에 따라 반복 구동되므로, 비정형 환경에서 사람과 작업을 공유하기는 어렵다[3]. 따라서 로봇이 자율적으로 작업 환경을 인식할 수 있는 기술이 필요하다. 또한 로봇의 단독 작업 중에 공정이 중단되지 않도록 신뢰할 만한 수준의 성공률이 확보된 로봇 파지 및 조립 기술이 필요하며, 비정형 환경에 적용 가능한 통합된 로봇 시스템을 구축하여야 한다.

본 연구에서는 비정형 환경의 조립 공정에서 로봇이 자율적인 작업 선택이 가능하도록 로봇과 사람의 작업 공유 시스템을 제안하였다. 본 논문의 기여는 다음과 같다. 첫째, 비정형 환경에서의 조립 공정을 위한 로봇-사람 간 작업 공유가 가능한 로봇 시스템을 구현하였다. 둘째, 로봇의 실시간 공정 모니터링을 통해 작업 절차에 대한 프로그래밍 없이도 로봇이 자율적으로 작업 환경을 인식하여 효율적인 작업 선택이 가능하다. 셋째, 로봇에 기반한 비정형 파지 및 조립 기술을 접목하여 실제 PC 조립 공정에 활용 가능한 수준의 파지 및 조립 성공률을 확보하였다.

본 논문의 구성은 다음과 같다. 2장에서 조립 공정을 위한 작업 공유 시스템에 대해 소개한다. 3장에서는 로봇의 자율적인 작업 선택이 가능한 공정 모니터링 기술에 대하여 설명한다. 4장에서는 제안된 로봇 시스템을 통해 PC 조립을 수행한 결과를 설명한다. 마지막으로, 5장에서 결론을 도출한다.


2. 로봇-사람 간 작업 공유를 위한 로봇 시스템
2.1 로봇 시스템

본 연구에서 제안된 로봇 시스템은 산업용 PC 조립 라인을 대상으로 하며, 로봇과 사람이 [Fig. 1]과 같은 환경에서 작업을 공유한다. 먼저 전면에 배치된 컨베이어를 통해 PC 본체가 영역 A로 공급된다. 영역 A에서는 [Fig. 2]에 열거된 PC의 구성 부품(CPU, cooler, SSD, RAM)의 조립 작업 A가 수행된다. 컨베이어의 측면에는 Universal Robots사의 6자유도 로봇(UR5)이 배치되어 있고, 맞은편에 사람이 위치하여 로봇과 작업을 공유한다. 이때 사람의 작업 여부를 인식하기 위해 영역 A의 상단에 PointGrey의 카메라(GS3-U3-23S6C-C)를 설치하여 작업에 대한 영상 정보를 수집한다. 다음으로, 영역 B에서는 조립된 PC의 작동 여부를 검사하는 작업 B가 수행되며, 이 작업에서 로봇은 커넥터(Power, USB, HDMI) 파지와 조립을 사람의 도움 없이 수행한다. 한편 ZIVID사의 3차원 스캐너(ZIVID One+)를 로봇 말단에 부착하여 3차원 점군(point cloud) 정보를 획득하여, 로봇의 부품 파지에 사용한다. 또한, 로봇의 툴 교체 없이 모든 부품과 커넥터를 파지하도록 자체 설계한 그리퍼를 사용하였다. 한편, 접촉이 발생하는 조립의 경우, 로봇의 힘 제어를 수행하기 위해 말단부에 ATI사의 힘/토크 센서(Gamma)를 부착하여, 접촉 시에 발생하는 힘/토크 정보를 실시간으로 수집하였다.


[Fig. 1] 
Robot system for PC assembly process


[Fig. 2] 
PC assembly parts and process

2.2 PC 조립 공정 분석

작업 A는 미세한 접촉에도 핀(pin) 손상 가능성이 높은 CPU 조립과, 단자의 삽입 후에 래치(latch) 조임이 필요한 Cooler, 볼트 체결이 필요한 SSD 및 RAM 조립으로 구성된다. 이 작업은 조립을 위해 여러 작업을 순차적으로 수행해야 하고, 부품의 손상 가능성이 높아 조립 난이도가 높다. 로봇이 성공적으로 조립을 수행하더라도, 현실적으로 사람의 조립 속도를 따라가기 어렵다. 한편 대상 부품은 모두 진공 흡착(vacuum suction)만으로 파지가 가능하다. 만약 로봇은 부품 파지만 수행하고, 부품을 신속히 사람에게 전달하여 사람이 조립에만 집중하도록 작업을 공유하면 공정 효율을 높일 수 있다. 따라서 작업 A에서 로봇은 PC 부품이 적재된 박스에서 부품을 파지하여 사람에게 전달(handover)하고, 부품을 전달받은 사람은 PC에 부품을 조립하도록 공정을 구축하였다. 각 부품에 대한 공정 수행 과정은 [Fig. 3]과 같다.


[Fig. 3] 
Task A: parts grasping and handover (robot) and parts assembly (human)

작업 B는 작업 A의 부품 조립이 완료된 PC의 커넥터 단자에 커넥터를 삽입하여 PC의 단자 불량 여부를 검사한다. 이때 Power, USB, HDMI 커넥터의 조립공차는 약 400, 200, 80 μm으로 조립 난이도가 높지만, 로봇의 힘 제어를 통해 극복 가능한 수준이다. [Fig. 4]는 커넥터 조립 과정을 보여준다. 먼저 커넥터와 단자 사이의 정렬(alignment)이 수행된다. 정렬은 커넥터를 단자에 삽입하기 위해 두 부품 사이의 자세 오차를 줄이는 과정이다.


[Fig. 4] 
Task B: grasping and assembling connectors (robot)

두 부품이 정렬되면 적절히 접촉력을 제어하여 커넥터를 단자에 삽입한다. 만약 로봇이 부품을 정확히 파지한다면, 로봇이 신속히 조립을 수행할 수 있으므로, 작업 B는 사람의 개입 없이 파지부터 조립까지 모든 과정을 로봇이 수행한다.

2.3 비정형 환경에서의 커넥터 파지

PC 부품과 커넥터는 [Fig. 2]와 같이 별도의 지그가 없는 비정형 환경에서 공급된다. 부품은 종류에 따라 흡착식 또는 기계식 파지가 필요하다. 본 연구에서는 툴 교환이 필요하지 않도록 [Fig. 5]와 같은 다용도 그리퍼를 자체 제작하여 사용하였다. 다용도 그리퍼는 수평 방향으로 병진 이동이 가능한 공압(pnematic) 슬라이드 1과 2지(2-finger) 그리퍼 팁을 이용하여 물체를 파지할 수 있다. 또한 수직 방향으로 병진 이동이 가능한 공압 슬라이드 2와 진공 흡착 패드(vacuum suction pad)를 이용하여 흡착식 파지를 구현한다. 예를 들어, [Fig. 6(a)]와 같이 작업 A의 부품은 모두 흡착식으로 파지할 수 있다. [Fig. 6(b)]는 흡착식과 2지 방식을 이용한 커넥터 파지 결과를 보여준다. 흡착식과 2지 파지를 순차적으로 이용하여 바닥에 무작위로 놓인 커넥터를 파지하는 것을 확인할 수 있다.


[Fig. 5] 
(a) versatile gripper, (b) vacuum suction grasping, and (c) 2-finger grasping


[Fig. 6] 
Grasping results: (a) vacuum grasping, and (b) vacuum and 2-finger grasping

한편, 부품의 파지 자세는 점군(point cloud) 기반의 파지 알고리즘을 통해 추정한다. 먼저 3차원 스캐너로부터 대상 물체를 측정하여 점군 정보를 획득한다. 본 연구에서는 정밀한 자세 추정을 위해 대상 부품의 CAD를 이용한 ICP (iterative closest point)[4] 기반의 매칭(matching)을 이용한다. 매칭은 두 점군의 근접 점 사이의 오차를 줄이도록 점군을 일치시키는 작업으로, 매칭의 결과로부터 두 점군 사이의 상대 자세를 산출할 수 있다.

먼저 대상 부품에 대한 STEP 형식의 CAD를 [Fig. 7]과 같은 점군 정보(Pc)로 변환한다. 여기서 {B}는 로봇의 베이스 좌표계, {S}는 3차원 스캐너 좌표계, {C}는 CAD의 기준 좌표계, {O}는 측정된 대상 부품의 물체 좌표계이다. 3차원 측정을 통해 얻은 점군 정보는 스캔 영역 내의 모든 점군을 포함하므로 파지 대상 물체의 점군만을 추출해야 한다. 본 연구에서는 부품의 마스크(mask) 정보를 추출할 수 있는 딥러닝 기반의 인식 네트워크인 Mask R-CNN[5]을 이용하여 대상 부품의 점군(Ps)을 추출하여 사용하였다. 파지 자세는 {B}에 대한 {O}의 원점과 방위이므로 BTO를 산출한다. 먼저 변환행렬 BTS를 이용하여 {S}에 대한 점군 Ps를 {B}에 대한 점군 Pb로 변환한다. BTS는 로봇과 3차원 스캐너 사이의 캘리브레이션(calibration)을 통해 산출된다. 다음으로 PcPb에 대해 ICP을 이용한 정합을 수행하여, CTO를 얻을 수 있다. 본 연구에서는 {C}를 {B}와 동일하게 설정하였으므로, CTOBTO는 동일하게 된다. 산출된 BTO를 자세로 변환하여 로봇의 파지 자세로 사용하며, 이를 통해 PC 부품과 커넥터에 대한 파지 자세를 추정할 수 있다.


[Fig. 7] 
Pose estimation using ICP

2.4 비정형 환경에서의 커넥터 조립

커넥터가 단자에 정렬되면 최종 삽입을 통해 조립이 수행된다. 정렬은 [6]에서 제안된 강화학습(reinforcement learning, RL)을 이용한 영상 정보 기반의 정렬을 이용하여 수행하였다. 이 방법은 로봇 말단의 상대 자세를 로봇의 행동(action)으로 출력하며, 커넥터와 단자 사이의 자세 오차를 감소시키도록 학습된다. 이때 영상 정보는 [Fig. 5(a)]와 같이 그리퍼에 장착된 Intel사의 카메라(RealSense D435)를 통해 수집된다.

학습된 네트워크에 [Fig. 8]과 같이 커넥터와 단자가 화각(FOV) 안에 포함된 영상 정보가 입력되면, 커넥터와 커넥터 단자 사이의 오차를 줄이도록 로봇 말단의 상대 자세가 출력되며, 정렬이 수행된다. 정렬 과정에서는 접촉이 발생하지 않으므로, 로봇은 위치 제어를 기반으로 구동되며, 로봇은 네트워크로부터 출력된 정렬 궤적을 따라 구동된다.


[Fig. 8] 
Image-based alignment

정렬이 완료되면 커넥터의 삽입 깊이만큼 사다리꼴 속도 프로파일을 기반으로 로봇의 직선 궤적을 생성한다. 생성된 궤적을 따라 커넥터가 삽입되고 접촉이 발생하는 데, 커넥터의 조립 공차가 작으므로 미세한 오차에도 과도한 접촉력이 발생하여 조립이 실패할 수 있다. 이를 방지하기 위해 간접 힘제어의 일종인 임피던스 제어(impedance control)[7]를 기반으로 로봇을 구동한다. 임피던스 제어는 로봇의 움직임과 접촉력 사이의 동적 관계를 이용하여 접촉력을 제어하는 방법이다. 임피던스 제어기는 발생한 접촉력에 대한 위치 보상을 수행하여, 현재 로봇의 위치 궤적을 보상한다. 로봇에 입력되는 제어 입력 xc는 다음과 같다.

xc=xd-xF(1) 

여기서 xd는 삽입을 위해 생성된 궤적의 목표 위치, xF는 임피던스 제어기로부터 산출되는 접촉력에 따른 위치 보상으로 다음과 같이 정의된다.

xF=1Bs+KF(2) 

여기서 임피던스 파라미터인 BK는 로봇 말단에서 구현되는 감쇠계수 및 강성에 각각 해당하며, F는 로봇과 접촉 환경 사이에 발생하는 접촉력으로 힘/토크 센서를 통해 측정된다. 임피던스 제어를 적용하면 로봇 조립 시에 안정적인 접촉을 구현하여 과도한 접촉력을 방지할 수 있다. 앞서 분석한 조립 공정에 대응하기 위해 제안된 로봇 시스템의 전체 구성도는 [Fig. 9]와 같다.


[Fig. 9] 
The overall structure of the robotic system for the assembly process


3. 실시간 작업 선택을 위한 공정 모니터링

제안된 로봇 시스템에서는 로봇과 사람의 작업 공유를 위해 공정 모니터링이 실시간으로 수행된다. 공정 모니터링은 영역 A에서 사람의 작업 여부를 인식하여 로봇의 작업을 할당하고, 영역 B에서 로봇의 조립 성공/실패를 판별한다.

3.1 작업 인식

사람이 작업 A의 조립을 수행하는 도중에 로봇이 대기하는 것보다 작업 B를 수행하는 것이 효율적이다. 이를 위해 사람의 작업 인식(task recognition)이 필요하다. 본 연구에서는 영상 정보를 이용한 딥러닝 기반의 물체 인식 네트워크인 YOLOv3[8]를 이용하여 사람의 작업 여부를 인식한다. 로봇 시스템에서 영역 A의 상단에 수직으로 설치된 카메라로부터 작업 A의 영상 정보를 얻을 수 있다. [Fig. 10]은 수집된 영상 정보에서 사람 손이 인식된 예시를 보여준다. 사람 손의 인식 결과는 영상 정보의 수집 주기인 67 ms마다 출력되며, 사람 손이 1초 간 10회 이상 인식되면 작업 A는 진행 상태로 간주된다. 여기서 작업 인식은 컨베이어가 정지 상태인 경우에만 수행되며, 컨베이어가 동작하는 중에는 수행되지 않는다.


[Fig. 10] 
Task recognition in workspace A

3.2 조립 성공/실패 판별

작업 B는 커넥터의 공차가 작고, 커넥터와 단자 사이에 오차가 존재하여 조립이 실패할 가능성이 높다. 로봇은 단순히 반복하여 조립만 수행할 뿐, 조립의 성공/실패 여부를 알 수 없다. 본 연구에서는 조립 중에 발생하는 힘/토크 정보 기반의 조립 성공/실패 판별 알고리즘[9]을 사용하여 조립의 성공/실패 여부를 판별한다.

이 방법은 접촉력의 양상이 일정한 패턴을 가지고 있음에 착안하여, 미리 구축한 모델 데이터와 실시간 측정 데이터 사이의 유사도(similarity)를 평가한다. 모델 데이터는 조립 성공 시의 힘(fx, fy, fz)과 토크(τx, τy, τz)로 구성되는 행렬로, 조립 성공에 대한 접촉 데이터를 포함하는 행렬이다. [Fig. 11]은 파워 커넥터의 10회 조립 성공 시에 측정된 로봇의 위치 x와 힘/토크 정보를 중첩하여 도시한 결과다. 여기서 A1, A2는 각각 약 0.6초간 접촉이 일정하게 유지되는 상태로, 황색 및 청색으로 표시된 음영 구간에서 일정한 데이터 패턴을 갖는다. 이러한 10회의 조립 성공 데이터를 공정 초기에 수집하여 모델 데이터를 생성한다. [Fig. 12]는 생성된 모델 데이터와 실시간 측정 데이터 사이의 유사도를 산출한 결과를 보여준다. 유사도가 적색 점선으로 표시된 임계값보다 높으면 조립 성공, 낮으면 조립 실패로 판별된다. 이 방법은 공정 초기 10회의 데이터 수집만으로 모델 데이터를 생성하므로 대상 공정이 변경되더라도 빠른 적용이 가능하다.


[Fig. 11] 
Measured data during the assembly process


[Fig. 12] 
Similarity evaluation: (a) assembly success, and (b) assembly failure

3.3 조립 공정 모니터링

조립 공정의 모니터링 정보는 작업의 영상 정보와 힘/토크 정보이다. 본 연구에서 영상 정보와 힘/토크 정보의 수집 주기는 각각 67, 20 ms로 설정하였다. 먼저, 컨베이어를 통해 PC가 공급되고, 영역 A에서 작업인식을 수행하여 사람이 작업 대기 상태이면, 로봇은 작업 A의 부품 파지 및 전달 작업을 수행한다. 만약 사람이 작업 수행 중이라 인식되면 로봇은 작업 B의 커넥터 파지 및 조립 작업을 수행한다. 이때 커넥터의 조립 성공/실패를 판별하여 만약 조립이 실패하면, 재조립을 수행하여 공정이 중지되지 않도록 한다. 마지막으로 작업 B의 조립이 성공하면, 다시 작업인식을 수행한다. 최종적으로 작업 A, B의 모든 부품에 대한 조립이 완료될 때까지 위 과정을 반복한다. 작업 A, B가 완료되면 컨베이어 시스템이 동작하여 조립된 PC를 다음 영역으로 이송하고, 새 PC를 작업영역으로 공급한다. 조립 공정 모니터링의 흐름도는 [Fig. 13]과 같다.


[Fig. 13] 
Flowchart of assembly process monitoring


4. 실험 결과

제안된 로봇 시스템을 검증하기 위해 작업 A와 B의 공정을 수행하여 작업인식을 수행하고 인식 결과에 따라 로봇 작업을 할당하였다. 로봇 시스템은 현재 공정의 작업정보를 실시간으로 수집하여, 사람의 작업을 인식하고 로봇의 조립 성공/실패를 판별한다. 이러한 모니터링 정보를 통해 현 시점에 필요한 로봇의 작업이 할당된다. 예를 들어, [Fig. 14]의 작업 상태 1은 컨베이어를 통해 PC가 공급된 후, 사람의 작업 정지를 인식한 상태이다. 이때 로봇에게 PC 조립의 첫 번째 부품인 CPU를 파지하여 사람에게 전달하는 작업(로봇 작업 1)이 할당된다. 이 작업이 종료된 후, 다시 작업 인식을 수행한 결과가 작업 상태 2이다. 사람은 CPU를 조립 중이고, 작업 B의 로봇은 대기 상태이다. 따라서 영역 B에서의 커넥터의 파지, 조립 작업(로봇 작업 2)이 할당된다.


[Fig. 14] 
Task recognition and allocation results

할당된 로봇 작업 2를 수행하여 로봇이 조립을 성공하면 작업인식을 다시 수행하고, 작업 상태 3과 같이 사람은 작업 대기, 커넥터 조립은 성공한 것으로 판별된다. 따라서 작업 A의 다음 부품인 Cooler를 파지하고 전달하는 작업(로봇 작업 3)이 로봇에게 할당된다. 이 방식을 통해 모든 부품에 대한 조립이 완료될 때까지 공정 모니터링이 수행되며, 로봇의 대기시간을 최소화하여 로봇과 사람 사이의 효율적인 작업 공유가 가능하다. 이러한 작업인식 및 작업할당에 따른 공정 1회의 수행 시간은 [Fig. 15]와 같다. 결과에 따르면 PC 1대의 조립을 수행한 결과, 작업 A와 B는 각각 1분 30초, 1분 35초가 걸려 서로 독립적으로 작업을 수행할 경우 최대 3분 5초의 시간이 소요된다. 이때 조립 공정 모니터링을 통해 공정 계획을 적용한 경우, 전체 공정시간은 총 2분 20초로 모니터링을 수행하지 않은 경우에 비해 45초가 감소하였다.


[Fig. 15] 
Cycle time of the assembly process

한편, 작업 A와 B에 대한 로봇의 파지 및 조립 성능을 검증하기 위해, 작업 A는 부품 4종에 대해 각 100회, 작업 B는 커넥터 3종에 대해 각 100회의 파지 및 조립을 수행하였다. [Table 1], [Table 2]는 작업 A와 B의 파지 및 조립 결과를 보여준다. 작업 A의 경우, 비교적 단순 흡착 파지이므로 4종 부품 모두 파지에 성공하여, 100%의 파지 성공률을 보였다. 작업 B의 경우, Power 커넥터에 대해 ICP 기반의 매칭 실패로 인해 파지를 2회 실패하여, 조립 실패로 이어졌다. 한편, USB와 HDMI는 파지는 100회 모두 성공하였으나, 삽입 과정에서 과도한 접촉력이 발생하여 삽입이 실패하였다. 이 경우는 공정 모니터링을 통해 조립 실패로 판별되며, 커넥터의 재조립을 수행하여 최종 조립이 성공하였다. 이를 통해 공정의 중단 없이 100%의 조립 성공률을 확보할 수 있지만, 부품의 재조립 과정이 추가되어 공정 시간이 증가한다는 단점이 있다.

[Table 1] 
Robot grasping results of task A
Task A CPU Cooler SSD RAM
Grasping Success 100 100 100 100
Failure 0 0 0 0

[Table 2] 
Robot grasping and assembly results of task B
Task B Power USB HDMI
Grasping Success 98 100 100
Failure 2 0 0
Assembly Success 98 92 91
Failure 2 8 9


5. 결 론

본 연구에서는 로봇과 사람이 작업을 공유하도록 로봇의 자율적인 작업 선택이 가능한 로봇 시스템을 제안하였다. 제안된 시스템은 산업용 PC 조립을 위한 4종 부품의 파지 및 전달, 3종의 커넥터 파지 및 조립과 같은 비정형 환경에서의 조립 공정에 대응이 가능하다. 또한 영상, 힘/토크 정보, 작업 시간과 같은 작업 정보를 실시간으로 모니터링하여 로봇이 작업을 인식하고, 현재 상황에 적합한 작업을 선택하여 사람의 작업을 돕거나 단독으로 작업이 가능하다. 제안된 시스템을 통해 PC 조립 공정을 수행한 결과, 공정 1회에 대해 총 2분 20초가 소요되어 적용 전에 비해 약 45초의 공정 시간을 단축하였다. 한편, CPU, Cooler, SSD, RAM에 대한 100회의 파지를 수행하여, 모두 100%의 파지 성공률을 얻을 수 있었다. 또한 Power, USB, HDMI 커넥터에 대해 100회의 파지 및 조립을 수행하여 각 98, 92, 91%의 조립 성공률을 보였지만, 공정 모니터링을 통한 재조립을 통해 100%의 조립 성공이 가능함을 확인하였다. 이 결과를 통해 제안된 로봇 시스템이 PC 조립 공정을 효율적으로 수행함을 확인할 수 있었다.

향후 연구에서 제안된 로봇 시스템을 이용하여 딥러닝 기반의 지능적인 공정 계획 기술을 추가하고, 더 높은 수준의 공유 자율성을 확보하기 위한 연구를 진행할 예정이다.


Acknowledgments

This research was supported by the MOTIE under the Industrial Foundation Technology Development Program supervised by the KEIT (No. 20008613)


References
1. W.-C. Chang, “Robotic Assembly of Smartphone Back Shells with Eye-in-Hand Visual Servoing,” Robotics and Computer-Integrated Manufacturing, vol. 50, pp. 102-113, 2018.
2. M. Selvaggio, M. Cognetti, S. Nikolaidis, S. Ivaldi, and B. Siciliano, “Autonomy in Physical Human-Robot Interaction: A Brief Survey,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7989-7996, Oct., 2021.
3. D. Kragic, J. Gustafson, H. Karaoguz, P. Jensfelt, and R. Krug, “Interactive, Collaborative Robots: Challenges and Opportunities,” The Twenty-Seventh International Joint Conference on Artificial Intelligence, pp. 18-25, 2018.
4. P. J. Besl and N. D. Mckay, “A method for registration of 3-D shape,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 14, no. 2, pp. 239-256, Feb., 1992.
5. K. He, G. Gkioxari, P. Dollár, and R. Girshick, “Mask R-CNN,” 2017 IEEE International Conference on Computer Vision (ICCV), pp. 2980-2988, 2017.
6. J. Yun, Y. G. Kim, and J. B. Song, “Sim-to-Real Reinforcement Learning-based Square Peg Alignment Method,” The 37th ICROS Annual Conference (ICROS 2022), pp. 534-535, Jun., 2022, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE11103704.
7. N. Hogan, “Impedance Control: An Approach to Manipulation: Part III—Applications,” Journal of Dynamic Systems, Measurement, and Control, vol. 107, no. 1, pp. 8-16, 1985.
8. J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” arXiv:1804.02767, 2018.
9. M. Na, T. J. Kim, and J. B. Song, “Similarity-based Assembly Success/Failure Estimation Algorithm,” Transactions of the KSME A, vol. 44, no. 1, pp. 71-77, Jan., 2020.

나 민 우

2017 고려대학교 기계공학과(학사)

2019 고려대학교 스마트융합학과(석사)

2019~현재 고려대학교 기계공학과(박사)

관심분야: 로봇 파지, 로봇 기반 조립, 3차원 측정

홍 태 화

2020 세종대학교 기계공학과(학사)

2020~현재 고려대학교 메카트로닉스학과(석사)

관심분야: 그리퍼 설계, 로봇 파지

윤 준 완

2021 울산과학기술원 기계항공공학과(학사)

2021~현재 고려대학교 기계공학과(석사)

관심분야: 로봇 제어, 로봇 기반 조립, 강화학습

송 재 복

1983 서울대학교 기계공학과(공학사)

1985 서울대학교 기계공학과(공학석사)

1992 MIT 기계공학과(공학박사)

1993~현재 고려대학교 기계공학부 교수

관심분야: 로봇의 설계 및 제어, 협동로봇, 중력보상 로봇, AI 기반 로봇 매니퓰레이션