본 연구의 정리작업을 위한 환경은 [Fig. 1]과 같이 구성된다. 그림에서 보는 바와 같이, 총 5개의 물품이 책상 위의 정리환경에 임의의 자세로 존재할 수 있으며, 로봇 말단의 카메라를 통한 RGB 영상정보만을 사용하여 이들 물품이 어질러진 책상 위의 상태를 목표 정돈 상태가 되도록 로봇 팔을 통해 정리작업을 수행한다. 작업의 수행을 위한 로봇으로는 Franka Emika의 Panda를 사용하였고, 말단의 그리퍼는 Robotiq의 2F-85를 사용하였으며, 말단에 부착된 카메라는 Microsoft의 Azure Kinect DK를 사용하였다.

[Fig. 1] 
Environment for tidy-up task

본 연구에서 정리라 함은 로봇 팔을 통해 [Fig. 1]에서 보인 환경의 물품마다 정해진 단위동작을 수행하는 것을 의미한다. 예를 들어, [Fig. 2]의 경우와 같이 “서랍을 연다”와 “서랍에 핸드크림을 넣는다” 같은 두 가지 단위동작이 있을 수 있고, 이 두 단위동작을 조합하여 “서랍을 열고, 서랍에 핸드크림을 넣는다”와 같은 정리작업을 수행할 수 있다. 그러나 이 두 단위동작을 잘못 조합할 경우에는 “서랍에 핸드크림을 넣고, 서랍을 연다”와 같은 정리작업을 수행해야 한다. 이는 불가능한 행동이므로 단위동작을 어떤 순서로 계획해야 하는지가 정리작업의 수행에 매우 중요함을 알 수 있다.

[Fig. 2] 
Examples for combinations of unit motion

본 연구에서는 5개의 물품에 대해 [Fig. 3]과 같이 총 9개의 단위 정리동작을 정의한다. 기본적으로 노트북, 서랍, 상자는 닫힌 상태를 정리가 완료된 것으로 간주하며, 책상에 고정되어 있다. 단, 상자 뚜껑의 경우, 상자 뚜껑을 닫기 전에는 임의의 자세로 존재가 가능하다. 텀블러는 책상 위 목표 자리에 뚜껑이 닫힌 상태를, 핸드크림은 책상 위 목표 자리에 있거나 서랍 혹은 상자 안에 담긴 상태를 정리가 완료된 것으로 간주하며, 이러한 목표 위치 역시 임의로 설정된다.

[Fig. 3] 
Types of unit motions for tidy-up task

본 연구에서는 RGB 영상정보만을 사용하여 현재 상황에 적합한 단위 정리동작의 작업순서 계획기를 학습한다. 그러나 영상정보를 사용하면 상태공간이 매우 커지고, 인공신경망을 학습하기 위해서는 다량의 데이터가 필요하며, 학습과정에서 물체의 자세 또는 상태를 계속하여 변경하여야 하므로, 이를 실제환경에서 학습하는 것은 효율적이지 않다. 따라서 실제환경과 동일한 가상환경을 구성하여 신경망의 학습과정을 수행한다.

가상환경으로는 Bullet 물리엔진 기반의 PyBullet 가상환경을 사용하여 [Fig. 4]와 같이 구성한다. 이때 학습한 작업계획 신경망을 실제환경으로 용이하게 전이하기 위해 정리환경 물품의 색상을 단색으로 전처리한 영상정보를 사용한다. 이에 대한 설명은 3장에서 자세히 다룬다. 또한 본 연구의 목표는 정리작업 시 올바른 단위동작의 순서를 결정하는 것이므로, 신경망의 학습과정에서 불필요한 로봇의 움직임은 제외하고 앞서 정의한 단위동작에 따른 결과만을 통해 학습을 진행한다.

[Fig. 4] 
Environment for tidy-up task: (a) virtual, and (b) real

본 연구에서는 실제환경과 동일하게 구성한 가상환경의 영상정보를 통해 작업계획 알고리즘을 학습하며, 최종적으로는 학습 결과를 실제환경의 영상정보로 검증해야 한다. 그러나 [Fig. 5]와 같이 가상환경에서의 시각정보는 아무리 환경을 실제환경과 유사하게 구성하더라도 어느 정도의 차이가 발생한다. 따라서 가상환경에서 학습이 잘 수행되더라도 실제환경에서의 성능은 좋지 못한 결과를 얻게 되는 경우가 대부분이다. 이처럼 가상환경에서의 학습 결과를 현실로 전이하는 것을 simulation to real (sim-to-real)^[6]이라 한다.

[Fig. 5] 
Environment for tidy-up task: (a) virtual, and (b) real

Sim-to-real을 위해 본 연구에서는 [Fig. 6]과 같이 물체의 분할 이미지를 활용하여 가상환경과 실제환경을 유사한 중간의 영역으로 변형시켜 두 환경 사이의 괴리를 최소화하는 방법을 사용한다. 이때 가상환경은 사용자가 환경의 모든 정보에 접근할 수 있으므로 쉽게 분할 이미지를 얻을 수 있지만, 실제환경에서는 물체의 분할 이미지를 얻기 위해 별도의 알고리즘을 사용해야 한다. 본 연구에서는 DeepLab v3+^[7]를 사용하였다.

[Fig. 6] 
Sim-to-real transfer between (a) virtual and (b) real environments

본 연구에서는 현재 상태를 목표 정돈상태로 정리하는 것을 목적으로 한다. 이때 현재 상태의 영상만을 학습 데이터로 사용하면 어떤 목표 상태로 정리를 하려는 것인지를 알 수 없으므로, [Fig. 7]과 같이 현재 상태와 목표 상태 2장^[8]의 RGB 영상정보를 분할 영상으로 전처리한 후에 사용한다. 이때 신경망을 학습하기 위한 강화학습 알고리즘은 Rainbow DQN^[9]을 사용하며, 보상함수 r은 다음과 같이 구성한다.

[Fig. 7] 
Network for tidy-up task planner

본 연구에서 사용한 Rainbow DQN은 deep Q-network (DQN)^[10]의 성능을 개선하기 위해 추가적인 방법론을 적용한 알고리즘이다. DQN은 Q-learning^[11] 기반의 알고리즘으로, 인공신경망을 통해 행동가치 함수(action-value function)를 학습하는 것을 목적으로 한다. 행동가치 함수는 현재 상태에서 특정 행동을 취했을 때의 미래 가치를 의미하며, 이 값이 최대인 행동을 선택할 경우 일반적으로 최적의 행동을 선택하였다고 볼 수 있다. 학습은 다음과 같은 비용함수를 최소화하는 방향으로 수행되며, 이를 통해 행동가치 함수를 최적화한다.

여기서 r은 상태 s에서 행동 ^a를 취하여 다음 상태 s΄에 도달한 경우에 받은 보상을 의미하며, γ은 감가율(discount rate)을 의미한다. 이때 Q_θ(s,a)는 행동가치 함수를 의미하며, 매개변수θ를 통해 모델링된 신경망을 통해 얻는다. Q_θ(s,a)의 학습 목표는 식 (2)의 r+γ·max_a'Q_θ'(s΄,a΄)에 해당하며, 매개변수 θ'는 학습을 통해 최적화된 θ를 주기적으로 가져와 차용한다. DQN에 Double Q-learning^[12], Prioritized replay buffer^[13], Dueling networks^[14], Noisy Nets^[15], Multi-step learning^[16], Distributional learning^[17]의 총 6가지의 성능 향상 기법을 적용한 알고리즘을 Rainbow DQN이라 하며, 이를 통해 본 연구의 작업계획기를 학습한다. 작업계획기를 학습하기 위한 신경망의 입력과 출력은 [Fig. 7]과 같이 구성한다.

본 연구에서 목표로 하는 정리정돈 작업은 5개의 물품 중 임의로 2~5개의 물품이 배치된 상태에서 수행된다. 이때 물품은 초기 정리의 완료 유무에 상관없이 배치된다. 따라서 [Fig. 8]과 같이 5개의 물품이 항상 정리환경에 출현하는 것은 아니며, 어떤 물품은 이미 정리가 완료된 상태로 출현하기도 한다. 그러므로 항상 모든 단위행동이 필요하지는 않다. 따라서 주어진 상황에서 필요 없는 단위행동을 사전에 배제함으로써 작업계획기의 성능을 높일 수 있다.

[Fig. 8] 
Example of various number of objects in the tidy-up environment

어떤 단위행동이 필요한지, 또는 필요 없는지는 행동제거 신경망을 통해 판단한다. 예를 들어, [Fig. 9]와 같이 서랍이 존재하지 않는 경우 “서랍을 연다”, “서랍을 닫는다”, “핸드크림을 서랍에 넣는다”와 같은 행동은 아예 수행이 불가능하다. 또한 노트북은 이미 닫혀 정리가 되어있으므로 “노트북을 닫는다”와 같은 행동 역시 불필요하다. 이들 행동은 [Fig. 7]의 작업계획 신경망 출력의 각각 1번째, 2번째, 7번째, 0번째 행동([Fig. 3]에서 정의)에 해당한다. 따라서 다음과 같은 데이터를 구성할 수 있다.

[Fig. 9] 
Example of no drawer and tidied-up laptop

여기서 1은 불필요한 행동을, 0은 수행 가능한 행동을 나타낸다. 식 (3)과 같은 데이터는 가상환경에서 작업계획 신경망을 학습하면서 바로 얻을 수 있으므로, 이를 행동제거 신경망의 학습 레이블로 사용하여 지도학습^[18]을 통해 학습할 수 있다. 오차함수로는 mean square error (MSE)^[19]를 사용한다. 결과적으로 [Fig. 7]에 행동제거 신경망을 추가하여 [Fig. 10]과 같이 구성한다. 행동제거 신경망은 Rainbow DQN 기반의 작업계획 신경망과 합성곱 신경망을 공유하지만 두 신경망의 학습은 독립적으로 이루어진다.

[Fig. 10] 
Network for eliminating unnecessary action

결과적으로 [Fig. 7]에 행동제거 신경망을 추가하여 [Fig. 10]과 같이 구성하여 학습을 진행한다. 기존에는 실제환경 검증 시에 단순히 행동가치가 가장 큰 행동을 선택하였다면, 다음식과 같이 행동제거 신경망의 출력을 활용하여 행동을 선택한다.

여기서 E는 행동제거 신경망의 출력, w는 Rainbow DQN 신경망의 매개변수, α는 행동제거 신경망의 매개변수를 의미한다. 본 연구의 작업계획 신경망의 보상함수는 식 (1)과 같으므로, 식 (4)의 Q_w(s_t, a_t)가 아무리 낙관적으로 예측된다 하더라도 1을 넘지는 못한다. 따라서 식 (4)와 같이 행동을 선택할 경우 불필요한 행동은 배제하고, 수행 가능한 행동의 행동가치에 상대적 가중치를 부여하여, 실제환경의 영상정보에서 발생하는 노이즈에 강인한 행동을 출력할 수 있다.

3.1장에서 3.3장까지 작업계획 알고리즘의 구성요소들을 설명하였다. 본 장에서는 이를 통합한 전체 작업계획 시스템을 설명한다. [Fig. 11]과 같이 실제환경의 로봇을 포함한 책상 위 정리환경에서 로봇의 말단에 부착된 카메라를 통해 RGB 영상정보를 얻고, 영상분할 알고리즘을 통해 이에 해당하는 마스크 정보를 획득한다. 획득한 현재 마스크와 목표 마스크를 작업계획 알고리즘의 입력으로 넣어주면, 현재 상태에서 최적의 단위 정리동작 명령이 출력된다.

[Fig. 11] 
Tidy-up Task Planner

출력된 단위 정리 동작 명령을 로봇에 입력하여 실제로 정리정돈을 수행할 수 있도록 한다.

본 장에서는 [Fig. 11]의 행동제거 신경망의 오차, 성공률과 Rainbow DQN 기반의 작업계획 신경망의 누적보상, 성공률 결과를 서술한다. 가상환경의 서로 다른 랜덤 시드(random seed) 5개를 다음 표와 같이 지정하였다. 랜덤 시드를 다양하게 지정함으로써 가상환경의 물체 출현 빈도와 신경망의 매개변수가 임의로 설정되는 패턴을 다양화할 수 있다. 따라서 실험 결과의 신뢰도를 확보하였다.

행동제거 신경망의 오차와 성공률은 [Fig. 12]와 같다. 이때 실선은 [Table 1]의 5개 랜덤 시드별로 수행한 결과의 평균을 의미하며, 음영 부분은 표준편차를 의미한다. 성공률은 모든 출력 원소가 학습 레이블과 갖는 차이가 0.2 이하일 때를 성공으로 간주하여 계산하였다.

[Fig. 12] 
Training results of action elimination net: (a) loss, and (b) success rate

작업계획 신경망의 누적보상과 성공률은 [Fig. 13]과 같다. 실선은 [Table 1]의 5개 랜덤 시드별로 수행한 결과의 평균을 의미하며, 음영 부분은 표준편차를 의미한다. 그래프와 같이 학습이 진행됨에 따라 누적보상이 1로 수렴함을 볼 수 있고, 성공률 역시 90% 정도로 수렴함을 알 수 있다. 이때 성공률은 가상의 정리환경에서 모든 물체에 대한 정리작업을 완료하였을 때를 성공으로 간주하였으며, 그 이외의 경우는 실패로 간주하였다.

[Fig. 13] 
Training results of tidy-up planning net: (a) score, and (b) success rate

4.1장에서 학습한 결과를 바탕으로 실제환경의 로봇을 사용하여 검증한다. 총 100회의 시험을 수행하였으며, 결과는 [Table 2]와 같다.

본 연구에서는 가상환경의 학습 결과를 실제환경으로 전이하는 과정에서 물체의 분할 이미지를 얻기 위한 알고리즘을 사용하였다. 분할 이미지를 얻는 과정에서 물체 간에 간섭이 발생하는 경우에는 간혹 [Fig. 14]와 같이 온전하지 않은 분할 이미지가 얻어졌다. 이러한 이유로 실제환경으로의 전이 성공률이 조금 저조하였다.

[Fig. 14] 
Example of damaged (red dotted circle) segmentation image: (a) (before segmentation) RGB, and (b) segmentation

또한 행동제거 신경망을 적용한 경우가 적용하지 않은 경우보다 성공률이 높았는데, 이는 가상환경의 영상정보에 과적합^[20]된 작업계획기가 실제환경의 불균형한 영상정보에 잘 대처하지 못하는 현상을 행동제거 신경망을 통해 완화하였기 때문이다. [Fig. 15]와 같이 로봇으로 정리를 수행하므로 텀블러나 상자는 뚜껑이 완벽하게 닫히지 않는 경우가 발생할 수 있다. 행동제거 신경망을 사용하지 않은 경우 가상환경의 정보에 과적합된 작업계획기로 인한 반복된 뚜껑 닫기 행동의 출력으로 인해 정리를 계속 이어갈 수 없는 반면에, 행동제거 신경망을 적용한 경우 뚜껑이 약간 비스듬하게 닫혀 있는 경우도 정리가 완료된 것으로 간주하고, 계속 다음 정리 과정을 이어갈 수 있었다. 이는 곧 정리작업의 완료로 이어지며, 따라서 최종 작업 성공률이 향상되었다.

[Fig. 15] 
Example of slantly closed (red dotted circle) tumbler and box: (a) real, and (b) simulation