본 연구에 사용한 매니퓰레이터는 [Fig. 1]과 같이 사람이 서 있는 형상을 하고 있으며 한 팔에 6 DOF (Degree Of Freedom, 자유도)씩 총 12 DOF이다. 기준이 되는 좌표계는 [Fig. 1] 하단의 X, Y, Z 축이 모두 표시된 좌표계이다.

[Fig. 1] 
Dual 6 DOF manipulator

좌표계 배치에 따라 DH table을 작성하면 [Table 1]과 같다. 오른팔과 왼팔의 θ, d, a 파라미터는 같으며 α만 다르다. α부분에서 괄호 밖이 오른팔, 괄호 안이 왼팔의 파라미터이다.

양팔 매니퓰레이터를 이용하여 여러 작업을 할 수 있는데, 그 중에서 하나의 물체를 두 개의 매니퓰레이터로 동시에 내리는 작업을 할 수 있다. 이 작업을 시작점과 도착점의 최단 경로인 직선 경로로 움직였을 때 3장에서 설명할 특이점이 발생하는 경우를 발견하였고 직선경로를 그대로 추종할 시 제어에 오류가 발생할 위험이 있다^[18]. 특이점 발생 여부는 3.3절에서 설명할 매니퓰러빌리티를 경로의 점마다 계산하여 판단하였고 이 상황을 [Fig. 2]와 [Fig. 3]에 나타내었다.

[Fig. 2] 
Singularity occurrence configuration

[Fig. 3] 
Singularity occurrence configuration (side view)

[Fig. 2]와 [Fig. 3]의 굵은 파란 선은 위에서 아래로 내려오는 경로를 의미하고 엔드 이펙터의 빨간 점은 직선 경로상에서 특이점이 발생한 지점이며 왼쪽은 시뮬레이션, 오른쪽은 실제 구동 장면이다. 검은색 원으로 표시한 위치의 4번째 조인트의 각도가 0이 되면서 3번째와 5번째의 조인트 회전축이 정렬되고 매니퓰러빌리티가 0이 되면서 특이점이 발생하였다. 이에 관한 자세한 사항은 3장에서 설명한다.

매니퓰레이터의 조인트 공간에서 속도를 θ˙라 하고 3차원 공간에서 엔드 이펙터의 x, y, z에 대한 선속도, 각속도의 벡터를 X˙라 했을 때 θ˙와 X˙는 식 (1)와 같은 관계를 가지며 이 때, J(θ)를 자코비안이라고 한다.

이 때 X˙는 위치와 방위의 x˙,y˙,z˙,ϕ˙,θ˙,ψ˙ 6차원 속도 벡터이고, dottheta는 6 DOF 조인트의 6차원 벡터이다. 따라서 J(θ)는 6×6 행렬이다.

제어대상은 조인트이기 때문에 식 (1)은 식 (2)와 같이 변형된다.

자코비안의 역행렬이 존재하기 위해서는 |det(J(θ))|가 존재해야 하는데, 이는 행렬의 특잇값(singular value)의 곱으로 표현될 수 있다. λ_i는 자코비안의 특잇값으로써 특잇값 분해를 통해 구할 수 있다.

만약 자코비안의 특잇값 중 하나 이상이 0이 되면 |det(J(θ))|는 0이 되어 자코비안의 역행렬이 존재하지 않아 식 (2)에 따라 매니퓰레이터 제어를 할 수 없게 된다. 이 상태를 특이점이라 규정한다^[4]. 특이점이 발생할 수 있는 기구학적 자세^[12]를 [Fig. 4] ~ [Fig. 6]에 나타냈다. 특이점을 유발하는 원인이 되는 조인트를 빨간색으로 표시하였다. 이 중 [Fig. 4]의 손목 특이점은 2.2의 수행 작업 도중 발생할 수 있지만 [Fig. 5]의 어깨 특이점은 1축과 3축이 정렬되어야 하기 때문에 [Fig. 1]과 함께 참고하면 팔을 벌리고 있는 모습이 됨을 알 수 있다. 따라서 2.2의 작업 도중 나타날 수 없다. [Fig. 5]의 팔꿈치 특이점은 평행한 두 회전축이 만드는 평면상에 다른 회전축이 존재하면 발생하는데, [Fig. 1]을 보면 본 논문에서 사용한 매니퓰레이터는 1축부터 6축까지 순차적으로 회전축이 직교하기 때문에 모터의 배치 방향의 다름으로 인해 발생할 수 없다.

[Fig. 4] 
Wrist singularity posture

[Fig. 5] 
Shoulder singularity posture

[Fig. 6] 
Elbow singularity posture

Yoshikawa T.는 현재 자세에서 엔드 이펙터가 위치와 방위를 바꿀 수 있는 정도를 매니퓰러빌리티(manipulability)로 정의하였다^[4]. Non-redundant한 매니퓰레이터의 경우 식 (4)과 같이 정의된다.

식 (2), (3)과 함께 본다면 매니퓰러빌리티가 커질수록 θ˙ 속도벡터가 X˙ 속도벡터로 잘 전파됨을 의미하고^[19] 이는 곧 특이점에서 멀어짐을 의미한다. 같은 의미로 특이점에서는 매니퓰러빌리티가 0이 된다. 즉, 매니퓰러빌리티는 속도 전파성을 알 수 있는 파라미터이다. 매니퓰러빌리티는 이어지는 DDPG 알고리즘에서 보상을 계산하는 파라미터로 사용된다.

DDPG는 Deep Deterministic Policy Gradient(심층 결정론적 정책 강하법)의 약자로 액터 신경망이 행동을 계산하고 크리틱 신경망이 행동 가치를 계산하여 행동을 개선하는 알고리즘이다. [Fig. 7]에서 특정 상태 s_t에서 식 (5)와 같이 ϵ-탐욕 정책으로 행동 a_t를 결정한다. |A(s)|는 상태 s에서 가능한 행동의 개수, A^*는 Q 값을 최대로 하는 행동 a이며, 0 ≤ ϵ ≤ 1이다. 즉, ϵ = 1이면 행동을 100% 랜덤하게 선택하고 ϵ = 0이면 Q-learning에 기반한 탐욕 정책으로 행동을 결정한다. 탐욕 정책은 식 (6)과 같이 Q값이 최대가 되는 행동을 선택하는 정책이다.

[Fig. 7] 
DDPG algorithm schematic

Q값은 행동가치함수로써 다음과 같이 계산한다.

행동 a_t를 실행하고 나서 결정되는 다음 상태 s_t+1과 보상을 피드백한 후 리플레이 버퍼에 저장하고 일정 수준 이상 데이터가 쌓이면 무작위 추출하여 미니배치로 신경망을 업데이트 한다. 신경망을 업데이트 하기 위한 데이터들은 서로 독립적이라고 가정하지만 탐욕 정책으로 나온 데이터는 그렇지 않기 때문에 독립성을 부여하기 위해 리플레이 버퍼를 사용한다. 행동 가치함수 Q값을 만드는 크리틱 네트워크는 식 (8)과 같은 손실함수로 업데이트 되는데, 이 과정에서 TD (Time Defference) 타겟(r_i+γQ_ϕ(s_t+1,a_t+1))이 영향을 받기 때문에 크리틱 네트워크를 복사한 타겟 크리틱 네트워크를 만들고 여기에서 TD 타겟을 계산한다.

행동 a_t를 생성하는 액터 네트워크는 식 (9)와 같은 정책 강하법으로 업데이트 된다. 식 (8), (9)에서 N은 리플레이 버퍼에서 추출한 샘플의 수 즉, 미니배치 크기이다.

타겟 액터 네트워크는 다음 상태 s_t+1을 입력받아 다음 상태의 행동 a_t+1을 식 (5)의 탐욕 정책으로 생성한다. 이는 TD 타겟을 계산하기 위해 필요한 데이터이다.

즉, DDPG 알고리즘은 앞서 설명한 과정을 거쳐 액터, 크리틱 네트워크의 가중치를 업데이트 함으로써 학습한다. 학습이 종료된 후 상태 s_t를 입력받았을 때 신경망의 결과인 행동 a_t를 도출하는 알고리즘이다.

앞서 설명한 내용을 매니퓰레이터 시스템에 적용하면 상태는 엔드 이펙터의 현재 위치, 행동은 엔드 이펙터가 사방으로 1 cm씩 움직이는 것, 학습 과정은 액터-크리틱 네트워크의 가중치를 업데이트하는 것으로 취급할 수 있다. 그리고 해결해야할 문제는 특이점 유발 위치를 피하면서 목표점에 도착하는 것이다.

즉, 학습 과정에서 엔드 이펙터가 여러 방향으로 움직여보면서 현재 위치가 특이점 발생 위치에 멀면서 목표점에 가까우면 좋은 상태, 그 반대이면 나쁜 상태로 판단하고 행동을 도출하는 신경망의 가중치를 개선하기 때문에 원하는 경로를 생성할 수 있을 것이라고 예상하였다. 5장의 시뮬레이션 시스템 역시 이와 같이 구성하였다.

[Fig. 8]과 같이 긴 막대를 두 개의 매니퓰레이터로 동시에 잡아 오른쪽 사진처럼 목표점으로 움직이는 일을 할 때 직선 경로로 움직일 시 [Fig. 2]에서처럼 빨간 점에서 θ₄ = 0이 되면서 특이점이 발생한다. 따라서 특이점이 발생하는 점을 피해가는 경로 설계를 자동으로 하기 위한 시뮬레이션 시스템을 구축한다.

[Fig. 8] 
Starting point and goal point of rod transfer task

경로 설계 시뮬레이션을 위해 SIMULINK로 [Fig. 9]와 같이 시뮬레이션 DDPG 시스템을 구성하였다. 환경(environment)은 로봇 시스템으로써 행동(action)을 받아 움직이고 에이전트(agent)의 내부에는 액터-크리틱 신경망이 있다. 로봇의 상태를 알 수 있는 파라미터인 observation, 목적에 부합하는 상태인지 알 수 있는 isdone, 1회 행동에 따른 보상 값인 reward를 에이전트로 보낸다. 에이전트는 다시 이 값들은 받은 신경망에 대입하여 행동을 계산한다. 한 번 행동을 취할 때를 스텝이라고 하는데, 지정한 스텝 수대로 에이전트-환경 사이클을 반복하거나 목표에 도달하면 하나의 에피소드가 끝나며 이를 반복하여 학습한다.

[Fig. 9] 
DDPG environment and agent

[Fig. 10]은 환경(environment) 내부의 시스템을 보여준다. 먼저 일정 부분 직선 경로로 매니퓰레이터가 움직이고 회피 대상인 특이점 근처에 다다르면 에이전트로부터 행동을 받는다. 이전 상태로부터 x, y, z축으로 조금씩 이동하며 목표점에 도착해야하기 때문에 행동 인자로 엔드 이펙터의 Δx, Δy, Δz를 지정했고, [Fig. 11]과 같이 ZYZ Euler angle중 위로 솟은 Z축으로 회전하면 물체를 안전하게 잡을 수 없고, 화면 앞으로 나오는 Z축으로 회전하면 물체와 그리퍼에 힘이 가해져 변형이 일어날 수 있다. 따라서 Euler angle 중 Y 축의 회전 변화량(ΔY)만 행동 인자로 추가하였다.

[Fig. 10] 
Environment system

[Fig. 11] 
ZYZ Euler angle and rod grasping

[Fig. 12]는 환경 내부의 매니퓰레이터 시스템을 보여준다. 매니퓰레티어 시스템에서 행동을 받아 움직이고 난 후 엔드 이펙터의 좌표와 매니퓰러빌리티를 결과로 내놓는다. 그런 다음 목표점에 도착했는지, 현재 위치가 어디인지, 특이점에 빠졌는지 판단하는 정보와 이 데이터로 계산한 보상을 에이전트로 넘겨준다. 이 과정이 한 번의 스텝이다.

[Fig. 12] 
Manipulator system

보상 함수는 인자 및 계수를 변형해가며 실험한 결과 제일 좋은 결과를 보인 식 (10)과 같이 정하였다.

식 (10)에서 D는 엔드 이펙터와 목표점 사이의 거리, A는 목표점에 도착했을 시 1, 그렇지 않을 시 0이 되는 신호이다. M은 매니퓰러빌리티이며 S는 경로상 존재하는 특이점이 되는 점과 엔드 이펙터의 거리가 5 cm 이하가 되면 1, 그렇지 않으면 0이 되는 신호이다. 즉, 특이점이 되는 점에서 멀어짐과 동시에 목표점과 가까워지는 짧은 경로일수록 보상이 커지게 된다.

에이전트는 환경으로부터 받은 데이터를 신경망에 입력하여 행동을 도출하며 전체적인 구조는 [Fig. 13]과 같다.

[Fig. 13] 
Actor-Critic network structure

액터 신경망은 양팔 엔드 이펙터의 좌표(observation)를 입력 받아 행동인 Δx,Δy,Δz,ΔY를 출력하는 역할을 하고 [Fig. 14]와 같이 구성하였다. 활성화 함수로는 계층(Layer)1, 2에는 Relu 함수, output에는 tanh 함수를 사용하였다.

[Fig. 14] 
Actor network

크리틱 신경망은 엔드 이펙터의 좌표와 행동을 입력받아 행동 가치함수를 계산하여 액터 신경망을 업데이트하는 역할을 한다. 그 구조는 [Fig 15]과 같다. 활성화 함수는 모든 계층에 Relu 함수를 사용하였다.

[Fig. 15] 
Critic network

학습의 결과는 [Fig. 16]과 같이 나왔으며 하나의 에피소드 당 100 step 움직이도록 설정하였고, 총 10,000 에피소드를 진행하며 학습하였다. 파란선은 하나의 에피소드에 대한 보상이고 주황선은 에피소드들의 평균 보상 값이다. 특이점을 회피하면서 목표점에 도달하면 양의 값을 보상으로 받도록 모델을 설정했기 때문에 학습 결과가 양의 값으로 수렴하면 좋은 모델이 된다.

[Fig. 16] 
10,000 episodes learning result

약 900번째 에피소드에서 성공을 많이 하기 시작하였지만 실패하여 보상이 0점 아래로 떨어지는 경우도 생긴다. 4,000번 이후로 안정적으로 계속 성공하여 보상 값이 20,000에 가까운 에피소드들이 연속으로 나온다. 6,000번 근처에서 실패하는 경우가 3회 생겼지만, 이후로 안정적으로 수렴하였다.

학습을 진행한 컴퓨터의 사양은 CPU i5-7600 3.50GHz, GPU NVIDIA GeForce GTX 1050, RAM DDR4 16GB이고 10,000번의 에피소드를 학습하는데 약 9시간이 소요되었다. 수렴 양상을 보이는 에피소드 4,000번대에 진입하는 데는 약 3시간 반이 소요되었다.