[Fig. 1]의 a, b는 실험 테스트를 수행하기 위해 제작된, 저가형 redundant manipulator의 가상 환경과 실제 환경을 보여준다. 1-2 joint는 Dynamixel MX-64 서보 모터, 3-7 joint는 Dynamixel XM430-W350 서보 모터를 포함하며, link는 3D printer를 사용하여 총 220만 원 이하에 설계되었다. [Fig. 1]과 같은 구조로 redundant manipulator를 설계하였을 때, joint의 회전각은 ±π, 최대 각속도는 2° / sec가 된다. 이는 강화 학습을 할 때, 모터의 한계점을 지정하지 않는다는 장점과 manipulator workspace를 넓게 사용할 수 있다는 장점이 있다. 또한, Redundant manipulator를 사용하여 하나의 end-effector의 위치와 방향을 두고 다양한 자세를 비교할 수 있게 하였다.

[Fig. 1] 
(a) Actual Environment, (b) Simulation Environment

목표지점까지 도달하기 위한 manipulator의 관절 궤적 생성 제어 기법은 [Fig. 2]와 같다. Goal position이 정해지면 trajectory planning을 통해 다음 경로에 대한 end-effector의 위치와 각도를 결정되고 결정된 위치와 각도는 inverse kinematics를 통해 각 joint의 각도를 결정한다. 결정된 각도는 PID 제어기를 통해 redundant manipulator를 제어에 활용하며, forward kinematics를 통해 현시점의 end-effector 위치와 각도를 feedback 받는다.

[Fig. 2] 
Manipulator Control Block Diagram

여기서, Trajectory planning과 inverse kinematics 계산의 오차가 작더라도 forward kinematics에서 low resolution encoder에 의존하기 때문에 end-effector의 정밀성은 떨어지게 된다. 더불어, low stiffness로 인해 동적인 움직임에서 더 큰 오차가 예상된다. 이러한 오차들은 수학적으로 모델링하기 어려운 비선형성 문제이고 자유도가 높아질수록 효과가 더 증가한다.

이러한 문제점을 해결하기 위하여 본 논문에서 trajectory planning과 inverse kinematics, forward kinematics를 포함한 reinforcement leaning을 사용해 해결하고자 한다.

Manipulator의 궤적 최적화 강화 학습은 agent (manipulator)와 환경 사이에 action (trajectory), reward 주고받는 상호 작용을 통해 최적의 trajectory를 생성한다. 이때, 환경은 manipulator의 low resolution encoder과 low stiffness를 한 축별로 정의해서 만들어진 동적 시뮬레이터이다.

실제 환경 실험에서는 동적 시뮬레이터에서 실험하고 나오는 joint 변화량만을 이용하여 진행하였다.

DDPG는 정책 신경망(actor)에 대한 평가와 정책 개선을 다른 신경망(critic)을 통해 반복하는 강화 학습의 한 알고리즘으로 최적의 policy parameter(main actor network)를 찾는 목적을 가진다^[13]. 이는 actor 신경망과 critic 신경망으로 이루어져 있으며, actor 신경망은 state를 확인하고 이에 대한 policy parameter를 통해 action을 출력하는 신경망이다. 또한, critic 신경망은 action과 state를 통하여 행동 가치를 평가함으로써 actor 신경망을 조율하는 역할을 한다.

[Fig. 3]에서 특정 상태 s_t에서 Q-learning의 ε-greedy policy에 의해 action(a_t)이 생성되고 environment로 들어가 manipulator를 움직인다. ε-greedy policy는 식 (5)와 같다^[16].

[Fig. 3] 
Deep Deterministic Policy Gradient schematic

여기서, |A(s)|는 state(s)에서 가능한 행동의 개수, A*은 Q 값을 최대로 하는 action(a)이며, e는 0 ≤ e ≤ 1로 수렴된다. 즉, e = 1이면 행동 100%를 랜덤하게 선택하게 되고 e = 0이면 식 (6)을 이용하여 greedy policy로 행동을 결정한다.

이는 state에서 Q 값이 가장 크게 나오는 action을 선택하는 의미가 있다. Q 값은 행동 가치함수로써 policy π를 따랐을 때 action과 state에 대한 기댓값으로 다음과 같이 계산한다.

이를 통해 행동(a_t)을 결정하게 되고 environment와 main actor network는 상호 작용을 통해 현재 상태(s_t), 다음 상태(s_t+1), 보상(r_t)을 생성한다. 데이터[s_t, a_t, r_t, s_t+1]는 replay buffer에 저장하고 일정 수준 이상 데이터가 쌓이면 mini batch 형식으로 추출하게 된다. 이는 신경망을 update 하기 위하여 데이터들은 서로 독립적이라고 가정해야 하지만, replay buffer의 데이터는 독립적이지 않기 때문에 독립성을 부여하기 위한 작업이다.

다음 순서로 독립 표본 데이터 [s_t, a_t, r_t, s_t+1] 기반으로 target network를 통해 행동 가치함수 Q 값을 만드는 main critic network를 update 하는 과정이 필요하다. 이 과정에서 Time Difference target (r_t + γQ(s_t+1, π_θ(s_t+1)))이 영향을 받기 때문에 신경망을 복사한 target critic network, target actor network를 별도로 두어 손실함수를 다음과 같이 계산한다.

여기서, Q'은 target critic network이며, u'은 target actor network, γ는 감쇠비로 표기하며, u'(s_i+1)|θ^u'는 s_i+1의 상태를 보고 target actor network (u')를 통해 나온 a_i+1가 되어 [Fig. 3]의 loss function이 된다. 이를 정리하면 target actor network를 통해 u다음 상태(s_t+1)에 대한 다음 행동(a_t+1)을 추출하고, 이를 이용하여 target critic network를 통한 평갓값 Q'(s', a')과 main critic network를 통한 평갓값 Q(s, a)을 차이를 통해 back propagation을 이용한 main critic network를 update 하게 된다.

다음으로 policy gradient를 통해 최적의 policy (main actor network)의 parameter를 찾는 단계가 된다. 이는 objective function을 이용하여 gradient decent를 최대화하고 최대화된 gradient decent로 update 방향 및 크기를 결정한다. 여기서 objective function은 trajectory 동안 받을 것이라고 기대하는 보상의 합이며, trajectory는 독립 표본 데이터[s_t, a_t, r_t, s_t+1]이다. 따라서 식 (9) 과 같은 objective function을 기초로 식은 시작된다.

여기서, policy loss를 계산하기 위해 policy parameter와 chain rule을 적용하여 objective function을 미분하며 이는 식 (10)과 같다.

식 (11)을 사용하여 독립 표본 데이터들의 기울기의 합계 평균으로 main actor network를 update 한다.

따라서 main network의 actor, critic network는 update가 되었으며, 식 (12-13)과 같이 target network는 main network를 기반으로 느린 속도로 update 된다.

낮은 update factor (τ_c, τ_a)로 느리게 target network를 update 하여 안정성을 확보하였다.

즉, DDPG 알고리즘은 앞서 설명한 과정을 거쳐 actor, critic 신경망의 가중치를 update 함으로써 학습하며, 최적의 Policy parameter (Main Actor Network)를 찾게 된다. 학습이 종료된 후 상태(s)를 입력받았을 때 Main Actor Network의 결과인 행동(a)를 도출하는 알고리즘이다.

DDPG 알고리즘은 DQN (Deep Q Learning), DPG (Deterministic Policy Gradient)와 비교할 수 있다^[17,18]. 두 강화 학습과 비교하여 DDPG의 장점은 continuous action space를 가진 문제에서 높은 학습률을 보이며, policy gradient를 통해 policy를 바로 학습 가능하다는 것과 policy gradient를 수행할 때, action에 대한 integral을 수행하지 않음으로 계산 과정이 단순화된다. 이러한 장점으로 인하여, 본 논문에서 DDPG를 구현하였고, low resolution, low stiffness에서 발생한 비선형적 오류를 가지는 저가형 redundant manipulator에 대한 end-effector가 선형 궤적으로부터 작은 오차를 가지는 최적 경로 생성 문제를 Markov decision process로 변환하여 해결하였다^[19].

State space는 DDPG의 agent가 인지하는 환경 정보를 나타내며 해당 agent의 action을 결정하는 요소이다. 하지만, 현실 세계에서 state 집합은 방대하거나 무한할 수 있으므로 모든 상태를 이용하는 것은 비현실적이다. 따라서, 최적 경로 생성의 문제를 해결하기 위한 특정 state를 결정해야 한다. 본 논문에는 DDPG의 agent가 관찰 가능한 state(S)는 식 (14)와 같은 25개로 결정하였다.

여기서, G는 goal의 약자로 end-effector가 목표지점 허용 범위에 들어와 있음을 0과 1로 나타내며, x_i, y_i, z_i는 각 link 끝단의 위치 21개, X, Y, Z는 목표지점과 manipulator의 end-effector와의 각 좌표축의 Euclidean distance 3개이다.

Action space는 DDPG의 state의 기반으로 환경에 직관적으로 행하는 부분이다. 따라서, 본 논문에서 DDPG의 agent가 취할 수 있는 action (A)은 각 joint의 변화량으로 식 (15)와 같은 7개가 된다. 따라서, Environment의 manipulator는 각도의 변화량(ω_i)과 current angle (θ_i)의 합으로 이동하며 최적의 경로를 생성한다. 이는 joint space 상의 경로에서 제어하기 때문에 singularity의 생성 조건을 사전에 차단할 수 있는 장점으로 다음 경로에 대한 급가속과 모터의 과부하를 방지할 수 있으며, 추가적인 singularity 회피 경로를 생성이 필요하지 않다.

Agent의 reward function은 action의 각도의 변화량에 대한 요구사항을 충족하는지를 평가한다. 따라서, 본 논문에서 제시하는 저가형 redundant manipulator에 대한 공간상 선형 궤적으로부터 end-effector가 작은 오차를 가지는 경로를 이끌 수 있는 reward이며, reward의 인자와 계수를 변형해가며 실험한 결과 제일 좋은 결과를 보인 식 (16-20)과 같이 정하였다.

여기서, 식 (16)의 R₁은 end-effector가 목표지점을 찾아가게 하는 reward이며, d는 목표지점과 end-effector의 Euclidean distance이다. R_workspace/2을 통해 reward를 scaling 하여, R₁의 보상을 -1 ≤ R₁ ≤ 0로 수렴하게 하였다. 이는 거리(d)와 동일하게 reward로 주어졌을 때, 식 (19)의 R₃보다 높은 reward를 받게 된다. 이때, 학습은 Jacobian condition number를 고려하지 않게 되며, 본 논문에서 제시하는 공간상 선형 궤적으로부터 end-effector가 작은 오차를 가지는 경로를 생성할 수 없게 한다.

식 (17)의 R₂는 목표지점 허용 범위에 들어왔음에 따른 reward로 목표 거리(L)이내에서 4 step을 유지했을 경우 보상을 받게 된다. 4 step을 유지하는 의미는 s_t-3에서 s_t까지 고려하는 의미가 있다. 1 step(s_t)만을 고려하였을 때, 로봇의 quasi-static 한 행동에서만 높은 학습률을 보였으나, 동적인 행동에서는 높은 오차가 여전히 발견되었다. 이는 강화 학습이 속도나 가속도로 인한 end-effector의 오차를 고려하지 않는 의미가 있다. 3 step (s_t, s_t-1, s_t-2) 이상을 고려하였을 때는 강화 학습은 위치와 속도, 가속도를 고려하게 된다. 이는 low resolution encoder과 low stiffness를 통해 생성되는 추가적인 동적 행동에 대해 현시점의 위치와 속도를 알 수 있게 되며, 추가로 속도가 점점 느려지는가에 대해 강화 학습은 고려하여 학습을 할 수 있게 된다.

식 (18)의 L는 식 (5)의ε-greedy policy와 유사하게 이끌어 목표 허용 범위를 점차 줄이는 방법을 선택하였다^[16]. ε-greedy policy는 무작위로 움직이는 탐험, 경험의 양을 점차 줄이고 학습된 데이터의 기반으로 움직이는 양을 늘리는 방식이다. 강화 학습은 manipulator의 자유도가 증가할수록 높은 차원의 space 안에서 성공에 대한 빈도가 낮게 된다. 이는 학습의 속도는 늦어지게 만들고 강화 학습은 계속 탐험과 경험만을 택할 수 있다. 또한, 목표에 대한 탐험과 경험의 부재로 인해 엉뚱한 방향으로 수렴할 수 있다. 이를 방지하기 위하여 ε-greedy policy와 유사한 목표 허용 거리를 설계하여 학습 초반에는 목표 허용 범위를 크게 주고 점차 작게 줌으로써 성공 경험의 빈도를 높여 빠르게 학습할 수 있게 하였으며, 약 2,000 episode 이후로는 목표로 하는 허용 범위(L_target)를 유지할 수 있게 하여, 최종적으로 목표로 하는 목표 허용 범위를 도착 할 수 있게 하였다. 실험 과정에서는 목표 허용 범위를 L_target로 사용하여 진행하였다.

식 (19)의 R₃은 Jacobian condition number에 관한 reward이며, Jacobian condition number (κ(J))는 입력 상대 오차(Δθ)에 대한 출력 상대 오차(ΔX)의 증폭 인자로, 높을수록 low resolution encoder과 low stiffness에서 발생하는 비선형적인 오차를 증폭시킨다. 따라서, R₃의 reward 통해 비선형적인 오차에도 Jacobian condition number가 작은 방향으로 경로 계획을 하여 manipulator의 end-effector에서의 비선형적 오차를 낮게 한다. 또한, 식 (16)의 R₁과 비슷한 값을 보상받게 하도록 Jacobian condition number(κ(J))의 평균으로 나누어 낮은 값으로 수렴하게 하였다. 이로 인해 목표지점을 찾아가는 경로와 Jacobian condition number가 낮은 경로를 동시에 얻을 수 있다.

Hyperparameters는 DDPG 알고리즘 framework의 구성을 조절하는 역할을 한다. 이는 learning rate η, discount factor γ, update factor τ 등을 포함하여 [Table 1]과 같다.

실제 환경에서 저가형 redundant manipulator end-effector의 위치를 추종하는 SLAM (Simultaneous Localization and Mapping) 기술이 필요하다. 이는 cameras, laser radar, optical sensor, IMU (Inertial Measurement Unit) 등을 이용한 다양한 방법이 있다^[20,21]. 하지만, manipulator의 workspace 안에서 manipulator end-effector의 위치를 측정하기 힘들다. 따라서 본 논문에서는 [Fig. 4]와 같이 Aruco Markers를 기반으로 manipulator end-effector의 위치를 추종과 하드웨어를 구축하였으며^[22], 가상환경에서 실험하고 나오는 joint 변화량만을 이용하여 진행하였다. Aruco Markers는 카메라 기준 z, y, z순으로 0.25 mm, 0.31 mm, 0.51 mm의 오차가 보였으나, 단안 카메라의 한계로 인하여 먼 거리에서 z 축은 불안정한 결과를 보였다. 또한, 하드웨어는 link의 비선형적인 뒤틀림이 포함되어 있으며, 0.879 [deg/pulse]의 오차를 허용하여 저가형 redundant manipulator를 구현하였다.

[Fig. 4] 
Actual environment simulation with Aruco Markers

본 논문에서 가상환경을 [Fig. 5]와 같이 Unity에서 구현하였다. 이는 중력, 가속도, 외력, 강도 등을 실제 환경과 유사한 환경을 이끌 수 있다는 장점이 있다. 저가형 redundant manipulator의 낮은 정밀도를 가지는 encoder을 구현하기 위하여 joint마다 ±0.5 [deg/pulse]의 오차를 허용하였으며, 제어 주기마다 end-effector의 위치를 추종하게 하였다.

[Fig. 5] 
Simulation environment

3가지의 경로에 대한 모의실험은 가상환경을 통해 다양한 시작점과 목표지점을 변경해가며 50번의 실험을 진행하였다. 또한, 제어 주기마다 end-effector의 위치를 추종하여 결과를 확인하였다. 가상환경에는 ±0.5 [deg/pulse]의 오차가 각 joint에 있으며, manipulator의 link 부분의 비선형적인 뒤틀림을 포함하지 않는다. [Fig. 7]과 [Fig. 8]은 50번의 임의의 시작점과 임의의 목표 위치를 바꾸어가며 실험한 결과 중 오차가 가장 작은 end-effector가 [216.23, 142.02, 200.16]에서 [200.96, -72.68, 193]로 이동한 결과를 보여주며, [Fig. 7]은 Euclidean space에서 end-effector 경로 좌표, [Fig. 8]은 desired 값과 오차를 보여준다. [Table 2]은 50번의 가상환경 실험에서 desired 값과의 분산 평균을 나타낸다.

[Fig. 7] 
Comparison of the three results in simulation environment

[Fig. 8] 
Comparison of the three results error in simulation environment

50번의 실험을 통한 각 축에 대하여 상대 최대 오차의 평균은 Jacobian 경로에서 [3.4652,15.8956,0.5662], inverse kinematics 경로에서 [2.0189, 6.3216, 0.6213]가 나왔으며, DDPG 경로는 [2.0023, 4.5632, 0.6512]나왔다. 또한, 경로 중 가장 큰 Euclidean distance는 Jacobian 경로에서 16.2340mm, inverse kinematics 경로에서 6.6823mm가 나왔으며, DDPG 경로는 4.8321mm가 나왔다.

위의 실험 결과를 통해 DDPG는 Jacobian과 inverse kinematics를 이용한 경로보다 ±0.5 [deg/pulse]의 joint 오차 안에서 선형 궤적으로부터 작은 오차를 보였다. 이를 통해 가상환경에서 DDPG를 이용하여 생성된 최적 경로에 대한 적합성을 증명하였다.

3가지의 경로에 대한 모의실험은 실제 환경을 통해 가상환경에서 실험 후 가장 작은 오차를 가지는 joint 변화량만을 이용하여 진행했으며, end-effector를 추종하기 위하여 단안 카메라를 사용하였다. Calibration과 Aruco Markers를 통해 manipulation 기준 Y, Z의 값은 안정성 있게 받아올 수 있었지만, 단안 카메라의 한계로 인하여 X는 불안정하므로 low pass filter를 적용하여 고주파 영역을 제거하여 [Fig. 9]와 [Fig. 10]에서만 값을 보여준다. 실제 환경에는 joint마다 0.879 [deg/pulse]의 오차가 허용되며, 각 link는 비선형적인 뒤틀림이 포함되어 있다.

[Fig. 9] 
Comparison of the three results in actual environment

[Fig. 10] 
Comparison of the three results error in actual environment

[Fig. 9]은 가상 환경과 동일하게 [216.23, 142.02, 200.16]시작하여 [200.96, -72.68, 193]의 목표로 이동 때 Euclidean space에서 end-effector 변화량을 보여주며, [Fig. 10]는 실제 환경에서 desired 값과의 오차를 보여준다. 또한, [Table 3]는 실제 환경에서 desired 값과의 분산을 보여준다.

각 축에 대하여 상대 최대 오차는 Jacobian 경로에서 [44.6687, 6.1556], inverse kinematics 경로에서 [41.7764, 13.0375]가 나왔으며, DDPG 경로는 [28.8696, 2.9945]나왔다. 또한, 경로 중 가장 큰 Euclidean distance는 Jacobian, inverse kinematics, DDPG 순으로 41.7764mm, 40.4587mm, 28.8737mm가 나왔다.

위의 실험 결과를 통해 DDPG 경로는 Jacobian과 inverse kinematics를 이용한 경로보다 0.879 [deg/pulse]의 허용 오차, link의 비선형적인 뒤틀림을 가지는 redundant manipulator에서 선형 궤적으로부터 작은 오차를 보였다. 이를 통해 실제 환경에서 DDPG를 이용하여 생성된 최적 경로에 대한 적합성을 증명하였다.