인간-로봇 물리적 상호작용을 위한 센서리스 휴머노이드의 강화학습 기반 외력 순응 보행 : Sim-to-Real 외력 분산 보상

2.1 비대칭 구조를 이용한 학습 프레임워크

본 연구에서는 시뮬레이션 전용 특권 정보를 학습에 활용하기 위해, 선행 연구에서^[13] 사용된 비대칭 Actor-Critic 구조를 채용하였다. 본 연구의 기여는 이 구조 자체가 아니라, 특권 정보로부터 추정한 외력을 유효 힘 기반 순응 속도로 변환하여 보상 함수에 결합하는 방식에 있다. 비대칭 Actor-Critic 구조를 통해 학습하고 Sim-to-Real 배포를 진행하는 프레임워크는 [Fig. 1]과 같다. Actor 네트워크와 Critic 네트워크에 사용된 관측 정보는 [Table 1]과 같다.

[Fig. 1]

Asymmetric Actor-Critic structure for training and Sim-to-Real deployment

[Table 1]

Observation terms

Actor 네트워크에는 실제 로봇에서 획득 가능한 고유수용성 정보와 보행 명령만 입력하였다. 여기에는 로봇 몸체 각속도(Base_ang_vel), 중력 벡터(Projected_gravity), 관절 위치(Joint_pos), 관절 속도(Joint_vel), 행동(Actions), 보행 명령(Velocity_commands)이 포함된다. 따라서 실제 로봇에 정책을 배포할 때에도 추가적인 힘‧토크 센서나 별도의 외력 추정 모듈은 필요하지 않다.

Critic 네트워크에는 Actor 네트워크에 입력한 정보들에 로봇 몸체 선속도(Base_lin_vel), 외력 부여 명령(Force_commands), Body_incoming_wrench 정보를 추가로 입력하였다. 이 정보들은 시뮬레이션 상에서만 얻을 수 있고 실제 로봇에서는 얻을 수 없는 정보이거나 노이즈가 심해 정확한 값을 얻기 어려운 값이기 때문에 특권 정보에 해당한다. Base_lin_vel은 로봇 몸체의 선속도 벡터 정보로 IMU를 통해 실물 로봇에서도 얻을 수 있는 정보지만 노이즈가 심해 정확도가 낮아 Critic 네트워크의 입력으로 사용하였다. 외력 부여 명령은 시뮬레이션 상에서 로봇에게 부여하는 외력 명령으로 정확한 외력 벡터를 알 수 있지만 실제 로봇에는 힘센서가 없어 알 수 없는 정보이기 때문에 Critic 네트워크에 입력하였다. Body_incoming_wrench는 IsaacLab의 물리 엔진 내부에서 계산되는 링크별 6축 힘 및 토크 정보로 로봇 base frame을 기준으로 한다. 마찬가지로 실제 로봇에서는 얻을 수 없는 정보이기 때문에 Critic 네트워크에만 입력하였다.

이 중 body_incoming_wrench를 이용하여 외력에 대한 정보를 얻었다. 외력 부여 명령을 사용하여 외력에 대한 정보를 얻을 수도 있었지만 이는 시뮬레이션 상에서 로봇에게 외력과 토크 정보를 직접 제공하기 때문에 시뮬레이션 환경과 실제 로봇 환경의 차이를 만들어 낼 수 있어 로봇에게 외력을 부여하는 역할로만 사용하였다. Body_incoming_wrench는 링크가 받는 힘 및 토크 정보로 중력, 지면 반력 등이 힘 정보에 포함되어 있어 순수 외력을 얻는 과정이 필요하다. Body_incoming_wrench에서 지면 반력 및 중력 성분을 제거하여 얻은 외력 정보는 가상의 목표 외력 순응 속도를 생성하는 데 사용된다. 생성된 목표 순응 속도는 보상 함수 내부에서 계산되며, 로봇이 외력 방향으로 이동하며 순응하도록 정책을 유도하는 기준으로 활용된다.

이러한 비대칭 구조를 통해 정책 네트워크는 학습 과정에서 Critic 네트워크가 제공하는 외력 관련 정보를 활용하여 가치 함수를 학습하는 동시에, Actor 네트워크는 고유수용성 정보만으로 외력 인가 시 발생하는 관절 상태 변화와 로봇 동역학 변화를 암시적으로 학습하게 된다. 결과적으로 실제 환경에서는 별도의 외력 측정 없이도 고유수용성 정보만을 이용하여 외력에 순응하는 행동을 생성할 수 있다.

2.2 외력 추정 및 목표 순응 속도 생성

2.2.1 외력 추정

본 연구에서는 외력 순응 정책이 외력의 존재와 방향을 인식할 수 있도록, IsaacLab 환경에서 제공되는 body_incoming_wrench 정보를 이용하여 외력을 추정한다. 추정된 외력은 이후 목표 순응 속도를 생성하는 입력으로 사용된다. 그러나 body_incoming_wrench에는 순수한 외력뿐만 아니라 지면 반력과 중력에 의한 힘 정보도 함께 포함하고 있어 해당 정보를 그대로 사용할 경우, 실제 외력의 크기와 방향을 정확하게 반영하기 어렵다. 따라서 본 연구에서는 body_incoming_wrench에서 외력 이외의 성분을 제거한 후, 외력의 존재와 방향을 나타내는 추정 외력을 얻는 과정을 수행하였다. 외력 순응 보상 함수를 계산하는 과정은 [Fig. 2]와 같다.

[Fig. 2]

Force estimation and target velocity generation process

먼저 body_incoming_wrench를 로봇의 yaw 방향을 기준으로 정렬된 좌표계로 변환하여 외력의 방향을 일관되게 표현하였다. 이후 외력과 무관하게 지속적으로 발생하는 중력 성분과 보행 과정에서 발생하는 지면 반력 성분을 제거하기 위해 외력이 작용하지 않는 상태의 기준값을 추정하였다. 기준값은 지수 이동평균(Exponential Moving Average, EMA)를 이용하여 계산하였다. 특히, 초기에는 기준값이 안정적으로 수렴하지 않을 수 있으므로 처음 2초 동안의 warm-up 구간을 두어 기준값을 초기화하였다. 이를 통해 외력과 무관하게 중력 및 지면 반력에 의해 발생하는 지속적인 성분을 기준값으로 추정하고, body_incoming_wrench에서 기준값을 제거하여 외력에 해당하는 성분을 추출하였다.

기준값을 제거한 후에도 수치적 노이즈 및 순간적인 진동 성분이 남을 수 있으므로, 이동 평균 필터를 적용하여 고주파 성분과 미세한 진동을 완화하였다. 또한 설정된 범위를 적용하여 미세한 잔류 신호를 제거하였다. 이러한 처리 과정을 통해 최종적으로 외력의 크기와 방향을 나타내는 추정 외력 벡터를 얻는다. 추정 외력은 보상 함수의 계산 과정에서 사용되며 외력 순응 보행에 필요한 목표 순응 속도를 계산하기 위한 목적으로 사용된다.

외력 추정기의 성능은 지면 반력 잔차의 영향을 배제하여 추정기 자체의 성능을 평가하기 위해 로봇 속도가 0인 정지 상태에서 우선 수행되었으며, 이후 지면 반력 변동이 반영되는 보행 중 조건에서도 동일한 방식으로 추가 평가하였다. 정지·보행 조건 비교는 [Table 2] 및 이하에서 다룬다. 추정된 외력의 정확도를 평가하기 위해 시뮬레이션에서 인가한 외력 명령 F_cmd와 추정 외력 F_est을 비교하였다. 평가는 로봇의 속도가 0일 때 수행하였으며, 수평면의 단일 축 방향 외력과 수직·수평 성분이 동시에 존재하는 다축 외력을 모두 포함하도록 구성하였다. 단일 축 외력은 x축 또는 y축 방향 40 N을 인가하였으며, 다축 외력은 (x, y, z) 순서로 (40, 0, 40) N 및 (0, 40, 40) N 조건을 사용하였다. 로봇의 torso_link와 left/right_wrist_yaw_link에 각각 4개의 외력 조건을 적용하여 총 12개의 조건으로 설정하고 평가하였다.

[Table 2]

Overall statistics of external force estimation performance under static and dynamic walking conditions (simulation). (Values are represented as mean ± standard deviation)

보행 중 조건은 정지 상태일 때와 동일한 외력 조건으로 로봇이 1 m/s로 x방향 또는 y방향으로 보행 중인 상태를 가정하였다. 이때 외력은 보행 방향과 반대 방향으로 인가하여, 사람이 로봇의 진행을 저지하며 미는 특정한 pHRI 상황을 모사하였다.

추정 성능은 외력 감지율(r_f,d, Force Detection Rate), 방향 유사도(S_d, Directional Similarity), 평균 절대 오차(MAE, Mean Absolute Error)를 사용하여 성능을 분석하였다. 외력 감지율은 실제 외력이 존재하는 구간 중 추정기가 외력의 존재를 올바르게 검출한 비율을 의미하며 식 (1)과 같이 표현된다. 식 (1)에서 TP (True Positive)는 실제 외력이 존재하고 추정기 또한 외력이 존재한다고 판단한 경우를 의미하며, FN (False Negative)은 실제 외력이 존재하지만 추정기가 외력이 존재하지 않는다고 판단한 경우를 의미한다. 방향 유사도는 식 (2)처럼 정의되며 실제 외력 벡터 F_cmd와 추정 외력 벡터 F_est 사이의 코사인 유사도로 정의되며 값이 1에 가까울수록 추정된 외력의 방향이 실제 외력의 방향과 일치함을 의미한다. 식 (3)은 평균 절대 오차를 의미하고 명령된 x, y, z 성분별 외력 F_cmd,dir과 추정된 x, y, z 성분별 외력 F_est,dir사이의 절대 오차를 평균한 값으로 정의한다.

$\[ r_{f,d}=\frac{TP}{TP+FN} \]$

(1)

$\[ S_d=\frac{F_{cmd}•F_{est}}{\parallel F_{cmd}\parallel \parallel F_{est}\parallel } \]$

(2)

$\[ MAE=\frac{1}{3}\sum |F_{cmd,dir}-F_{est,dir}| \]$

(3)

[Table 2]는 전체 12개의 외력 조건에 대한 외력 추정 성능의 평균과 표준편차를 정지 및 보행 조건별로 나타낸다. 정지 조건에서 외력 감지율은 평균 96.958±0.588%, 방향 유사도는 평균 0.879±0.058로 나타나 대부분의 외력 구간을 안정적으로 검출하고 방향을 정확하게 추정함을 확인하였다. 보행 조건에서도 외력 감지율은 평균 99.731±0.568%로 오히려 소폭 높게 나타났으며, 방향 유사도는 평균 0.859±0.148로 정지 조건과 유사한 수준을 유지하였다. 다만 방향 유사도의 표준편차는 정지 조건에 비해 보행 조건에서 상대적으로 크게 나타나, 보행 중 지면 반력 변동으로 인해 조건별 편차가 커질 수 있음을 보여준다.

평균 절대 오차는 정지 조건에서 9.818±3.127 N, 보행 조건에서 10.125±4.892 N으로 두 조건 간 차이가 크지 않았다. 이는 지면 반력 노이즈가 가장 극심한 동적 보행 상황에서도 추정 오차가 크게 증가하지 않음을 보여주는 결과로, 정지 상태에서만 검증되었던 기존의 한계를 보완한다. 다만 표준편차는 보행 조건에서 다소 크게 나타났는데, 이는 걸음 주기에 따른 지면 반력 변동이 추정 오차의 변동성에 일부 영향을 미치는 것으로 판단된다.

본 연구의 외력 추정기는 외력 순응 보상 함수의 계산 과정에서 사용되며 외력 순응 보행을 위한 외력 존재 여부와 방향 정보를 제공하는 것을 목적으로 하며, 정지·보행 두 조건 모두에서 일관되게 높은 감지율과 방향 유사도를 보인 점을 고려할 때 추정된 외력은 목표 순응 속도 생성에 충분히 활용 가능함을 확인하였다. [Table 2]의 동적 보행 평가는 개선된 추정기로 추가 수행한 것이며, 4장의 정책 성능은 제출 시점 추정기로 학습·평가된 결과이다. 개선된 추정기의 오차가 더 작으므로 2.2.2절의 강건성 논의는 보수적으로 성립한다.

추정된 외력은 다음 절에서 설명하는 목표 순응 속도 v_tgt 생성 과정의 입력으로 사용되며, 로봇이 외력 방향으로 자연스럽게 이동하도록 유도하는 기준 정보로 활용된다.

3.1 행동 공간

본 연구에서는 정책 네트워크의 행동 공간을 각 관절의 목표 위치로 정의하였다. 정책 네트워크는 매 제어 주기마다 휴머노이드의 각 관절에 대한 목표 위치 q_d를 출력하며, 출력된 행동은 저수준 PD 제어기의 참조 입력으로 사용된다.

정책이 생성한 목표 위치는 현재 관절 상태와 함께 PD 제어기에 입력되어 최종 구동 토크를 계산한다. 직접 토크를 출력하는 방식은 학습 초기 단계에서 불안정한 거동을 유발할 수 있으며 실제 로봇 적용 시 안전성 문제가 발생할 수 있다. 반면 목표 위치 기반 행동 공간은 저수준 제어기를 통해 관절의 움직임을 안정적으로 제한할 수 있으므로 시뮬레이션 학습과 실제 로봇 배포 모두에 유리하다.

q_d는 정책이 생성한 목표 관절 위치, q는 현재 관절 위치, q̇는 현재 관절 속도, K_p와 K_d는 각각 비례 및 미분 게인을 의미한다. Unitree G1은 총 29 자유도를 가지며 정책 네트워크는 각 자유도에 대응하는 29차원의 목표 관절 위치 벡터 a_t를 출력한다.

이때, 모터의 급격한 고주파 진동을 억제하고 부드러운 순응 궤적을 생성하기 위해, 식 (15)을 통해 정책의 가공되지 않은 출력값 a_t에 스케일링 인자 α를 곱하여 초기 관절 각도 q_init에 더해지는 변위 offset 형태로 q_d가 계산된다. 스케일링 인자 α는 0.25로 결정하였다.

3.2 외력 부여 명령

본 연구에서는 휴머노이드가 실제 환경에서 발생할 수 있는 다양한 외력 상황에 대해 순응하도록 학습하기 위해 IsaacLab의 Manager-Based 환경에 이벤트를 통해 구동되는 외력 명령을 새롭게 구성하였다. 휴머노이드가 외력을 받는 상황은 로봇의 몸통에 해당하는 torso_link와 양 쪽 손목에 해당하는 left/right_wrist_yaw_link을 지정하여 로봇이 몸통과 팔 부분에 외력을 받는 상황을 가정하였다. 각 링크에 작용하는 외력 벡터의 x, y, z 성분은 미리 설정된 범위 내에서 균등분포를 이용하여 무작위로 샘플링된다. Torso_link에 부여하는 외력의 크기는 전방향에서 -50~50 N이고, wrist_yaw_link에 부여하는 외력의 크기는 전방향에서 -40~40 N이다.

각 학습 단계에서 전체 병렬 환경의 70%에는 외력을 인가하고, 나머지 30%에는 외력을 인가하지 않은 일반 보행 조건을 적용하였다. 이를 통해 외력 순응 행동을 충분히 학습하는 동시에 외력이 없는 상황에서는 기존 보행 명령을 추종하는 능력을 함께 유지하도록 구성하였다.

외력은 순간적인 충돌로만 이루어진 형태가 아니라 수초 동안 지속되는 준정적 외력으로 가정하였다. 이는 사람이 로봇을 밀거나 당기는 상황과 같이 일정 시간 동안 힘이 지속적으로 작용하는 상호작용을 고려하기 위함이다. 또한 정책이 외력의 존재 여부를 명확히 인식하고 외력 방향으로의 순응 행동을 충분히 학습할 수 있도록 외력 이벤트는 Interval, Ramp, Active, Settling의 네 단계로 구성된다. 각 에피소드 내에서 Interval 단계는 2.5초, 활성 유지 단계는 1-5초 동안 무작위로 지속되도록 스케줄링하여 환경의 다양성을 확보하였다. Interval 단계에서는 외력이 작용하지 않으며 로봇은 기본 보행 명령을 수행한다. 이후 Ramp 단계에서는 외력의 크기가 급변하여 계단형으로 증가한다. 이러한 순간적인 단계별 외력 변동은 시스템에 강한 불연속적 과도 충격을 가함으로써 제어 시스템의 순간 강건성을 시험한다. Active 단계에서는 목표 외력이 일정 시간 유지되어 정적 순응 능력을 학습시키고, 마지막으로 Settling 단계에서는 외력이 ramp단계에서처럼 계단형으로 감소하여 제거된다.

이러한 구조를 통해 로봇은 갑작스러운 충격뿐만 아니라 지속적으로 작용하는 외력과 외력이 사라지는 상황까지 학습할 수 있으며, 외력이 부여되는 상황에 따른 순응 행동과 원래 보행 명령으로의 복귀 행동을 함께 학습할 수 있도록 하였다.

3.3 보상 함수

본 연구에서는 휴머노이드가 기본적인 보행 능력을 유지하면서도 외력이 인가되는 경우 외력 방향으로 순응하도록 학습하기 위해 보상 함수를 크게 두 부류로 나눠 구성하였다. 보행 명령 추종, 외력 순응을 위한 동작 생성 보상과 안정적인 동작 수행 및 실제 로봇 적용을 위한 안정성 및 규제항 보상으로 구분하였다.

3.3.1 동작 생성 보상 함수

동작 생성 보상 함수는 [Table 3]와 같다. 로봇이 기본적인 보행 능력을 유지하면서도 외력에 순응하는 행동을 학습하도록 설계하였다. 외력이 인가되지 않는 상황에서는 xy평면 선속도 추종 보상인 Track_lin_vel_xy와 yaw 각속도 추종 보상인 Track_ang_vel_z가 주된 역할을 수행한다. Track_lin_vel_xy는 로봇의 선속도 $$ v_{xy}^r$$가 선속도 명령 $$ v_{xy}^{cmd}$$을 추종하도록 하여 로봇이 부여된 선속도 명령을 따라 보행하도록 한다. Track_ang_vel_z는 로봇의 각속도 $$ w_z^r$$이 각속도 명령 $$ w_z^{cmd}$$을 추종하도록 하여 로봇이 부여된 각속도 명령을 따라 보행하도록 한다.

[Table 3]

Motion generation rewards

이때 안정적인 보행 동작을 학습하기 위해 발을 들어올리는 보상 함수인 Foot_clearance을 정의하였다. h_foot는 로봇의 한 쪽 발의 높이를 의미하고, 보상 함수는 한 발만 공중에 있을 때만 계산된다. 또한 명령 속도가 0일 때 제자리에 정지하기 위해 보행 속도 명령과 순응 속도 명령이 모두 정지 조건일때, 양 발을 지면에 붙이고 서있는 자세를 만드는 Double_support도 함께 정의하였다. Double_support에서 보행 속도 명령과 순응 속도 명령이 모두 정지 조건일 때만 활성화되기 위해 게이트 함수 G를 사용하였다. 보행 명령 속도의 크기 v_cmd ≤ |0.1| m/s이고, 목표 외력 순응 속도의 크기 v_tgt ≤ |0.1| m/s인 경우에 G는 1을 가지고 그 외에는 G는 0을 가진다. 외력이 인가되는 상황에서는 2.2절에서 설명한 목표 순응 속도 V_tgt으로 외력 순응 보상인 Force_compliance을 계산한다. 외력 순응 보상은 로봇의 속도 V_r와 목표 순응 속도 V_tgt 사이의 오차를 최소화하도록 설계하여 로봇은 외력이 부여되면 외력 방향으로 이동하는 순응 행동을 학습하게 된다. 특히, 실제 로봇의 파손 방지 및 pHRI 환경에서의 안전성을 향상시키기 위해서 외력 순응 보상의 가중치는 보행 명령 추종 보상의 가중치보다 3.5배 높게 설정하였다.

3.3.2 안정성 및 규제항

로봇은 학습하면서 과도한 자세 변화나 불안정한 동작을 생성할 수 있어 실물 휴머노이드에 적용 가능한 정책을 학습하기 위해 [Table 4]의 안정성 및 규제항 보상 함수를 함께 사용하여 로봇의 자세와 동작 상태를 제한하여 외력에 순응하는 과정에서도 기본적인 안정성을 유지하도록 설계하였다. Flat_orientation은 중력 벡터의 xy평면 성분 $$ g_{xy}^r$$을 억제하여 몸통 기울어짐을 방지하고, Lin_vel_z와 Ang_vel_xy는 각각 몸통의 연직 방향 선속도 $$ v_z^r$$과 xy평면 각속도 $$ w_{xy}^r$$를 억제하여 불필요한 상체의 흔들림을 방지한다. 또한 Base_height를 통해 보행 중 로봇 베이스의 높이 h^r,base가 기준 높이인 0.78에서 크게 벗어나지 않도록 하여 주저앉거나 과도하게 낮아지는 동작을 방지하였다.

[Table 4]

Stability and regularization rewards

발 접촉과 관련된 보상항은 안정적인 보행과 불필요한 접촉을 억제하기 위해 적용하였다. Undesired_contact는 발 이외의 신체 부위에서 의도하지 않은 접촉 $$ f_i^{con}$$이 발생하는 것을 방지하며, Feet_slide는 발의 평면 방향 속도 $$ v_{xy}^{foot}$$와 발의 접촉력 $$ F_i^{foot}$$의 내적을 이용하여 지면과 접촉한 상태에서 발이 미끄러지는 동작을 억제한다. Contact_force는 발에 과도한 접촉력이 발생하는 것을 제한하여 외력에 대응하는 과정과 보행 시 발생할 수 있는 불필요한 충격을 완화하도록 설계하였다. 또한 Joint_deviation을 통해 각 관절의 자세 q_cur,j 가 초기 기준 자세 q_init,j에서 과도하게 벗어나는 것을 억제하였다. 이때 j는 로봇의 29개의 관절 인덱스를 의미한다.

실제 로봇의 구동 및 제어 안정성을 고려하여 관절에 대한 규제항도 적용하였다. Dof_torque와 Dof_acc는 각각 관절 토크 τ_j와 관절 가속도 acc_j의 크기를 최소화하여 과도한 구동력과 급격한 관절 운동을 억제한다. Dof_pos_limit은 관절 위치 q_j가 허용된 가동 범위 lim_j에 접근하거나 이를 벗어나는 것을 방지한다.

학습이 이루어지는 동안 정책이 비정상적인 행동을 만들어 내지 않도록 Action_rate에서 현재 스텝에서 정책이 출력한 행동 a_s과 이전 스텝에서 정책이 출력한 행동 a_s-1 의 변화량을 최소화하여 제어 입력의 급격한 변화를 억제하고 관절의 진동을 완화하도록 설계하였다. Termination_penalty는 에피소드가 조기에 종료되는 경우를 terminated_buffer로 판별하여 비정상적으로 학습이 종료되었을 때 큰 페널티를 부여하여, 정책이 안정적인 상태를 지속적으로 유지하도록 유도하였다.

이러한 안정성 및 규제항은 순응 동작이 생성되는 과정에서 발생할 수 있는 과도한 자세 변화, 불필요한 접촉, 관절의 과도한 구동 및 급격한 제어 입력 변화를 억제하는 역할을 한다. 이를 통해 외력 순응 능력과 기본적인 보행 안정성 및 로봇의 물리적 제약을 동시에 고려한 정책을 학습하도록 하였다.

3.4 도메인 랜덤화

강화학습 기반 제어 정책은 시뮬레이션 환경에서 학습되기 때문에 실제 로봇에 배포할 경우 모델링 오차, 마찰 특성 차이, 질량 분포 오차 및 구동기 특성 차이로 인해 성능이 저하될 수 있다. 이러한 Sim-to-Real Gap은 특히 외력 순응 보행과 같이 외부 환경과의 상호작용이 중요한 문제에서 더욱 크게 나타난다. 본 연구에서는 실제 환경 변화에 대한 정책의 강건성을 향상시키고 실제 Unitree G1 환경으로의 전이를 용이하게 하기 위해 도메인 랜덤화 기법을 적용하였다. [Table 5]에서의 operation은 학습 환경의 물리적 파라미터를 변경하는 연산 방식을 의미하며 가산(Offset), 배율(Scale), 직접 할당(Direct Assignment)으로 구분된다. 가산은 기본값에 임의의 값을 더하거나 빼는 방식이고, 배율은 기본값에 임의의 배율을 곱하는 방식이며, 직접 할당은 설정된 값을 파라미터에 그대로 적용하는 방식이다.

[Table 5]

Domain randomization

[Table 5]에 있는 것처럼 환경의 물리적 특성 변화를 모사하기 위해 매 에피소드마다 로봇의 구동기 특성 및 초기 상태를 변화시켰다. 관절 PD 게인(Pd_gains-stiffness, damping), 초기 베이스 위치(Reset_base-xy, yaw), 모터 영점 오프셋(Motor_zero_offset), 관절 마찰 계수(Joint_param-friction, viscous friction), 관절 위치(Joint_param-xy)를 범위 내에서 무작위로 변경함으로써 동일한 초기 조건에 대한 과적합을 방지하였다.

에피소드 시작 시 정적 지면 마찰 계수(Static friction), 동적 지면 마찰 계수(Dynamic friction), 링크 질량(Link_mass), 베이스 질량(Base_mass), 질량 중심 위치(Base_com)를 무작위로 변경하였다. 이는 실제 로봇에서 발생할 수 있는 하드웨어 편차 및 환경 변화에 대해 정책이 과적합되는 것을 방지하기 위함이다.

일정 간격마다 물리적 특성을 변화시킬 수 있는 Interval 요소에는 3.2절에서 설명한 외력 부여 명령을 실질적으로 적용시키기 위해 apply_force_command을 입력하고 적용 간격을 0으로 설정하여 딜레이 없이 설정한 외력 생성 명령이 로봇에게 적용되도록 하였다. 이를 통해 로봇에게 외력을 부여하는 상황을 만들어 낼 수 있었다.

4.1 학습환경

본 연구의 강화학습 정책은 IsaacLab 시뮬레이션 환경에서 학습되었다. 물리 시뮬레이션 주기는 0.005 s, 제어 주기는 0.02 s로 설정하였다. 학습 과정에서는 총 4096개의 병렬 환경을 사용하여 데이터 수집 효율을 높였으며, 각 환경은 4.0 m 간격으로 배치하여 환경 간 간섭이 발생하지 않도록 구성하였다. 정책 네트워크는 MLP 구조를 사용하였고, 2.1절에서 언급한 비대칭 Actor-Critic 네트워크 구조를 사용하였다.

본 연구에서는 외력에 대한 순응 행동을 단계적으로 학습하기 위해 커리큘럼 학습(curriculum learning) 을 적용하였다. 학습 초기에는 외력이 없는 조건에서 시작하고, 학습이 진행됨에 따라 인가되는 외력의 크기를 점진적으로 증가시켜 최대 50 N까지 확대하였다.

정책 학습에는 [Table 6]에 수록된 것처럼 PPO 알고리즘의 주요 학습 파라미터를 적용하였다. 정책 및 가치 함수의 파라미터를 갱신하는 학습률 Learning Rate은 1.0e-3, 현재 시점에서 미래 보상의 가치를 결정하는 할인 계수 Discount Factor는 0.99, 미래 보상의 영향과 추정 분산 사이의 균형을 조절하는 파라미터 GAE(Generalized Advantage Estimation) Parameter는 0.95, 정책 업데이트 과정에서 정책 변화의 범위를 제한하여 학습의 안정성을 확보하기 위한 Clip Parameter는 0.2로 설정하였다. 정책의 탐색을 유도하는 Entropy Coefficient는 0.008, 가치 함수 손실 가중치 Value Loss Coefficient는 1.0으로 설정하였다. 하나의 정책 업데이트에서 동일한 수집 데이터를 반복하여 학습하는 횟수를 나타내는 Number of Learning Epochs는 5회로 설정하였으며, 수집된 데이터를 나누어 학습에 사용하는 묶음의 수를 나타내는 Number of Mini-batches는 4개로 설정하였다. 이전 정책과 갱신된 정책 사이의 분포 차이를 나타내는 지표인 Desired KL Divergence는 0.01로 설정하였으며, 이를 기준으로 학습률을 조절하는 adaptive learning rate scheduling을 적용하였다. 정책 업데이트 과정에서 gradient의 최대 크기를 제한하는 Max Gradient Norm은 1.0으로 설정하였다. 학습률을 학습 과정에서 자동으로 조절하는 방법을 나타내는 Learning Rate Schedule은 Adaptive로 설정하였으며, 학습 데이터의 경험적 분포를 이용하여 입력값 또는 학습 신호를 정규화하는 Empirical Normalization은 적용하지 않았다.

[Table 6]

PPO parameter

4.2 학습 결과 수렴 분석

본 연구의 강화학습은 IsaacLab 환경에서 PPO 알고리즘을 사용하여 수행하였으며, 학습을 위해 RSL_RL 라이브러리를 사용하였다. RSL_RL은 로봇 강화학습을 위한 PPO 기반의 학습 및 실행 기능을 제공하는 경량 강화학습 라이브러리로, 다수의 병렬 환경에서 수집된 경험을 이용하여 정책을 학습할 수 있다.

본 연구에서는 학습 과정의 안정성과 수렴 여부를 확인하기 위해 주요 보상 함수와 전체 평균 에피소드 보상의 변화를 [Fig. 3]에 나타내었다. 학습 과정에서 생성되는 RSL_RL의 학습 로그를 Tensorboard를 통해 시각화하여 학습 과정에서의 보상 변화를 분석하였다. RSL-RL은 학습을 반복(iteration) 단위로 수행하며, 각 반복에서 수집된 경험을 이용하여 정책을 갱신한다. 따라서 [Fig. 3]의 가로축은 학습 반복 스텝(learning iteration step)을 나타낸다.

[Fig. 3]

Reward learning curve during the policy training

학습이 안정적으로 진행되는지를 확인하기 위해 동작 생성 보상 함수 중 yaw 각속도 명령 추종 보상인 [Fig. 3(a)] Track_ang_vel_z, xy 선속도 명령 추종 보상인 [Fig. 3(b)] Track_lin_vel_xy, 외력 순응 보상인 [Fig. 3(c)] Force_compliance의 변화를 분석하였다. Track_ang_vel_z는 학습 과정에서 보상이 증가한 후 약 0.75의 에피소드 보상으로 수렴하였으며, Track_lin_vel_xy는 약 0.90의 에피소드 보상으로 수렴하였다. 또한 외력에 대한 순응 동작 생성을 유도하는 Force_compliance는 학습이 진행됨에 따라 증가하여 약 0.45의 에피소드 보상으로 수렴하였다. 이를 통해 보행 명령 추종과 외력 순응에 관련된 주요 보상 함수가 학습 과정에서 일정한 범위로 안정화되는 것을 확인하였다.

전체 학습 과정의 추이를 확인하기 위해 모든 보상 항을 종합한 Mean Episode Reward의 변화도 함께 분석하여 [Fig. 3(d)]로 나타냈다. Mean Episode Reward는 학습 초기 단계에서 빠르게 증가한 이후 변동 폭이 감소하면서 약 4.5의 에피소드 보상으로 수렴하는 경향을 나타냈다. 이는 학습이 진행됨에 따라 정책이 설정된 보상 함수의 목표를 지속적으로 만족하며 안정화되었음을 의미한다. 각 보상 함수와 Mean Episode Reward가 학습 후반부에서 일정한 범위로 안정화되고 수렴하는 경향을 보인다는 점에서, 본 연구의 강화학습 정책은 설정된 학습 환경에서 안정적으로 수렴한 것으로 판단하였다.

4.3 외력 순응 속도 성능 평가

제안한 외력 순응 정책이 다양한 보행과 외력 조건에서 적절한 순응 동작을 생성하는지 평가하였다. 평가는 외력 순응이 없는 일반 보행 모델(Baseline)과 외력 순응 동작을 학습한 모델을 비교하여 진행하였다. 평가를 위해 외력을 인가하기 전후의 로봇의 속도 V_r, 목표 순응 속도 V_tgt, 보행 명령 속도 V_cmd를 비교하였다. 외력이 인가되기 전에는 보행 명령 속도와 로봇의 속도의 RMS 차인 Tracking RMSE를 이용하여 평가하였다. 외력이 인가된 후에는 목표 순응 속도와 로봇의 속도의 RMS 차인 Compliance RMSE로 평가하였다.

[Fig. 4]는 torso_link에 x 방향 -40 N, z 방향 30 N의 외력이 인가된 대표적인 실험 결과를 나타낸다. 외력은 시뮬레이션 시작 후 약 250 step부터 인가되었다. [Fig. 4(a)]는 외력 순응이 없는 일반 보행 모델의 결과이며, [Fig. 4(b)]는 외력 순응 동작이 학습된 모델의 결과이다. 외력이 인가되기 전에는 두 모델 모두 보행 명령 속도를 안정적으로 추종하는 것을 확인할 수 있다. [Fig. 4(a)]에서 외력이 인가된 이후 일반 보행 모델은 외력에 의해 로봇의 속도가 보행 명령으로부터 일시적으로 벗어나며, 이후 외력에 대한 반응을 보이지 않고 기존 보행 명령을 추종하기 위해 속도를 크게 변화시키는 결과를 보였다. 반면, [Fig. 4(b)]에서는 외력이 인가된 구간에서 기존의 보행 명령 속도를 지속적으로 추종하기보다, 인가된 외력에 따라 생성된 목표 순응 속도를 추종하는 방향으로 동작한다. 이는 제안한 정책이 외력 발생 시 기존 보행 명령을 무리하게 유지하기보다 외력에 따른 순응 동작으로 전환하여 외력에 대응함을 보여주며, 과도한 속도 변화를 방지하여 안정성을 가진다는 것을 볼 수 있다.

[Fig. 4]

Representative velocity tracking results under external force (Simulation)

보다 일반적인 성능 평가를 위해 직진, 후진, 좌측 이동 및 우측 이동 명령에 대해 각 반대 방향의 외력을 torso와 wrist에 인가하는 총 8개의 실험 조건을 구성하였다. 보행 명령은 1 m/s의 속도 크기를 가지고 외력은 수평 방향으로 40 N, 수직 방향으로 30 N을 인가하였다.

제안한 정책과 일반 보행 정책의 속도 추종 성능은 [Table 7]에 나타난 것과 같다. 외력 순응 모델의 평균 Tracking RMSE는 0.3022±0.1581로 일반 보행 정책의 Tracking RMSE인 0.2686±0.1514보다 약 11 % 증가하였다. 이는 외력 순응 정책이 외력 순응 행동을 생성하는 과정에서 기존 보행 명령 추종 성능의 일부를 희생하였기 때문이다. 반면 외력 순응 모델의 Compliance RMSE는 0.3445±0.1163으로 일반 보행 정책의 Compliance RMSE인 0.7886±0.4232 대비 약 56.3 % 감소하였다. 외력 순응 모델의 Compliance RMSE의 표준편차 역시 크게 감소하여 다양한 외력 조건에서 보다 일관된 순응 성능을 나타냄을 확인하였다. 이 결과는 제안한 외력 순응 정책이 보행 명령 추종 성능을 일부 저하를 허용하는 대신 외력 순응 성능을 크게 향상시켰다.

[Table 7]

Average tracking RMSE and compliance RMSE under various velocity and force conditions in simulation. (Values are represented as mean ± standard deviation)

4.4 관절 구동 토크 비교

[Fig. 5]는 관절별 RMS 토크를 비교한 결과를 나타낸다. 4.3절에서 제시된 일반적인 성능 평가를 위해 진행한 실험 조건과 동일한 조건으로 실험을 수행하였다. 순응 정책을 학습한 모델의 RMS 토크가 일반 보행 정책만을 학습한 모델에 비해 감소하였다. 이는 제안한 외력 순응 정책이 외력을 저항하는 대신 순응 행동을 생성함으로써 관절에 요구되는 구동 토크를 효과적으로 감소시켰음을 의미한다. [Fig. 5]의 데이터를 기반으로 일반 보행 정책과 외력 순응 정책의 전체 관절 평균 RMS 토크를 비교하였다.

[Fig. 5]

Joint torque RMS Comparison with Baseline and Force compliance policy (Simulation)

[Table 8]에서 확인할 수 있듯이 전체 관절 평균 RMS 토크는 일반 보행 정책에서는 9.0288 Nm을 가지고 외력 순응 모델에서는 6.1734 Nm로 감소하여 약 31.63 %의 개선을 보였다.

[Table 8]

Average joint torque RMS (Simulation)

4.5 시뮬레이션 및 Sim-to-Real

[Fig. 6]은 시뮬레이션과 실제 로봇 환경에서 제안한 정책의 순응 보행 결과를 비교한 것이다. [Fig. 6(a)]와 [Fig. 6(b)]는 로봇에게 x방향 직진 보행 명령을 부여한 상태에서 로봇의 torso_link에 직진 명령과 반대 방향의 외력을 인가한 경우의 시뮬레이션과 실물 로봇의 결과다. 시뮬레이션에서 로봇은 보행 명령을 수행하여 직진하다가 외력이 인가되자 외력에 순응하여 외력 방향으로 이동 방향이 변화하는 모습을 확인할 수 있었다. 실제 로봇도 시뮬레이션과 유사하게 보행 명령 수행 중 외력 작용 시 진행 방향이 변화하며 외력 방향으로 순응하는 행동이 관찰되었다. [Fig. 6(c)]와 [Fig. 6(d)]는 로봇에게 좌측 이동 명령을 부여한 상태에서 로봇의 오른팔에 외력을 인가한 경우를 나타낸다. 시뮬레이션과 실제 로봇 모두 보행 명령을 수행하여 옆으로 이동하던 중 외력이 인가되자 외력 방향으로 이동하는 모습을 보였다. 또한 외력이 제거된 이후에는 다시 보행 명령을 수행하여 원래의 이동 방향을 유지하는 거동을 확인할 수 있었다. 이를 통해 시뮬레이션에서 학습된 정책이 실제 로봇 환경에서도 추가적인 튜닝 없이 적용 가능하며, 외력 작용 여부에 따라 이동 방향을 조절하는 순응 보행 특성을 나타냄을 보여준다.

[Fig. 6]

Simulation result and real robot result. Red arrow means external force, blue arrow means velocity of robot, and green arrow means commanded velocity