시스템의 제어기를 설계하기 위해서는 시스템을 이해하고 제어인자들을 최적화해야 한다. 하지만, 대부분의 시스템에는 마찰, 점성 항력, 알 수 없는 토크 및 기타 역학과 같이 정확하게 측정하기 어려운 불확실성이 있으며, 이는 시간이 지남에 따라 지속적으로 변경된다. 또한 기기 마모나 시스템 손상 등 고장이나 오래된 부품을 새 구성 요소로 교체하는 것과 같은 갑작스러운 변경이 있을 수 있다. 이런 이유로 인해 제어 엔지니어는 시스템의 정확한 모델링을 하기에는 제한적이다. 특히 최신 제어 기술은 제어기를 설계하기 전에 시스템을 수학적으로 특성화해야 하는 수학적 모델에 의존하며 물리적 시스템의 수학적 모델이 먼저 생성된 다음 제어기가 모델에 맞게 설계되고 제어기가 물리적 시스템에 구현된다. 이는 모델과 실제 시스템 간에 상당한 차이가 있는 경우 제어기가 제대로 작동하지 않고 시스템의 불안정성을 유발할 수 있는 문제를 가지고 있다. 또한 수학적 모델을 정밀하게 모델링하더라도 이러한 시스템 불확실성 때문에 일반적으로 대부분의 접근 방식은 집약적인 시뮬레이션을 기반으로 경험적으로 개발된다. 이러한 경험적 제어 프로세스는 일반적으로 시스템이 안정적이어야 하기 때문에 제어 파라미터의 안정화에 대한 정확한 정보가 특정되어야 하며, 원하는 성능을 얻기 위해서 수동 튜닝이 요구된다. 이는 많은 시간과 노력이 소요되며 제어 매개변수의 효과를 정확히 이해하고 있는 제어 전문가에 의해서 조정된다. 따라서 제어 파라미터의 안정화에 대한 기준 확보, 안전한 자동 제어 매개변수 조정을 위한 자동화 제어 기술이 발전하였다.

데이터 기반의 강화학습 제어기는 시스템에 대한 가정이 거의 없어 적절한 데이터의 구축과 보상함수의 설계에 의해 다양한 시스템에 적용될 수 있는 유연성을 가지고 있어 각광받고 있다. 강화 학습은 시행착오 학습을 통해 우수한 제어 기능을 개발하여 제어기가 우수한 제어 전략에 적응할 수 있도록 충분한 유연성을 갖출 수 있다. 또한, 학습자의 행동이 합리적으로 좋은 제어 전략에 정착하면 강력한 제어 기술을 사용하여 기존의 수학적 모델 기반 제어기보다 비교적 안정적이고 더 좋은 성능을 보인다. 하지만 이러한 유연성은 시스템에 대한 배경지식이 전무하다는 가정에서 비롯된 것이므로, 학습 중 시스템의 안정성을 해치는 바람직하지 않은 제어 전략으로 이어질 수 있다. 일반적인 강화학습 시뮬레이션과 실제 환경에서, 상대적으로 단순한 시스템에 대한 안정적인 제어전략을 찾기 위해서도 기본적으로 수백만 건의 불안정한 제어 전략이 나타나는 것을 확인할 수 있고, 이는 시스템의 제어와 운영의 실패로 생각될 수 있다. 엔지니어는 이러한 제어전략이 불안정한 시스템의 동작으로 이어질 수 있다는 점에 유의하는 제어 전략의 영역을 강력하게 제한하는 제약조건을 도입하는 것이 중요하다. 이러한 방법의 예시로 기본 수학적 모델을 기반으로 시스템 모델링의 불확실성을 보정하는 것이 목적인 모델 기반 강화학습 방법, 학습자의 행동 영역을 리아프노프 안정성 이론에 기반하여 제한하는 제약 최적화 기법 등이 사용된다.

본 연구의 목적은 강화학습 기반의 제어기를 사용하여 시스템의 불확정성에 적응할 수 있는 모델의 충분한 유연성을 갖춤과 동시에 안전성 조건에 의해 제어 입력 공간을 제약함으로써 안전한 제어전략을 갖춘 프레임워크를 구축하는 것이다. 강화 학습 네트워크를 훈련하는 동안 PID 제어 매개변수 튜닝 문제에 대한 안전성을 고려한 [1]과 [2]의 작업이 참조되었으며 드론 시뮬레이션에서 제어기의 목표경로 추적 성능실험과 외란에 대한 강건성 실험을 통해 제시된 연구들과 비교함으로써 개선된 점을 보여준다.

일반적으로 자동 제어기 튜닝은 주어진 성능 측정을 최적화하는 제어기 매개변수를 찾는 것을 목표로 한다. 그러나 이러한 매개변수와 성능 값 간의 비선형 매핑은 선험적으로 알려지지 않았으며 복잡한 제어 전략을 예측하는 방법으로 강화학습이 떠오르고 있다. 강화 학습은 학습자의 시행착오를 통해 환경(제어 시스템)과 상호 작용하고 보상과 처벌을 통해 행동(제어 매개변수)을 수정함으로써 제어 매개변수와 성능 간의 매핑을 모델링한다^[3]. 강화학습 기반 제어 기술은 과거부터 적응형 PID 제어 기술과 결합되어 강력한 잠재력을 입증하는 많은 연구들이 제시되었다^[4-8]. 이러한 연구들은 환경과 시스템에 특성에 따른 적응 제어 매개변수 조정에서 좋은 성능을 보였지만, 강화학습 알고리즘에 효과적으로 제약조건을 적용하여 안전하게 학습자를 훈련시키는 알고리즘은 그 구현의 어려움과 복잡성으로 인해 제시되지 못하였다. 연구 [9]에서는 라그랑주 승수법을 사용하여 강화학습 행동자에 1차원 제약조건을 사용하는 연구가 제시되었다. 어플리케이션으로 4족보행 로봇 관절의 각도 제어에 적용되어 기존의 강화학습 제어기에 비해 성공적인 제어 전략^[10]을 제시하였다. 하지만, 제시된 알고리즘을 사용한 인공신경망의 행동자 최적해는 인공신경망 매개변수의 야코비안(jacobian) 행렬과 헤시안(hessian) 행렬의 역행렬을 요구하고 이는 매개변수의 수가 상대적으로 많은 인공신경망 기반 알고리즘에 계산 비용의 증가와 및 알고리즘의 복잡함을 야기하였다. 라그랑주 승수법의 backward 연산을 피하기 위해 로봇 액추에이터의 PWM, RPM 등 저 수준 상태변수를 분석하여 안전한 제어전략으로 제약하는 강화학습 알고리즘에 대한 연구^[2]도 제시되었지만 이러한 저수준 상태변수의 제약은 정확한 수학적 시스템 모델링 기반하며 실험적으로 분석되어야 하며, 시스템 모델링 비용을 줄일 수 있는 데이터 기반 알고리즘의 장점을 희석시킬 수 있다.

또 다른 방법은 미지의 함수 공간의 규칙성 가정에 기반한 베이지안 최적화 방법이다. 최근의 연구는 베이지안 최적화 함수의 출력 필드를 최소화하여 소수의 매개변수 조합에 대해서만 함수를 평가하고 전역 최적성을 빠르게 증명하는 실용적인 최적화 알고리즘을 제시하며^[11,12], 성능 함수 평가에 대한 불확실성을 명시적으로 모델링하여 실제 시스템에 대한 유연한 예측이 가능하다. 제약조건을 고려한 베이지안 최적화 알고리즘인 SafeOpt^[12]는 가우시안 과정 기반 베이지안 최적화 알고리즘을 이용하여 제어 매개변수와 함수의 성능의 전역적 관계를 파악하고, 안전을 보장하는 제어 매개변수에 대해서만 평가하여 학습 시 발생하는 안전 위반 문제를 극복하였다. 이 알고리즘을 응용하여 드론의 PID 제어 매개변수를 조정하는 연구^[1,13], 예측제어기법에 응용하는 연구^[14], 강화학습의 마르코프 결정 과정에 응용하는 연구^[15]들이 적용되었다. 그러나 이 방법은 알려지지 않은 함수 상태 공간에 대해 안전한 예측을 위해서는 시스템의 안전함이 보장된 초기값과 시스템 모델링 불확실성의 정확한 사양을 필요로 한다. 따라서 초기 제어 매개변수 값과 시스템의 불확실성에 대한 보수적인 가정이 요구된다.

반면 리아프노프 함수는 시스템 불확실성에 대한 실험적 탐색과 정확한 해의 계산이 필요하지 않고 시스템을 평형상태로 수렴시키는 속성을 확인하여 상태변수 집합의 안정성을 증명할 수 있으며^[16], 더 나아가 리아프노프 안정성 이론에 기반하여 고 수준 상태변수의 제약만으로 저 수준의 제어입력을 제약할 수 있는 제어장벽이론에 대한 연구가 제시되고 있다. 제어장벽이론은 집합 내의 상태변수를 한 점에 수렴시키는 것과 달리 집합의 순방향 불변성을 증명하는 것이 목적으로^[17], 집합의 경계에 다다르면 제어장벽함수의 값이 발산하여 학습자에게 강력한 패널티를 주며, 학습자의 행동공간을 제약한다. 알고리즘의 단순함과 강력함으로 인해 다양한 최적 제어^[18-20]및 적응형 항법 제어^[21-24] 등에 사용되었다.

본 논문에서도 제어장벽함수이론을 강화학습의 기법에 적용하여 인공신경망 훈련 중 시스템의 안정성을 보장하기 위한 문제에 해법을 제시한다. 특히, 기존 시스템에 존재하는 PID 제어기를 효과적으로 활용하여 제약 최적화의 backward 연산을 피했고, 드론의 시뮬레이션에 적용하여 드론의 빠른 제어 속도에 맞는 실시간 계산을 가능하게 하였으며, 제어 매개변수를 환경에 맞게 조정하는 적응형 알고리즘을 제시하였다.

[Fig. 1]은 강화학습이 적용된 드론의 전체 제어 시스템을 보여준다. 먼저 현재 상태 x에서 강화학습의 행동자 네트워크를 통해 예측된 제어 PID 매개변수 k^pid를 도출하고, 제어기에는 최소한의 안정성을 보장하기 위해 기본 PID 매개변수가 있어 두가지 매개변수에 대해서 다른 제어 입력 u,u^이 출력된다. 각 제어 입력을 고려한 상태 변수 x,x^는 시스템 역학을 통해 출력되며 각각의 상태변수는 안정성과 안전성 측면에서 제어 리아프노프 및 제어장벽함수에 의해 평가된다. 안정성 및 안전 조건이 만족되면 추정된 PID 매개변수의 목표 경로에 대한 추적 성능을 평가하여 더 좋은 추적성능을 보이는 제어 매개변수로 업데이트된다. 마지막으로 네트워크를 훈련시키기 위한 마르코프 결정 과정(Markov decision process) 데이터셋 x,k^pid,δTD,γ이 수집된다. 여기서 시간차 오차 δ^TD는 평가자 네트워크의 출력인 상태 가치 V와 보상 R를 통해 계산될 수 있고, λ시간차 오차방법을 통해 k단계의 데이터가 모여 PPO 네트워크 훈련에 사용된다.

[Fig. 1] 
Block diagram of control design

강화학습 문제의 핵심은 제안된 제어 매개변수 k^pid와 그에 상응하는 학습자의 보상 R의 비선형 관계를 예측하는 것이다. 먼저 PPO 기반의 강화학습 네트워크의 행동자는 드론의 상태변수 x로부터 PID 제어기의 매개변수 벡터를 예측하며, 따라서 행동자의 정책은 평균 k^pid과 σ_pid의 불확정성을 가진 정규분포를 따른다.

강화학습 행동자에 의해 예측된 제어 매개변수는 목적 상태 r와 결합되어 PID 제어기 구조를 통해 제어입력을 출력한다.

여기서 u^t은 강화학습 네트워크에서 출력된 제어 매개변수에 대한 PID 제어기의 출력이며, 이를 이용하여 상태변수를 예측할 수 있고

시스템 모델링 불확실성 ϵ을 정의할 수 있다(식 (6)).

위의 식에서 드론 모델 f와 제어기 g의 구조는 동일하게 고정된 채, 제어변수 입력의 차이에 의해 전체 제어 시스템의 수학적 모델링의 불확실성이 결정된다. 식 (11)과 식 (12)에서 계산된 상태변수와 수학적 모델링의 불확실성은 성능 함수에 포함되어 강화학습의 착취-탐색의 균형 문제^[29]에 맞게 고려된다. 특히 이 알고리즘은 시스템의 안정성을 보장하는 PID 매개변수가 존재한다는 가정에서 시작하므로 예측 상태변수가 안정적이지 않을 때는 탐색을 통해 빠른 훈련을 추구하고, 안정상태에 접어들었을 때 착취를 통해 추적 성능을 높이는 상태를 만드는 PID 매개변수를 찾는다.

여기서 P^은 제안된 제어 매개변수에 의해 예측된 3차원 위치벡터, r^P는 위치벡터에 대한 목적상태, MSE(⋅)는 제곱 합 평균 연산이며, 집합 S는 시스템의 안정성을 보장하는 상태변수들의 리아프노프 집합, 집합 C는 시스템의 자세제어를 위한 추가적인 제약조건을 만족하는 상태변수들의 제어장벽집합이다. 만약 PID 매개변수에 의해 도출된 상태변수가 리아프노프 집합에 속해 있지 않을 때(x^∉S), 학습자는 시스템 불확실성 ||ϵ||를 높이는 것을 목표로 하여 빠른 탐색을 추구하며, 시스템 상태가 안정되었을 때(x^∉S), 목표상태에 대한 추적 및 탐색의 균형을 맞춘다. 마지막으로 시스템이 안정적이고 안전하다고 판단되었을 때(x^∉C), 완전히 목표상태를 추적하여 지역 최적점에 갇히지 않고 강화학습 네트워크를 훈련할 수 있다[Fig. 2].

[Fig. 2] 
Exploration strategy: A size of cyan ellipse shows the uncertainty of the agent’s action on the state space. On unstable region (gray) the agent explores to find the good control strategy. On stable region (pink) exploration and exploitation of the agent’s action is balanced. For the stable and safe region (blue), the agent tries to exploit

보상구조의 기준은 제어 리아프노프 함수와 제어장벽함수를 계산하여 도출하였다. 제어 리아프노프 함수는 목적 상태에 대한 현재 상태의 볼록함수로 정의할 수 있다.

여기서 r는 목표 상태 벡터, P는 양의 정부호 (positive-definite) 특성을 가지고 있는 대각행렬이다. 제어 리아프노프 함수의 시간에 대한 미분값은 다음과 같으며

식 (6)을 통해 상태변수가 안정 집합 S 내부에 존재하도록 하는 안정성 조건을 정의할 수 있다.

본 논문은 제어장벽함수를 이용하여 시스템의 안정성 뿐 아니라 드론의 자세와 저 수준 제어 입력을 제한하는 PID 매개변수를 업데이트하는 알고리즘을 제시한다. 이를 위해 드론의 자세제어에 영향을 미치는 x, y방향 오일러각 ϕ^,θ^, 제어입력 u^를 고려하는 새로운 상태변수 x^B = (ϕ, θ, ψ)와 경계상태 x¯=φ¯,θ¯,u¯를 정의하고, 이를 통해 제어장벽함수 B와 시간에 대해 미분한 함수 B˙를 다음과 같이 정의할 수 있다.

따라서 식 (7)에 의해 상태변수의 안전성 조건을 정의할 수 있다.

이후의 실험에서는 상수 υ와 δ^B를 고정시키고 안전 수렴성 조건

의 값을 관찰하며 시스템의 안전함을 확인한다.

본 논문에서는 강화학습을 이용하여 제어 매개변수를 데이터에 맞게 적응적으로 조정하는 방법을 제안하였다. 특히 강화학습 훈련 초기에는 시스템에 대한 기초 정보가 없어 무작위 동작이 제어기에 직접 전달되는 것은 시스템의 안전에 매우 심각한 위험을 끼치기 때문에 안전하게 매개변수를 업데이트하는 방법을 제안하였다. 또한, 제안된 제어기는 베이지안 전역 최적화 방법 기반 제어기에 비해 성능 및 견고성 측면에서 좋은 결과를 보였으며 훈련 중 안전성의 보장 측면에서도 저수준 상태변수 제약 기반의 강화학습 방법보다 더 안전한 제어 전략을 제시하였다.