본 논문에서 제안하는 작업 정책 학습기의 구성은 [Fig. 2]와 같다. 작업 정책 학습기는 크게 정책 파라미터 추론기(Policy Parameter Reasoner, PPR)를 이용한 정책 파라미터 추론 단계와 심층 관계형 강화 학습기(Deep Relational Reinforcement Learner, DRRL)를 이용한 정책 추론 단계로 구성되며, 정책 추론 파라미터 추론 단계에서는 환경으로부터 로봇 및 화물들의 위치, 속도 등에 대한 관측값(observation, o_t)을 받아, 상태 인코더(state encoder)에 입력한다. 상태 인코더는 신호(signal) 형태의 관측값을 술어 논리(predicate logic) 형태의 상태(state, s_t)로 인코딩한다. 파라미터 등급 추정기(parameter grade estimator)는 영역-고유 지식을 바탕으로 미리 정의해놓은 다수의 평가함수들을 이용하여 작업의 종합적인 안전성과 효율성 예측에 필요한 다양한 정책 파라미터(policy parameter, stP)들의 등급을 추정하는 역할을 수행한다. 이와 같이 사전에 미리 정의해둔 다면적 평가함수들을 이용한 정책 파라미터들의 등급 추정 방식은 작업 정책 학습기(TPL)의 전체 학습 부담을 줄여주고 동적으로 변화하는 작업 상태에 따라 실시간적으로 작업의 안전성과 효율성 예측을 가능하게 해주는 장점이 있다.

[Fig. 2] 
Architecture of task policy learner

정책 추론 단계에서는 심층 관계형 강화 학습을 통해 습득한 작업 정책 규칙들을 이용하여, 각 로봇별 작업의 안전성과 효율성을 추론한다. 심층 관계형 강화 학습기는 행동가-비평가(actor-critic) 구조를 따르며, 먼저 비평가(critic)는 보상(reward)과 경험 데이터를 토대로 행동자(actor)의 정책 규칙들의 가치 Q를 평가해줌으로써, 행동자가 올바른 정책 규칙을 더 신속하게 학습하도록 돕는 역할을 수행한다. 행동가는 비평가의 가치 평가와 현재 입력 상태를 기반으로 작업 정책 규칙들을 학습하기도 하고, 현재 입력 상태와 학습된 규칙들을 토대로 전향 추론을 통해 작업의 안전성과 효율성을 예측하기도 한다.

작업의 안전성과 효율성을 예측하는 정책 규칙들은 논리 서술자들의 곱의 합 표준형(Disjunctive Normal Form, DNF)로 표현되며, 이러한 각 개별 규칙은 논리곱 계층들과 논리합 계층들로 구성된 하나의 인공 신경망 형태로 학습한다. 하지만, 무작위로 선택된 초기 신경망 가중치로부터 의미 있는 정책 규칙들을 학습하는 것은 많은 시간과 자원을 요구한다.

본 논문에서 제안하는 심층 관계형 강화 학습기는 대표적인 관계형 강화 학습 프레임 워크인 dNL-RRL을 기초로, 다양한 인간의 영역-고유 지식을 활용 방법들을 제안한다. 심층 관계형 강화 학습기는 [Fig. 3]과 같이, 행동자-비평가(actor-critic) 구조를 따른다. 비평가(critic)는 환경으로부터 얻은 경험 데이터들과 보상을 기반으로 행위자의 정책 규칙들의 가치 Q를 가치 누산기(value accumulator)를 통해 평가한다. 비평가의 평가 가치 Q는 행동가가 더 올바른 정책 규칙을 학습하도록 돕니다. 행동가(actor)는 비평가로부터 평가된 가치 평가 값 Q와 경험 데이터들을 기반으로 정책 규칙을 학습하고, 이 학습된 정책 규칙들을 기반으로 매 순간 입력되는 상태로부터 작업의 안전성과 효율성을 추론하는 역할을 수행한다.

[Fig. 3] 
Deep relational reinforcement leaner

한편, 본 논문에서 제안하는 작업 정책 학습기에 안전성과 효율성 규칙을 포함하는 행위자는 다시 상태 임베더(state embedder), 미분 가능한 뉴로-논리 귀납적 논리 프로그래밍 엔진(differentiable Neural-Logic Inductive Logic Programming, dNL-ILP) 그리고 정책 디코더(policy decoder)로 구성된다. 상태 임베더에서는 입력되는 상태인 정책 파라미터 stP를 일차–술어논리(First-Order predicate Logic, FOL) 형태로 변경하고, 인공 신경망이 학습 가능하도록 다차원의 벡터로 변환해주는 역할을 담당한다. 미분 가능한 뉴로-논리 귀납적 논리 프로그래밍(dNL-ILP)은 평가자(critic)의 가치 평가와 입력 상태를 토대로 정책 규칙을 학습하며, 학습된 정책 규칙은 n 단계의 전향 추론(n-step forward chaining)을 통해 안전성과 효율성 평가 값을 추론한다. 정책 디코더는 앞서 추론한 안전성과 효율성 평가 값을 기반으로 실제 작업 계획 및 수립에 도움을 주기 위한 등급 G_t을 계산하는 함수의 역할을 수행한다.

한편, 본 논문에서는 학습 부담을 줄이고 학습 효율성 향상을 위해 계층적 서술자 규칙 설계를 제안한다. [Fig. 4]는 본 논문에서 제안하는 서술자 규칙 계층 구조이다. 서술자 규칙들은 정책 계층(policy layer), 정책 파라미터 계층(policy parameter layer), 상태 계층(state layer)의 총 3계층으로 구성되며, 각 계층에 따라 서술자 규칙의 결론부(head) 및 조건부(body)가 결정된다. 예컨대, 정책 계층의 안전성 규칙의 조건부에는 정책 파라미터 계층의 배터리 안전성, 충돌 안전성 등이 포함되며, 다시 배터리 안전성 규칙의 조건부에는 현재 로봇의 위치, 배터리 잔량 등이 포함된다. 이를 통해 불필요한 학습 파라미터 생성을 방지하며, 더 신속하고 올바른 정책 규칙 학습이 가능하다.

[Fig. 4] 
Hierarchical predicate rules

또한, 본 논문에서는 불필요한 시간과 자원 소모를 줄이고 효율적인 정책 규칙 학습을 위해 영역-고유 지식을 활용한다. 영역-고유 지식의 활용 방법은 영역-고유 지식을 토대로 정책 규칙들 중 일부를 미리 심층 관계형 강화 학습에 제공함으로써, 신규로 학습해야 할 규칙의 수를 제한해주고 새로운 규칙들에 학습을 집중하도록 학습의 효율성을 높여주는 방법이다. 이와같은 과정을 통해 예측된 로봇별 작업의 안전성과 효율성 평가값 G_t은 작업 관리자에게 전달되어 해당 작업을 가용 로봇들에게 동적으로 할당하는데 효과적으로 활용된다.

정책 파라미터 추론기는 본 논문에서 제안하는 작업 정책 학습기의 정책 파라미터 추론 단계를 담당한다. 정책 파라미터 추론 단계는 작업 환경으로부터 인식되는 관측값(observation) o_t으로부터 상태 인코더(state encoder), 파라미터 등급 생성기(parameter grade generator)를 거처 안전성과 효율성 규칙 학습을 위한 다양한 정책 파라미터(policy parameter) stP를 생성한다. 한편, 심층 관계형 강화 학습기의 입력은 일차-술어 논리 형식으로 표현되며, 이로 인해 구문적 템플릿에 정의되는 서술자들의 개수에 따라 학습 파라미터가 크게 증가하는 문제가 있다.

본 논문에서는 이러한 한계를 극복하고자 함수기반 추론기를 채용한 정책 파라미터 추론기를 제안한다. [Fig. 5]는 본 논문에서 제안하는 정책 파라미터 추론기를 나타낸다. 먼저 상태 인코더는 다시 상태 인터페이스(state interface)와 파라미터 등급 생성기(parameter grade generator)로 나뉜다. 상태 인터페이스는 환경으로부터 입력되는 관측값(observation)을 전달받아 맥락 추론(context reasoning) 과정을 거처 기호(symbol)형태의 상태 서술자 s_t를 생성한다. 예컨대, 환경 내의 로봇에 대한 위치, 배터리 잔량 등과 같은 벡터로 표현되는 상태 관측값을 입력 받는다면 robotAt (R, L), batteryRemain (R, B)와 같은 상태 서술자를 생성한다. 이때, 서술자의 인자인 R은 로봇, L은 위치, B는 배터리 잔량이다. 생성된 상태 서술자 s_t 는 정책 파라미터 생성을 위해 파라미터 등급 생성기에 전달된다. 정책 파라미터 생성기는 각 상태 서술자들을 입력으로 삼아 추론 함수 f 들을 거쳐 파라미터 평가값을 계산한다. 이후 등급 랭킹(grade ranking) 과정을 거쳐 평가값으로부터 정책 파라미터 등급을 산정한다. 예를 들면, [Fig. 1]의 작업 환경 상태에서 안전성(safety) 규칙을 학습할 때, 고려할 정책 파라미터 중 하나인 배터리 측면의 안전성(battery safety) 등급을 추론하는 과정은 이동 적재 작업 수행 시 필요한 배터리 잔량에 대한 값인 batteryNeed (“amr01”, “transport (“cargo01”, “station04”)”, “57”)와 현재 로봇의 배터리 잔량에 대한 상태 서술자 batteryRemain (“amr01”, “20”)을 입력받아 추론 함수인 fsb를 거쳐 정책 파라미터 stp 중 하나인 batterySafetyGrade-2 (“robot“robot1”, “transport (“cargo01”, “station04”)”)를 생성한다. 이때, -2는 안전성 등급을 나타낸다. 심층 관계 학습기에 이와 같은 정책 파라미터를 입력으로 학습 및 추론 과정을 거친다면 보다 효율적이고 안정적인 학습 및 추론을 할 수 있다.

[Fig. 5] 
Policy parameter reasoner

본 논문에서 제안하는 작업 정책 학습기를 활용한 안전성, 효율성 규칙 학습 성능 검증을 위해 NVIDIA에서 제공하는 Isaac 시뮬레이터를 이용해 [Fig. 1]과 같은 제조 물류 실험 환경을 구축하였다. 환경 내에는 제조 물류 작업을 위한 모바일 이동 로봇 2대, 적재할 화물들과 이동 장애물들을 배치하였으며, 모바일 이동 로봇은 정해진 정점(vertex) 위를 직진(move) 혹은 회전(turn)하는 행위와 화물을 싣고(load) 내려놓는(unload) 행위를 환경 내에서 수행한다. 규칙 학습과 추론 검증에 이용된 목표 작업은 모바일 이동 로봇이 화물을 적재할 위치에 운송(transport)하는 작업이다. 특히 규칙 학습 시엔 무작위로 초기화된 환경 내의 위치, 배터리 잔량 등과 같은 모바일 이동 로봇의 상태들로부터 안전성, 효율성 규칙을 적용하여 작업 할당을 통해 실행한 작업을 평가하여 규칙을 학습한다. 심층 관계형 강화 학습기를 이용한 규칙 학습에는 Adam Optimizer 최적화 알고리즘(optimizer)을 사용하였으며, 학습률(learning rate)은 0.01, 비평가의 감가율(γ)은 0.9로 설정하였다. 규칙 학습 및 성능 비교 실험들은 Intel Xeon Silver 4210R CPU와 NVIDA RTX A5000 GPU 3개가 장착된 하드웨어 환경, Ubuntu 20.04, python 3.6, Tensorflow 1.15의 소프트웨어 환경에서 수행되었다.

학습된 안전성과 효율성 규칙 학습에 대한 첫 번째 비교 실험은 규칙 학습 시 정책 파라미터 추론기(Policy Parameter Reasoner, PPR)가 작업 정책 학습기(Task Policy Learner, TPL) 학습에 미치는 효과를 분석하기 위한 실험이다. 비교 실험에서는 정책 파라미터 추론기를 이용하여 추론된 배터리, 작업 시간 측면을 고려한 등급 서술자인 정책 파라미터 서술자를 사용하는 경우와 상태 서술자들로부터 직접 규칙을 학습하는 경우에 대해 비교하였다. 이 실험에서는 최근 100회의 규칙 추론 결과에 대한 평균 성공률(average of success rate)을 성능 척도로 사용하였다. 실험 결과는 [Fig. 6]과 같다.

[Fig. 6] 
Performance evaluation of policy parameter reasoner

[Fig. 6]에 학습 그래프에서 볼 수 있듯이, 안전성과 효율성 규칙 학습 모두 본 논문에서 제안한 작업 정책 학습기에 정책 파라미터 추론기를 사용한 것(with PPR)이 사용하지 않은 것(w/o PPR)보다 더 빠르게 수렴함과 동시에 더 높은 성공률을 보였다. 이러한 결과는 작업 정책 파라미터가 규칙을 학습 시 작업 정책 학습을 통해 알아내야 할 학습 파라미터를 줄여 더 안정적이고 효율적인 학습을 돕는 것을 확인할 수 있었다.

안전성과 효율성 규칙 학습에 대한 두 번째 비교 실험은 계층적 서술자 구조가 학습 성능 향상에 미치는 긍정적 효과를 확인하기 위한 실험이다. 이 실험에서는 [Fig. 4]와 같이 본 논문에서 제안한 계층적 구조로 서술자 규칙들을 표현할 때와 모든 서술자 규칙을 계층 구조 없이 하나의 단일 계층으로 표현할 때의 학습 성능을 서로 비교하였다. 이 실험에서도 앞선 실험과 마찬가지의 평균 성공률을 성능 측도로 사용하였다.

이 실험의 결과는 [Fig. 7]과 같다. 실험 결과를 살펴보면, 안전성과 효율성 규칙 학습에서 본 논문에서 제안하는 계층적 구조로 설계된 서술자 규칙들(with hierarchy)이 그렇지 않은 경우(w/o hierarchy)보다 더 높은 성공률을 보임을 확인할 수 있었다. 특히, 효율성 규칙보다 비교적 학습해야 할 파라미터 수가 많은 안전성 규칙의 경우에 더 큰 성능 차이를 보이며, 이를 통해 본 논문에서 제안하는 계층적 서술자 규칙 구조가 정책 규칙들을 더 신속하고 올바르게 학습하는데 큰 도움을 줄 수 있음을 확인할 수 있었다.

[Fig. 7] 
Performance evaluation of hierarchical predicate rules

세 번째 실험은 전문가의 영역-고유 지식을 반영해 사전에 정의된 정책 규칙(predefined rule)들을 학습에 부분적으로 활용하는 것이 학습 효율에 미치는 긍정적 효과를 분석하기 위한 실험이다. 이 실험에서는 안전성과 효율성 등급을 판정하는 사전 정의된 정책 규칙들 중에 1가지 규칙(grade 1)을 활용하는 경우, 2가지 규칙(grade 1, 2)을 활용하는 경우, 3가지 규칙(grade 1, 2, 3)을 활용하는 경우, 사전 정의된 규칙을 전혀 활용하지 않는 경우 등 총 4가지 경우를 서로 비교하였다. 실험 에서는 다른 실험들과 같이 총 100회의 규칙 추론 결과에 대한 평균 성공률을 성능 척도로 사용하였다.

[Fig. 8]은 이 실험의 결과를 그래프로 나타낸 것이다. [Fig. 8]의 그래프에서 확인할 수 있듯이, 영역-고유 지식을 바탕으로 사전에 정의된 규칙들을 활용한 경우들이 그렇지 않은 경우(0 rule)보다 더 빠른 학습 수렴 속도를 보여준 것을 확인할 수 있다. 또 사전 정의된 규칙들을 점점 더 많이 사용할수록 신규로 학습해야 할 규칙의 수는 감소하기 때문에 학습 수렴 시간이 훨씬 단축되었고, 신규 규칙 학습에만 계산을 더 집중할 수 있어 성공률이 더 높은 양질의 규칙들을 학습할 수 있었다.

[Fig. 8] 
Performance evaluation of using domain-specific predefined rules

다음 실험은 학습된 작업의 안전성, 효율성 정책 규칙들을 중심으로 본 논문에서 제안하는 작업 정책 학습기의 성능을 정성적으로 평가해보는 실험이다. 이 실험에서 작업의 안전성 예측을 위해서는 배터리 안전성(B_safety), 충돌 안전성(C_safety), 적재 안전성(S_safety) 등을, 작업의 효율성 예측을 위해서는 시간 효율성(T_efficiency), 자원 효율성(R_efficiency) 등을 정책 파라미터들로 삼아, 개별 평가 함수를 통해 각각 –2~2의 5가지 레벨로 파라미터 등급을 추론하였다. 최종적으로 심층 관계형 강화학습을 통해 학습된 안전성, 효율성 정책 규칙들은 [Table 1]과 같다.

규칙 결론부(head)인 정책 서술자(policy predicate)도 각각 –2~2의 5가지 등급의 안전성, 효율성을 나타내며, 규칙 조건(condition)들은 다면적으로 평가한 정책 파라미터들의 평가값이다. [Table 1]의 학습된 관계형 정책 규칙들은 기존의 심층 신경망이나 강화학습으로 학습하는 벡터 형태의 규칙들에 비해 매우 직관적으로 의미 해석이 가능하며 적용 가능 범위도 더 넓다, 또 필요하다면, 학습된 규칙들을 설계자나 전문가가 쉽게 수정 보완하는 것도 가능하다.

다음은 시뮬레이션 작업 환경을 이용해 [Table 1]의 학습된 안전성과 효율성 정책 규칙들의 유효성을 검증해보았다. 이 실험에서는 동적으로 변화하는 작업 환경 상태마다 학습된 정책 규칙들을 적용하여 작업의 안전성과 효율성 등급을 예측하였고, [Table 2]는 해당의 실험 결과들을 나타낸다. Isaac 시뮬레이터로 구현한 작업 환경에는 총 2대의 작업 로봇(robot 1, robot 2)이 등장하며 동일한 작업에 대해 환경 상태 변화에 따라 해당 작업에 관한 각 로봇의 안전성과 효율성 등급을 예측해보았다. [Table 2]의 첫 번째 상태의 경우, 거리가 멀어 작업 소요 시간이 오래 걸리고 배터리 잔량도 적은 상태인 robot 2에 비해 동일 작업에 대한 robot 1의 안전성, 효율성 등급이 더 높게 추론되었다. 두 번째 상태의 경우도 robot 2의 배터리 잔량은 충분하지만, 이동 경로에 2번의 충돌 가능성(conflict)이 있기 때문에 해당 작업에 관해 robot 1보다 더 낮은 안전성 등급을 예측하였으며, 화물까지 이동해야 할 거리가 더 멀어 작업 시간 더 오래 걸릴 것으로 예상되는 robot 2의 효율성 등급이 robot 1보다 더 낮게 예측되었다. 세 번째 상태의 경우, robot 1은 이미 다른 화물을 싣고 있는 상황에서 해당 작업을 위해 추가 화물을 적재하면 안정성(stability)에 문제가 발생할 수 있어, 안전성 등급을 robot 2보다 낮게 예측하였다. 또한, robot 1은 자원(resource) 소모 측면에서도 robot 2에 비해 비-효율적이어서 더 낮은 효율성 등급을 예측하였다.

Environment	Policy Parameters						Inference Results
		safety			efficiency		safety	efficiency
		battery	conflict	stability	time	resource
	robot 1 (blue)	Grade 2	Grade 2	Grade 0	Grade 2	Grade 2	Grade 1	Grade 2
	robot 2 (yellow)	Grade -2	Grade 2	Grade 0	Grade -1	Grade -2	Grade 0	Grade -1
	robot 1 (blue)	Grade 2	Grade 2	Grade 0	Grade 2	Grade 2	Grade 1	Grade 2
	robot 2 (yellow)	Grade 1	Grade 0	Grade 0	Grade -1	Grade 1	Grade 0	Grade 0
	robot 1 (blue)	Grade -1	Grade 2	Grade -2	Grade 2	Grade -2	Grade 0	Grade 0
	robot 2 (yellow)	Grade 1	Grade 1	Grade 0	Grade -1	Grade 2	Grade 1	Grade 1
	robot 1 (blue)	Grade -1	Grade 2	Grade 0	Grade 2	Grade 1	Grade 0	Grade 1
	robot 2 (yellow)	Grade -1	Grade 2	Grade 0	Grade 2	Grade 1	Grade 0	Grade 1

마지막으로 매우 희소하게 발생하는 네 번째 상태의 경우는 robot1과 robot2에 관해 추론된 정책 파라미터들의 등급이 모두 같아서, 최종적으로 안전성 등급과 효율성 등급도 모두 동일하게 예측된 경우이다. 이와 같은 경우에는 어느 로봇에게 작업을 할당해야 될지 판정하기 어려워진다. 이러한 문제점을 해결하기 위해서는 현재보다 더 다양한 정책 파라미터들과 학습 규칙들이 추가적으로 개발되어야 할 필요가 있다고 판단된다.