Flocking behavior를 달성하기 위해, UAV가 flock의 중심을 향하도록 (cohesion), 가까운 이웃과 충돌하지 않도록 (separation), 그리고 주변 UAV들과 속도 방향을 일치하도록 (alignment) reward 함수를 설계하였다^[26].

먼저, [Fig. 4]와 같이 UAV가 flock의 중심에 가까이 가도록 하기 위한 cohesion reward를 설계하였다. UAV의 중심과 flock의 중심 사이의 거리 x_coh가 desired cohesion distance d_coh보다 가까우면 +1의 reward가 주어진다. 그러나 d_coh를 초과하면, penalty가 주어지고 과도하게 penalty가 커지는 것을 방지하기 위해 maximum cohesion distance D_coh을 초과하는 경우 -1로 제한을 둔다. 그 외의 경우에는 -1과 0 사이의 penalty가 주어진다.

[Fig. 4] 
Reward for cohesion

Separation에 대해서는, [Fig. 5]와 같이 UAV끼리 충돌하지 않도록 하기 위한 reward를 설계하였다. UAV의 중심과 가장 가까운 다른 UAV의 중심 사이의 거리 x_sep이 충돌 반경 d_col의 두 배보다 가까운 경우 -1의 penalty가 주어진다. 만약 desired separation distance D_sep를 초과하면 +1의 reward가 주어진다. 그 외에는 -1과 0사이의 penalty가 주어진다.

[Fig. 5] 
Reward for separation

마지막으로 alignment에 대해서는, [Fig. 6]과 같이 주변 UAV들의 속도 방향과 일치시키기 위해 UAV의 속도 방향과 주변 UAV의 평균 속도 방향 사이의 차이 x_ali만큼 penalty가 주어진다. x_ali는 최대 π만큼 차이가 나기 때문에 이 경우 -1의 penalty가 주어지도록 하였다. 이러한 flocking의 세 가지 하위 목표들, 즉 cohesion, separation, 그리고 alignment는 UAV들이 군집 내에서 효율적으로 움직이며, 동시에 안전성을 보장하고 목표지점에 성공적으로 도달할 수 있게 하는 역할을 한다.

[Fig. 6] 
Reward for alignment

장애물 회피를 위해 먼저 [Fig. 7]과 같이 UAV가 좁은 틈을 통과하기 위한 reward를 설계하였다. UAV의 속도 방향과 사전에 정의된 θ_gap을 이등분하는 파란 점선 사이의 각도 x_{gap_ali}가 12θgap보다 작은 경우 +1의 reward가 주어진다. 그렇지 않을 경우, UAV의 속도 방향이 틈에서 멀어짐에 따라 최대 -1의 penalty가 주어진다. 이를 통해, UAV는 장애물을 피해 좁은 틈으로 이동할 수 있게 된다.

[Fig. 7] 
Reward for moving towards the narrow gap

또한, UAV가 벽으로부터 멀어질 수 있도록 하기 위한 reward를 설계하였다. [Fig. 8(a)]와 같이 UAV와 장애물 사이 틈을 이등분하는 파란 점선 사이의 거리 x_{gap_sep}가 12θgap보다 큰 경우, UAV가 틈으로부터 멀어진다는 것을 알 수 있고, 이때 UAV가 벽 앞에 위치하게 되며, 그 결과로 penalty가 점진적으로 주어진다. 만약 maximum distance from gap D_gap보다 커지게 되면 최대 -1의 penalty가 주어진다.

[Fig. 8] 
Rewards for moving away from the walls. (a) shows the reward according to the distance from the center of the gap. (b) shows the reward based on distance from the walls

[Fig. 8(b)]와 같이 UAV와 벽 사이의 거리 x_wall가 safe distance to wall d_wall보다 작은 경우, 벽과 충돌할 가능성이 커지므로 penalty가 점진적으로 주어진다. 그리고 UAV의 충돌 반경과 같아지는 순간 최대 -1의 penalty가 주어진다. 이러한 장애물 회피 reward 함수 설계는 UAV가 장애물과의 충돌을 피하고 좁은 틈을 통해 목표지점으로 이동할 수 있도록 한다.

목표지점에 도달하기 위해 navigation reward R_nav는 d_nav,t-1-d_nav,t에 비례한다. [Fig. 9]에서 볼 수 있듯이 d_nav,t-1는 action을 취하기 전의 UAV 중심과 목표지점 중심 사이의 거리 x_nav이며, d_nav,t는 action 이후의 해당 x_nav이다. 그 결과, UAV가 목표지점에 접근할 때마다 reward가 주어지고, 목표지점으로부터 멀어질 때마다 penalty가 주어진다. 한 time step 동안 움직일 수 있는 최대 거리를 초과하는 경우, 최대 크기 1의 reward 또는 penalty가 주어진다. 이러한 방식으로, UAV는 목표지점에 효과적이고 신속하게 이동하도록 한다. 여기서 v_max는 UAV의 최대 이동 속도이고, Δt는 time step의 크기이므로 v_maxΔt는 한 time step 동안 이동할 수 있는 최대 거리를 나타낸다.

[Fig. 9] 
Reward for navigation

매 time step마다 action을 취한 후 UAV에게 주어지는 total reward는 설명한 reward들의 가중 합이고, 식 (8)과 같이 나타낼 수 있다. 이를 통해, 각 하위 목표에 따른 reward들이 적절하게 조합되어 최종적으로 UAV들이 flocking을 이루며 좁은 틈을 지나 목표지점에 도달하는 collective navigation이 가능하게 된다. 각 reward term에 대한 가중치는 [Table 1]과 같이 중요성에 따라 조절할 수 있으며, 이러한 가중치 조절을 통해 성능을 최적화할 수 있다. 또한, UAV가 목표 state에 빠르게 도달하고 에피소드의 종료 조건을 명확하게 알 수 있도록 termination reward가 에피소드 종료 시 추가적으로 주어진다. Termination reward는 [Table 2]와 같다. 목표지점 도달 시 10.0의 reward가 주어지고, 충돌이 발생하거나 UAV가 flock으로부터 멀리 떨어질 경우 -5.0의 penalty가 주어진다. Reward 설계 시 사용된 parameters는 [Table 3]과 같다.

각 UAV는 식 (9)와 같은 kinematic model을 따른다.

여기서 p = (x,y)는 UAV의 위치를 나타내고, v=x˙,y˙는 속도를 나타낸다. v_d는 신경망에서 생성되는 UAV의 속도 제어 명령이다. UAV의 부드러운 움직임을 위해 식 (10)과 같이 이전 time step의 속도와 현재 time step의 제어 명령을 각각 85 %와 15 %의 비율로 섞어서 최종 속도 제어 명령을 생성한다.

본 논문에서는 보다 빠른 학습과 성능 향상을 위해 task-specific curriculum을 사용한다. 이 curriculum은 [Fig. 12]와 같이 환경의 난이도를 점진적으로 높여가며 학습을 진행한다. 난이도를 조절하는 요소는 1) 장애물의 +x 방향 위치, 2) 장애물로 인해 생기는 틈이 x축 기준 y 방향으로 랜덤하게 위치할 수 있는 거리, 3) 틈 사이의 거리로 총 3가지가 있다. 환경의 난이도는 총 10단계로 나누어져 있으며 1단계는 처음 시작 단계로서 가장 쉬우며 점차 단계가 높아질수록 환경의 난이도가 상승한다.

[Fig. 12] 
Difficulty of task with level

[Fig. 12]에서 볼 수 있듯이, 1단계에서 장애물로 인해 생기는 틈의 +x 방향 위치는 0 m이고, x축 기준 y방향으로 틈이 랜덤하게 위치할 수 있는 거리는 0 m이며, 틈 사이의 거리는 4 m이다. 마지막 단계인 10단계에서 장애물로 인해 생기는 틈의 +x 방향 위치는 5 m이고 x축 기준 y방향으로 틈이 랜덤하게 위치할 수 있는 거리는 최대 2 m이며, 틈 사이의 거리는 최소 2 m이다.

환경 난이도를 높이는 기준은 [Fig. 13]과 같다. 최근 10번의 에피소드 중 적어도 8번 이상 UAV가 목표지점 도달에 성공하면 환경의 난이도를 높인다. 이러한 접근 방식은 모델을 점진적으로 복잡한 환경에 적응시키며, 학습 수렴 속도와 일반화 능력을 향상시킨다.

[Fig. 13] 
Criteria for increasing the difficulty of the environment

본 논문에서는 알고리듬의 성능을 평가하기 위해 학습 시 사용하지 않은 환경에서 총 100번 검증했다. 평가지표는 목표지점 도달 성공률 success rate (SR), 평균 비행 시간 average episodic length (AEL), flock의 중심과 UAV들 사이의 평균 거리 average distance between flock center and UAVs (ADFCU)로 총 세 가지이다.

첫번째로, 목표지점 도달 성공률 SR은 식 (11)과 같이 전체 시도 횟수 중에서 모든 UAV가 목표지점에 도달한 비율을 나타낸다.

여기서 M은 전체 시도 횟수, SE는 전체 시도 횟수 중에서 N=SUT=TU인 에피소드 수를 의미한다. SUT와 TU는 각각 마지막까지 충돌이 일어나지 않은 UAV 수와 목표지점에 도달한 UAV 수를 의미한다.

두번째로, 평균 비행 시간 AEL은 식 (12)와 같이 모든 UAV가 목표지점에 도달하는 경우에 한하여, 초기 영역에서 목표지점 영역까지 이동하는데 걸린 시간을 의미한다.

여기서 T는 식 (13)과 같이 모든 UAV가 목표지점에 도달한 경우의 에피소드 길이를 의미하고, 그렇지 않을 경우에는 0의 값을 가진다.

마지막으로 flock의 중심과 UAV들 사이의 평균 거리 ADFCU는 식 (14)과 같이 모든 UAV가 목표지점에 도달하는 경우에 대한 해당 거리들의 평균이다.

여기서 RU는 N=SUT=TU를 만족하는 UAV들의 집합이다. 이러한 지표들은 알고리듬의 성능을 종합적으로 평가할 수 있도록 한다.

먼저, 관찰 가능한 적절한 이웃 UAV 수를 결정하는 기준에 대해서 다루도록 한다. 통신 범위 내에 있는 모든 이웃 UAV들의 정보를 활용하는 방법은 다양한 주변 정보를 얻는 이점이 있지만, 가까운 UAV 수가 많아질 수록 불필요한 정보가 담기는 경우가 있을 수 있다. 또한, 관찰 가능한 이웃 UAV 수를 임의로 설정하는 경우, 그 수에 따른 성능 차이가 있을 수 있다. 따라서 본 논문에서는 통신 범위 내에 있는 관찰 가능한 이웃 UAV 수에 따른 성능을 비교하여 이웃 정보를 효율적으로 활용하고자 한다.

관찰 가능한 이웃 UAV는 거리에 따라 정하도록 한다. 예를 들어 관찰 가능한 UAV의 수가 5라고 정해지면 통신 범위 내에 있는 가장 가까운 이웃 UAV 5대의 정보만을 활용하는 것이다.

환경의 최종 난이도에 도달하는 관찰 가능한 이웃 UAV 수를 확인하기 위해 UAV 10대로 task-specific curriculum을 이용한 학습을 진행하였다. 전체 UAV 수가 10대이므로 이웃 UAV의 정보를 1대부터 9대까지 이용하여 각각의 성능을 비교하였다. [Fig. 14]에서 볼 수 있듯이 환경의 최종 난이도에 도달한 관찰 가능한 이웃 UAV 수는 5, 6, 8, 그리고 9가 있다. 이를 통해, 제안된 알고리듬은 관찰 가능한 이웃 UAV 수가 5 이상인 경우 시뮬레이션 환경에서 대부분 최종 난이도에 도달할 수 있다는 것을 확인할 수 있다.

[Fig. 14] 
Maximum reached level in curriculum learning with a different number of observable neighbor UAVs

관찰 가능한 이웃 UAV 수가 5인 경우부터 9인 경우까지 성능을 비교하기 위해 각각 최종 난이도의 환경에서 목표지점 도달 성공률을 비교하였다. [Fig. 15]에서 볼 수 있듯이 관찰 가능한 이웃 UAV 수가 5인 경우의 성능이 가장 높다. 이는 통신 범위 내에 있는 모든 이웃 UAV들을 활용하는 것보다 가장 가까운 5대의 이웃의 정보를 활용하는 것이 더 효과적이라는 것을 나타낸다.

[Fig. 15] 
Success rates of reaching target for UAVs with the number of observable neighbor UAVs ranging from 5 to 9

이러한 현상이 발생하는 이유는 더 적은 수의 이웃 정보를 활용하게 되면 정보에 노이즈가 덜 포함될 수 있지만, 정보의 범위가 짧아져서 대규모 행동 패턴을 이해하거나 예측하는 데에 한계가 있을 수 있기 때문이다. 반면에 더 많은 수의 이웃 정보를 활용하게 되면, 정보의 범위는 넓어지겠지만 노이즈가 늘어날 가능성이 있다. 또한, 더 많은 이웃의 정보를 처리해야 하므로, 정보의 복잡성이 증가하고 학습이나 의사결정에 있어 수렴이 더 어려워질 수 있다. 그러므로 적절한 수의 이웃 정보를 활용하는 것이 중요하며, 이는 [30]에서도 2차원 상에서는 3-5개, 3차원 상에서는 6-7개의 이웃을 고려하는 것이 flocking behavior에 최적임을 보여준다. 따라서 본 논문에서는 통신 범위 내에 있는 가장 가까운 5대의 이웃 UAV 정보를 활용하도록 한다.

이제 curriculum의 영향을 정량적 평가 지표를 통해 확인하도록 한다. 관찰 가능한 이웃 UAV 수를 5로 설정하였으므로, 총 6대로 학습시킨 후, 여기서 학습된 신경망을 사용하여 추가적인 학습 없이 전체 UAV 수 8, 10, 12, 15대까지 테스트를 진행하여 결과를 확인하였다.

Curriculum을 사용하지 않고 학습을 진행한 경우, [Table 5]에서 볼 수 있듯이, 전반적으로 낮은 목표지점 도달 성공률을 보인다. 이는 학습 초기부터 매우 도전적인 환경을 마주하게 되면 collective navigation을 학습하기 어렵기 때문이다. 반면에, curriculum을 사용하여 학습을 진행한 경우 아주 쉬운 난이도의 환경부터 점진적으로 학습을 진행함으로써 curriculum 개념을 사용하지 않은 방법보다 높은 목표지점 도달 성공률을 달성할 수 있다. [Table 6]에서 볼 수 있듯이 평균 비행 시간 측면에서 curriculum을 사용한 방법이 curriculum을 사용하지 않은 방법보다 더 빠르게 목표지점에 도달하였고, [Table 7]에서 볼 수 있듯이 flock의 중심과 UAV 간의 평균 거리에서도 curriculum을 사용한 방법이 curriculum을 사용하지 않은 방법에 비해 더 작은 값을 가지므로, 더 나은 flocking behavior를 보인다.

또한, [Fig. 15]와 [Table 5]를 살펴보면 총 10대로 학습시킨 신경망을 이용한 10대의 목표지점 도달 성공률 49%와 총 6대로 학습시킨 신경망을 이용한 10대의 목표지점 도달 성공률 46%의 차이는 아주 미비하다는 것을 알 수 있다. 이를 통해 효율적인 관찰 가능한 이웃 UAV 수를 설정함으로써 적은 수의 UAV로 학습시킨 신경망으로 더 많은 수의 UAV를 성공적으로 제어할 수 있음을 알 수 있으며, 이는 제안된 알고리듬의 확장성을 보여준다.

또한, 학습 수렴 속도 측면에서도 curriculum의 영향을 확인하였다. 최종 난이도의 환경에서 UAV 6대, 관찰 가능한 이웃 UAV 수 5대를 이용하여 학습을 진행하였다. 학습 수렴 속도는 [Fig. 16]에서 볼 수 있듯이 curriculum을 사용한 방법이 더 빠르고 안정적으로 학습된다. 반면에 curriculum을 사용하지 않은 방법은 curriculum을 사용한 방법에 비해 더 학습 시간이 더 오래 걸리고 최종 성능 또한 좋지 못했다.

[Fig. 16] 
Effect of curriculum learning

본 섹션에서는 제안된 알고리듬과 기존 방법^[19]의 성능을 비교한다. 기존 방법은 [19]에서 사전 학습된 모델을 사용하지 않고 [Fig. 11]과 같이 본 논문과 동일한 학습 환경에서 새롭게 학습했다. Curriculum 방법을 사용하지 않았기 때문에 학습 난이도는 10단계로 고정했다. 학습을 위한 UAV 수는 10대를 이용한다.

[19]에서 제안된 방법은 여러 대의 UAV가 flocking을 이루며 장애물이 있는 환경에서 목표지점까지 도달하기 위해 심층 강화학습을 사용하였다. 하지만 장애물이 sparse하게 배치된 환경에 최적화된 observation 및 reward 함수를 사용하고 관찰 가능한 이웃 UAV 수는 3으로 임의로 설정하였으며 curriculum 역시 사용하지 않았다.

[Fig. 17]과 [Table 8]은 제안된 알고리듬이 [19]에서 제안된 방법과 비교할 때 더 뛰어난 성능을 가짐을 보여준다. 먼저, 목표지점 도달 성공률에서 유의미한 향상을 보였다. [19]에서 제안된 방법은 좁은 틈이 있는 환경에서 6%의 목표지점 도달 성공률을 보인 반면, 제안된 알고리듬은 46%의 목표지점 도달 성공률을 보였다. 이는 기존 방법에 비해 제안된 알고리듬의 강건성을 보여주는 결과이다. 또한, 평균 에피소드 길이는 본 논문에서 제안된 알고리듬이 [19]에서 제안된 방법 보다 더 작은 값을 가지기 때문에 더 짧은 시간 내에 목표지점에 도달할 수 있음을 보여준다. 마지막으로, flock의 중심과 UAV 간의 평균 거리는 본 논문에서 제안된 알고리듬과 [19]에서 제안된 방법이 비슷한 값을 가지므로 목표지점 도달 시 비슷한 flocking behavior를 가짐을 보여준다. 이러한 결과를 얻게 된 이유로는 환경 구성과 이웃 정보 활용 방식에 차이가 있고, curriculum의 사용 유무 등이 있을 수 있다. 종합적으로, 본 논문에서 제안된 알고리듬은 기존 방법과 비교하였을 때 더 뛰어난 성능을 보임을 확인하였다.

[Fig. 17] 
Flight paths of UAVs performing collective navigation in a simulation environment with a narrow gap. (a), (b), and (c) are simulation results using the method proposed in [19], and (d), (e), and (f) are simulation results using our proposed algorithm. In (a) and (d), the narrow gap is located at +2m in the y-direction; in (b) and (e), it is located at 0m in the y-direction; and in (c) and (f), it is located at -2m in the y-direction. For all scenarios from (a) to (f), obstacles are located at 5m in the x-direction, the narrow gap is 2m, and the target is located 2m behind the narrow gap

[Table 5]는 환경의 난이도가 높아짐에 따라, 제안된 알고리듬의 목표지점 도달 성공률도 점차 줄어드는 것을 보여준다. reward 함수에서 사용된 가중치와 학습 하이퍼파라미터들은 여러 차례의 실험을 통해 선정되었는데, 이 값들을 지속적으로 조정하며 최적화하는 작업이 필요하다는 점이 드러났다. 현재 제안된 알고리듬의 policy는 과거의 observation에 대한 정보를 충분히 저장하거나 반영하는데 한계가 있다. 이를 극복하기 위해선, long short-term memory (LSTM)^[31] 또는 transformer^[32]와 같은 아키텍처의 도입을 고려할 수 있다. 이러한 방식들은 신경망이 이전의 데이터를 더 효과적으로 활용하게 해주어, 더욱 강건한 policy 학습이 가능하게 한다.