Feedback 기반 네트워크 및 거동 수준 데이터 증강을 통한 End-to-End 주행의 강인성 향상

2.1 Feedback 기반 네트워크 모델 구조

본 연구에서 제안하는 주행 제어 네트워크는 기능적 측면에서 모듈화된 구조를 따르며^[6], 인지 모듈, 계획 모듈, 그리고 제어 모듈로 구성된다([Fig. 1]). 전체 네트워크는 카메라 이미지, 차량의 상태 및 경로 정보를 입력으로 받아, 이를 기반으로 안정적이고 연속적인 주행 경로 및 제어 명령을 생성하도록 설계하였다.

[Fig. 1]

Overall network architecture with a feedback-based control module

먼저, 인지 모듈(Perception)은 멀티 뷰 카메라 이미지, Ego 차량의 상태(현재 속도) 및 전역 경로(Route) 입력을 받아 잠재 공간에서의 인지 특징(Perception Features)을 도출한다. (640, 360)의 해상도를 갖는 5개의 카메라 이미지 (I_0:5)는 하나의 Vision Transformer (ViT) encoder^[7,8]를 통해 Visual Feature (z_p)로 인코딩되며, 각각의 Multilayer Perceptron (MLP) 를 통해 인코딩된 Ego Feature (z_ego) 및 Route Feature (z_route)와 Concatenate 연산 (ConCat)을 통해 결합된다:

이는 주변 주행 특징과 Ego 차량의 운동학적 특징, 그리고 전역 경로에 대한 전반적인 특징을 담는다.

이와 별도로, 하나의 MLP 모듈(Speed MLP)을 추가적으로 구성하여 전방 카메라 이미지(I₀) 및 전역 경로 정보에 기반하여 현재 상황에서의 적합한 주행 속도를 예측하도록 한다:

이는 End-to-End 모델이 현재 주행 상황에 맞는 적정 속도를 추론할 수 있도록 한다. 또한, Ego 상태 정보를 활용하여 속도 오차(v_err = v_des – v_ego)를 계산할 수 있으며, 이는 현재 주행 상황에 맞는 속도로 주행하기 위해서는 어느 정도의 편차가 존재하는지에 대한 정보를 제공할 수 있게 한다.

다음으로, 계획 모듈(Planning)은 인지 모듈에서 생성된 Visual Feature, z_p를 입력받아 향후 Ego 차량의 주행 궤적(w_0:N)을 예측한다. 주행 궤적은 현재 스텝의 궤적 포인트(w₀)에서 시작하여 N개를 재귀적으로 예측하며, 이를 위해 순환적 네트워크 연산을 처리할 수 있는 Gated Recurrent Unit (GRU)^[9] 구조를 적용하였다. 각 궤적 포인트는 현재 Ego 차량 기준 상대적 위치 정보를 갖는다$$ \left(w_t=\left\{x_t^{local},y_t^{local}\right\}\right)$$. End-to-End 제어에 대한 학습과 함께 계획에 대한 학습을 수행하며, 이는 지역 경로에 대한 공간적 특성과 이를 추종하기 위한 제어 특성을 동시에 학습할 수 있게 한다.

마지막으로, 제어 모듈(Control)은 인지 임베딩 z_p를 바탕으로 차량의 종방향 및 횡방향 제어 명령을 산출한다. 본 연구에서는 제어 모듈을 Lateral MLP와 Longitudinal MLP로 분리하여 구성하고, 종방향 거동에 대한 강인성을 증대하기 위해 속도 오차(v_err)를 함께 입력 받는 Feedback 구조를 갖는 네트워크 모델을 설계하였다(Branched Control Prediction Module). Lateral MLP는 Control MLP를 거친 인지 특징 정보를 이용하여 조향 각 명령을 위한 특징 벡터를 예측하며, Longitudinal MLP는 인지 특징 정보와 함께 속도 오차를 입력으로 하여 가속 및 감속 명령을 위한 특징 벡터를 계산한다:

이후 두 제어 위한 특징 벡터는 통합 제어 특성을 위한 선형 레이어(Control FC)를 통해 결합되어 최종적인 차량 제어 명령(Steering, Throttle)으로 변환된다. 이러한 Feedback 정보가 담긴 단계적 구조는 인지 정보뿐만 아니라 계획한 적정 목표 속도 대비 오차 값을 함께 제어 프로세스에 제공하며, 이는 학습 데이터 상에서 관찰하기 어려운 복잡한 종방향 거동의 주행 상황(예: 곡선 주행, 경사로 주행 등)에서 강인한 주행 성능을 발휘하도록 한다.

2.2 거동 수준 데이터 증강 기법

본 연구에서는 주행 상황에 따른 다양한 거동 특성을 학습하기 위하여, 거동 수준 데이터 증강(Maneuver-level Data Augmentation) 기법을 적용하였다([Fig. 2]). 제안된 기법은 차량의 종방향 주행 관점 기준으로 데이터를 확장함으로써, End-to-End 모델이 가속 또는 감속 구간의 서로 다른 속도 및 주행 조건에서도 안정적인 제어를 수행할 수 있도록 한다.

[Fig. 2]

Illustration of the maneuver-level data augmentation. When the ego speed is adjusted to be faster, a smaller throttle value is applied; conversely, when the ego speed is adjusted to be slower, a larger throttle signal is applied

거동 수준 데이터 증강은 수집된 주행 데이터를 기반으로 Ego 차량의 속도를 일정한 값으로 조정하고, 이를 보상할 수 있는 Throttle 제어 값을 반대 부호 방향으로 보정하는 방식으로 수행된다. 예를 들어, 기존 데이터가 특정 Ego 속도 $$ v_{ego}^{gt}$$에서 Throttle 제어값 $$ {\tau }_{ego}^{gt}$$로 구성되어 있다면, 속도를 낮춘 경우 더 큰 Throttle 값을, 속도를 높인 경우에는 더 작은 Throttle 값을 적용하도록 조정한다. 조정 및 보정의 정도를 나타내는 속도 편차(Δv_ego) 및 제어 편차(Δτ_ego)는 최대 보정값 범위 내에서 무작위로 샘플링되어 도출되며, 다양한 주행 조건에서의 학습 데이터를 제공하게 한다:

이와 같은 증강 과정은 실제 도로 주행에서 발생할 수 있는 다양한 상황(예: 오르막길, 내리막길, 저마찰 노면 등)을 가상적으로 재현함으로써, 모델이 보다 강건한 피드백 제어 정책을 학습할 수 있도록 한다. 결과적으로, 거동 수준 데이터 증강은 한정된 실험 데이터로도 주행 안정성과 일반화 성능을 동시에 향상시킬 수 있었다.

2.3 모방 학습 기법

제안하는 End-to-End 주행 모델은 주행 속도 예측, 주행 경로 궤적, 그리고 제어 추론에 대한 출력을 도출한다. 본 연구에서는 모방학습을 통해 네트워크 모델을 학습시키며 이를 위한 비용함수는 아래와 같다:

세 비용함수는 L1 Norm 함수에 기반한다. 속도 예측을 위한 비용(L_speed)은 속도 예측 값 v_des와 거동 수준 데이터 증강이 적용된 주행 속도 값 $$ {\widehat{v}}_{ego }^{gt}$$사이의 편차로 정의된다. 계획 모듈의 출력에 대한 비용(L_plan)은 N 스텝의 주행 궤적 각 포인트 별 편차를 실제 주행 궤적($$ w_t^{gt}$$)을 통해 계산하고 이들의 합산으로 설정한다. 제어 값 추론을 위한 비용(L_cont)은 조향각 δ_ego 및 Throttle 값 τ_ego에 대한 비용의 합산으로 정의한다. 이때, Throttle 값의 Ground truth (gt)값은 거동 수준 데이터 증강을 통해 조정된 데이터($$ {\widehat{\tau }}_{ego }^{gt}$$)를 사용한다.

3.1 학습 구성

학습 데이터는 하나의 주행 Scene에 대해 60초 동안 10 Hz의 주기로 취득하였고, 373 개의 주행 상황을 취득하여 총 223,800 개의 카메라 이미지, 경로 정보, Ego 차량 정보 및 주행 경로 및 제어 Label 데이터셋을 구성했다. 카메라 이미지의 해상도는 (640, 360)이며, 전역 경로 정보는 Ego 차량 기준 후방 15 m, 전방 50 m 구간을 1 m 간격으로 구성한 75 개의 경로점이다. 차량 정보는 Ego 차량의 현재 속도를 사용한다. 데이터셋은 시뮬레이터 내의 Built-in AI로 주행하여 취득되었으며, 비교적 취득이 평이한 도심 평지 환경에서의 다차로 및 교차로 환경에서의 데이터를 구성했다([Fig. 3]). Batch 크기는 각 GPU당 12개였으며 24 GB의 VRAM을 갖는 GPU 2개를 사용했고, 사전 학습 없이 처음부터 학습을 수행했다. 학습 단계에서는 계획 및 제어 모듈 모두 추론을 수행했으며, 평가 단계에서는 시뮬레이터 환경 내에서 End-to-End 모델의 제어 출력 값에 의한 Closed-loop 제어 프로세스를 수행했다. 네트워크 모델에 대한 세부 사항은 [Table 1]에서 확인할 수 있다.

[Fig. 3]

Examples of the camera images in the training dataset

[Table 1]

Network architecture configuration

3.2 평가 환경 및 시나리오 구성

평가 환경은 다양한 도심 환경을 모사할 수 있는 MORAI 시뮬레이터^[10]를 사용하여 구성하였다. 본 연구에서는 다섯 개의 카메라가 장착된 차량([Fig. 4(A)])을 학습 데이터 취득 및 평가용 플랫폼으로 사용했다.

[Fig. 4]

(a) Vehicle platform for the ego vehicle. (b) We configure our experiments in novel urban scenarios including uphill and downhill sections where all are not contained in the training dataset. (c) Uphill section. (d) Downhill section

시나리오는 총 네 가지로 구성하였다([Fig. 4]). 실험을 위한 도심 구간은 1) 평지 주행(Nominal Driving), 2) 오르막길 주행(Uphill Driving), 3) 내리막길 주행(Downhill Driving), 4) 우회전(Right-Turn)으로 구성된다. 평지 주행구간은 학습 데이터에서 주로 취득한 환경과 유사한 조건을 갖는다. 그러나 오르막길 및 내리막길 구간은 학습 환경에서 존재하지 않는 조건이며, 이는 모델 구조 및 데이터 증강에 따라 성능 차이가 크게 발생할 수 있다. 또한, 마지막 우회전 구간은 평지에서의 구간과 달리 내리막길 직후의 구간이므로 평지에서의 구간보다 더 안정적인 감속 및 교차로 주행 거동을 요구한다. 각 시나리오 구간은 시뮬레이션 환경 내의 기준점을 기준으로 구분되며, 해당 기준점들은 [Fig. 4]에 표시하였다.

3.3 평가 모델 및 항목 구성

본 논문에서 제안하는 Feedback 구조가 전체 End-to-End 주행 성능에 미치는 영향을 평가를 위해 아래와 같이 평가 모델을 정의한다. 제안하는 Feedback 기반 구조와 비교하기위해 다른 별도의 기법들이 최소한으로 구성된 모델을 구성한다:

E2ENet: 본 논문에서 제시한 [Fig. 1]의 Perception, Planning, Control의 모듈들은 유지하되, Speed MLP 및 Branched Control Prediction 모듈을 제거한 모델. Feedforward 프로세스 위주로 구성되었으며, 기존 End-to-End 모델들^[1-4]과 유사한 구조를 갖는다.

FeedNet: 기존 모델과 달리, 주행 환경에서의 적정 속도를 예측하고, 속도 예측과 현재 Ego 차량의 속도 사이의 에러 값에 대해 Feedback 입력을 받는 Branched Control Prediction 모듈을 갖는 모델을 갖는다.

평가 항목은 앞서 서술한 네 가지의 도심 구간에서의 주행률(Progress) 및 평균 속도(Speed)를 다룬다. 주행률은 해당 구간에서의 자율 주행성을 정량적으로 평가할 수 있으며, 평균 속도는 구간을 얼마나 안정적이고 효율적으로 주행하는지에 대한 기준이 될 수 있다. 실험 도중 실선 침범 또는 연석 충돌이 발생할 경우를 충돌로, 전역 경로를 5 m 이상 벗어났을 경우를 이탈로 정의하고, 해당 충돌 또는 이탈이 발생한 시점까지의 주행률과 평균 속도를 계산한다.

4.1 End-to-End 주행 성능 비교

[Table 2]는 End-to-End 모델의 각 구간 별 주행 성능을 비교한 결과를 보여준다. 비교 결과, FeedNet의 주행률 및 평균 속도가 높고 안정적이었다. Nominal 구간의 경우, 학습 데이터에서 충분히 제공되는 조건의 시나리오이므로 두 모델 모두 100%의 주행률 및 20-30 km/h의 평균 속도를 나타냈다. 그러나 Uphill의 경우, 기존 모델은 학습 데이터 외의 환경을 대응하지 못하여 일정 주행률을 가질 수 없었다. Downhill의 경우, 주행률은 100%이었으나, 내리막길 경사로 인해 평균 속도가 지나치게 높았고 이는 Right-Turn 구간에서 안정적인 선회를 하지 못하게 했다. 반면, FeedNet의 경우, Uphill/Downhill 및 그 직후의 Right-Turn 구간을 모두 주행할 수 있었고, 평균 속도도 33 km/h 이하로 안정적으로 유지할 수 있었다.

[Table 2]

Quantitative performance evaluation among baseline models

4.2 주행 거동 분석

[Fig. 5], [Fig. 6]은 네 가지 주행 시나리오에서의 전반적인 주행 궤적 및 제어 궤적을 보여준다. E2ENet은 오르막길 구간 전, 충분한 Throttle 제어 값을 도출하지 못했고, 진입하지 못했다. Downhill 구간에서는 작은 양의 Throttle 값을 도출했으나 경사로로 인해 40 km/h 이상까지 가속하게 되었고, 결과적으로 우회전을 안정적으로 수행하지 못하고 도로를 이탈하게 되었다. 반면 FeedNet의 경우, 모든 구간을 끊김없이 주행할 수 있었으며, Uphill 구간에서는 진입을 위한 충분한 양의 Throttle(accel)을, Downhill 구간에서는 높은 현재 속도를 안정화하기 위한 음의 Throttle(brake)을 도출할 수 있었다. 흥미롭게도, FeedNet은 속도 오차(error)의 크기 및 부호를 고려할 수 있었는데, 예측한 적정 속도(pred speed)보다 현재 속도가 낮아서 양의 속도 오차가 발생했을 때 이를 보상하기 위해 큰 값의 양의 Throttle 값을 출력했고, 적정 속도보다 Ego 속도가 높아서 음의 속도 오차가 발생했을 때 이를 대응하기 위한 큰 값의 음의 Throttle 값을 출력했다. 이는 FeedNet이 종방향 거동에 대한 Feedback을 반영한 강인한 End-to-End 주행이 가능하다는 것을 보여준다.

[Fig. 5]

Results of the end-to-end driving of E2ENet. (Left) Driving trajectories. (Right) Throttle commands trajectories. The color bar indicates speeds up to 40 km/h

[Fig. 6]

Results of the end-to-end driving of FeedNet. (Left) Driving trajectories. (Right) Speed and throttle commands trajectories. The total driving distances are 175.42 m (Nominal), 265.43 m (Uphill), 246.86 m (Downhill), and 35.4 m (Right-Turn)

4.3 제어 안정성 분석

[Fig. 7]은 End-to-End 제어 안정성 분석을 위해 횡방향 오차와 횡방향 가속도의 시간에 따른 변화를 보여준다. 전형적인 Nominal Driving 시나리오(~1000 step)에서는 두 모델이 유사한 횡방향 오차와 가속도를 나타낸다. 반면, E2ENet은 Uphill Driving 구간에서 최대 1.0 m의 횡방향 오차를 보였으며, Downhill 및 Right-Turn 구간(3000 step~)에서 속도 제어의 불안정성으로 인해 큰 제어 오차와 과도한 횡방향 가속도(최대 10 m/s²)가 발생했다. 이는 종방향 속도 불안정성이 커지면서 조향 안정성까지 함께 저하되었음을 의미한다. 본 논문에서 제안하는 FeedNet은 오르막 및 내리막길과 같은 비정형 지형에서도 Feedback 기반 종방향 제어를 통해 속도를 안정적으로 유지하였으며, 그 결과 전 구간에서 일관된 End-to-End 제어 안정성을 보였다. 특히 Downhill 구간에서 속도를 선제적으로 감속한 후 Right-Turn 구간(3800 step~)에 진입함으로써, 횡방향 오차 0.3 m 이하, 횡방향 가속도 3 m/s² 이하의 안정적인 선회 주행을 수행할 수 있었다. 이러한 결과는 Feedback 구조가 종방향 제어 안정성을 향상시키는 동시에, 그 효과가 횡방향 제어 안정성 향상으로 이어질 수 있음을 보여준다.

[Fig. 7]

Lateral offset (Top) and acceleration (Bottom) trajectories of FeedNet (Blue) and E2ENet (Red). Since E2ENet failed to complete some scenarios, only the valid segments were included in the analysis