RGB-D센서 기반의 경로 예측을 적용한 안전하고 효율적인 지역경로 계획

2.1 장애물 감지

복잡한 환경에서의 장애물 검출은 환경과의 구분, 장애물 간의 구분이 중요하다. 본 논문에서 장애물의 검출은 RGB-D 센서로부터 얻은 거리정보를 그레이 스케일의 거리영상으로 변환하여 사용한다. 먼저 [Fig. 1]의 (a)와 같이 천장, 바닥 그리 고 잡음을 제거한 거리영상에서 [Fig. 1]의 (b)와 같은 파란색 윤곽선을 얻는다. 이는 하얀색 선으로 적용되어 [Fig. 1]의 (c) 와 같이 비슷한 거리를 가진 다른 환경 및 장애물과의 구분을 가능하게 한다. [Fig. 1]의 (c)에 Contour를 적용하여 장애물을 검출하고, 이를 영상 상에 나타낸 결과는 [Fig. 1]의 (d)와 같다. 녹색 사각형은 장애물이 존재하는 영역, 빨간 점은 장애물 영 역의 중심을 나타낸다. 검출된 장애물의 위치정보는 거리정보 를 통해 얻을 수 있으며, 이는 이동경로 추적에 사용된다.

Fig. 1

(a) Depth image, (b) contour extraction, (c) separation by contour, and (d) detected obstacles

2.2 장애물 추적

장애물의 이동성을 파악하기 위해서는 장애물 이동경로의 추적이 필요하다. 추적은 ID 정합 과정을 통해 이루어지며, 일 반적으로 정합은 특징 서술자간의 비교를 통해 수행한다. 그 러나 이 방법은 미지의 동적 장애물이 존재하는 환경에서는 사용하기에 어려움이 있다. 따라서 본 논문에서 ID 정합은 장 애물의 위치정보에 Hungarian 알고리즘[7]과 Kalman filter[8]를 적용해 수행하였다.

Hungarian 알고리즘은 비용행렬의 생성 및 비교를 통해 최 적화된 정합을 하는 알고리즘이다. 본 논문에서는 관측된 장 애물 간의 거리를 이용한 비용함수를 생성하여 ID 정합을 수 행하고자 한다. 예를 들어, [Fig. 2]의 별, 세모, 동그라미로 표 현된 동적 장애물이 일정 시간 동안 화살표 방향에 따라 위치 가 변했을 경우, 각 위치 간의 거리(distance, D)를 계산하면 표 와 같다. 이 과정은 매 순간 수행되므로 동적 장애물의 이동량 은 크지 않다고 가정한다. 따라서, [Fig. 2]의 비용행렬상에서 최솟값을 가지는 성분끼리 동일한 동적장애물이라고 정의하 고 이를 정합한다.

Fig. 2

Concept of cost matrix

앞서 소개된 Hungarian 알고리즘에도 불구하고 여전히 존 재할 수 있는 오정합을 방지하기 위해 본 연구에서 Kalman filter를 추가적으로 적용한다. 예를 들어, [Fig. 3]의 (a)의 세모, 동그라미로 표현된 동적 장애물이 일정 시간 동안 화살표 방 향에 따라 위치가 변했을 경우, 로봇은 세모의 이전 위치를 관 측하지 못한다. 그러나 거리 비용행렬에 의하면 현재 시점의 세모와 이전 시점의 동그라미가 한 물체라고 여겨져 둘의 ID 가 정합된다. 이러한 문제를 해결하기 위해 동적장애물의 속 도를 고려하여 불확실성 영역을 Kalman filter의 상태벡터 계 산을 통해 계산하였다. [Fig. 3]의 (b)의 빗금친 영역은 Kalman filter으로부터 계산된 불확실성 영역이다. 해당 영역 내에서 정합을 수행함으로써 이전 시점의 동그라미와 현재 시점의 동 그라미 간의 올바른 정합이 가능하다.

Fig. 3

(a) False case of ID matching, (b) correct case of ID matching using kalman filter

3.1 경로 예측

본 논문에서 경로 예측은 지나온 경로를 통해 알 수 있는 장 애물의 진행각(θ_i) 및 이동거리(d_i) 정보를 활용한다. [Fig. 4]와 같이 예측에 적용될 진행각 및 이동거리에 대한 경향(θ_tendency, d_tendency)을 다음과 같이 구한다.

Fig. 4

Calculation of θtendency, dtendency using traveled path

여기서 k는 지나온 경로상의 경로점의 총 수를 의미하며, w_θi, w_di는 진행각 및 이동거리에 대한 가중치를 의미한다. 이 때, 지나온 경로의 효율적 사용을 위한 가중치(w_θi, w_di)는 최근 의 진행각 변화량(θ_k-θ_k-1)과 이동거리 변화량(d_k-d_k-1)에 의해 다음과 같이 결정된다.

이러한 가중치의 설정은 동적 장애물의 이동성이 기준(여 기서는 10°, 0.3 m) 이상으로 변할 경우, 가장 최근의 변화에 큰 가중치를 두어 보다 정확한 예측을 하기 위해서이다. 위 식에 의해 장애물의 최근 진행각 변화량이 10° 이하일 경우 장애물 의 진행 방향이 일관성을 가지므로 지나온 경로상의 모든 진 행각에 같은 가중치를 부여한다. 또 다른 예로 장애물의 이동 거리 변화량이 사람의 평균 보폭인 0.3 m보다 커질 경우 가장 최근의 이동거리 d_k에는 0.8의 가중치가 부과된다. 따라서 이 동거리가 커지는 경향을 반영한 예측이 가능하다.

위의 과정과 같이 지나온 경로만을 활용한 동적 장애물의 경로 예측은 [Fig. 5]의 (a)와 같이 경로 상에 존재하는 정적 장 애물을 가로지르는 경로를 생성할 수 있다. 그러나 이러한 환 경에서 사람과 같은 동적 장애물은 회피경로를 생성하므로 실 제 이동하는 경로는 [Fig. 5]의 (b)와 같다. 이 경우, 로봇은 단 순한 예측과는 다른 경로를 통해 다가오는 동적 장애물과 충 돌이 발생할 수 있다.

Fig. 5

False case of path prediction

이러한 문제를 해결하기 위해 동적 장애물의 회피를 고려 하여 경로 예측을 하는 확률 원 기반의 공간탐색(probability circle-based spatial search; PCSS) 기법을 제안한다. 이 기법은 원형 확률 영역을 기반으로 한 공간탐색을 통해 사람과 같은 동적 장애물의 회피경로를 예측하는 방법이다. 로봇은 센서를 통해 경로상의 장애물을 인식하지만, 동적 장애물의 예측경로 를 모델링할 경우에는 경로상에 존재하는 정적 장애물을 함께 고려해야 한다. PCSS는 [Fig. 6]의 (a)에 나타낸 동적 장애물의 지나온 경로점들 T_i를 통해 구한 예측 경로점 P_i와 안전 영역을 고려한 정적 장애물의 경계를 사용한다. 동적 장애물의 예측 경로상에 존재하는 정적 장애물은 [Fig. 6]의 (b)의 직선 y_By_P의 교차점 P_C(P_Cx, P_Cy)의 존재 여부로 감지하는데, 여기서 직선 y_P 는 n번째 및 (n+1)번째 예측 경로점으로 구성된 직선이고, 직 선 y_B는 경계 영역의 B₁(B_1x, B_1y)과 B₂(B_2x, B_2y)로 구성된 직선이다.

Fig. 6

Detection of static obstacle on predictive path of dynamic obstacle

만약 정적 장애물이 위치하는 곳에 동적 장애물의 예측경 로가 겹쳐져서 두 장애물 간의 충돌이 예상될 경우, 동적 장애 물은 회피를 위해 경로를 변경하므로 이를 사전에 감지해야 한다. 우선, P_C가 다음 조건을 만족할 경우, 동적 장애물과 정 적 장애물과의 충돌을 예측할 수 있다.

로봇과 장애물 간의 충돌이 예상되는 경우, 동적 장애물의 경로 변경을 고려하여 예측경로 재생성이 필요하다. PCSS는 [Fig. 7]의 (a)와 같이 충돌이 예상되는 예측 경로점 P₃를 중심 으로 동적 장애물의 지나온 경로를 이용해 구한 평균 이동거 리를 반지름으로 하는 원을 생성한다. 생성 후, [Fig. 7]의 (b)와 같이 원의 중심에는 1의 확률을, 중심에서 멀어질수록 0에 가 까운 확률을 부여한다. 여기서 확률은 동적 장애물이 해당 위 치에 실제로 존재할 확률을 나타낸다. 그러므로 [Fig. 7]의 (c) 와 같이 다른 정적 장애물에 의해 점유된 영역은 0의 확률이 부여되어, 예측 경로점 P₃의 현재 위치는 0의 확률을 가지게 된다. 예측 경로점 P₃을 재생성하기 위해 확률 원에서 가장 높 은 확률을 갖는 영역 중 이전 경로점 P₂와 가장 가까운 위치를 새로운 예측 경로점으로 지정한다. 만약 [Fig. 7]의 (c)와 같이 확률이 0.3 이상이 되는 영역이 존재하지 않을 경우, 해당 영역 은 동적 장애물의 이동과는 무관한 영역으로 판단하고, 장애 물이 이동할 영역을 재탐색하기 위해 원의 위치를 이동시킨 다. 원의 위치 이동을 위해 우선 [Fig. 7]의 (d)와 같이 P₂와 B1 및 B₂ 간의 거리 d₁, d₂를 계산한다. 직선 y_P와 수직인 직선 상에 서 d₁, d₂ 중 더 작은 값을 가지는 방향으로 반지름 R만큼 원을 이동시킨다.

Fig. 7

New path point generated by PCSS

이동시킨 후, 원에서 확률이 가장 높은 영역과 이전 경로점 과 가장 가까운 거리를 가지는 위치를 새로운 예측 경로점으 로 지정하며, 그 결과는 [Fig. 7]의 (e)와 같다.

본 논문에서는 로봇과 장애물의 충돌을 예측하기 위해 로 봇에 대한 예측경로도 생성한다. 로봇에 대한 예측경로 계산 은 위치추정을 통해 얻은 위치정보를 이용하며, 이때 로봇의 예측경로는 일반적으로 사용되는 구배법 (gradient method)[10] 를 사용한다. 충돌 예상을 위한 과정이므로 실제 주행을 수행 하기 위한 경로생성으로는 사용되지 않는다. 충돌 예상은 단 순히 예측된 이동경로를 바탕으로 교차지점을 계산하는 것이 아니라, 로봇과 장애물의 이동속도를 함께 고려하여 동일한 시점에서 로봇과 동적 장애물의 예측된 위치를 비교함으로써 수행된다. [Fig. 8]의 (a)는 장애물과 로봇 간의 충돌이 예상되 는 지점이 존재하지 않으므로 회피경로 생성 없이 원래의 경 로를 따라 주행하게 된다. 반면에, 그림 [Fig. 8]의 (b)는 충돌이 예상되는 지점이 존재하며 예상 정보를 바탕으로 사전에 회피 하는 경로를 생성할 수 있어 안정적인 주행이 가능하다.

Fig. 8

Path prediction and detection of a collision between a robot and an obstacle

3.2 주의비용의 생성

예측경로는 이전 위치정보를 기반으로 생성되므로 불확실 성을 가진다. 본 연구에서는 이러한 불확실성을 감소시키고 충돌이 예상되는 장애물의 예측경로를 고려하기 위해 가우시 안 혼합 모델(Gaussian Mixture Model)[9]을 적용하여 주의비용 (caution cost)을 생성하였다. 제안한 방법은 다음과 같이 장애 물에 대한 실제 위치의 확률로 주의비용을 생성한다.

여기서 k는 동적 장애물이 지나온 경로점의 총 수, w는 가중 치이다. w에 (k-i)승을 적용한 것은 장애물의 이동 지점에 따른 시점을 고려하기 위함이며, $$ w=1/\sigma $$ 로 사용한다. 이는 실제 값과 예측 값의 차이가 작은 경우의 분포에 높은 가중치를 두 어 반영하기 위함이다. $$ T_i\left(T_{ix,}{T}_{iy}\right)$$ 와 $$ P_{ri}\left(P_{rix,}{P}_{riy}\right)$$ 는 [Fig. 9]의 (a)와 같이 장애물의 지나온 경로점과 장애물의 이동을 예측 했던 점을 의미한다. 이를 위 식에 의해 계산한 비용 분포는 [Fig. 9]의 (b)와 같으며, 이는 T₁, T₂, T₃ 점을 거쳐 T₄ 점에 장애 물이 위치할 확률이다. 이 분포는 스케일 변경을 통해 [Fig. 9] 의 (c)와 같이 장애물의 현재 위치와 충돌 예상 지점 P₄ 사이의 주의비용으로 적용된다.

Fig. 9

Generation of caution cost

3.3 안전 지역경로 계획

기존의 자율주행을 위한 경로계획으로 많이 사용되는 구배 법은 고유비용(intrinsic cost)과 근접비용(adjacency cost)이라 는 두 가지 비용을 이용하여 경로를 생성한다. 고유비용은 지 도상에 존재하는 정적장애물 및 벽 등을 반영한 비용이고 근 접비용은 도착지점까지의 거리에 비례하는 비용이다. 이는 정 적인 환경에서는 최적의 경로를 생성하지만 동적장애물이 존 재하는 경우 이를 고려하지 못하고 매 순간 변화하는 불안정 한 경로를 생성한다. 본 논문에서는 제안한 PCSS기반의 주의 비용을 적용하여 동적장애물을 고려한 안전지역경로를 생성 한다. 이를 통하여 고정된 환경에 대한 특징 외에도 동적 장애 물의 위치를 예측하여 비용지도를 생성해 효과적으로 동적 장 애물을 회피하는 지역 경로계획이 가능하다. PCSS를 이용한 지역 경로계획은 로봇을 기준으로 5 m x 5 m의 지역지도를 생 성하여 기존의 비용함수에 주의비용 함수가 더해진 지역 비용 지도를 생성하고 이를 적용한 구배법에 의해 경로를 생성한 다. 구배법에 적용되는 비용함수를 식으로 나타내면 다음과 같다.

여기서 I(p_i)는 점 p_i에서의 고유비용, A(p_i, p_i+1)는 점 p_i에서 p_i+1까지의 이동에 대한 근접비용, C(p_i) 는 p_i에서의 로봇과 장 애물 간의 충돌과 관련되는 주의비용을 나타낸다. N(P)는 지 도의 각 격자에 부여되는 비용으로 가장 낮은 비용들을 따라 경로가 생성된다. 장애물의 현재 위치와 충돌 예상 지점 사이 에 부여된 주의비용은 충돌 가능성이 높은 지점일수록 큰 값 을 가지게 된다. [Fig. 10]의 (a)는 기존의 구배법 기반의 경로 계획, [Fig. 10]의 (b)는 PCSS 기반의 주의비용을 고려한 구배 법의 경로계획을 보여준다.

Fig. 10

(a) Path planning using a cost map, and (b) local path planning using a local cost map

[Fig. 11]는 본 논문에서 제안한 안전경로계획 기법의 전반 적인 흐름을 보여준다.

Fig. 11

Overall flowchart of efficient and safe path planning

4.1 PCSS를 이용한 예측경로 검증

PCSS을 적용한 경로 예측 성능을 검증하기 위해 [Fig. 13] 의 (b)의 환경에 임의의 정적 장애물 영역을 설정하여 실험을 수행한 결과를 [Fig. 14]에 나타내었다. 본 실험에서 검증하고 자 하는 기법은 [Fig. 11]에 나타나 있는 것 과 같다.

Fig. 14

Results of predictive path (a) at time t, and (b) at time (t+n)

[Fig. 14]의 하늘색 점은 동적 장애물이 이동하게 될 경로를 예측한 것이고, 보라색 점은 로봇의 경로를 예측한 것이다. 동 적 장애물의 예측경로는 지나온 이동경로를 바탕으로 추후 지 나갈 경로를 현 시점에서 예측한 것을 볼 수 있다. 또한, 1번 동 적 장애물의 경우, PCSS 기법을 적용하여 예측경로상에 존재 하는 정적 장애물을 회피하는 경로를 예측한 것을 알 수 있다. 이동경로 예측은 로봇과 동적 장애물의 위치 및 주행 방향과 속도를 고려하여 수행하므로, 조건이 시시각각 변화하면 예측 도 그에 맞게 재생성된다. 이러한 예측된 경로를 통해 로봇과 장애물간 충돌 예상 시점 및 위치를 파악할 수 있었다.

4.2 주의비용을 포함한 경로계획 실험

본 논문에서는 PCSS와 주의비용 함수가 적용된 지역 비용 지도 기반의 경로생성 기법을 검증하기 위해 실험을 수행하였 다. 실험은 [Fig. 13]와 같은 환경에서 수행하였다. [Fig. 14]에 서 확인할 수 있듯이 본 실험은 제안한 PCSS 기반의 주의비용 을 이용하여 생성한 안전경로의 전반적인 기법을 검증한다.

[Fig. 15]와 같이 생성된 사각형 지역지도는 녹색에 가까울 수록 낮은 비용을, 적색에 가까울수록 높은 비용을 가진다. 즉, 적색 영역은 로봇과 장애물 간의 충돌이 발생할 확률이 높을 것으로 예측되는 영역이다. 이는 주의비용에 의해 높은 비용 이 지역지도에 부과된 영역으로, 이 지역지도를 기반으로 구 배법을 수행한 결과 동적장애물을 회피하는 안전하면서 효율 적인 지역경로가 생성됨을 알 수 있다.

Fig. 15

Results of local path planning

4.3 안전성과 효율성에 대한 실험

본 논문에서는 PCSS의 안전성 및 효율성을 검증하기 위해 기존의 가장 많이 사용되는 구배법 기반의 지역경로생성(local path planning)기법과 비교하여 실험하였다. 기존의 구배법은 고유비용와 근접비용만을 사용하므로 동적 장애물이 추후 이 동하게 될 예측경로를 고려하지 않고 단순히 현재 관측된 장 애물의 위치를 기반으로 경로를 생성하여 회피한다. 반면에, 본 논문에서 제안한 PCSS 기반의 주의비용을 고려한 경로생 성 기법은 동적 장애물이 이동할 예측경로를 사전에 파악하고 장애물의 회피까지 고려하여 경로계획을 하므로 두 방법의 비 교를 통해 로봇의 주행 안전성 및 업무 효율성을 평가할 수 있다.

본 논문에서 안전성 실험은 [Fig. 16]과 같이 동적 장애물이 존재하는 세 가지 시나리오를 바탕으로 수행되었으며, 이는 [Fig. 13]과 같은 환경에서 얻은 실제 주행 데이터를 바탕으로 작성되었다. 안전성 실험은 사람의 심리적, 육체적 안전거리 를 고려하여 출발점과 도착점을 10번 왕복 주행 시에 로봇이 사람의 안전거리를 침범하는 횟수를 체크해 평가하였다. 이 때, 사람의 안전거리는 로봇 반경의 3배로 정의한다.

Fig. 16

Scenarios for safety experiments

PCSS 알고리즘의 안전거리 침범 횟수는 [Table 1]과 같이 기존 기술과 비교해 평균 29% 이상 감소하였다. 따라서 PCSS 알고리즘을 이용한 주행은 사람들의 심리적 육체적 안전성을 증가시킬 것으로 예상된다.

Table 1

Experimental results of safety experiments

효율성 실험은 [Fig. 17]과 같이 동적 장애물이 존재하는 3 가지 시나리오 하에 수행되었으며, 이는 [Fig. 13]과 같은 환경 에서 얻은 실제 주행 데이터를 바탕으로 작성되었다. 효율성 실험은 출발점과 도착점을 10번 왕복 주행 시 1회 주행시간(총 주행시간/왕복 횟수)을 계산하여 평가하였다.

Fig. 17

Scenarios for efficiency experiments

제안한 알고리즘의 1회 주행시간은 [Table 2]와 같이 기존 기술과 비교해 평균 10%이상 감소하였다. 따라서 제안한 알 고리즘을 통한 주행 방식이 더 효율적이다. PCSS 알고리즘을 이용한 주행은 충돌 위험성이 낮아질 뿐만 아니라, 작업을 신 속히 수행할 수 있을 것으로 예상된다.

Table 2

Experimental results of efficiency experiments