라이다 센서의 산란으로 인해 위치 추정 오차가 커지는 엘리베이터 구간에서는 위치 추정 결과를 통해서 경로 목적지(goal point)까지 지역-경로 계획(local trajectory planning)을 실행하는 데 어려움이 있다. 따라서 본 연구에서는 엘리베이터 입구까지의 지역-경로 계획을 위해 로봇의 하단부에 장착된 2차원 레이저 센서를 사용한 주행 가능 구역을 검출하고, 카메라-라이다 센서 융합을 통하여 주행 가능 구역 내에서의 목표지점을 설정하였다. 로봇의 주행 가능 구역 검출 및 경로 목적지 설정은 장애물 지도, 장애물 cost map 구성, 엘리베이터 위치 및 상태 인식 순서로 이루어졌다.

우선 장애물 지도는 로봇의 전후방에 부착된 2차원 라이다 센서를 통해 검출된 장애물을 길이 5 m, 폭 3 m, 간격 0.05 m로 식 (3)과 같이 occupancy grid map(M_occ)에 표시하여 생성하였다.

M_occ에 표시된 장애물들은 식 (4)을 통해 확대되어 장애물의 일정 범위(ϵ) 내의 점들의 cost map을 계산하는데 활용되었다.

여기서 n은 M_occ에 존재하는 장애물 점의 개수이며, x_k,y_k는 M_occ에서 장애물로 인식된 점의 좌표이다. x,y는 cost map 위의 모든 점의 좌표를 의미한다. 로봇의 주행 가능 구간(M^drv)은 식 (5)에서와 같이 로봇의 중심으로에서부터 목표지점 사이에 있는 모든 점들(x_i,y_i)의 cost 값이 임계값(γ)을 넘지 않는 점들의 집합으로 설정하였다. 이때, M^cost를 활용해 주행 가능 구간을 판단함으로써 엘리베이터 벽면의 레이저의 산란 혹은 낮은 해상도로 인해 생기는 occupancy map의 장애물 간 틈이 주행 가능 구역으로 인식되는 것을 방지하였다.

이때, m은 로봇의 중심에서 목표지점을 이었을 때의 기울기(y/x)이다.

탑승 엘리베이터까지의 상대 위치는 라이다-센서 융합을 통하여 구하였다. 더욱 정확한 엘리베이터 문 인식을 위해서 심층 학습을 통한 image segmentation 알고리즘 중 인식 속도가 빠른 YOLACT^[14] 활용하였다. 엘리베이터에 해당하는 픽셀들은 식 (6-7)을 활용한 라이다 점-군과 매칭과 식 (8)을 통한 카메라-라이다 좌표계 변환을 통해 인식된 엘리베이터에 해당하는 점들을 추출하는 3차원 ROI(region of interest)를 설정하는데 사용되었다.

이때, x_com, y_com, z_com은 카메라 좌표계에서의 x, y, z이고, θ와 α는 카메라 화각의 폭과 높이이다. U와 v는 카메라 영상 픽셀 상의 점의 위치이고, w, h는 카메라 영상의 가로세로 픽셀 수를 나타낸다. [Fig. 4(a)]와 같이 ROI에 해당하는 점들의 중심을 목표하는 엘리베이터의 라이다 좌표계에서의 위치 (Xlidare)로 설정하였다. 실험이 실행된 엘리베이터는 문과 내부 벽면이 거울 혹은 반사율이 높은 금속으로 구성되어 있어 로봇이 엘리베이터 문에 가깝게 접근하는 경우, 카메라 영상 인식 결과 엘리베이터 문이 아닌 반사된 주변 사물들이 인식되는 문제점이 있었다. 해당 경우에 엘리베이터로의 접근을 위하여 로봇 스스로가 인식되는 경우 엘리베이터에 로봇이 반사된 것으로 판단하였다. 로봇에 해당하는 픽셀들에 해당하는 라이다 점-군을 추출하여 그 중심을 라이다 좌표계에서의 엘리베이터에 비친 로봇의 중심(Xlidarer)으로 설정하였다 [Fig. 4(b)].

[Fig. 4] 
Semantic segmentation result and camera-LiDAR fusion result. (a, c): semantic segmentation and segmented point cloud result of the elevator. (b, d) same result of the reflected robot

엘리베이터를 대기 및 탑승하는 경우, 경로 목적지는 로봇의 전방에 위치하고, 엘리베이터에서 내리는 경우, 로봇의 후 방에 위치한다. 전자의 경우, 경로 목적지는 로봇 전방의 주행 가능 구역에서 Xlidare혹은 Xlidarer에서 가까운 점으로 설정하였다. 엘리베이터에서 내리기 위해 후진하는 경우, 로봇 후방의 주행 가능 구역에서 로봇과 가장 멀리 떨어진 점으로 설정하였다.

앞서 설명한 바와 같이 엘리베이터 탑승을 위한 경로 목적지 인식과 주행 가능 영역을 검출하더라도 라이다 센서의 산란으로 인해 엘리베이터 탑승이 매끄럽지 못한 문제가 남아있다. 따라서 본 연구에서는 실시간으로 지역-경로 계획을 활용하여 안정적으로 엘리베이터에 탑승할 수 있도록 하였다. 본 연구진은 앞서 로봇이 다양한 장애물이 있는 복잡한 환경에서도 운용이 가능한 시스템을 제안하였는데^[15], 해당 연구 결과를 엘리베이터 탑승에 적용한 결과 한계점을 발견할 수 있었다. [15]에서는 경로 후보군 기반의 지역-경로 계획을 활용하였으나 엘리베이터와 같이 모든 경로 후보 군이 주행 불가능한 경우에는 장애물 회피가 가능한 샘플을 선택하는 데 있어 한계점이 존재했다. 따라서 본 연구에서는 이러한 한계점을 극복하고자 [16]에서 제안한 time-elastic band 기반의 경로 계획 알고리즘을 활용하였다. 이를 통해 속도, 각속도, 장애물을 고려한 경로를 생성할 수 있었다. 또한 본 연구에서는 differential drive 로봇을 활용하여 제어와 관련된 기구학적인 제약 조건은 없지만, 엘리베이터와 같은 좁은 지역에서 활용될 수 있도록 car-like 모델과 같이 kino-dynamics를 고려하여 경로를 생성하였다. 특히 kino-dynamics를 고려할 때 다양한 동적 장애물을 입력으로 넣어주는 경우 경로가 복잡하게 꼬이는 문제가 발생하는데 본 연구에서는 해당하는 상황을 인식하여 초기화를 자동으로 실행해줌으로써 주행 가능한 경로가 지속해서 생성될 수 있도록 알고리즘을 수정하였다.

본 연구에서는 3차원 점-군 정밀 지도와 2차원 그래프를 통합한 항법 알고리즘과 엘리베이터 탑승 미션을 분리하여 로봇을 운용하였다. 특히 항법 기반의 엘리베이터 탑승 알고리즘을 구현하지 않은 이유는 로봇이 엘리베이터 주변 혹은 센서 정보가 부정확해지기 때문에 위치 추정이 불안정해져 엘리베이터 내부에서 주행이 불안정해졌기 때문이다. 따라서 로봇이 정밀 지도 기반 항법 알고리즘을 활용하여 배송 업무를 수행한 뒤, 층계 이동이 필요한 경우 엘리베이터 주변으로 접근하게 되면 엘리베이터 미션이 시작할 수 있도록 하였다. 로봇이 엘리베이터를 인식하는 데는 두 가지 방법을 활용하였는데 엘리베이터를 인식하거나 거울에 비친 로봇을 인식하도록 하였다. 먼저 엘리베이터를 인식하는 경우에는 거울에 반사된 건물의 모습이 비쳐 상대적으로 정확도가 낮았으며 거울에 비친 로봇의 모습을 인식하는 경우는 높은 정확도를 보이며 엘리베이터를 인식할 수 있었다. 거울에 비친 로봇 자신의 모습을 문과 가까이서 인식하는 상황에서는 레이저 센서로 인식된 전방 장애물로 인해 로봇의 속도 명령은 정지 상태를 유지하였다. 이때 엘리베이터 문이 열리는 경우에 속도 명령과 동시에 장애물 회피 경로를 추종하기 위한 횡-방향 제어 명령이 생성되도록 하였다. 엔지니어링 측면에서 로봇이 안정적으로 장애물 회피를 하며 엘리베이터에 탑승하기 위해서는 횡-방향 속도 명령을 종-방향 속도 명령에 비해 가중치를 두어 장애물을 미리 회피한 후에 속도 명령을 생성하도록 하였다. 엘리베이터 탑승에 관한 행동 계획 알고리즘은 [Fig. 5]에 나타내었다. 또한 엘리베이터 탑승 과정에서 중요한 판단 알고리즘 중 하나는 로봇이 엘리베이터 내부에 잘 들어 왔는지에 대한 판단이었다. 따라서 본 연구에서는 로봇의 주행 가능 구역의 최대 거리(σ_max)가 일정한 임계값보다 작아지는 경우, 엘리베이터에 탑승하고 문이 닫힌 상태로 판단하였다. 이는 [Fig. 6]에서와 같이 문이 닫힌 상태(c, d)에서는 검출된 주행 가능 구역이 일정한 거리 이내로 좁아지는 것을 확인할 수 있다. 이때, σ_max의 정의는 아래 식 (9)와 같다.

[Fig. 5] 
Pipeline of a behavior planning

[Fig. 6] 
Drivable region detection result with cost map. (a): the robot waiting for the elevator (closed door), (b): getting on the elevator (open door), (c): got on the elevator (open door), (d): robot inside the elevator (closed door), and (e): robot inside the elevator with passengers (closed door)

로봇이 목적지 층계에 도착한 뒤에는 다시 배송 서비스를 수행하기 위해 정밀 지도 기반의 실내 항법 알고리즘을 활용할 수 있도록 엘리베이터 앞에서 초기화를 수행한 뒤에 주행을 재시작할 수 있도록 시스템을 구성하였다.