다층 환경에서의 라스트 마일 배송 서비스를 위한 경로 계획 및 엘리베이터 탑승 알고리즘

1. 서 론

자율주행 기술의 발전과 더불어 비대면 서비스 및 자동화 시스템에 대한 수요 증가로 인해 다양한 산업 분야에서 자율주행 로봇의 역할이 커지고 있다^[1]. 특히 실내 자율주행 로봇은 물류, 방역, 보안 같은 분야에서 노동력 감소, 업무 효율성 증대, 안전성 면에서 기여하고 있다. 현재까지 진행된 대부분의 실내 자율주행 로봇 연구에서는 GPS가 잘 작동하지 않는 실내 환경에서 위치 추정, 단일 층에서의 경로 계획, 시설물들을 통과하기 위한 장애물 회피에 초점을 맞추어 진행되었다^[2-5]. 하지만, 일반적인 건물의 경우 실내 공간이 다층으로 구성되어 있어 바퀴 구동 로봇의 활용 범위를 확장하기 위해서는 엘리베이터를 활용한 층간 이동 필수적이다.

본 연구에서는 바퀴 구동 배달 로봇[Fig. 1]의 다층 실내 환경에서의 자율 주행을 위해 경로 계획 알고리즘과 엘리베이터 탑승 알고리즘을 제안한다. GPS 정보를 활용하기 어려운 실내 환경을 고려하여 로봇 자체적인 위치 추정을 위해 실내 지도 구축과 위치 추정은 3차원 라이다 센서를 사용한 LOAM (LiDAR odometry and mapping) 계열의 알고리즘^[6,7]을 활용하였다. 본 연구를 수행한 건물의 엘리베이터는 금속과 거울로 이루어진 반사율이 높은 환경이었는데, 이는 일반적으로 건물에 설치된 엘리베이터와 유사한 환경이다. 이러한 환경에서 라이다 센서를 활용하는 경우 거울이나 빛 반사율이 높은 금속 재질로 인해 빛이 multi-bounce되어 부정확한 인식이 발생하게 된다. RGB-D 카메라를 활용한 자율 주행 로봇의 엘리베이터 탑승에 관한 연구^[8]에서는 심층 학습 기반의 영상인식 기술을 이용해 엘리베이터를 검출한 후 엘리베이터를 포함하는 카메라의 3차원 점-군에서 문의 양측에 존재하는 벽면 검출을 통해 로봇의 탑승 자세를 구하였다. 2차원 레이저 센서, RGB-D 카메라, 기압계를 활용한 바퀴 구동 로봇의 다층 실내 이동 연구^[9]에서는 레이저 센서를 활용해 구축한 실내 지도에서 위치 추정 결과 엘리베이터와 가깝게 위치한 경우, 레이저 센서를 활용해 문이 열린 정도를 파악하여 임계값이 넘는 경우 로봇이 엘리베이터 문을 통과하도록 하였다. 또한 같은 연구에서 엘리베이터에 탑승하는 과정에서 동승자의 여부를 심층 학습을 통한 영상인식 기술을 이용해 판단하고 카메라의 깊이 정보를 사용해 동승자의 위치를 파악해 회피하도록 하였다. IoT 기술을 사용해 로봇의 층간 이동을 하는 다른 연구^[10]에서는 로봇의 상단 부에 QR 코드를 부착하여 엘리베이터 입구의 천장에 위치한 카메라를 통하여 로봇과 엘리베이터의 상대 자세를 실시간으로 제공받도록 하였다. 엘리베이터로부터 제공되는 로봇의 자세 정보는 엘리베이터로 진입 시 로봇의 방향을 실시간으로 수정하는 데 사용되었다. 본 논문에서는 로봇 자체 센서만을 활용하여 다층 실내 지도에서의 경로 계획 알고리즘과 층간 이동을 위한 엘리베이터 탑승 알고리즘에 대한 연구를 진행하였다. 본 논문이 제안한 알고리즘은 아래와 같은 이점을 가진다.

• • 무작위로 주어지는 건물 내 목적지들에 대해서 다층 환경에서의 최적 경로 계획을 실행한다.
• • 빛 반사율이 높은 거울 및 금속으로 구성된 엘리베이터에 대해서 벽면 검출 및 열림 닫힘 상태를 파악하여 엘리베이터에 탑승한다.
• • 임의의 동승자가 존재하는 상황에서 주행 가능 구역 검출 및 충돌 방지 주행 경로 계획을 통하여 탑승자들과의 충돌을 방지한다.

[Fig. 1]

Deployed robot for this study

2. 알 고 리 즘

2.1 엘리베이터를 활용한 다층 환경에서의 경로 계획 알고리즘

실내 다층 환경에서의 로봇을 운용하기 위해서는 해당 환경 내에서의 로봇의 위치 x^t 추정 및 경로 계획 문제를 해결해야 한다. 이에 따라 본 연구에서는 로봇의 다층 건물 환경에서의 x^t를 추정한 뒤, 다층 환경에서 엘리베이터를 활용한 그래프 기반의 경로 계획 알고리즘을 제안한다[Fig. 2]. 본 연구에서 활용한 다층 건물 내에서의 위치 추정 알고리즘은 앞선 논문에서 제안한 알고리즘을 활용하였으며 사전에 층별로 정의된 3차원 정밀 지도 내에서 스캔 매칭을 기반으로 위치 추정을 수행하였다^[11].

[Fig. 2]

The integrated navigation map is shown. We aligned and stacked 3-D point maps to generate an integrated 3-D point map. A single-floor road-graph was also constructed for route planning, and it was aligned to build a 2-D road-graph for multi-floor environments

다음으로 로봇이 위치한 a-층계에서 목적지 b-층계까지 이동하기 위한 다층 환경에서의 경로 계획 문제를 해결하기 위해서 적용한 간단한 접근 방법은 식 (1)과 같이 각 층계 별로 경로 계획 문제를 푸는 것이다.

$\[ P_{a\to b}^{global\mathrm{*}}=\underset{\forall i\in N_a}{a\mathit{rg}\mathit{mi}n}\left(f_i^a\right)+\underset{\forall i\in N_b}{a\mathit{rg}\mathit{mi}n}\left(f_i^b\right) \]$

(1)

여기서 $$ f_i^k$$는 k 층계에서의 길 찾기 문제의 누적 거리 함수이며 $$ f_i^a\in N_a$$, $$ f_i^b\in N_b$$는 각각 층계 a와 b에 해당하는 길 찾기 누적 거리 함수이다. 또한 각 층계 별로 구축된 그래프 N_a,N_b는 각 층계 별 공간 정보를 담고 있는 노드이다. 따라서 각 층계 별로 반복적으로 경로 계획 문제를 해결하기 위해 로봇이 위치한 층계에서 엘리베이터까지 경로 계획을 수행한 뒤, 엘리베이터 탑승 및 하차 후에 목적지 층계에서 다시 배송 지점까지 경로 계획을 수행할 수 있다. 하지만 각 층계 별로 구분하여 경로 계획을 반복적으로 수행하는 경우에는 배송 업무의 복잡도가 올라갈수록 복잡한 행동 계획이 필요하기 때문에 한계점을 갖는다고 판단했다.

이에 따라 본 연구에서는 다층 환경에 대한 통합 그래프 모델을 기반으로 로봇이 위치한 a-층계로부터 목적지 b-층계까지의 경로 계획을 식 (2)와 같이 엘리베이터를 활용하여 한 번에 수행하도록 개발하였다.

$\[ P_{a\to b}^{global\mathrm{*}}=\underset{\forall i,j\in N_{\mathit{a}\mathit{l}\mathit{l}}}{a\mathit{rg}\mathit{mi}n}\left(f_i^a+f_j^b+g^{elevator}\right) \]$

(2)

여기서 g^elevator는 길 찾기 문제에서 수직 간 노드 확장이 가능한 층계 이동 함수이다. 또한, 각 층계 별로 구축된 그래프 N_a,N_b ⊂ N_all는 엘리베이터 노드를 통해 서로 연결되도록 하였다. 구축된 다층 그래프 N_all는 각 층계 별 공간 정보를 포함하고 있으며 엘리베이터의 위치는 추가 속성 정보를 통해 같은 엘리베이터 노드끼리는 수직 방향으로도 경로 계획이 가능하여지도록 하였다. 이를 통해 최단 경로로 목적지까지 이동하기 위해서는 로봇이 층계 이동이 필요한지 판단하여 엘리베이터 탑승에 관한 행동 계획에 활용하였다. 또한 다층 환경에 대한 단일 경로를 통해 엘리베이터 탑승 전후마다 각 층계 별 경로로 변경이 필요하지 않도록 하였다.

2.2 엘리베이터 탑승 알고리즘

본 연구에서는 엘리베이터에 탑승하는 경우에는 다음과 같이 엘리베이터에 탑승하도록 행동 계획을 하였다. 본 장에 서는 엘리베이터 인식 및 주행 가능 영역을 검출하는 알고리즘과 엘리베이터 탑승을 위한 경로 계획 알고리즘 그리고 엘리베이터 탑승 과정에서 행동 계획을 위한 판단 알고리즘을 소개하고자 한다. [Fig. 3]에서 나타낸 것과 같이 엘리베이터 내부에서는 카메라 영상 정보와 라이다 센서 모두 정확성이 떨어지는 것을 확인할 수 있다^[12,13]. 따라서 센서 융합을 통해 각 센서의 한계점을 극복한 방법과 엘리베이터 내부에 승객 혹은 장애물이 있는 상황에도 대응할 수 있는 알고리즘을 소개하고, 이에 더해 엘리베이터에 탑승하기 위한 로봇의 행동 계획 알고리즘도 다루기로 한다.

[Fig. 3]

Challengeable scenarios for the robot in the elevator. Owing to high-reflectivity of the mirror, sensors can be degraded. (a): Camera view of the installed optic camera. When deep-learning-based semantic segmentation is deployed, robot perceives drivable area in the mirror[12]. (b): We illustrated ground truth elevator area. However, we can see a number of reflected points out of the elevator. (c): We also deployed mono-depth estimation using optic camera. However, robot perceived longer depth from the mirror[13]

2.2.1 엘리베이터 인식 및 주행 가능 구역 검출

라이다 센서의 산란으로 인해 위치 추정 오차가 커지는 엘리베이터 구간에서는 위치 추정 결과를 통해서 경로 목적지(goal point)까지 지역-경로 계획(local trajectory planning)을 실행하는 데 어려움이 있다. 따라서 본 연구에서는 엘리베이터 입구까지의 지역-경로 계획을 위해 로봇의 하단부에 장착된 2차원 레이저 센서를 사용한 주행 가능 구역을 검출하고, 카메라-라이다 센서 융합을 통하여 주행 가능 구역 내에서의 목표지점을 설정하였다. 로봇의 주행 가능 구역 검출 및 경로 목적지 설정은 장애물 지도, 장애물 cost map 구성, 엘리베이터 위치 및 상태 인식 순서로 이루어졌다.

우선 장애물 지도는 로봇의 전후방에 부착된 2차원 라이다 센서를 통해 검출된 장애물을 길이 5 m, 폭 3 m, 간격 0.05 m로 식 (3)과 같이 occupancy grid map(M_occ)에 표시하여 생성하였다.

$\[ M_{x,y}^{occ}=\left\{\begin{array}{ccc}1,\hfill & \hfill & \hfill if is occipied\\ 0,\hfill & \hfill & \hfill else\end{array}\right. \]$

(3)

M_occ에 표시된 장애물들은 식 (4)을 통해 확대되어 장애물의 일정 범위(ϵ) 내의 점들의 cost map을 계산하는데 활용되었다.

$\[ M_{x,y}^{cost}={\sum }_{k=1}^n\left\{c_x{*\left(ϵ-\left|x-x_k\right|\right)}^2+c_y*{\left(ϵ-\left|y-y_k\right|\right)}^2\right\} \]$

(4)

여기서 n은 M_occ에 존재하는 장애물 점의 개수이며, x_k,y_k는 M_occ에서 장애물로 인식된 점의 좌표이다. x,y는 cost map 위의 모든 점의 좌표를 의미한다. 로봇의 주행 가능 구간(M^drv)은 식 (5)에서와 같이 로봇의 중심으로에서부터 목표지점 사이에 있는 모든 점들(x_i,y_i)의 cost 값이 임계값(γ)을 넘지 않는 점들의 집합으로 설정하였다. 이때, M^cost를 활용해 주행 가능 구간을 판단함으로써 엘리베이터 벽면의 레이저의 산란 혹은 낮은 해상도로 인해 생기는 occupancy map의 장애물 간 틈이 주행 가능 구역으로 인식되는 것을 방지하였다.

(5)

이때, m은 로봇의 중심에서 목표지점을 이었을 때의 기울기(y/x)이다.

탑승 엘리베이터까지의 상대 위치는 라이다-센서 융합을 통하여 구하였다. 더욱 정확한 엘리베이터 문 인식을 위해서 심층 학습을 통한 image segmentation 알고리즘 중 인식 속도가 빠른 YOLACT^[14] 활용하였다. 엘리베이터에 해당하는 픽셀들은 식 (6-7)을 활용한 라이다 점-군과 매칭과 식 (8)을 통한 카메라-라이다 좌표계 변환을 통해 인식된 엘리베이터에 해당하는 점들을 추출하는 3차원 ROI(region of interest)를 설정하는데 사용되었다.

$\[ x_{cam}=tan\left(\frac{\theta }{2}\right)\frac{2u-w}{w}\mathrm{*}{z}_{cam} \]$

(6)

$\[ y_{cam}=tan\left(\frac{\alpha }{2}\right)\frac{2v-h}{h}\mathrm{*}{z}_{cam} \]$

(7)

$\[ X_{lidar}={T_{cam}^{lidar}X}_{cam} \]$

(8)

이때, x_com, y_com, z_com은 카메라 좌표계에서의 x, y, z이고, θ와 α는 카메라 화각의 폭과 높이이다. U와 v는 카메라 영상 픽셀 상의 점의 위치이고, w, h는 카메라 영상의 가로세로 픽셀 수를 나타낸다. [Fig. 4(a)]와 같이 ROI에 해당하는 점들의 중심을 목표하는 엘리베이터의 라이다 좌표계에서의 위치 ($$ X_{lidar}^e$$)로 설정하였다. 실험이 실행된 엘리베이터는 문과 내부 벽면이 거울 혹은 반사율이 높은 금속으로 구성되어 있어 로봇이 엘리베이터 문에 가깝게 접근하는 경우, 카메라 영상 인식 결과 엘리베이터 문이 아닌 반사된 주변 사물들이 인식되는 문제점이 있었다. 해당 경우에 엘리베이터로의 접근을 위하여 로봇 스스로가 인식되는 경우 엘리베이터에 로봇이 반사된 것으로 판단하였다. 로봇에 해당하는 픽셀들에 해당하는 라이다 점-군을 추출하여 그 중심을 라이다 좌표계에서의 엘리베이터에 비친 로봇의 중심($$ X_{lidar}^{er}$$)으로 설정하였다 [Fig. 4(b)].

[Fig. 4]

Semantic segmentation result and camera-LiDAR fusion result. (a, c): semantic segmentation and segmented point cloud result of the elevator. (b, d) same result of the reflected robot

엘리베이터를 대기 및 탑승하는 경우, 경로 목적지는 로봇의 전방에 위치하고, 엘리베이터에서 내리는 경우, 로봇의 후 방에 위치한다. 전자의 경우, 경로 목적지는 로봇 전방의 주행 가능 구역에서 $$ X_{lidar}^e$$혹은 $$ X_{lidar}^{er}$$에서 가까운 점으로 설정하였다. 엘리베이터에서 내리기 위해 후진하는 경우, 로봇 후방의 주행 가능 구역에서 로봇과 가장 멀리 떨어진 점으로 설정하였다.

2.2.2 실시간 지역-경로 계획(online local trajectory planner)

앞서 설명한 바와 같이 엘리베이터 탑승을 위한 경로 목적지 인식과 주행 가능 영역을 검출하더라도 라이다 센서의 산란으로 인해 엘리베이터 탑승이 매끄럽지 못한 문제가 남아있다. 따라서 본 연구에서는 실시간으로 지역-경로 계획을 활용하여 안정적으로 엘리베이터에 탑승할 수 있도록 하였다. 본 연구진은 앞서 로봇이 다양한 장애물이 있는 복잡한 환경에서도 운용이 가능한 시스템을 제안하였는데^[15], 해당 연구 결과를 엘리베이터 탑승에 적용한 결과 한계점을 발견할 수 있었다. [15]에서는 경로 후보군 기반의 지역-경로 계획을 활용하였으나 엘리베이터와 같이 모든 경로 후보 군이 주행 불가능한 경우에는 장애물 회피가 가능한 샘플을 선택하는 데 있어 한계점이 존재했다. 따라서 본 연구에서는 이러한 한계점을 극복하고자 [16]에서 제안한 time-elastic band 기반의 경로 계획 알고리즘을 활용하였다. 이를 통해 속도, 각속도, 장애물을 고려한 경로를 생성할 수 있었다. 또한 본 연구에서는 differential drive 로봇을 활용하여 제어와 관련된 기구학적인 제약 조건은 없지만, 엘리베이터와 같은 좁은 지역에서 활용될 수 있도록 car-like 모델과 같이 kino-dynamics를 고려하여 경로를 생성하였다. 특히 kino-dynamics를 고려할 때 다양한 동적 장애물을 입력으로 넣어주는 경우 경로가 복잡하게 꼬이는 문제가 발생하는데 본 연구에서는 해당하는 상황을 인식하여 초기화를 자동으로 실행해줌으로써 주행 가능한 경로가 지속해서 생성될 수 있도록 알고리즘을 수정하였다.

2.2.3 엘리베이터 탑승을 위한 행동 계획(Behavior planning for elevator)

본 연구에서는 3차원 점-군 정밀 지도와 2차원 그래프를 통합한 항법 알고리즘과 엘리베이터 탑승 미션을 분리하여 로봇을 운용하였다. 특히 항법 기반의 엘리베이터 탑승 알고리즘을 구현하지 않은 이유는 로봇이 엘리베이터 주변 혹은 센서 정보가 부정확해지기 때문에 위치 추정이 불안정해져 엘리베이터 내부에서 주행이 불안정해졌기 때문이다. 따라서 로봇이 정밀 지도 기반 항법 알고리즘을 활용하여 배송 업무를 수행한 뒤, 층계 이동이 필요한 경우 엘리베이터 주변으로 접근하게 되면 엘리베이터 미션이 시작할 수 있도록 하였다. 로봇이 엘리베이터를 인식하는 데는 두 가지 방법을 활용하였는데 엘리베이터를 인식하거나 거울에 비친 로봇을 인식하도록 하였다. 먼저 엘리베이터를 인식하는 경우에는 거울에 반사된 건물의 모습이 비쳐 상대적으로 정확도가 낮았으며 거울에 비친 로봇의 모습을 인식하는 경우는 높은 정확도를 보이며 엘리베이터를 인식할 수 있었다. 거울에 비친 로봇 자신의 모습을 문과 가까이서 인식하는 상황에서는 레이저 센서로 인식된 전방 장애물로 인해 로봇의 속도 명령은 정지 상태를 유지하였다. 이때 엘리베이터 문이 열리는 경우에 속도 명령과 동시에 장애물 회피 경로를 추종하기 위한 횡-방향 제어 명령이 생성되도록 하였다. 엔지니어링 측면에서 로봇이 안정적으로 장애물 회피를 하며 엘리베이터에 탑승하기 위해서는 횡-방향 속도 명령을 종-방향 속도 명령에 비해 가중치를 두어 장애물을 미리 회피한 후에 속도 명령을 생성하도록 하였다. 엘리베이터 탑승에 관한 행동 계획 알고리즘은 [Fig. 5]에 나타내었다. 또한 엘리베이터 탑승 과정에서 중요한 판단 알고리즘 중 하나는 로봇이 엘리베이터 내부에 잘 들어 왔는지에 대한 판단이었다. 따라서 본 연구에서는 로봇의 주행 가능 구역의 최대 거리(σ_max)가 일정한 임계값보다 작아지는 경우, 엘리베이터에 탑승하고 문이 닫힌 상태로 판단하였다. 이는 [Fig. 6]에서와 같이 문이 닫힌 상태(c, d)에서는 검출된 주행 가능 구역이 일정한 거리 이내로 좁아지는 것을 확인할 수 있다. 이때, σ_max의 정의는 아래 식 (9)와 같다.

$\[ {\sigma }_{max}=\begin{array}{c}max\\ \forall i,j\in M_{x_i,y_j}^{drv}=1\end{array}\sqrt{x_i^2+y_j^2} \]$

(9)

[Fig. 5]

Pipeline of a behavior planning

[Fig. 6]

Drivable region detection result with cost map. (a): the robot waiting for the elevator (closed door), (b): getting on the elevator (open door), (c): got on the elevator (open door), (d): robot inside the elevator (closed door), and (e): robot inside the elevator with passengers (closed door)

로봇이 목적지 층계에 도착한 뒤에는 다시 배송 서비스를 수행하기 위해 정밀 지도 기반의 실내 항법 알고리즘을 활용할 수 있도록 엘리베이터 앞에서 초기화를 수행한 뒤에 주행을 재시작할 수 있도록 시스템을 구성하였다.

3. 실험결과

본 연구에서 제안한 알고리즘을 검증하기 위해 한국과학기술원(KAIST)과 한국전자통신연구원(ETRI)에서 다층 간 경로 계획 알고리즘과 로봇의 엘리베이터 탑승 실험을 수행하였다. 먼저 구축한 다층 그래프를 기반으로 건물 내에서 경로 계획이 로봇이 위치한 층계에서 목적 층계까지 계산되는지 검증을 수행했으며 그 결과는 [Fig. 7]에 나타내었다. [Fig. 7(b)]에 나타낸 바와 같이 각 층계에서 다른 층계로의 확장은 식 (2)을 활용하여 모든 층계에 위치한 엘리베이터 노드의 연결성으로 인해 가능했다. 이와 동시에 층계 이동이 필요한 경우에는 로봇이 엘리베이터 미션을 수행할 수 있도록 행동 계획 알고리즘이 동작하였다.

[Fig. 7]

Result of a multi-floor planning algorithm. (a) Computed paths are illustrated by rainbow color in the two-different buildings. (b) Proposed multi-floor map is illustrated. Also, connected elevator node is visualized in green color

각 상황별 장애물 cost map과 로봇의 주행 가능 구역은 [Fig. 6]과 같이 나타났다. 이때. cost map에서 청색으로 가까워질수록 높은 cost를 의미한다. 초록색으로 표현된 로봇의 주행 가능 구역은 장애물의 cost 값을 통해 생성하여, 라이다 및 레이저 센서에 인식되지 않는 엘리베이터의 벽면을 투과하지 않았다. 따라서 엘리베이터의 벽면이 인식되지 않는 환경에서 대기 상태인 (a)와 엘리베이터 문이 열린 (b-c)와 비교하였을 때 문이 닫힌 엘리베이터에 완전히 탑승한 (d-e)에서 주행 가능 구역이 좁게 인식되는 것을 확인할 수 있었다. 카메라-라이다 센서 융합을 통해 인식된 엘리베이터 문 및 반사된 로봇의 중심을 반영한 로봇의 경로 목적지 또한 안정적으로 생성되는 것을 확인할 수 있었다.

다음으로는 생성된 경로 목적지에 대한 실시간 지역-경로 계획 알고리즘을 평가하였다. 생성된 지역-경로 계획에 대한 결과는 [Fig. 8]에서 주황색으로 표기하였으며 엘리베이터 탑승 전에는 엘리베이터 문 앞까지 경로를 생성하다가 문이 열리는 것을 인지한 후 주행 가능 영역을 판단하여 자동으로 엘리베이터에 탑승하도록 하였다. 다양한 시나리오에서 로봇이 자율 주행을 기반으로 엘리베이터를 탑승하는지 검증하기 위해 로봇이 엘리베이터 문 앞에서 다양한 상황으로 위치하도록 하였으며 주변 장애물을 고려하며 로봇과 엘리베이터가 정렬되지 않은 상황에서도 경로 계획 알고리즘을 통해 안정적으로 엘리베이터에 탑승하는 것을 검증하였다. [Table 1]에서 로봇을 엘리베이터 문을 기준으로 정면, 좌·우측 45도, 그리고 동적 장애물에 대한 각 10회씩 수행한 실험에 대한 평가를 나타내었다. 검증 과정에서 우측에서 엘리베이터에 탑승하기 위한 실험에서 10회 중 1회의 실패를 하였는데 로봇이 우측에 위치하였을 때 다른 엘리베이터를 인식하여 가장 가까운 엘리베이터를 지나치는 문제가 발생하여 실패로 간주하였다. 해당 검증 영상은 아래 링크에서 확인할 수 있다(영상 링크 : https://youtu.be/n6vkBqA8grA).

[Fig. 8]

Various test scenarios for elevator mission. (a)-(d): forward directional scenarios, (e)-(f): reverse directional scenarios. The robot took into account dynamic obstacles without colliding with them in each scenario

[Table 1]

The test scenarios and the number of successful tests compared to the total number of tests

마지막으로 로봇-엘리베이터 간 연동은 현대엘리베이터 회사의 API v1 버전을 활용하여 Request/Response 기반의 사물 원격 제어를 수행하였다.

4. 결 론

이 연구에서는 로봇이 다층 건물 환경에서 운용하기 위해 서 multi-floor route planning 알고리즘과 엘리베이터 탑승과 관련된 알고리즘에 대해 소개하였다. 제안한 multi-floor route planning 알고리즘을 활용하면 출발지와 목적지를 로봇에게 부여한 경우, 엘리베이터 노드를 통해 확장된 다층 그래프를 기반으로 통합된 경로를 얻을 수 있었다. 이를 통해 로봇이 층계 이동이 필요한지 판단하였고 층계 이동이 필요한 경우 엘리베이터 탑승을 위한 미션을 수행하였다. 또한, 본 연구에서는 엘리베이터 내부/외부에 대해 주행할 수 있는 영역을 추정하고 로봇이 좁은 엘리베이터에 안전하게 탑승할 수 있도록 경로 계획 알고리즘을 활용하였다. 이에 더해 로봇이 엘리베이터에 탑승하기 위한 행동 계획 알고리즘에서는 인식된 정보에 따라 상태를 추정하였다. 마지막으로 배송 로봇이 층계 이동이 가능하도록 시스템을 개발하였으며 이를 통해 실제 환경에서 우편 배송 서비스를 수행하는 실증 테스트를 수행하였다. 이러한 층계 이동이 가능한 라스트 마일 배송 로봇을 활용함으로써 택배, 우편, 배달과 같은 서비스를 식당, 학교, 호텔, 병원과 같은 다양한 환경에 활용하기를 기대한다.

Acknowledgments

This work was supported by Electronics and Telecommunications Research Institute (ETRI) grant funded by the Korean government. [21YR2900, Logis-Dronia(Untact Last Mile Delivery Service based on Unmanned Vehicle)]

References

• C. M. Kang, “Intelligent mobile robot technology and application,” vol. 70, no. 2, pp. 9-13, Feb., 2021, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE10525417, .
• J. Biswas and M. Veloso, “Depth camera based indoor mobile robot localization and navigation,” IEEE International Conference on Robotics and Automation (ICRA), Saint Paul, USA, 2012. [https://doi.org/10.1109/ICRA.2012.6224766]
• R. C. Luo, V. W. S. Ee, and C. Hsieh, “3D point cloud based indoor mobile robot in 6-DoF pose localization using Fast Scene Recognition and Alignment approach,” International Conference on Multisensor Fusion and Integration for Intelligent Systems (MFI), Baden-Baden, Germany, 2016. [https://doi.org/10.1109/MFI.2016.7849532]
• J. Gao, W. Ye, J. Guo, and Z. Li, “Deep Reinforcement Learning for Indoor Mobile Robot Path Planning,” Sensors, vol. 20, no. 19, Sept.. [https://doi.org/10.3390/s20195493]
• P. Štibinger, G. Broughton, F. Majer, Z. Rozsypálek, A. Wang, K. Jindal, A. Zhou, Dinesh Thakur, G. Loianno, T. Krajník, and M. Saska, “Mobile Manipulator for Autonomous Localization, Grasping and Precise Placement of Construction Material in a Semi-Structured Environment,” IEEE Robotics and Automation Letters, vol. 6, no. 2, pp. 2595-2602, Apr., 2021. [https://doi.org/10.1109/LRA.2021.3061377]
• T. Shan and B. Englot, “LeGO-LOAM: Lightweight and Ground-Optimized Lidar Odometry and Mapping on Variable Terrain,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Madrid, Spain, 2018. [https://doi.org/10.1109/IROS.2018.8594299]
• T. Shan, B. Englot, D. Meyers, W. Wang, C. Ratti, and D. Rus, “LIO-SAM: Tightly-coupled Lidar Inertial Odometry via Smoothing and Mapping,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Las Vegas, USA, 2020. [https://doi.org/10.1109/IROS45743.2020.9341176]
• M. Jang, H. Jo, and J. Song. “Elevator Recognition and Position Estimation Based on RGB-D Sensor for Safe Elevator Boarding,” Journal of Korea Robotics Society. The Korea Robotics Society, vol. 15, no. 1, Mar., 2020. [https://doi.org/10.7746/jkros.2020.15.1.070]
• J. Zhao, Y. Chen, and Y. Lou, “A Human-Aware Robotic System for Mobile Robot Navigating in Multi-Floor Building with Elevator,” WRC Symposium on Advanced Robotics and Automation (WRC SARA), Beijing, China, 2019. [https://doi.org/10.1109/WRC-SARA.2019.8931948]
• H. Ge, M. Matsui, and N. Koshizuka, “An Open-IoT Approach on Elevator for Enabling Autonomous Robotic Vertical Mobility,” IEEE Global Conference on Life Sciences and Technologies (LifeTech), Nara, Japan, 2021. [https://doi.org/10.1109/LifeTech52111.2021.9391885]
• G. Kang, D. Lee, and H. Shim, “3D Multi-Floor Precision Mapping and Localization for Indoor Autonomous Robots,” Journal of Korea Robotics Society. The Korea Robotics Society, vol. 17, no. 1, Mar., 2022. [https://doi.org/10.7746/jkros.2022.17.1.025]
• V. Badrinarayanan, A. Handa, and R. Cipolla, “Segnet: A deep convolutional encoder-decoder architecture for robust semantic pixel-wise labelling,” Computer Vision and Pattern Recognition, 2015. [https://doi.org/10.48550/ARXIV.1505.07293]
• C. Godard, O. M. Aodha, M. Firman, and G. Brostow, “Digging Into Self-Supervised Monocular Depth Estimation,” International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019. [https://doi.org/10.1109/ICCV.2019.00393]
• D. Bolya, C. Zhou, F. Xiao and Y. J. Lee, “YOLACT: Real-Time Instance Segmentation,” International Conference on Computer Vision (ICCV), Seoul, Korea (South), 2019. [https://doi.org/10.1109/ICCV.2019.00925]
• D. Lee, G. Kang, B. Kim, and D. H. Shim, “Assistive Delivery Robot Application for Real-World Postal Services,” IEEE Access, vol. 9, Oct., 2021. [https://doi.org/10.1109/ACCESS.2021.3120618]
• C. Rösmann, F. Hoffmann, and T. Bertram, “Kinodynamic trajectory optimization and control for car-like robots,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Vancouver, Canada, 2017. [https://doi.org/10.1109/IROS.2017.8206458]