[ ARTICLE ]

The Journal of Korea Robotics Society - Vol. 16, No. 4, pp.313-318

ISSN: 1975-6291 (Print) 2287-3961 (Online)

Print publication date 30 Nov 2021

Received 01 Sep 2021 Revised 19 Oct 2021 Accepted 08 Nov 2021

DOI: https://doi.org/10.7746/jkros.2021.16.4.313

모바일 조작 작업을 위한 역접근성 기반의 효율적인 베이스 재배치 방법

정홍렬¹

; 전정민¹

; 프란시스코 윰블라¹

; 문형필^†

Efficient Base Repositioning for Mobile Manipulation based on Inverse Reachability

Hong-ryul Jung¹

; Jeongmin Jeon¹

; Francisco Yumbla¹

; Hyungpil Moon^†

1Ph.D. Student, Mechanical Engineering, Sungkyunkwan University, Suwon, Korea jung.hr.1206@g.skku.edunicky707@g.skku.edufryumbla@g.skku.edu

Correspondence to: ^†Professor, Corresponding author: Mechanical Engineering, Sungkyunkwan University, Suwon, Korea ( hyungpil@g.skku.edu)

Abstract

This paper proposes a new method to generate inverse reachability maps that are more efficient for mobile manipulators than the previous algorithms. The base positioning is important to perform the given tasks. Using the inverse reachability method, we can know where to place the robot's base for given tasks. For example, the robot successfully performed the task with relocation, even when the target is initially in a low manipulability area or outside the workspace. However, there are some inefficiencies in the online process of the classical inverse reachability method. We describe what inefficiencies appear in the online phase and how to change the offline process to make the online efficient. Moreover, we demonstrate that the proposed approach achieves better performance than usual inverse reachability approaches for mobile manipulation. Finally, we discuss the limitations and advantages of the proposed method.

Keywords:

Inverse Reachability Map, Manipulability, Mobile Manipulation

1. 서 론

매니퓰레이터의 말단장치가 조작 작업에 성공하려면, 로봇의 베이스를 기준으로 말단장치의 목표 위치와 방향은 조작이 용이한 영역 안에 존재하도록 설정해야 한다. 조작성^[1]이 나쁜 영역에서는 의도한 방향으로 말단장치를 옮기는 것이 어렵다. 그러나 말단장치의 작업 자세가 조작성이 좋은 영역에 놓이도록 로봇을 위치시키려면 사용자가 해당 매니퓰레이터의 도달 가능한 범위와 작업 공간에 대한 정보를 알고 있어야 한다. 이러한 지식이 없으면 사용자는 직관에 의존하여 부적절한 곳에 로봇의 베이스를 위치시킬 수 있다. 만약 목표물이 조작성이 낮은 곳에 위치하여 작동 중 작업에 실패한다면, 의도치 않게 물체를 치거나 잘못 조작하여 기물파손이나 인명피해 문제를 초래할 수 있으며 로봇시스템에도 심각한 손상을 유발할 수 있다^[2]. 따라서 작업의 성공률을 높이기 위해 로봇의 베이스를 어디로 옮길 것인지 결정하는 것은 중요하다.

로봇 베이스의 위치 문제는 쉽게 위치를 옮기지 못하는 경우와 쉽게 옮길 수 있는 경우로 구분할 수 있다. 먼저 전자의 사례로는 공장의 생산라인에 설치되어 용접 작업을 수행하는 산업용 로봇^[3]이나 크레인과 같이 위치 이동 비용이 큰 경우^[4] 등이 해당한다. 이러한 경우를 해결하기 위해 역접근성 지도(Inverse Reachability Map, IRM)^[5,6]이 고안되었다. 역접근성 지도는 툴 중심점(Tool Center Point, TCP)을 기준으로 가능한 베이스의 영역을 찾아둔 것인데 본론에서 보다 자세하게 설명할 것이다. 반면, 베이스를 쉽게 옮길 수 있는 경우에는 서비스용 모바일 매니퓰레이터^[7,8]나 휴머노이드 로봇^[9] 등을 예로 들 수 있다. 이 경우, 주어진 작업에 대해 로봇 베이스를 포함하여 모델예측제어(Model Predictive Control, MPC)^[10]를 적용할 수 있다. MPC를 사용하면 실시간으로 최적의 베이스 위치를 알 수 있어 물체를 조작하면서 베이스도 함께 움직여야 할 때^[11] 유용하다. 그러나 MPC는 말단장치의 이동 궤적에 따른 베이스의 궤적만을 알려줄 뿐, 가능한 베이스의 영역을 알려줄 수는 없다. MPC 외에도 심층 신경망을 사용하여 주어진 말단장치 이동에 따라 모바일 베이스가 어떻게 움직여야 하는지 강화 학습하는 방법도 고안^[12]되었다. 하지만 이 방법도 MPC와 마찬가지로 주어진 조작 목표에 대한 가능한 베이스 위치 자체를 알려주진 않는다. 이를 알아내려면 역접근성 정보가 있어야 한다.

본 논문에서는 기존의 역접근성 지도^[5,6]의 비효율적인 부분을 개선하는 방법을 소개하고, 개선된 역접근성 지도를 사용하여 적절한 베이스 위치를 찾는 과정을 서술한다. 그리고 마지막에는 역접근성 지도 기반의 방법의 장점과 한계에 대해 논의한다.

2. 접근성 지도

접근성 지도(Reachability Map, RM)는 로봇의 기저 좌표계를 기준으로 툴 중심점이 도달할 수 있는 모든 공간을 이산화된 복셀(Voxel)로 구획하고, 각 구획마다 샘플링 된 말단장치의 자세에 대하여 점수를 매겨놓은 데이터베이스이다. 즉, 어떤 복셀의 중심에 툴 중심점을 둔 말단장치의 역기구학 해가 존재하면, 해당 복셀의 접근성 점수가 복셀에 기록된다. 복셀의 접근성 점수를 매기는 방법은 다음과 같이 크게 두 가지로 분류된다.

D = R / N × 100

(1)

μ = λ min ⁡ A / λ max ⁡ A w h e r e A = J J T

(2)

첫 번째 식 (1)의 방법은 총 시도한 말단장치의 자세(N) 중에서 역기구학 해를 찾을 수 있는 자세(R)가 몇 개인지 백분율로 나타낸 접근성 지수(D)^[2]로 복셀을 평가한다. 이 방식은 개념이 단순하여 구현이 용이하지만, 임의의 위치로 툴 중심점이 도달 가능한지만 알 수 있고 특정한 방향으로 말단장치가 접근 가능한지에 대한 어떠한 정보도 알 수 없다. 또한, 샘플링을 충분히 다양하게 하지 않으면 많은 복셀들의 접근성 지수가 유의미하게 구별되지 않는 단점이 있다.

두 번째 방법은 접근성 지수 대신 조작성(μ)을 점수로 사용하는 방법^[4,9]이다. 자코비안 행렬(J)에서 조작성을 정의하는 방법은 여러 가지가 있다. 본 논문에서는 A행렬의 고유값(λ)의 비율을 사용하였으며 식 (2)와 같다. 이 경우, 조작성의 범위는 0 이상 1 이하이고, 값이 클수록 좋다. [Fig. 1(a)]는 본 논문에서 사용한 로봇의 오른팔에 대한 접근성 지도를 3차원 공간에 나타낸 것이다. 샘플링된 말단장치의 자세들 중에서 역기구학 해를 갖는 것들의 집합을 S라고 할 때, 접근성 지도(RM)는 아래의 식 (3)으로 표현된다. x_i, y_i, z_i는 베이스 프레임에서 바라본 말단장치의 위치이고, γ_i, β_i, α_i는 차례대로 베이스 프레임에서 바라본 말단장치의 Yaw-Pitch-Roll 오일러 각도이다. R(γ_i,β_i,α_i)는 Yaw-Pitch-Roll 오일러 각도에 의한 회전행렬을 나타낸다. 접근성 지도의 기준 좌표계는 베이스 프레임이므로 변환행렬 T_base는 단위행렬이다. 말단장치의 좌표계는 편의상 툴 중심점에 있다고 가정하였다.

R M = T e e f i, T b a s e i, μ i ∀ i ∈ S w h e r e T e e f i = R γ i, β i, α i 0 x i y i z i T 1 T b a s e i = I 4 R γ i, β i, α i ∈ R 3 × 3

(3)

[Fig. 1]

Data visualization. RM (a): The white triangle means the robot base. The rainbow-colored arrows are reachable poses by the end-effector. IRMs (b) and (c): The black arrows are end-effector poses. The rainbow-colored triangles are base poses. Blue (Red) colors indicate high (low) manipulability

3. 역접근성 지도

3.1 기존의 방법

3.1.1 오프라인 단계

접근성 지도가 베이스를 원점으로 말단장치의 범위를 표현한 것인 반면, 반대로 역접근성 지도는 말단장치의 좌표계를 기준으로 베이스의 자세를 표현한 것이다. 그러므로 접근성 지도에서 말단장치 변환행렬의 역행렬을 찾으면, 식 (4)와 같이 역접근성 지도의 베이스 자세가 된다^[5,6]. [Fig. 1(b)]는 [Fig. 1(a)]의 접근성 지도에 식 (4)를 적용한 역접근성 지도이다.

I R M = T e e f i, T b a s e i, μ i ∀ i ∈ S w h e r e T e e f i = I 4 T b a s e i = R γ i, β i, α i T 0 - R γ i, β i, α i T x i y i z i T 1

(4)

3.1.2 온라인 단계

오프라인 단계에서 식 (4)의 방법으로 미리 찾은 역접근성 지도를 온라인 단계에서 활용하여 요청된 작업위치에 대한 적절한 베이스의 자세를 찾으려면, 다음과 같은 단계를 거쳐야 한다. 먼저, 역접근성 지도의 기준 좌표계를 목표로 하는 말단장치의 좌표계와 일치하도록 옮긴다. 역접근성 지도의 기준 좌표계는 말단장치 좌표계이기 때문에, 모든 베이스 자세를 목표 말단장치를 기준으로 표현한 것과 같다. 그런 다음, 옮겨진 베이스 자세들 중에서 지면에 유효하게 존재하는 것만 추려내야 한다^[2]. 이렇게 추려낸 자세들은 지면에 모바일 베이스가 놓여있으면서 목표 물체에 툴 중심점이 다가갈 수 있지만, 말단장치의 방향은 모두 같은 상태이다. 만약, 목표물에 접근하는 말단장치의 방향을 다양하게 해도 된다면, 각 방향에 대해 앞의 과정을 반복하면 된다. 아직 역기구학이 존재하는 베이스 자세를 찾은 것 뿐이므로 주변 환경과 충돌하는 자세를 제거하고, 마지막으로 추려낸 자세들 중에서 가장 조작성이 높은 자세를 선택하여 사용하게 된다.

그런데 목표로 하는 말단장치의 위치와 방향은 작업에 따라 그때그때 다를 수 있다. 그래서 기존의 역접근성 지도를 사용하면, 베이스의 어떤 자세들이 지면에 놓여 있을지 사전에 알 수 없으므로 매번 유효성을 검사해야만 한다. 이러한 오버헤드는 역접근성 지도를 오프라인 단계에서 생성할 때, 모바일 베이스의 자유도를 고려하지 않고 단순히 말단장치의 역행렬을 취했기 때문이다. 다음 섹션에서는 이를 개선하기 위해 오프라인 단계에서 역접근성 지도를 생성할 때 베이스의 자유도를 고려하는 방법을 설명한다.

3.2 개선된 방법

3.2.1 오프라인 단계

역접근성 지도를 생성할 때, 기존의 방법이 접근성 지도의 모든 말단장치들의 위치와 방향을 하나로 구속한 것과 달리, 본 논문에서 제안하는 방법은 모든 말단장치들의 x_i, y_i와 Yaw 각도(γ_i)만을 일치시킨다. 말단장치의 높이(z_i)와 Pitch-Roll 각도(β_i, α_i)는 그대로 둔다. 이에 따른 역접근성 지도는 바로 아래 식 (5)로 표현된다.

I R M = T e e f i, T b a s e i, μ i ∀ i ∈ S w h e r e T e e f i = R 0, β i, α i 0 0 0 z i T 1 a n d T b a s e i = R z - γ i 0 R z π - γ i x i y i 0 T 1 R z θ = R θ, 0, 0

(5)

X, Y축 이동과 Yaw 회전만 사용한 것은 모바일 베이스의 자유도를 고려했기 때문이다. 이렇게 구해진 역접근성 지도에서는 모든 베이스가 여전히 지면에 유효하게 존재한다. 그러므로 식 (4)에 의한 역접근성 지도와 달리 온라인 단계에서 베이스가 지면 위에 놓여 있는지 별도로 검사할 필요가 없고, 오버헤드를 줄일 수 있다. [Fig. 1(a)]의 접근성 지도에서 식 (5)로 구한 역접근성 지도는 [Fig. 1(c)]와 같다. 모든 베이스가 지면에 있는 것을 확인할 수 있다.

3.2.2 온라인 단계

오프라인 단계에서 일치시키지 않았던 말단장치의 Z축 위치(z_i)와 Pitch 각(β_i), Roll 각(α_i)은 온라인 단계에서 적절한 베이스 좌표를 찾기 위한 입력으로 사용된다. 식 (5)에 의한 역접근성 지도를 생성할 때 [z_i, β_i, α_i]를 key로 하는 사전형 데이터 구조로 만든다면, 온라인 단계에서 필요한 베이스 자세의 집합을 보다 쉽고 빠르게 찾을 수 있다.

제안하는 역접근성 지도에서 원하는 베이스 자세를 찾는 과정을 다음과 같다. 우선, 목표물에 접근할 말단장치의 높이와 Pitch와 Roll의 범위를 정한다. 정한 범위에 부합하는 자세만 골라낸다. 베이스의 자세는 지면에 있는 것이 항상 보장되므로 별도의 검사를 하지 않아도 된다. 다만 아직 말단장치의 X, Y 위치가 목표물체의 X, Y 위치에 있지 않으므로 모든 말단장치 X, Y 위치를 목표물체로 옮긴 후, 기존 방법과 마찬가지로 충돌 검사를 수행하고 조작성이 가장 높은 자세를 선택한다.

4. 시뮬레이션

[Fig. 1(a)]의 접근성 지도를 얻기 위해, 작업 공간을 5 cm 간격으로 복셀화(Voxelize)하고 각 복셀마다 62가지의 방향에 대해 말단장치의 역기구학을 풀고, 해가 있는 경우에 대해 조작성(μ)을 계산하여 접근성 지도를 구하였다. 그리고 식 (5)에 따라 [Fig. 1(c)]의 역접근성 지도로 변환하였다. 다만, 상기 접근성 지도에는 2만 6천개 이상의 자세가 있기 때문에, 본 논문의 실험에 사용할 때에는 [Fig. 2]의 탁자 위에 컵이 놓일 수 있는 영역으로 접근성 지도의 범위를 제한하였다. 구체적으로 범위가 제한된 접근성 지도에는 7,899개의 자세가 포함되어 있다.

[Fig. 2]

IRM solution for an environment. The current goal is the cup on the desk, the mobile base has a very narrow area to avoid a collision. The yellow border on the floor is the table projected in the configuration space (offset: 0.3 m). The purple arrow is a repositioning answer which is one of the best manipulability scores except for the points inside the yellow border. More details in https://youtu.be/glnHHT6fwf4

기존의 방법과 제안하는 방법의 속도를 비교하기 위한 실험을 진행하였다. 실험 방법은 [Fig. 2]과 동일한 환경에서 파지 물체로 설정된 종이컵의 위치를 탁자 위에 무작위로 생성하면서 역접근성 지도의 해를 500번 요청한 뒤, 역접근성 지도의 해를 찾는데 소요된 시간을 측정하였다.

시뮬레이션 실험 결과는 [Fig. 3]과 같다. 종이컵 대한 말단장치의 접근 방향은 Z축을 기준으로 –180 ~ 180 deg 모두 허용할 경우에는 기존의 방법은 평균 1,180.6 ms, 표준편차 313.3 ms 가 걸린 반면에 제안하는 방법은 평균 249.7 ms, 표준편차 25.4 ms 가 소요되었다. 조건을 조금 바꾸어 접근 방향을 –90 ~ 90 deg로 제한할 경우에는 탐색해야할 자세의 수가 절반으로 줄어드는데, 이때 기존 방법은 평균 695.0 ms, 표준편차 156.6 ms 가 걸리고, 제안하는 방법은 평균 138.6 ms, 표준편차 15.5 ms 가 걸렸다. 제안하는 방법이 기존 방법 대비 약 5배 향상되었음을 확인할 수 있다. 실험에 사용된 역접근성 지도 탐색 모듈은 파이썬 2.7에서 Numpy 라이브러리를 사용하여 구현하였다.

[Fig. 3]

Simulation result for computation time. R90 (R180) results from the reference IRM constrained to an approach angle of ±90 deg (±180 deg). P90 (P180) results from the proposed IRM in the same range of approaches

역접근성 지도를 사용하면, 로봇 팔이 닿기 힘든 테이블 깊숙한 곳에 파지 목표가 위치하고 있어도 작업이 가능한 모바일 베이스의 영역을 찾을 수 있다. 뿐만 아니라 가능한 영역 안에서 최선의 베이스 위치와 방향을 찾을 수 있다. 예를 들어, [Fig. 2]는 파지할 종이컵이 깊숙이 위치하여 책상과 충돌하지 않는 베이스 영역이 매우 좁지만 최선의 베이스 위치와 방향(보라색 화살표)을 찾아낼 수 있다.

다만, 역접근성 지도를 탐색할 때 필요한 시간은 역접근성 지도의 크기에 지배적인 영향을 받으므로, 작업공간을 제한하지 않고 탐색해야할 자세의 수가 많으면 본 논문에서 제안하는 방법을 적용하더라도 수 초가 걸릴 수 있으며, 본 논문에서 제안하는 방법은 베이스가 지면 또는 가상의 평면 위에서만 움직이는 로봇에 한정하여 적용 가능한 한계가 있다. 그리고 역접근성 지도에서 해를 찾을 수 있더라도 말단장치를 목표 위치로 옮겨 작업이 성공하도록 보장하지는 않는다. 실제 상황에서는 조작성이 가장 좋은 곳에 베이스를 두더라도 말단장치의 경로 계획은 로봇 팔의 경로 계획 이나 주변의 장애물, 관절의 구동범위, 센서의 인식 오차 같은 여러 제약조건으로 인해 실패할 수 있다. 그러나 역접근성 지도에서 해가 나오지 않는 것은 말단장치의 목표 위치를 작업 공간 내부로 가져올 수 없다는 것을 뜻한다. 따라서 작업이 불가능한 경우를 명시적으로 확인할 수 있다.

5. 결 론

본 논문에서는 종래에 사용되던 역접근성 지도의 구조를 개선하여 온라인 단계에서의 오버헤드를 줄인 방법을 제안하였다. 제안하는 방법은 역접근성 지도에서 로봇 베이스가 지면에 놓여있도록 보장한다. 또한 개선된 역접근성 지도를 사용하여 최선의 베이스 위치와 방향을 찾는 과정을 시뮬레이션을 통해 확인하였다. 따라서 목표로 하는 툴 중심점이 처음의 모바일 베이스 상태에서는 조작성이 낮은 영역이나 작업 공간 밖에 있더라도 적절한 재배치를 통해 작업 성공률을 높일 수 있음을 확인하였다.

그러나 역접근성 기반의 방법의 계산 속도를 높이기 위해서는 접근성 지도의 범위를 관심 있는 영역으로 제한하는 것이 필수적이고, 제안하는 방법은 로봇의 베이스가 평면 위를 움직이는 경우에만 적용할 수 있다는 한계가 있다. 그리고 역접근성 기반의 배치가 말단장치의 이동 궤적에 대한 고려가 되어 있지 않는 등의 이유로 작업의 성공을 보장하지 않는다는 것도 확인하였다.

그럼에도 역접근성 지도는 작업 가능한 베이스의 위치를 명시적으로 확인할 수 있고, 본 논문에서 제안한 식 (5)를 기반으로 하는 효율적인 형태 덕분에 적절한 재배치 위치에 대한 요청을 다양한 서비스 작업에 유용하게 쓸 수 있을 것으로 기대한다.

Acknowledgments

This work was supported by the Ministry of Trade, Industry and Energy (MOTIE) and the Korea Evaluation Institute of Industrial Technology (KEIT) under grants ‘10077538’

References

N. Vahrenkamp, T. Asfour, G. Metta, G. Sandini, and R. Dillmann, “Manipulability Analysis,” 2012 12th IEEE-RAS International Conference on Humanoid Robots (Humanoids 2012), Osaka, Japan, pp. 568-573, 2012. [https://doi.org/10.1109/HUMANOIDS.2012.6651576]
A. Makhal and A. K. Goins, “Reuleaux: Robot Base Placement by Reachability Analysis,” 2018 Second IEEE International Conference on Robotic Computing (IRC), Laguna Hills, CA, USA, pp. 137-142, 2018. [https://doi.org/10.1109/IRC.2018.00028]
M. Forstenhausler, T. Werner, and K. Dietmayer, “Optimized Mobile Robot Positioning for better Utilization of the Workspace of an attached Manipulator,” 2020 IEEE/ASME International Conference on Advanced Intelligent Mechatronics (AIM), Boston, USA (Virtual Conference), pp. 2074-2079, 2020. [https://doi.org/10.1109/AIM43001.2020.9158922]
F. Paus, P. Kaiser, N. Vahrenkamp, and T. Asfour, “A combined approach for robot placement and coverage path planning for mobile manipulation,” 2017 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vancouver, BC, Canada, pp. 6285-6292, 2017. [https://doi.org/10.1109/IROS.2017.8206531]
F. Burget and M. Bennewitz, “Stance selection for humanoid grasping tasks by inverse reachability maps,” 2015 IEEE International Conference on Robotics and Automation (ICRA), Seattle, WA, USA, pp. 5669-5674, 2015. [https://doi.org/10.1109/ICRA.2015.7139993]
N. Vahrenkamp, T. Asfour, and R. Dillmann, “Robot Placement based on Reachability Inversion,” 2013 IEEE International Conference on Robotics and Automation (ICRA), Karlsruhe, Germany, pp. 1970-1975, 2013. [https://doi.org/10.1109/ICRA.2013.6630839]
D.-M. Choi, J. Jeon, E.-S. Lee, and H. Moon, “Knowledge Based Manipulation for Service Robots,” Korean Society for Precision Engineering, Gwangju, Gyeonggi-do, Korea, pp. 716-717, 2017, [Online], https://www.dbpia.co.kr/journal/articleDetail?nodeId=NODE07301195, .
C. R. Garrett, T. Lozano-Perez, and L. P. Kaelbling, “FFRob: Leveraging symbolic planning for efficient task and motion planning,” The International Journal of Robotics Research, vol. 37, no. 1, pp. 104-136, Jan., 2018. [https://doi.org/10.1177/0278364917739114]
F. Burget and M. Bennewitz, “Stance selection for humanoid grasping tasks by inverse reachability maps,” 2015 IEEE International Conference on Robotics and Automation (ICRA), Seattle, WA, USA, pp. 5669-5674, 2015. [https://doi.org/10.1109/ICRA.2015.7139993]
M. V. Minniti, F. Farshidian, R. Grandia, and M. Hutter, “Whole-Body MPC for a Dynamically Stable Mobile Manipulator,” IEEE Robotics and Automation Letters (RA-L), vol. 4, no. 4, pp. 3687-3694, Oct., 2019. [https://doi.org/10.1109/LRA.2019.2927955]
M. Mittal, D. Hoeller, F. Farshidian, M. Hutter, and A. Garg, “Articulated Object Interaction in Unknown Scenes with Whole-Body Mobile Manipulation,” arXiv:2103.10534, 2021, [Online], http://arxiv.org/abs/2103.10534, .
D. Honerkamp, T. Welschehold, and A. Valada, “Learning Kinematic Feasibility for Mobile Manipulation Through Deep Reinforcement Learning,” IEEE Robotics and Automation Letters (RA-L), vol. 6, no. 4, pp. 6289-6296, Oct., 2021. [https://doi.org/10.1109/LRA.2021.3092685]