[ ARTICLE ]

Journal of Korea Robotics Society - Vol. 15, No. 3, pp.293-300

ISSN: 1975-6291 (Print) 2287-3961 (Online)

Print publication date Aug 2020

Received 21 Jul 2020 Revised 7 Aug 2020 Accepted 10 Aug 2020

DOI: https://doi.org/10.7746/jkros.2020.15.3.293

RGB-D 센서, AR 마커, 색수정 알고리즘을 활용한 매니퓰레이터 투명화

김동엽^†

; 김영지¹

; 손현식¹

; 황정훈²

Transparent Manipulators Accomplished with RGB-D Sensor, AR Marker, and Color Correction Algorithm

Dong Yeop Kim^†

; Young Jee Kim¹

; Hyunsik Son¹

; Jung-Hoon Hwang²

1Researcher, KETI, Gyeonggi-do, Korea (yj_kim, sonddosik@keti.re.kr)
2Director, KETI, Gyeoggi-do, Korea (hwangjh@keti.re.kr)

Correspondence to: ^† Senior Researcher, Corresponding author: KETI (Korea Electronics Technology Insitute), Gyeonggi-do, Korea ( sword32@keti.re.kr)

Abstract

The purpose of our sensor system is to transparentize the large hydraulic manipulators of a six-ton dual arm excavator from the operator camera view. Almost 40% of the camera view is blocked by the manipulators. In other words, the operator loses 40% of visual information which might be useful for many manipulator control scenarios such as clearing debris on a disaster site. The proposed method is based on a 3D reconstruction technology. By overlaying the camera image from front top of the cabin with the point cloud data from RGB-D (red, green, blue and depth) cameras placed at the outer side of each manipulator, the manipulator-free camera image can be obtained. Two additional algorithms are proposed to further enhance the productivity of dual arm excavators. First, a color correction algorithm is proposed to cope with the different color distribution of the RGB and RGB-D sensors used on the system. Also, the edge overlay algorithm is proposed. Although the manipulators often limit the operator’s view, the visual feedback of the manipulator’s configurations or states may be useful to the operator. Thus, the overlay algorithm is proposed to show the edge of the manipulators on the camera image. The experimental results show that the proposed transparentization algorithm helps the operator get information about the environment and objects around the excavator.

Keywords:

Transparent Manipulators, See-Through, Heavy Instruments, Hydraulic Manipulators, Dual Armed Manipulator

1. 서 론

유압으로 구동되는 중장비나 로봇들은 인간의 능력을 극적 으로 확장시킬 수 있다. 건설, 철거, 농업, 재난대응 등 다양한 임무를 수행함에 있어서 작업 영역(workspace)를 확대할 수 있고 힘을 증대할 수 있기 때문이다. 우리는 유압 재난·재해대 응 장비의 센서 시스템에 로봇기술을 적용하는 것에 대하 연 구해오고 있다^[1-4]. [Fig. 1]은 본 논문에서 연구하고 있는 목표 시스템이다. 이 시스템은 6톤급의 양팔 유압 로봇 시스템으로, 굴삭기와 같은 건설장비를 바탕으로 개발되었다.

[Fig. 1]

Our target application system is a 6 ton, dual-armed, and hydraulic robot system for reacting disaster sites

우리는 건설 장비들에 적용되는 센서들 중에서 캐빈 상단 정면에 장착되는 전방 카메라에 대해 주목하였다. 왜냐하면 이 전방 카메라는 재난·재해 대응 시스템을 원격 조작하거나 모니터링함에 있어서 기본 센서로 사용되기 때문이다. 하지만 연구를 진행함에 있어서 이 카메라에 기술적 어려움이 발생하 였다. 왜냐하면 5톤 굴삭기 급의 유압 매니퓰레이터가 양팔로 장착되었기 때문에 전방 카메라의 시야가 가려지고, 원격 조 작에 지장이 발생하였기 때문이다^[1]. [Fig. 2]에서 볼 수 있듯 이, 약 40%의 시야가 가려지게 되었다. 이것은 재난·재해 대응 시스템 전방의 물체와 환경정보가 40% 정도 손실됨을 의미한 다. 예를 들어서, 재난 현장에서 붕괴된 콘크리트 밑에 깔린 요 구조자를 구조하는 시나리오에서 가려진 전방 카메라의 시야 때문에 추가적인 사고가 발생할 수 도 있다. 이는 원격으로 작 업할 때 뿐만 아니라, 작업자가 탑승할 때도 동일하게 위험할 수 있는 상황이다. 본 논문에서는 이와 같은 문제를 해결하기 위하여 재난·재해 대응 시스템의 센서부에 로봇 기술을 적용 하여 유압 매니퓰레이터를 투명화하는 방법을 제안하였다.

[Fig. 2]

The dual hydraulic manipulators cover almost 40% of the front view of the operator, and only 60% information from the front view is provided to the operator

2장에서 제안하는 센서 시스템과 관련있는 연구를 소개하 였고, 3장에서는 본 논문에서 목표로 하는 재난·재해 대응 시 스템의 구성에 대해서 구체화하였다. 제안하는 매니퓰레이터 투명화 센서 시스템의 소프트웨어와 알고리즘은 4장에서 설명 하였다. 본 센서 시스템은 사용편의성을 위하여 두 가지의 추가 적인 알고리즘을 포함하는데, 첫째는 색수정(color correction) 이고 둘째는 윤곽선 덮어쓰기(edge overlay)이다. 이에 대해서 는 5장에서 논의 되었다. 6장에서는 실험결과와 함께, 실행가 능성과 바로 서비스 가능함을 확인하였다.

2. 관련 연구

물체를 투명화(transparent, 또는 see-through)하는 기술은 다 양한 영역에서 사용되고 있다. 닛산은 자동차에서 콕핏(cockpit) 을 투명화 하는 연구를 진행하였다^[5]. 랜드로버는 자동차 후드 (hood, 또는 bonnet)를 투명화하는 기술적 개념(technical concept)^[6] 를 제안했고, 트레일러(trailer)나 카라반(caravan)을 투명화하 는 기술^[7] 또한 제시하였다. ^[8]에서는 차선유지, 좁은 영역에 서의 주차, 사각지대 장애물 등의 시나리오에서 투명 콕핏 프 로토타입을 제안하였다. 이 프로토타입은 MR (Mixed Reality)와 시선 추적(head tracking) 기술을 사용하였다. 록히드 마틴 항공 (Lockheed Martin Aeronautics)은 F-35A Lightning Ⅱ 전투기 에 투명화 헬멧(see-through helmet)을 적용하였다^[9,10]. 복수개 의 카메라가 F-35A의 주변의 360도 구(sphere)를 촬영하여, 헬 멧을 통해 파일럿에게 영상 정보를 전달하는 구조이다^[10].

우리는 ^[11]을 바탕으로 연구를 시작하였다. ^[11]의 목적은 차 두 대가 연속으로 주행 시에, 후속 차량의 카메라 영상에서 천방 차량을 투명화하는 학술연구이다. 이에 대한 방법론은, 전방 차량에서 얻어진 3차원 영상정보를 후속 차량으로 전송 하여 후속 차량의 카메라 영상에 덮어씌우는(overlay)하는 것 이다. 이를 통하여, 전방 차량에 의해 소실된 영상정보가 후속 차량에서 복원될 수 있는 것이다. 이에 대한 두 가지 핵심 기술 은 첫째는 차량 간 통신(car-to-car communication, 또는 V2X, Vehicle-to-Everything)이고, 둘째는 3차원 영상기반 SLAM (3D Visual Simultaneous Localization and Mapping)이다. 단순히 전방 차량의 2차원 영상을 전송하는 것이 아닌 3차원 SLAM 을 수행하는 이유는, 전방 차량에서 얻어진 정보를 후방 차량 에서 활용하기 위해서 차량 간 3차원 관계를 바탕으로 하는 3 차원 기하 정보 변환이 필요하기 때문이다^[11].

하지만 본 논문에서 목표로 하는 재난·재해 대응 시스템에 서는 3차원 영상기반 SLAM이 적합하지 않다. 대신 각 매니퓰 레이터에 실외용 RGB-D 센서를 장착하여 3차원 영상정보를 취득하였다. 이와 같은 설계를 적용한 이유는 다음과 같다. 첫 째, [Fig. 1]과 같은 굴삭기 유압 매니퓰레이터는 자동차보다 충격 조건이 나쁘다^[3]. 이와 동시에, 모션 블러(motion blur)도 반복적으로 발생한다. 우리는 제안하는 센서 시스템의 적용가 능성(feasibility)을 검증하기 위하여, [Fig. 3]과 같이 11 msec 동안의 50G 반정현파(half sinusoidal) 충격 테스트를 수행하였 다^[3]. 테스트 결과, 3축 양 방향 80번의 충격 후에도 RGB-D 센 서가 정상 작동함을 확인하였다.1) 둘째, 현재 시판 중인 RGB-D 의 해상도로도 충분히 목표로 하는 시스템을 구성할 수 있다. 전방 카메라의 해상도는 1280 × 960이고, 적용한 RGB-D 센 서의 해상도는 1280 × 720이다. 셋째, RGB-D 센서의 가격이 3D Visual SLAM을 구현한 시스템보다 저렴하다.

[Fig. 3]

Shock test on 50G peak and 11 msec half-sine wave acceleration. (a) Vertical shock. (b) Transverse shock. (c) Longitudinal shock

RGB-D 센서가 출시된지 오래되었지만, 실외에서 사용가 능한 센서가 시장에 출시된 것은 수년전이다. 2000년대 초에 많은 로봇청소기가 ToF (Time-of-Flight) 센서를 깊이 센서로 적용하였다^[12,13]. 하지만 이러한 ToF 센서들은 레이저 안전등 급(Laser Safety)때문에 IR 출력이 제한되어 직사광선에서는 사용할 수 없었다. 로봇청소기가 실외로 이동시에 깊이센서가 측정불가 상태로 바뀌는 것이다. 이와 같은 이유로, Microsoft 社의 Kinect^[14]도 실외에서 사용이 추천되지 않는다. 2015년에 출시된 Intel社의 RealSense R200는 실외에서 사용이 가능했 다. 이후에 성능이 더 개선된 RealSense D435가 더 높은 해상 도와 좋아진 성능으로 출시되었다^[15].

RGB-D 센서와 RGB 카메라를 활용하는 이종센서융합(Heterogenous Sensor Fusion)들 중에서 제안하는 센서 시스템과 같이 최종 결과영상이 2차원 RGB영상인 경우가 있다. 이 경우에 이 종 센서의 색상을 보정을 해서 마치 하나의 센서에서 얻어진 결과처럼 만드는 다양한 연구가 있다. 예를 들어서, WAVM (wrap-around view monitor)^[16]나 파노라마 이미지^[17]에서는 다 중의 RGB 카메라를 융합한다. 보통 이 카메라들이 동일한 모 델인 경우도 있지만, 자동차처럼 범퍼, 사이드미러 등 장착 위 치에 따른 기구적 제한 때문에 다른 모델을 적용하여 카메라들 의 색 특성이 다를 수도 있다. ^[17]은 색상과 휘도(luminance)를 보상하여 파노라마 이미지의 색을 수정하고 품질을 향상시키 는 연구이다.

본 논문에서 제안하는 연구는 매니퓰레이터를 투명화하기 위하여 이종센서의 위치정보융합을 활용하고 있다. 이는 실제 로 취득된 센서데이터를 활용하여 매니퓰레이터의 가려짐을 복원한다는 접근이다. 이와는 달리, 딥러닝을 활용하여 소실된 가려짐 복원을 하는 연구도 있다. ^[18]에서는 깊이센서(depth sensor)의 기술적 한계에 의해 발생되는 깊이 데이터의 손실을 무손실의 RGB 이미지와 손실된 깊이정보를 활용하는 적대적 생성신경망(GAN, Generative Adversarial Network)로 복원하 고 있다. 예를 들어서, 자동차의 곡면에 의해 깊이 영상의 픽셀 이 손실되거나 가려진 부분을 복원하는 것이다.

3. 매니퓰레이터 투명화를 위한 센서 시스템

제안하는 시스템을 실제로 구현함에 있어서 다양한 센서 선택지가 있을 수 있다. 이를 위하여, 우리는 두 가지 조건을 센서 선정에 반영하였다. 첫째, 우리가 목표로 하는 시스템은 유압 굴삭기를 기반으로 하기 때문에 매니퓰레이터의 RGB-D 센서가 충격조건 하에 있다는 점이다. 둘째, 센서 시스템의 가 격이 저렴해야 한다는 것이다. 이것은 기술의 신속한 확산 및 사업화을 위해서 매우 중요하다. 추가적으로, 본 센서 시스템이 건설현장이나 재난현장에서 사용되는 것이 목표이기 때문에, 손상되어도 쉽게 교체할 수 있도록 설계하였다. 이 두 번째 조 건에 맞춰서, 센서 교체를 위한 캘리브레이션에 숙련자의 개 입이 필요한 것을 철저하게 배제하였다. 센서 시스템에 AR 마 커를 적용함으로서 이 조건을 만족할 수 있었다^[2].

[Fig. 4(a)]에 나와있듯이, 캐빈 전방 상단에 탑승자와 시야를 공유하는 RGB 카메라가 장착되어 있다. 센서 시스템의 하네스 를 단순화하기 위하여, PoE (Power-On-Ethernet) 카메라를 적용 하였다(FLIR社 BFLY-PGE-12A2C). 매니퓰레이터에 장착된 RGB-D 센서의 6 자유도 움직임을 실시간으로 추적하기 위하 여, [Fig. 4(b)]와 같이 매니퓰레이터 안쪽에 AR 마커를 장착하 였다. AR 마커의 장착 방향은 매니퓰레이터 작업을 하는 동안 인식 가능한 구간을 최대화하기 위한 각도로 결정되어있다. 매 니퓰레이터 바깥쪽에는 RGB-D센서가 장착되어 있다(Intel社 RealSense D435). AR마커와 RGB-D 센서의 공간적 차이를 단 순화하기 위하여, [Fig. 4(c)]와 같이 AR 마커 플레이트의 면과 RGB-D 센서의 센서 평면은 평행하고 축이 일치되어 있다.

[Fig. 4]

(a) The RGB camera on front top of the cabin. (b) The AR marker to estimate the pose of the RGB-D sensor. (c) The RGB-D sensor to get 3D point cloud from occluded area by the manipulator

[Fig. 5]와 같이 본 센서 시스템의 시야를 공간적으로 구분 할 수 있다. 캐빈 전방 RGB 카메라의 시야를 [Fig. 5(a)]라고 할 때, 이는 그림과 같이 매니퓰레이터로 가려지게 된다. 그렇기 때문에 [Fig. 5(b)] 영역은 RGB 카메라로 볼 수 없다. 이 정보의 손실을 [Fig. 5(c)]의 RGB-D 센서에서 얻어진 포인트 클라우 드로 보상하는 것이다. 전방 RGB 카메라가 높은 곳에서 아래 의 지표를 바라보는 방향이기 때문에, 포인트 클라우드의 주 된 영역은 마찬가지로 지표에 해당한다. 이에 따라, RGB-D 센 서의 수직 시야각의 최하단은 재난·재해 대응 시스템의 최외 곽면에 맞추었다. 이렇게 결정된 RGB-D 센서의 방향에 따라 [Fig. 4(b)]의 AR 마커 플레이트의 방향이 정해지게 된다.

[Fig. 5]

(a) Sensing area of the RGB camera. (b) Blocked area by the manipulator. (c) Supplemented area using point clouds from the RGB-D sensor

이러한 영상 또는 3차원 재구성(3D reconstruction) 시스템 은 최종 출력 장치에 따라 시스템 설계와 알고리즘 전개가 달 라지게 된다. ^[6]에서는 HMD (Head Mount Display)를 사용하 여서 착용자의 시야 방향을 추적하였고, 최종 출력은 HMD에 출력가능한 영역으로 제한되었다. 본 재난·재해 대응 시스템 에서는 고휘도 평면 모니터를 사용하였다. HMD와 시야 방향 추적 장치는 건설현장이나 재난현장에서 탑승자의 신속한 탑 승과 하차에 방해가 되기 때문에 적용하지 않았다. 추가적으 로, 이 출력 장치는 직사광선 하에서도 시인성이 보장되어야 하기 때문에 700 lx의 바모니터를 사용하였다. 이 조건은 IR 센 서를 사용하는 현재 시판 중인 HMD를 사용할 수 없는 이유이 기도 하다.

4. 매니퓰레이터 투명화 알고리즘

제안하는 매니퓰레이터 투명화 센서 시스템에 대한 순서도 는 [Fig. 6]와 같다. 데이터를 얻는 센서는 [Fig. 4(a)]의 RGB 카 메라와 [Fig. 4(b)]의 RGB-D 센서이다. 매니퓰레이터 투명화 는 이 RGB-D 센서에서 얻어진 포인트 클라우드를 전방 RGB 카메라 영상에 덮어씀으로서 이루어진다. 여기서 포인트 클라 우드는 3차원 정보이고, RGB 영상은 2차원 정보라는 것에 주 목해야 한다. ^[11]에서 보여졌듯이, 최종 출력 영상은 2차원 이 지만, 다른 위치에 있는 센서 정보를 2차원 영상에 출력하기 위해서는 3차원 정보가 요구된다. 3차원 센서에서 얻어진 정 보를 다른 3차원 센서로 전달할 때에는 센서 정보를 단순하게 평행이동과 회전변환하기만 하면 된다, 하지만 2차원 정보를 다른 2차원 센서 정보로 옮길 때에는 2차원 센서값에 포함된 이상의 정보를 필요로 한다. 왜냐하면, 스테레오 카메라의 좌 우 이미지 같은 2차원 이미지 상에서의 대응점의 변화 정도는 2차원 센서와 물체 사이의 거리 정도에 따라 다르기 때문이다. 이것이 3차원 컴퓨터 비젼이나 다시점 기하학에서의 시차 (disparity)이다. 3장에서 언급했듯이, 본 센서 시스템의 최종 출력은 2차원 이미지이기 때문에, 전송되는 데이터는 3차원 RGB-D 센서로부터 얻어진다. [Fig. 6]의 “2D Projection”은 AR 마커 툴킷(OpenCV의 ArUco)의 결과값과 RGB-센서와 [Fig. 4(b)]의 AR 마커 플레이트 사이의 위치 차이값의 합에 대 한 좌표계 변환을 의미한다.

q r g b − d = h (p r g b d + d a r)

(1)

[Fig. 6]

The point cloud data from the RGB-D sensor overlay on the area of the RGB image covered by the manipulator. For more convenience of the operator, color correction and edge overlay are added

위 식 (1)은 “2D Projection”에 대한 좌표계 변환을 수식으로 표현한 것이다. p_rgb-d는 RGB-D 센서 포인트 클라우드 한 점 의 3차원 좌표를 가리킨다. q_rgb-d는 최종 출력 영상에서 해당 하는 2차원 좌표이다. 즉, 투명화된 매니퓰레이터를 덮어쓸 좌 표이다. d_ar은 RGB-D센서와 AR 마커 플레이트 사이의 위치 차이이다. 3장에서 이야기했듯이, 센서와 플레이트는 평행하 고 축일치가 되어있다. 이에 따라 d_ar은 단순 덧셈으로 처리되 고, d_ar에 해당하는 회전 변환은 생략될 수 있는 것이다. 이 덧 셈을 통하여, RGB-D 센서의 원점을 중심으로 하는 좌표계가 AR 마커의 원점을 중심으로 하는 좌표계로 바뀌게 된다. 반면 에 AR마커와 전방 RGB 카메라 사이의 좌표변환 h()는 회전 변환과 평행이동을 포함하고 있다. 식 (1)의 d_ar과 h()의 조합 은 [Fig. 6]에서 “6 DoF of RGB-D sensor”로 표현되어있다. 마 지막으로, 2차원으로 사영된 RGB-D 포인트 클라우드는 식 (1)에 따라 전방 RGB 카메라 이미지에 덮어씌워지고, 아래 식 (2)의 알파 블렌딩(alpha blending)을 통해 투명화 정도를 조절한다.

I o u t p u t = a I r g b + (1 − a) I r g b − d

(2)

I_rgb는 캐빈에 장착된 전방 RGB 카메라에서 얻어진 2차원 포인트 q_rgb의 RGB값을 의미하고, I_rgb-d는 식 (1)을 통해 얻어진 덮어씌우는 포인트 클라우드의 2차원 사영 결과인 q_rgb-d의 RGB값이다. a는 알파 블렌딩에 사용되는 계수이다(0≤a≤1). a값은 작업자의 선호도나 수행하는 미션에 따라 조정되는 값 이다.

5. 색수정과 윤곽선 덮어쓰기

5.1 이종센서를 위한 색수정

^[11,16]는 단일센서에 적용할 수 있는 설계이다. 예를 들어 서, 전방 차량과 후속 차량이 동일한 카메라나 CCD 센서칩을 공유할 수 있고, 이 경우 색온도 같은 영상 특성이 동일하거나 유사할 것이다. 하지만, 3장에서 서술한 본 센서 시스템의 경 우는 RGB 카메라와 RGB-D 센서가 다른 회사의 제품이기 때 문에 RGB 센서칩을 공유하지 않고 있다. 이에 따라서, 이러한 차이를 줄이고 매니퓰레이터 투명화 영상을 하나의 영상으로 만들기 위해서, 색보정 알고리즘이 필요하다.

[Fig. 6]와 같이 색보정 알고리즘을 적용하였다. 구체적으 로, 아래 식 (3)의 색수정 계수를 통해 영상의 RGB 각 채널의 색분포를 기준 센서의 색분포로 변경하는 것이다^[17].

α C = μ (C r g b) μ (C r g b − d)

(3)

α_C는 색수정 계수이다. C는 영상의 각 RGB 채널을 의미한 다(C ∈ {R, G, B}). μ()는 평균함수를 의미한다. IR 스테레 오를 사용하는 RGB-D센서의 특성상 얻어지는 포인트 클라우 드의 포인트 숫자가 일정하기 않기 때문에 식 (3)의 분자와 분 모에 해당하는 포인트의 개수가 다르고, 이에 따라 μ()의 역 할이 매우 중요하다. 식 (3)의 분자는 RGB 카메라([Fig. 3(a)]) 의 각 채널의 평균이고, 분모는 RGB-D 센서([Fig. 3(c)]) 채널 의 평균이다. 즉, RGB 카메라가 색수정의 기준 센서로 사용되 었다는 것이다. 그 결과, RGB-D 센서의 색특성이 RGB 카메라 를 기준으로 수정되는 것이다.

I c o r r e c t = [α C r 00 0 α C g 0 00 α C b] I r g b − d

(4)

I_correct는 색수정이 완료된 픽셀값이고, α_Cr, α_Cg, α_Cb는 각 각 red, blue, green 채널의 색수정 계수를 가리킨다. 색수정 결 과값 I_correct은 식 (2)의 I_rgb-d를 대체하게 된다. 그 결과, 매니 퓰레이터를 투명화한 전체 결과 영상이 균일한 색특성을 갖게 된다.

5.2 투명화를 보완하기 위한 윤곽선 덮어쓰기

식 (2)의 a를 0으로 입력하여 매니퓰레이터를 완벽하게 투명화를 하였을 때 발생할 수 있는 부작용이 있다. 작업자 가 매니퓰레이터를 조작하면서 영상을 통해 매니퓰레이터 의 상태를 확인하는 것이 불가능해진다는 것이다. 예를 들어 서, 매니퓰레이터의 각 관절이 어느 정도 꺾였는지, 매니퓰 레이터 끝이 어디에 있는지 등을 육안으로 확인할 수 없다는 것이다.

출력 영상에 한 가지를 더 덮어씌움으로써 이 부작용을 해결하였다. [Fig. 6]에서 보였듯이, 캐니 엣지 검출기(Canny edge)에 캐빈 전방 RGB 카메라 영상을 입력하였다. 이를 통하 여, 매니퓰레이터의 윤곽선을 RGB-D 센서로 투명화된 부분 의 출력 영상에 덮어씌울 수 있었다. 아래 식 (5)는 최종 출력 영상의 픽셀값이다. I_edge는 윤곽선을 표현하기 위한 픽셀값으 로, 실험에서는 흰색이 사용되었다.

I o u t p u t = {I r g b (o n l y t h e R G B i s a v a i l a b l e) I c o r r e c t (t h e R G B − D i s o v e r a i d) I e d g e (t h e e d g e i s o v e r a i d)

(5)

6. 실험 및 고찰

6.1 매니퓰레이터 앞 보행자

매니퓰레이터 투명화 센서 시스템은 이종센서 융합으로 이 루어져있다. 최종 출력 영상에 두 센서의 공간적 불연속적인 경계가 존재한다. 하지만 하나의 센서로서 사용되기 위해서는 이 불연속 경계의 악영향이 최소화되어야 한다. 이러한 매끄 러운 연결(seamless)를 위하여 두 가지 조건이 있다. 첫째는 색 특성이 매끄러워야 하고, 둘째는 최종 출력 영상에서 공간정 보가 매끄럽게 연속적이어야 한다.

공간적인 매끄러운 연결을 직관적으로 확인할 수 있는 실 험으로서, [Fig. 7]에서처럼 이종센서의 불연속 경계를 지나는 보행자를 촬영하였다. ^[4]를 통해 YouTube 동영상으로 확인 할 수 있다. [Fig. 7(1)]이라 표시되어있는 첫번째 가로열은 RGB 카메라의 원본 영상으로, 매니퓰레이터에 가려 보행자 가 보이지 않는다. [Fig. 7(2)] 가로열은 RGB-D 센서의 포인트 클라우드로서, [Fig. 7(2c, 2d, 2e)]에서 보행자를 확인할 수 있 다. [Fig. 7(a)]에서 [Fig. 7(e)]까지 연속 시간의 영상으로서, 보 행자가 영상 우측에서 좌측으로 걸어가는 상황이다. 매니퓰 레이터가 투명화된 [Fig. 7(3)] 가로열을 보면 사람이 우측에 서 좌측으로 걸어감을 명확하게 알 수 있다. 이종센서의 불연 속 경계를 가시화하기 위하여, 5장에서 설명한 색 수정 알고리 즘은 비활성화되어있다. [Fig. 7(3,c)] 영상이 보행자가 불연속 경계선에 서있는 상황으로, 보행자가 들고 있는 사다리의 형태 가 불연속 경계선 전후로 유지되고 있음을 확인할 수 있다. 이는 RGB 카메라와 RGB-D 센서의 외부 파라미터가 적절하 게 캘리브레이션됨을 의미한다.

[Fig. 7]

A person walked from right to left in front of the manipulator. (a) In the images of the RGB camera, the person was only percieved only on right side of the manipulator. (b) On left side of the manipulator, the RGB-D sensor took over perceiving the person. (c) With the our sensor system, the person was perceived for the entire video stream, and the manipulator could not disturb the perception anymore

6.2 색수정과 윤곽선 덮어쓰기

색수정의 효과를 확인하기 위해서, 빔프로젝터 스크린의 흰색을 확인해보았다. RGB 카메라는 스크린의 흰색은 [Fig. 8(a)]와 같이 파란색에 가까웠다. 그렇지만 RGB-D 센서의 흰 색은 [Fig. 8(b)]에 보이듯이 상대적으로 노란색에 더 가까웠 다. 식 (3)과 식 (4)를 활용하여 RGB-D 센서의 색을 수정하여 RGB 카메라의 색 특성과 유사하게 맞춘 결과가 [Fig. 8(c)]이 다. [Fig. 8(a)]와 [Fig. 8(b)]의 빔프로젝터 스크린 흰색이 유사 함을 확인할 수 있다.

[Fig. 8]

(a) The RGB camera image with the AR marker. Color of th white screen for a beam projector is close to blue. (b) A point cloud from the RGB-D sensor on the AR marker. (c) The color-corrected point cloud according to the RGB camera. (d) The Canny edge image from the RGB camera. (e) The output image without the color correction. The white on the screen and the AR marker is different. (f) The output image with the color correction

RGB 카메라에서 캐니 엣지를 추출한 것이 [Fig. 8(d)]이고, 이것을 최종 영상에 덮어쓴 결과가 [Fig. 8(e,f)]이다. [Fig. 8(e)]는 색수정 알고리즘이 적용되지 않은 결과이기 때문에, 빔프로젝터 스크린의 흰색과 AR마커의 흰색이 상이한 색처 럼 표현되는 문제가 있다. 반면에, [Fig. 8(f)]는 이 문제가 해 결되어 있다.

7. 결 론

유압 중장비는 기구부가 거대하기 때문에, 탑승자의 시야 를 가리는 경우가 많다. 이 문제를 해결하기 위하여 많은 센서 기술들이 연구되고 있다. 이 논문에서는 2차원 RGB 이미지에 3차원 포인트 클라우드를 덮어씀으로써, 유압 중장비나 유압 로봇의 매니퓰레이터가 탑승자의 시야를 가리는 문제를 해결 하였다. 이것은 탑승자에게 매니퓰레이터 뒤에 숨겨진 정보를 제공할 수 있기 때문에, 건설현장이나 재난현장에서의 고난이 도 작업에서 올바른 판단을 내릴 수 있게 한다.

본 매니퓰레이터 투명화 시스템은 이종센서 융합 기술이기 때문에 색 수정 알고리즘을 적용하여 최종 출력 영상이 단일 한 센서에서 얻어진 결과처럼 만드는 것이 유용했다. 이와 더 불어서, 윤곽선을 덮어써서 매니퓰레이터 투명화에 의해 발생 되는 정보손실을 보완할 수 있었다.

향후에는 이 기술을 바탕으로 하여 로봇과 인간이 협업을 하는 스마트 팩토리에서 매니퓰레이터나 이동로봇이 세우는 작업계획을 고도화하는 연구를 진행할 계획이다. 예를 들어 서, 다축가공기 같은 머시닝 센터에 의해 발생하는 센서 가려 짐 문제를 실시간으로 해결하는 센서 시스템이 유용할 것이라 고 기대하고 있다.

사 사

본 논문의 색수정 알고리즘(Color Correction)은 경희대학교 김원하 교수님(wonha@khu.ac.kr)과 방성배 연구원님(sungbae 9023@hanmail.net)의 도움과 조언으로 연구되었습니다.

Acknowledgments

This work was supported by the Industry Core Technology Development Project, 10052967, Development of Integrated Control System in Special Purpose Machinery for the Application for Disaster, funded by the Ministry of Trade, industry & Energy (MOTIE, Republic of Korea)

Notes

KTR Test Report No. ECU-2018-010515, issued in 1 February 2019.

References

D. Y. Kim, Y. J. Kim, H. Son, Y. J. Choi, E. Kim, and J.-H. Hwang, “Manipulator transparent visualization for special purpose machinery using AR marker, RGB-D Sensor, and edge detector,” 2019 16^th International Conference on Ubiquitous Robots (UR), Jeju, Korea, pp. 560-562, 2019, [Online], https://ras.papercept.net/conferences/conferences/UR19/program/UR19_ContentListWeb_2.html.
Y. J. Kim, D. Y. Kim, H. S. Son, and J.-H. Hwang, “To overcome constraint of view occurred by manipulator based on AR marker and 3D depth sensor,” The Korean Society of Precision Engineering Conference, pp. 317, 2018, [Online], http://www.riss.kr/link?id=A105814523.
Y. J. Kim, D. Y. Kim, H. S. Son, and J.-H. Hwang, “Sensor module impact test for special purpose machinery for the application for disaster,” The Korean Society of Precision Engineering Conference, pp. 848-849, 2017, [Online], http://www.riss.kr/link?id=A105061998.
KETI 1 min. technology – transparent manipulator technology, [Online], https://www.youtube.com/watch?v=0TUgn0W-erg,Accessed: June 11, 2019.
T. Yanagi, C. L. Fernando, M. H. D. Y. Saraiji, K. Minamizawa, S. Tachi, and N. Kishi, “Transparent cockpit using telexistence,” 2015 IEEE Virtual Reality (VR), pp. 311-312, 2015, [https://doi.org/10.1109/VR.2015.7223420]
Land Rover UK, Land Rover Reveals Transparent Bonnet Concept, [Online], https://www.youtube.com/watch?v=1OlqditIsoM,Accessed: June 11, 2019.
Land Rover UK, Land Rover’s Transparent Trailer and Cargo Sense technologies, [Online], https://www.youtube.com/watch?v=lIUB1aApNEY, Accessed: June 11, 2019.
P. Lindemann and G. Rigoll, “Examining the Impact of See- Through Cockpits on Driving Performance in a Mixed Reality Prototype,” The 9^th International Conference on Automotive User Interfaces and Interactive Vehicular Applications Adjunct, pp. 83-87, 2017, [https://doi.org/10.1145/3131726.3131754]
R. P. Boggs, P. J. Goergen, G. A. Harrison, E. T. Sorokowsky, and E. T. Grant, “See-through augmented reality system,” U.S. Patent No. 9,581,819. Feb. 28, 2017, [Online], https://patents.google.com/patent/US9581819.
How F-35A fighter pilots are harnessing high-tech ‘see-through’ helmets, [Online] https://www.foxnews.com/tech/how-f-35afighter-pilots-are-harnessing-high-tech-see-through-helmets,Accessed: March 3, 2019.
F. Rameau, H. Ha, K. Joo, J. Choi, K. Park, and I. S. Kweon, “A realtime augmented reality system to see-through cars,” IEEE transactions on visualization and computer graphics, vol. 22, no. 11, pp. 2395-2404, Nov. 2016, [https://doi.org/10.1109/TVCG.2016.2593768]
A. Prusak, R, Hubert Roth, and R. Schwarte, “Application of 3d-pmd video cameras for tasks in the autonomous mobile robotics,” IFAC Proceedings Volumes, vol. 38, no. 1, pp. 138-143, 2005, [https://doi.org/10.3182/20050703-6-CZ-1902.02075]
M.-J. Jung, H. Myung, H.-K. Lee, and S. W. Bang, “Ambiguity resolving in structured light 2D range finder for SLAM operation for home robot applications.” IEEE Workshop on Advanced Robotics and its Social Impacts, Nagoya, Japan, 2005,
Kinect for Windows SDK 2.0, [Online], https://developer.microsoft.com/en-us/windows/kinect, Accessed: July 5, 2019.
Intel RealSense Depth Camera D435i, [Online], https://www.intelrealsense.com/depth-camera-d435i/, Accessed: July 5, 2019.
S.-H. Kim, C. Jung, and J. Park, “Three-dimensional visualization system with spatial information for navigation of tele-operated robots,” Sensors, vol. 19, no. 3, 2019, [https://doi.org/10.3390/s19030746]
Y. Xiong and K. Pulli, “Color correction for mobile panorama imaging,” The 1^stInternational Conference on Internet Multimedia Computing and Service, 2009, [https://doi.org/10.1145/1734605.1734657]
A. Atapour-Abarghouei, S. Akcay, G. P. de La Garanderie, and T. P. Breckon, “Generative adversarial framework for depth filling via wasserstein metric, cosine transform and domain transfer,” Pattern Recognition, pp. 232-244, 2019, [https://doi.org/10.1016/j.patcog.2019.02.010]