유압으로 구동되는 중장비나 로봇들은 인간의 능력을 극적 으로 확장시킬 수 있다. 건설, 철거, 농업, 재난대응 등 다양한 임무를 수행함에 있어서 작업 영역(workspace)를 확대할 수 있고 힘을 증대할 수 있기 때문이다. 우리는 유압 재난·재해대 응 장비의 센서 시스템에 로봇기술을 적용하는 것에 대하 연 구해오고 있다^[1-4]. [Fig. 1]은 본 논문에서 연구하고 있는 목표 시스템이다. 이 시스템은 6톤급의 양팔 유압 로봇 시스템으로, 굴삭기와 같은 건설장비를 바탕으로 개발되었다.

[Fig. 1] 

Our target application system is a 6 ton, dual-armed, and hydraulic robot system for reacting disaster sites

우리는 건설 장비들에 적용되는 센서들 중에서 캐빈 상단 정면에 장착되는 전방 카메라에 대해 주목하였다. 왜냐하면 이 전방 카메라는 재난·재해 대응 시스템을 원격 조작하거나 모니터링함에 있어서 기본 센서로 사용되기 때문이다. 하지만 연구를 진행함에 있어서 이 카메라에 기술적 어려움이 발생하 였다. 왜냐하면 5톤 굴삭기 급의 유압 매니퓰레이터가 양팔로 장착되었기 때문에 전방 카메라의 시야가 가려지고, 원격 조 작에 지장이 발생하였기 때문이다^[1]. [Fig. 2]에서 볼 수 있듯 이, 약 40%의 시야가 가려지게 되었다. 이것은 재난·재해 대응 시스템 전방의 물체와 환경정보가 40% 정도 손실됨을 의미한 다. 예를 들어서, 재난 현장에서 붕괴된 콘크리트 밑에 깔린 요 구조자를 구조하는 시나리오에서 가려진 전방 카메라의 시야 때문에 추가적인 사고가 발생할 수 도 있다. 이는 원격으로 작 업할 때 뿐만 아니라, 작업자가 탑승할 때도 동일하게 위험할 수 있는 상황이다. 본 논문에서는 이와 같은 문제를 해결하기 위하여 재난·재해 대응 시스템의 센서부에 로봇 기술을 적용 하여 유압 매니퓰레이터를 투명화하는 방법을 제안하였다.

[Fig. 2] 

The dual hydraulic manipulators cover almost 40% of the front view of the operator, and only 60% information from the front view is provided to the operator

2장에서 제안하는 센서 시스템과 관련있는 연구를 소개하 였고, 3장에서는 본 논문에서 목표로 하는 재난·재해 대응 시 스템의 구성에 대해서 구체화하였다. 제안하는 매니퓰레이터 투명화 센서 시스템의 소프트웨어와 알고리즘은 4장에서 설명 하였다. 본 센서 시스템은 사용편의성을 위하여 두 가지의 추가 적인 알고리즘을 포함하는데, 첫째는 색수정(color correction) 이고 둘째는 윤곽선 덮어쓰기(edge overlay)이다. 이에 대해서 는 5장에서 논의 되었다. 6장에서는 실험결과와 함께, 실행가 능성과 바로 서비스 가능함을 확인하였다.

물체를 투명화(transparent, 또는 see-through)하는 기술은 다 양한 영역에서 사용되고 있다. 닛산은 자동차에서 콕핏(cockpit) 을 투명화 하는 연구를 진행하였다^[5]. 랜드로버는 자동차 후드 (hood, 또는 bonnet)를 투명화하는 기술적 개념(technical concept)^[6] 를 제안했고, 트레일러(trailer)나 카라반(caravan)을 투명화하 는 기술^[7] 또한 제시하였다. ^[8]에서는 차선유지, 좁은 영역에 서의 주차, 사각지대 장애물 등의 시나리오에서 투명 콕핏 프 로토타입을 제안하였다. 이 프로토타입은 MR (Mixed Reality)와 시선 추적(head tracking) 기술을 사용하였다. 록히드 마틴 항공 (Lockheed Martin Aeronautics)은 F-35A Lightning Ⅱ 전투기 에 투명화 헬멧(see-through helmet)을 적용하였다^[9,10]. 복수개 의 카메라가 F-35A의 주변의 360도 구(sphere)를 촬영하여, 헬 멧을 통해 파일럿에게 영상 정보를 전달하는 구조이다^[10].

우리는 ^[11]을 바탕으로 연구를 시작하였다. ^[11]의 목적은 차 두 대가 연속으로 주행 시에, 후속 차량의 카메라 영상에서 천방 차량을 투명화하는 학술연구이다. 이에 대한 방법론은, 전방 차량에서 얻어진 3차원 영상정보를 후속 차량으로 전송 하여 후속 차량의 카메라 영상에 덮어씌우는(overlay)하는 것 이다. 이를 통하여, 전방 차량에 의해 소실된 영상정보가 후속 차량에서 복원될 수 있는 것이다. 이에 대한 두 가지 핵심 기술 은 첫째는 차량 간 통신(car-to-car communication, 또는 V2X, Vehicle-to-Everything)이고, 둘째는 3차원 영상기반 SLAM (3D Visual Simultaneous Localization and Mapping)이다. 단순히 전방 차량의 2차원 영상을 전송하는 것이 아닌 3차원 SLAM 을 수행하는 이유는, 전방 차량에서 얻어진 정보를 후방 차량 에서 활용하기 위해서 차량 간 3차원 관계를 바탕으로 하는 3 차원 기하 정보 변환이 필요하기 때문이다^[11].

하지만 본 논문에서 목표로 하는 재난·재해 대응 시스템에 서는 3차원 영상기반 SLAM이 적합하지 않다. 대신 각 매니퓰 레이터에 실외용 RGB-D 센서를 장착하여 3차원 영상정보를 취득하였다. 이와 같은 설계를 적용한 이유는 다음과 같다. 첫 째, [Fig. 1]과 같은 굴삭기 유압 매니퓰레이터는 자동차보다 충격 조건이 나쁘다^[3]. 이와 동시에, 모션 블러(motion blur)도 반복적으로 발생한다. 우리는 제안하는 센서 시스템의 적용가 능성(feasibility)을 검증하기 위하여, [Fig. 3]과 같이 11 msec 동안의 50G 반정현파(half sinusoidal) 충격 테스트를 수행하였 다^[3]. 테스트 결과, 3축 양 방향 80번의 충격 후에도 RGB-D 센 서가 정상 작동함을 확인하였다.1) 둘째, 현재 시판 중인 RGB-D 의 해상도로도 충분히 목표로 하는 시스템을 구성할 수 있다. 전방 카메라의 해상도는 1280 × 960이고, 적용한 RGB-D 센 서의 해상도는 1280 × 720이다. 셋째, RGB-D 센서의 가격이 3D Visual SLAM을 구현한 시스템보다 저렴하다.

[Fig. 3] 

Shock test on 50G peak and 11 msec half-sine wave acceleration. (a) Vertical shock. (b) Transverse shock. (c) Longitudinal shock

RGB-D 센서가 출시된지 오래되었지만, 실외에서 사용가 능한 센서가 시장에 출시된 것은 수년전이다. 2000년대 초에 많은 로봇청소기가 ToF (Time-of-Flight) 센서를 깊이 센서로 적용하였다^[12,13]. 하지만 이러한 ToF 센서들은 레이저 안전등 급(Laser Safety)때문에 IR 출력이 제한되어 직사광선에서는 사용할 수 없었다. 로봇청소기가 실외로 이동시에 깊이센서가 측정불가 상태로 바뀌는 것이다. 이와 같은 이유로, Microsoft 社의 Kinect^[14]도 실외에서 사용이 추천되지 않는다. 2015년에 출시된 Intel社의 RealSense R200는 실외에서 사용이 가능했 다. 이후에 성능이 더 개선된 RealSense D435가 더 높은 해상 도와 좋아진 성능으로 출시되었다^[15].

RGB-D 센서와 RGB 카메라를 활용하는 이종센서융합(Heterogenous Sensor Fusion)들 중에서 제안하는 센서 시스템과 같이 최종 결과영상이 2차원 RGB영상인 경우가 있다. 이 경우에 이 종 센서의 색상을 보정을 해서 마치 하나의 센서에서 얻어진 결과처럼 만드는 다양한 연구가 있다. 예를 들어서, WAVM (wrap-around view monitor)^[16]나 파노라마 이미지^[17]에서는 다 중의 RGB 카메라를 융합한다. 보통 이 카메라들이 동일한 모 델인 경우도 있지만, 자동차처럼 범퍼, 사이드미러 등 장착 위 치에 따른 기구적 제한 때문에 다른 모델을 적용하여 카메라들 의 색 특성이 다를 수도 있다. ^[17]은 색상과 휘도(luminance)를 보상하여 파노라마 이미지의 색을 수정하고 품질을 향상시키 는 연구이다.

본 논문에서 제안하는 연구는 매니퓰레이터를 투명화하기 위하여 이종센서의 위치정보융합을 활용하고 있다. 이는 실제 로 취득된 센서데이터를 활용하여 매니퓰레이터의 가려짐을 복원한다는 접근이다. 이와는 달리, 딥러닝을 활용하여 소실된 가려짐 복원을 하는 연구도 있다. ^[18]에서는 깊이센서(depth sensor)의 기술적 한계에 의해 발생되는 깊이 데이터의 손실을 무손실의 RGB 이미지와 손실된 깊이정보를 활용하는 적대적 생성신경망(GAN, Generative Adversarial Network)로 복원하 고 있다. 예를 들어서, 자동차의 곡면에 의해 깊이 영상의 픽셀 이 손실되거나 가려진 부분을 복원하는 것이다.

제안하는 시스템을 실제로 구현함에 있어서 다양한 센서 선택지가 있을 수 있다. 이를 위하여, 우리는 두 가지 조건을 센서 선정에 반영하였다. 첫째, 우리가 목표로 하는 시스템은 유압 굴삭기를 기반으로 하기 때문에 매니퓰레이터의 RGB-D 센서가 충격조건 하에 있다는 점이다. 둘째, 센서 시스템의 가 격이 저렴해야 한다는 것이다. 이것은 기술의 신속한 확산 및 사업화을 위해서 매우 중요하다. 추가적으로, 본 센서 시스템이 건설현장이나 재난현장에서 사용되는 것이 목표이기 때문에, 손상되어도 쉽게 교체할 수 있도록 설계하였다. 이 두 번째 조 건에 맞춰서, 센서 교체를 위한 캘리브레이션에 숙련자의 개 입이 필요한 것을 철저하게 배제하였다. 센서 시스템에 AR 마 커를 적용함으로서 이 조건을 만족할 수 있었다^[2].

[Fig. 4(a)]에 나와있듯이, 캐빈 전방 상단에 탑승자와 시야를 공유하는 RGB 카메라가 장착되어 있다. 센서 시스템의 하네스 를 단순화하기 위하여, PoE (Power-On-Ethernet) 카메라를 적용 하였다(FLIR社 BFLY-PGE-12A2C). 매니퓰레이터에 장착된 RGB-D 센서의 6 자유도 움직임을 실시간으로 추적하기 위하 여, [Fig. 4(b)]와 같이 매니퓰레이터 안쪽에 AR 마커를 장착하 였다. AR 마커의 장착 방향은 매니퓰레이터 작업을 하는 동안 인식 가능한 구간을 최대화하기 위한 각도로 결정되어있다. 매 니퓰레이터 바깥쪽에는 RGB-D센서가 장착되어 있다(Intel社 RealSense D435). AR마커와 RGB-D 센서의 공간적 차이를 단 순화하기 위하여, [Fig. 4(c)]와 같이 AR 마커 플레이트의 면과 RGB-D 센서의 센서 평면은 평행하고 축이 일치되어 있다.

[Fig. 4] 

(a) The RGB camera on front top of the cabin. (b) The AR marker to estimate the pose of the RGB-D sensor. (c) The RGB-D sensor to get 3D point cloud from occluded area by the manipulator

[Fig. 5]와 같이 본 센서 시스템의 시야를 공간적으로 구분 할 수 있다. 캐빈 전방 RGB 카메라의 시야를 [Fig. 5(a)]라고 할 때, 이는 그림과 같이 매니퓰레이터로 가려지게 된다. 그렇기 때문에 [Fig. 5(b)] 영역은 RGB 카메라로 볼 수 없다. 이 정보의 손실을 [Fig. 5(c)]의 RGB-D 센서에서 얻어진 포인트 클라우 드로 보상하는 것이다. 전방 RGB 카메라가 높은 곳에서 아래 의 지표를 바라보는 방향이기 때문에, 포인트 클라우드의 주 된 영역은 마찬가지로 지표에 해당한다. 이에 따라, RGB-D 센 서의 수직 시야각의 최하단은 재난·재해 대응 시스템의 최외 곽면에 맞추었다. 이렇게 결정된 RGB-D 센서의 방향에 따라 [Fig. 4(b)]의 AR 마커 플레이트의 방향이 정해지게 된다.

[Fig. 5] 

(a) Sensing area of the RGB camera. (b) Blocked area by the manipulator. (c) Supplemented area using point clouds from the RGB-D sensor

이러한 영상 또는 3차원 재구성(3D reconstruction) 시스템 은 최종 출력 장치에 따라 시스템 설계와 알고리즘 전개가 달 라지게 된다. ^[6]에서는 HMD (Head Mount Display)를 사용하 여서 착용자의 시야 방향을 추적하였고, 최종 출력은 HMD에 출력가능한 영역으로 제한되었다. 본 재난·재해 대응 시스템 에서는 고휘도 평면 모니터를 사용하였다. HMD와 시야 방향 추적 장치는 건설현장이나 재난현장에서 탑승자의 신속한 탑 승과 하차에 방해가 되기 때문에 적용하지 않았다. 추가적으 로, 이 출력 장치는 직사광선 하에서도 시인성이 보장되어야 하기 때문에 700 lx의 바모니터를 사용하였다. 이 조건은 IR 센 서를 사용하는 현재 시판 중인 HMD를 사용할 수 없는 이유이 기도 하다.

제안하는 매니퓰레이터 투명화 센서 시스템에 대한 순서도 는 [Fig. 6]와 같다. 데이터를 얻는 센서는 [Fig. 4(a)]의 RGB 카 메라와 [Fig. 4(b)]의 RGB-D 센서이다. 매니퓰레이터 투명화 는 이 RGB-D 센서에서 얻어진 포인트 클라우드를 전방 RGB 카메라 영상에 덮어씀으로서 이루어진다. 여기서 포인트 클라 우드는 3차원 정보이고, RGB 영상은 2차원 정보라는 것에 주 목해야 한다. ^[11]에서 보여졌듯이, 최종 출력 영상은 2차원 이 지만, 다른 위치에 있는 센서 정보를 2차원 영상에 출력하기 위해서는 3차원 정보가 요구된다. 3차원 센서에서 얻어진 정 보를 다른 3차원 센서로 전달할 때에는 센서 정보를 단순하게 평행이동과 회전변환하기만 하면 된다, 하지만 2차원 정보를 다른 2차원 센서 정보로 옮길 때에는 2차원 센서값에 포함된 이상의 정보를 필요로 한다. 왜냐하면, 스테레오 카메라의 좌 우 이미지 같은 2차원 이미지 상에서의 대응점의 변화 정도는 2차원 센서와 물체 사이의 거리 정도에 따라 다르기 때문이다. 이것이 3차원 컴퓨터 비젼이나 다시점 기하학에서의 시차 (disparity)이다. 3장에서 언급했듯이, 본 센서 시스템의 최종 출력은 2차원 이미지이기 때문에, 전송되는 데이터는 3차원 RGB-D 센서로부터 얻어진다. [Fig. 6]의 “2D Projection”은 AR 마커 툴킷(OpenCV의 ArUco)의 결과값과 RGB-센서와 [Fig. 4(b)]의 AR 마커 플레이트 사이의 위치 차이값의 합에 대 한 좌표계 변환을 의미한다.

[Fig. 6] 

The point cloud data from the RGB-D sensor overlay on the area of the RGB image covered by the manipulator. For more convenience of the operator, color correction and edge overlay are added

위 식 (1)은 “2D Projection”에 대한 좌표계 변환을 수식으로 표현한 것이다. p_rgb-d는 RGB-D 센서 포인트 클라우드 한 점 의 3차원 좌표를 가리킨다. q_rgb-d는 최종 출력 영상에서 해당 하는 2차원 좌표이다. 즉, 투명화된 매니퓰레이터를 덮어쓸 좌 표이다. d_ar은 RGB-D센서와 AR 마커 플레이트 사이의 위치 차이이다. 3장에서 이야기했듯이, 센서와 플레이트는 평행하 고 축일치가 되어있다. 이에 따라 d_ar은 단순 덧셈으로 처리되 고, d_ar에 해당하는 회전 변환은 생략될 수 있는 것이다. 이 덧 셈을 통하여, RGB-D 센서의 원점을 중심으로 하는 좌표계가 AR 마커의 원점을 중심으로 하는 좌표계로 바뀌게 된다. 반면 에 AR마커와 전방 RGB 카메라 사이의 좌표변환 h()는 회전 변환과 평행이동을 포함하고 있다. 식 (1)의 d_ar과 h()의 조합 은 [Fig. 6]에서 “6 DoF of RGB-D sensor”로 표현되어있다. 마 지막으로, 2차원으로 사영된 RGB-D 포인트 클라우드는 식 (1)에 따라 전방 RGB 카메라 이미지에 덮어씌워지고, 아래 식 (2)의 알파 블렌딩(alpha blending)을 통해 투명화 정도를 조절한다.

I_rgb는 캐빈에 장착된 전방 RGB 카메라에서 얻어진 2차원 포인트 q_rgb의 RGB값을 의미하고, I_rgb-d는 식 (1)을 통해 얻어진 덮어씌우는 포인트 클라우드의 2차원 사영 결과인 q_rgb-d의 RGB값이다. a는 알파 블렌딩에 사용되는 계수이다(0≤a≤1). a값은 작업자의 선호도나 수행하는 미션에 따라 조정되는 값 이다.

유압 중장비는 기구부가 거대하기 때문에, 탑승자의 시야 를 가리는 경우가 많다. 이 문제를 해결하기 위하여 많은 센서 기술들이 연구되고 있다. 이 논문에서는 2차원 RGB 이미지에 3차원 포인트 클라우드를 덮어씀으로써, 유압 중장비나 유압 로봇의 매니퓰레이터가 탑승자의 시야를 가리는 문제를 해결 하였다. 이것은 탑승자에게 매니퓰레이터 뒤에 숨겨진 정보를 제공할 수 있기 때문에, 건설현장이나 재난현장에서의 고난이 도 작업에서 올바른 판단을 내릴 수 있게 한다.

본 매니퓰레이터 투명화 시스템은 이종센서 융합 기술이기 때문에 색 수정 알고리즘을 적용하여 최종 출력 영상이 단일 한 센서에서 얻어진 결과처럼 만드는 것이 유용했다. 이와 더 불어서, 윤곽선을 덮어써서 매니퓰레이터 투명화에 의해 발생 되는 정보손실을 보완할 수 있었다.

향후에는 이 기술을 바탕으로 하여 로봇과 인간이 협업을 하는 스마트 팩토리에서 매니퓰레이터나 이동로봇이 세우는 작업계획을 고도화하는 연구를 진행할 계획이다. 예를 들어 서, 다축가공기 같은 머시닝 센터에 의해 발생하는 센서 가려 짐 문제를 실시간으로 해결하는 센서 시스템이 유용할 것이라 고 기대하고 있다.