인공 표식(마커)을 최대한 손상없이 보전하고, 장애물에 대해 가려짐을 최소화 하기 위해 천장에 부착한다. 인공 표식은 간단하게 제작이 가능하고, 정확하게 인식 되어야 한다. 그러기 위해, Fig. 1의 (a)와 같이, 20 cm × 20 cm 크기의 종이를 사용하였다. 일반적인 붉은색(R: 255, G: 0, B: 0)의 종이를 사용하였을 경우, 마커 주변에 빛이 많아 지거나 적어지면 카메라에 어둡게 보여 인식이 정확하게 되지 않는다. 빛의 영향을 덜 받는 강인한 인식을 위해, 형광 색을 이용하여 빛이 많거나 적더라도 항상 일정하게 카메라 에 색 정보를 제공할 수 있게 하였다.

Fig. 1 

Landmark Model ((a): Artificial Landmark(Marker), (b): Natural Landmark(Light))

인공 표식만 사용하였을 경우, 공간이 늘어날수록 많은 표식이 사용된다. 이에 자연 표식을 이용하여 적은 인공 표식 으로 지도 구성이 가능하게 한다. 자연 표식 모델로는 복도 천장의 형광등을 이용한다. 로봇은 복도에서 중간으로 가는 것이 가장 안정적이다. 대부분 복도에는 형광등이 Fig. 1의 (b)와 같이, 복도 천장의 중간에 진행방향으로 일렬로 배치되 어 있어, 로봇은 형광등을 따라 가는 것이 가장 안정적이다. 그리고, 형광등이 모양이 다르거나, 가로나 세로로 배치되어 있더라도, 형광등의 중심을 추정하여 복도의 중앙을 인지할 수 있다.

인공 및 자연 표식 만으로 간단하게 실내 지도를 작성하 기 위해 위상 지도인 노드와 엣지로 구성하여 간단한 지도 를 만든다.

Fig. 2는 위 방식을 이용하여 실내 공간을 구성하였다. 원과 숫자로 표시되어 있는 것이 노드인 마커(인공 표식), 이것을 이어 주고 있는 파란색 선인 엣지는 형광등(자연 표식)으로 구성된다. 노드는 출발지, 도착지, 교차로와 같은 중요한 지점의 천장에 구성된다. 엣지는 기존의 복도에 설 치되어 있는 것을 이용하여, 주요 지점인 노드와 노드 사이 를 잇는 직선 구간을 구성한다. 로봇의 시야에서 노드와 엣지를 보면서 로봇의 위치를 알 수 있다.

Fig. 2 

Topological Map Representation

이동 로봇은 로컬한 영역에서 실시간으로 목표를 추종하 면서 장애물을 피할 수 있어야 한다. 따라서 Fig. 3에서 볼 수 있듯이, 기존의 Vector Field Histogram^[17]의 컨셉에 타 겟(V_Target)벡터(표식)을 고려하여 경로 생성을 하였다.

Fig. 3 

Obstacle Avoidance using Vector Field Histogram

초음파 센서로 전방의 물체를 감지하고 장애물을 만나면 초음파 센서의 거리 값이 작아진다. 이를 이용하여 전체 센서 거리 값(V_sensor)을 벡터로 표현하여 각각의 벡터를 합치고 이를 로봇에 y축 기준으로 반대인 반발력 벡터 (V_{Repulsive_Sum})를 만들어 목표하고자 하는 타겟 벡터 (V_Target)와 합쳐 로봇이 최종적으로 움직일 벡터(V_Move)를 만들어 실시간으로 장애물을 피하면서 목표하고자 하는 경 로를 추종할 수 있다.

실내 위치 추정을 정확하게 하기 위해, 천장에 있는 표식 을 정확하게 인식하여야 한다. 이를 위해, 픽셀 단위 거리와 실제 거리가 비례하게 하고, 실제 좌표계와 카메라에 투영 되는 좌표계를 같게 하여 왜곡을 없애야 한다.

Fig. 4의 (a)처럼, 이미지에서 바닥면을 보았을 때, 화면 상에 차선이 일직선으로 나타나지 않는다. 카메라 투영 좌 표(Perspective View Coordinate)로 나타난 이미지이기 때 문이다.

Fig. 4 

Top-view Translation Result ((a): Original Image, (b): Top-view Image)

이 문제를 해결하기 위해, Fig. 5상에 좌표계인 카메라 투영 좌표계를 실제 좌표(Global Coordinate)로 변환하고, 이를 다시 Top-view 좌표(Top-view Coordinate)로 변환을 한다. 이미지 좌표계 변환을 위하여 이미지 조정 보드를 이용하여 카메라 렌즈의 광학 길이(Optical length), 초점 거리(Focal length)등의 특성 값을 이용하여 이미지 조정을 한다. Top-view변환을 위해 이 값과 카메라의 높이, 천장과 의 각도, 회전량, 목표 이미지 출력 크기를 입력한다.

Fig. 5 

Top-view Transform Coordinate System (Perspective View, Top-view, Global Coordinate)

Fig. 6 

Marker Detection System Architecture

3.1.1 인공 표식(마커) 인식

실내 주행 상황에서 비슷한 색이나 모양이 마커로 인식이 되지 않게 하기 위하여 마커의 정확한 색과 모양을 비교하 여 인식해야 한다.

이를 위해, 여러 단계를 거친다. Fig. 7의 (a)와 같이 일반적 으로 사용하는 RGB Color 체계를 영상 시스템에서 사용되 는 색 공간인 YCbCr Color 체계로 변환하여 붉은 계열의 객체 추출을 위한 전처리를 한다. (b)와 같이 Cr 영역의 적절 한 임계 값을 설정하여 붉은 계열의 객체를 이진화 한다. (c) 와 같이 임계 값 조절, 모폴로지(Morphology) 연산 등을 통 해 노이즈(noise) 등이 제거된 마커 영역만을 추출한다. 마커 의 윤곽선(Contour)에 하나의 꼭지점을 검출하고 각 꼭지점 을 잇는 직선을 그어 마커 후보 객체를 표시한다. 마커의 후보 객체와 미리 추출 해둔 마커 이미지를 템플릿 메칭(Template Matching)방법을 통해 올바른 마커를 찾는다^[20-21].

Fig. 7 

Marker Detection Process ((a): RGB2TCbCr, (b): Red Area Detection, (c): Marker Contour Detection)

Fig. 8의 (a)는 카메라에서 나타난 원본 perspective 이미 지이고 (b)는 이를 top-view 변환을 한 영상에서 마커의 특징인 붉은색 영역만 살리는 전 처리를 한 것이다. (c)는 마커의 중심 좌표 값을 받은 결과이다.

Fig. 8 

Marker Detection Result ((a): Original Image, (b): Pre-processor Result, (c): Detection Result)

Fig. 9 

Light Detection System Architecture

3.1.2 자연 표식(형광등) 인식

형광등은 빛이 나오는 특징을 가진다. 변환된 이미지에서 빛을 구분하여 형광등 빛을 인식한다. 빛 영역만을 살리기 위해 이미지에서 전체적인 명암을 낮춘다. 이를 이진화 하면 빛 영역만 살아난다. 이때, 빛의 잔상, 퍼짐 또는 반사와 같은 노이즈도 함께 검출된다. 확실한 빛 영역 만을 남길 수 있도록 큰 영역이 작은 영역을 덮는 침식을 수행한다. 침식을 하게 되면 확실한 형광등 영역도 쪼개져 라벨링을 할 때 여러 객체 로 라벨링 된다. 이 현상은 확실하게 남은 빛 영역의 확대를 하는 팽창을 통해 하나의 형광등으로 라벨링되도록 한다. 라 벨링 된 형광등 중에서 로봇을 기준으로 전방으로 가장 멀리 있는 형광등을 타겟으로 인식한다^[21].

Fig. 10의 (a)는 카메라에서 나타난 원본 perspective 이 미지이고 (b)는 이를 top-view 변환을 한 영상에서 형광등 의 특징인 빛 영역만 살리는 전처리를 한 것이다. (c)는 형광 등의 중심 좌표 값을 받은 결과이다. 초록색 사각형은 라벨 링 결과, 선은 형광등을 가리킨다.

Fig. 10 

Light Detection Result ((a): Original Image, (b): Pre-processor Result, (c): Detection Result)

, Fig. 11 의 (a)처럼 마커에 다가갈수록 카메라를 점점 위로 세워서 마커를 본다. 먼 곳에서는 (b)와 같이 기울이고, 가까운 곳에 서는 (a)와 같이 아래에서 바로 올려다 봐야한다. 카메라 각도를 변화시켜도 표식을 정확히 인식하기 위해, 기존의 top-view변환방식에 표식과 카메라의 상대 위치와 각도를 반영하여 변환한다.

Fig. 11 

Camera Rolling ((a): 90°, (b): 45°)

Fig. 5에서 볼 수 있듯이, 카메라 투영 좌표계를 (x, y), 실제 좌표계를 (X, Y, Z), top-view 좌표계를 (Xc, Yc, Zc) 로 한다. Global 좌표계와 카메라 투영 좌표 사이 높이를 h, 카메라 좌표계와 카메라 투영 좌표계 사이 각을 θ라고 한다. 이 각도는 카메라와 천장 사이의 각도를 나타내며 표식과 로봇의 거리에 따라 달라진다. 거리가 가장 멀 때는 35, 가까울 때는 90로 하고, 그 사이 구간은 거리에 비례 한다. 카메라 투영 좌표계와 실제 좌표계 관계를 식 (1)과 같이 정의한다.

기존의 top-view변환에 카메라와 목표 표식 간의 상대적 인 거리와 각도 변환을 하는 행렬 (5)를 추가하여 top-view 기반 표식 추정 시스템을 개발하였다.

식 (2)는 회전 변환, 식 (3)은 위치 변환, 식 (4)는 렌즈 및 카메라의 속성, 식 (5)는 표식과 카메라 간에 상대 거리와 각도를 나타내는 행렬이다. 식 (3)의 h는 카메라와 천장의 높이를 나타내며, 식 (4)의 FocLen, skew은 이미지 조정 보드를 이용하여 얻어진 값을 상수로 대입한 것이고, k_x와 k_y는 픽셀의 영상 비율, 식 (5)의 target_x, target_y는 카메 라와 목표 표식과 상대적인 거리를 나타낸다. 이 행렬들의 관계를 이용하여 좌표계를 변환할 수 있다. 바닥이나 천장 과 같은 한 평면만 보고자 하니 Z=0이다. 따라서 식 (1)번은 식 (5)와 같이 변환이 된다.

Fig. 12 

Top-view base Landmark Tracking System Architecture

Fig. 13 

Whole System Architecture

식 (2)~(5)를 이용하여 식 (7)의 M_(3∗3) 인 변환 행렬을 얻는다. 이 행렬을 이용하여 각 픽셀을 top-view변환에 맞 게 맵핑(Mapping) 한다.

특정 시점의 이미지에서 Perspective 4점을 잡는다. 관심 영역(ROI (Region of Interest))의 4점(기본적으로는 사각형 의 각 꼭지점)을 식 (3) 행렬에 넣어 변환된 top-view 4점을 받는다. 각 4점과 perspective 이미지를 와핑(Warping)을 하 여 top-view 이미지를 얻는다. 변환된 이미지로 표식을 인식 하고, 표식과 카메라의 관계를 정의하여, 그 관계를 반영하여 변환을 한다.

경로 생성 및 위치 인식과 제어를 분리하기 위해, 시스템 을 마스터-슬레이브 구조로 한다. 마스터인 PC에서 모든 디바이스의 입력과 출력을 담당한다. 영상의 이미지 정보와 초음파 센서에서 거리 값을 받아 표식 인식, 경로 탐색, 경로 생성, 경로 추종에 대한 판단을 한다. 마스터는 슬레이브인 각 모터 펌웨어 보드에 속도, 위치, 상태 명령을 보내 위치와 속도에 대해 제어를 한다.

Fig. 14 

Mobile Robot

마커와 형광등을 먼 곳과 가까운 곳에서 볼 수 있도록 하기 위해, 웹켐에 모터를 부착하여 roll움직임을 만든다. BLDC모터 2개로 holonomic한 움직임을 만들 수 있도록 하였다. 그 위에는 배달물과 노트북을 올릴 수 있는 공간이 존재하고, 그 앞에는 전방의 장애물을 감지 할 수 있는 초음 파 센서 8개가 위치한다.

Fig. 19는 변환된 좌표계를 이용하여, 카메라 각도에 따 른 가장 먼 곳에서 인식된 지점간의 횡 방향 거리를 나타낸 다. 형광등은 작게 보여도 빛의 특성을 이용하여 인식하기 때문에, 100 m정도 멀리서 봐도 인식이 된다. 마커는 모양 이 뚜렷하게 인식이 되야 하기 때문에, 25 m정도 멀리서 인식이 가능하다. 90°에 가깝게 되면, 천장을 바로 아래에서 위로 보기 때문에, 횡 방향 거리가 짧다. 각도가 줄어들수록, 천장을 비스듬히 보기 때문에 표식을 추종할 수 있는 거리 가 늘어난다.

Fig. 19 

Relationship between Camera Angle and Detected Landmark's Longitudinal Length

Fig. 20에서 볼 수 있듯이, 표식을 가까이 보면서 각도를 줄이고, 각도가 줄어듦에 따라 모바일 로봇의 속도를 줄이 게 된다. 이로써, 표식에 가까워질수록 표식이 모바일 로봇 의 위치 오차를 줄이면서 추종할 수 있다.

Fig. 20 

Relationship between Camera Angle and Mobile Robot Speed

Fig. 21에서 볼 수 있듯이, 변환된 top-view 이미지를 이용하여 먼 곳에서부터 가까운 곳까지 표식을 인식하고, 추종이 가능 하였다. 이로써, 이 시스템은 3가지 장점을 가 지게 된다.

Fig. 21 

Target Tracking Process ((a): 45°, (b): 60°, (c): 85°)

1. 카메라를 돌려, 멀거나 가까운 표식을 인식 할 수 있다. 전진 상황과 같이 높은 속도로 이동할 때는 표식을 멀리 서부터 볼 수 있고, 회전과 같은 상황에서 정밀한 동작 수행을 할 때는 가까이에서도 정확하고 빠르게 추정이 가능하다.
2. 카메라에 투영된 이미지를 왜곡없이 사용할 수 있다. 이로써 마커와 형광등을 인식할 때, 천장을 정확히 정 면으로 보지 않더라도 정면으로 본 것과 같아 원래 모 양의 특성을 정확하게 파악하여 인식할 수 있다.
3. 이미지 상에서 좌표가 실제 거리(m 단위)로 변환을 할 수 있게 된다. 이로써 경로 추종을 할 때, 실제 거리 단위에 맞추어 제어를 할 수 있다.

Fig. 22는 한 층에서, 빈 공간 면적 대비 표식 사용 개수를 나타낸다. 실선은 인공 표식을 인식할 수 있는 거리를 기준 으로 구성하였을 때 표식 사용 개수 결과이다. 점선은 자연 표식과 인공 표식을 함께 구성하였을 때의 표식 사용 개수 결과이다. 빈 공간 80 m²기준으로 인공 표식만 사용하였을 경우 인공 표식이 84개, 자연 표식과 사용 하였을 경우 인공 표식이 15개 자연 표식이 70개가 사용 되었다. 공간이 늘어 날수록 표식 개수의 차이는 비례한다. 공간이 늘어남에 따 라 복도가 겹치는 중복되는 공간에서는 인공 표식 사용이 중복되어 표식의 개수가 정비례하여 나타나지 않는 것을 볼 수 있다. 인공 표식과 자연 표식을 함께 이용하는 것이, 인공 표식 만을 이용하는 것보다 적은 수로 지도 구성이 가능하게 되었다.

Fig. 22 

Comparison between Artificial & Natural Landmark and only Artificial Landmark

Fig. 23의 (a)에서 검은색 원은 노드를, 검은색 사각형은 Fig. 23의 (b)에서 장면을 나타낸다. 파란색 선은 엣지를, 빨 간색 원은 실제 로봇이 이동한 경로를 나타내고, 0.5초에 하 나의 점을 나타내었다. 로봇은 표식을 최대한 따라가는 경향 을 보이며, 약간의 진동이 있다. 마커 주변에서 빨간 점이 밀집 되어있는 것을 통하여 알 수 있듯이, 마커를 보면 속도를 줄여간다. (b)는 각 장면에 대한 구현 장면을 나타낸다.

Fig. 23 

Experimental Result without Obstacle ((a): Whole Trajectory, (b): Scene Index)

Fig. 24의 (a)에서 주황색 원은 동적 장애물을 나타내고, 그 안에 번호는 로봇의 관점에서 장애물을 보는 순서를 나 타낸다. 검은색 사각형은 (b)에서 장면을 나타낸다. 반발력 (V_{Repulsive_Sum}) 벡터의 영향으로 장애물을 피할 수 있다. 전체 결과 영상은 아래와 같다.

Fig. 24 

Experimental Result with Obstacle ((a): Whole Trajectory (b): Scene Index)