상·하역 작업의 자동화는 물류 및 창고 관리 분야에서 기술적 혁신과 효율성 증진의 핵심 요소로 부상한다. 초기 산업 시대의 물류 시설과 기술이 어떻게 현대의 상·하역 자동화 기술 발전에 영향을 미쳤는지를 탐구한 연구가 있었다^[18]. 이는 역사적 관점에서 시카고 교차철도의 화물 취급 기술과 산업 건물 디자인의 변화를 조명하고 오늘날 창고 자동화 시스템의 설계와 구현에 중요한 역사적 맥락을 제공한다. 또한 창고 관리 시스템의 구현을 통해 주문 선택 과정을 개선하는 방법 또한 활발히 연구되어 왔다^[19]. 이는 상·하역 자동화가 창고 운영의 효율성과 정확성을 어떻게 증진시킬 수 있는지를 간접적으로 증명하며, 결과적으로 이들의 연구는 상·하역 자동화가 창고 운영의 전반적인 효율성과 생산성을 향상시키는 데 중요한 역할을 할 수 있음을 시사한다. 한편 군집 로봇의 관점에서도 상·하역 자동화의 구체적 기술 구현 측면에 집중한 연구도 진행되고 있다^[20]. 이 연구는 로봇 기술이 상·하역 작업에 어떻게 적용될 수 있는지에 대한 통찰력을 제공하며, 로봇 기술의 발전이 물류 분야에서 어떻게 혁신을 가져올 수 있는지를 보여준다. 특히, 군집 로봇의 에너지 최적화와 효율적인 작업 수행 방법에 대한 연구가 진행되고 있는데 이는 상·하역 자동화에서 로봇 기술이 궁극적으로 필수 불가결함을 강조한다^[21]. 이러한 로봇 기술은 상·하역 과정을 더 빠르고 정확하게 만들며, 인간 노동자의 부담을 줄이고 전반적인 작업 효율을 향상시킬 수 있다. 마지막으로, 혁신적인 기술과 전통적인 기술을 비교 분석함으로써, 상·하역 자동화 기술이 물류 과정에 어떤 혁신적인 변화를 가져올 수 있는지에 관한 연구도 있었다^[22]. 이 연구는 기술 혁신이 물류 및 창고 관리 분야에서 어떻게 효율성과 생산성을 개선할 수 있는지에 대한 중요한 통찰력을 제공한다.

우리는 객체를 식별하고 위치를 예측하기 위해 객체 탐지 모델로 잘 알려진 YOLOv3^[17]를 사용했다. 객체 감지 모델은 [Fig. 4]에 기술된 바와 같이 다음과 같은 요소들로 구성된다. 먼저 다크넷(Darknet-53)^[17]이라고 불리는 컨볼루션 신경망 기반구조(Backbone)를 사용한다. 다크넷은 잔차블록(Residual blocks)을 기반으로 하며, 이는 잔차 연결(Residual connections)을 사용하여 신경망의 깊이와 효율성을 향상 시킨다. 탐지블록(Detection block)은 객체 탐지 모델에서 다크넷 기반구조 네트워크의 뒷부분에 추가되며, 다양한 크기와 종류의 객체를 효과적으로 탐지하기 위한 다양한 스케일의 출력을 생성한다. 이를 위해 앵커박스와 다중 스케일 특징 맵을 사용하여 객체의 위치와 클래스를 예측하고, 다양한 스케일에서 생성된 출력을 결합하여 모델이 다양한 객체를 다양한 크기와 스케일에서 효과적으로 탐지할 수 있도록 한다. 이는 객체 탐지 모델의 정확도와 다양성을 향상시키는 데 기여한다. 탐지블록 사이에 업샘플링 계층(Upsampling Layer)과 연결(Concatenation)을 사용하는데 이것은 더 높은 해상도의 특징 맵을 더 낮은 해상도의 특징 맵과 결합해서 객체의 정확한 위치를 예측하는데 도움을 준다. 객체 탐지를 위한 다양한 스케일의 특징 맵을 효과적으로 조합하고 더 높은 해상도에서 객체의 위치를 정확하게 예측하기 위해 사용한다. 탐지 블록을 통과한 특징 맵은 각각 24채널을 가진다. 특징 맵의 한 셀당 3개의 위치 및 클래스 예측값을 가지며, 예측값은 [Table 2]의 구조를 따른다. 크기가 다른 3개의 특징 맵은 총 22,743개의 위치 및 클래스 정보를 포함하고 있으며, 비-최대 억제(Non-max Suppression) 알고리즘을 통해 가장 정확한 예측값을 선택한다. 이를 통해 모델은 다양한 크기의 객체를 감지하고 정확한 경계상자를 생성할 수 있다.

[Fig. 4] 
Object detection model (YOLOv3) architecture

카메라 영상 기반 주행은 1) 딥러닝 모델을 통한 팔레트 인식, 2) 팔레트 상태 추정, 3) 지게차 유도 알고리즘으로 세분화할 수 있다. 먼저 딥러닝 모델을 통해 카메라 영상으로부터 팔레트를 인식하고, 팔레트 영역의 이미지 상세 정보와 클래스 정보를 획득한다. 이후 이 정보들을 취합해 팔레트의 상태를 추정한다. 이렇게 추정된 상태를 바탕으로 설계된 알고리즘을 따라 지게차가 유도된다. 전체 알고리즘의 흐름은 [Fig. 5]의 플로우 차트에서 확인할 수 있다. 플로우 차트에서 distances는 바운딩 박스에 대한 depth값을 의미하는데 여기서 [box_x1 : box_x2 , box_y1 :box_y2 ]는 바운딩 박스 안의 영역을 의미한다. 즉 distances는 바운딩 박스 안의 각 픽셀에 대해 카메라와의 거리를 의미한다. 그에 따라 직선거리는 바운딩 박스 영역안에 각 픽셀의 거리 중 가장 가까운 거리를 의미한다.

[Fig. 5] 
Flowchart of autonomous control method using object detection

팔레트 인식 및 위치 계산을 위해서 지도학습 계열의 딥러닝 물체 감지 기법인 YOLOv3를 활용한다. 학습의 경우 출력 벡터(Output vector)와 정답 영역이 얼마나 일치하는지를 손실로 계산하고, 이를 역 전파(Back propagation) 하여 학습을 한다.

팔레트 인식단계는 학습된 딥러닝 모델을 통해 물체 이미지가 입력으로 들어왔을 때, 타겟 물체의 위치와 회전 각도를 예측하는 단계이다. 딥러닝 모델을 통해 타겟 물체의 위치정보(중심 픽셀 값, 박스의 가로,세로길이)와 클래스(CCW, CW, Aligned)정보를 얻는다. [Table 2]에서 출력 벡터의 각 요소들을 보면 A와 B는 예측한 박스의 중점좌표를 의미하고 C와 D는 예측한 박스의 너비와 높이를 의미한다. 그리고 E는 박스안에 객체가 있을 가능성을 나타내는 점수이고 F, G, H는 각각 박스안에 객체가 어떤 클래스(class)일지를 나타내는 점수이다. 이 클래스들을 시각화 하면 [Fig. 6]의 예시 사진과 같다. Aligned는 팔레트와 지게차의 각도가 수평이라는 것을 의미한다. 이때 수평의 기준을 팔레트의 각도 -5도에서 +5도 사이로 한다. CCW는 팔레트와 지게차를 수평으로 만들기 위해서는 지게차가 시계 반대방향으로 회전해야 된다는 것을 의미한다. 반대로 CW는 팔레트와 지게차를 수평으로 만들기 위해서는 지게차가 시계방향으로 회전해야 된다는 것을 의미한다.

[Fig. 6] 
Visualization of deep learning model output vector

팔레트 검출을 위한 YOLOv3 network의 학습 속도와 성능 개선을 위해서 PASCAL VOC 2007 data set을 이용해서 사전학습한 가중치를 초기값으로 사용한다. 그리고 크기, 모양, 색등이 다른 10개 종류의 팔레트로 3,000개의 데이터를 수집했고 2,700개를 학습 데이터, 300개를 테스트 데이터로 사용했다. 데이터는 직접 라벨링을 수행하였고, 3개의 클래스(CCW, CW, Aligned)로 분류했다. 각 클래스 별 데이터의 개수는 [Table 4]에 정리되어 있다.

본 논문이 제안하는 방법과 다른 방법론을 체크 리스트를 통해 정성적으로 비교한 결과는 [Table 5]에 정리되어 있다. 딥러닝을 사용하여 실시간 제어를 통해 포크 삽입까지 유도되고, 특정 팔레트가 아닌 다양한 종류의 팔레트를 인식 가능하게 설계해 다른 방법들에 비해 범용성과 실용성 측면에서 우수하다. 그리고 인식을 위한 특정 마커나 외부 환경에 대한 맞춤 세팅이 필요하지 않고, 팔레트 뿐만 아니고 다른 객체도 인식 할 수 있도록 확장이 가능하다. 기존의 지게차들과 달리 수송차에 탈 부착이 가능하고 원격 조종 또한 가능하도록 전용 지게차를 설계한 점 또한 제안한 방법의 차별적인 요소이다.

[Fig. 7]은 10개 종류의 팔레트에 대한 딥러닝 모델 인식결과를 보여준다.크기, 모양, 색등이 다른 10개 종류의 팔레트, 총 300개의 테스트 데이터에 대해서 인식 성공률 100%, mAP (Mean Average Precision) 99.47%를 달성하였다. 또한 모든 팔레트를 1개의 클래스로 학습시킨 경우 인식성공률과 mAP 모두 100%의 결과를 얻었다.

[Fig. 7] 
Recognition test results for 10 types of pallets

[Fig. 8]은 알고리즘을 통해 제어되는 상·하역 장치의 테스트 시나리오 그림이다. (0) 먼저 관리자가 원격으로 상·하역 지게차를 팔레트가 보이는 위치로 이동시킨다. 그 이후에 (1) 팔레트 영역이 이미지의 중앙에 위치했는지 확인한다. 그렇지 않다면 좌/우이동을 통해 팔레트 영역이 이미지의 중앙에 오도록 이동한다. 팔레트 영역이 이미지 중앙에 위치한다면, (2) 인식한 팔레트의 클래스가 Aligned인지 확인한다. 클래스가 Aligned이라는 것은 팔레트와 지게차가 수평으로 위치되어 있다는 것을 의미한다. Aligned이 아니라면 회전을 통해 Aligned이 될 때까지 회전 이동한다. 회전을 마치면, (3) 팔레트 영역의 이미지의 중앙에서 다시 벗어나게 되고 다시 좌/우이동을 통해 팔레트가 이미지의 중앙에 오게 한다. (4) 마지막으로 클래스가 Aligned이고 팔레트가 이미지의 중앙에 있다면, 전진해서 포크를 팔레트에 삽입한다.

[Fig. 8] 
Test scenario

실제 접이식 상·하역 장치는 아직 소유권이 제작 업체에 있어 현재 운용이 가능한 시간과 범위가 제한적이다. 이러한 상황에서 최대한 실제와 근접한 테스트를 위해 손 지게차를 활용하되, 실제 접이식 상·하역 장치를 운용할 때 얻는 영상과 정확히 일치하도록 같도록 [Fig. 9] 와 같이 세팅을 하였다. 실제 장치를 통해 얻은 이미지와 동일한 결과를 얻도록 여러 번에 걸쳐 영상을 비교해가며 카메라의 위치, 영상에서 포크의 위치 등을 고려해서 정밀하게 세팅을 하였다. 실제 접이식 지게차와 동일한 방법으로 영상취득, 인식, 명령 생성 과정을 거치고 해당 명령의 수행만 사람이 직접 조작하여 테스트를 진행하였다.

[Fig. 9] 
Hand forklift equipment for testing

특히 명령 수행을 하는 과정에서 실제 상·하역 장치가 궤도방식임을 감안해 움직임을 정밀하게 모사하였다. 사람이 대신 운행하더라도, 실제 접이식 상·하역 장치의 동역학을 최대한 정확하게 반영하기 위해서 우선 실제 장치의 모든 회전 명령 및 전후 이동 명령에 대한 가능한 제어 입력과 그 구동 결과를 수치로 기록하였고, 이를 [Fig. 10]의 실선으로 시각화 하였다. 회전 명령의 경우 구동시간을 1초부터 10초까지 0.1초씩 증가시켜가며 회전한 각도를 측정하고, 전후 이동 명령의 경우 구동시간을 2초부터 10초까지 0.2초씩 증가시켜가며 이동거리를 측정하였다. 측정결과 초기에 가속구간이 있었고, 일정시간 후에 등속구간이 있고, 멈춘 후에도 관성에 의한 움직임이 있음을 확인했고, 이 가변적인 속도를 포함한 결과를 기반으로 각도와 시간에 관한 동역학 모델을 근사해 이를 식 (5)와 (6)으로 정리하였다.

[Fig. 10] 
Actual forklift driving results

식 (5)에서 a는 원하는 회전 각도를 의미하고 t는 a 만큼 회전시키기 위한 제어 입력 시간을 의미한다. 식 (6)에서 d는 원하는 직선 이동 거리를 의미하고 t는 d만큼 이동시키기 위한 제어 입력 시간을 의미한다. 손 지게차를 이용해 테스트 할 때 해당 식을 이용해 동역학을 근사하였으며, [Fig. 10]의 실선과 점선으로 표현된 결과를 보면 근사모델이 해당 범위 내에서 실측값을 충분히 잘 반영하는 것을 알 수 있다. [Fig. 11]는 실시간 테스트 영상을 캡쳐한 결과이다.

[Fig. 11] 
Result of test scenario

[Fig. 11(a)]를 보면 팔레트의 중심과 이미지의 중심이 일치하지 않는 것을 볼 수 있다. 중심을 맞추는 평형이동을 위해 Move Left의 명령을 한다. 이때 좌/우 상대위치 연산을 통해 계산된 거리만큼 이동하게 되고 중심이 일치 할 때까지 이동한다. [Fig. 11(b)]를 보면 팔레트와 이미지의 중심이 일치한 것을 볼 수 있다.

[Fig. 11(b)]에서 팔레트가 클래스 CW로 분류된 것을 볼 수 있다. 이는 팔레트와 지게차가 수평이 아니라는 것을 의미하고, 그림의 좌측상단을 보면 시계방향으로 각도조절 하라는 명령을 내린 것을 볼 수 있다. 직선 검출을 통해 계산된 각도만큼 각도 조절을 하고 각도 조절은 클래스가 Aligned로 분류될 때까지 한다. [Fig. 11(c)]를 보면 팔레트가 Aligned로 분류된 것을 확인할 수 있다.

[Fig. 11(c)]에서 팔레트가 Aligned로 분류됐다는 것은 팔레트와 지게차가 수평임을 의미한다. 하지만 팔레트가 현재 이미지의 중앙에 위치하지 않기 때문에 좌측 상단에 명령으로 Move left가 출력된 것을 볼 수 있다. 이때 인식된 팔레트 영역의 중앙과 이미지 중심의 차이를 계산해서 일치할 때까지 이동한다. [Fig. 11(d)]를 보면 팔레트 영역이 이미지 중앙에 위치한 것을 볼 수 있다.

마지막으로 [Fig. 11(d)]을 보면 팔레트 인식결과 Aligned이고 팔레트가 이미지의 중앙에 위치하고 있기 때문에 Go Straight 명령이 출력된 것을 확인할 수 있고 팔레트까지의 거리를 영상의 깊이 정보로부터 계산해 전진하며 포크를 삽입한다.

최종적으로 14개의 서로 다른 시작 환경을 갖는 시나리오에 대해, 무작위로 10종 중 한 종의 팔레트를 선택하고, 시나리오 당 3회씩 반복 테스트한 결과, 모든 경우 포크 삽입까지 성공적으로 자동 제어되는 것을 확인했다. 단, 초기에는 사용자가 원격으로 팔레트가 보이는 위치까지 지게차를 조종한다는 가정에 따라, 시작 환경에서 팔레트가 보이지 않는 경우는 배제하였다.