[ ARTICLE ]

The Journal of Korea Robotics Society - Vol. 16, No. 1, pp.49-55

ISSN: 1975-6291 (Print) 2287-3961 (Online)

Print publication date 28 Feb 2021

Received 23 Feb 2020 Revised 29 Sep 2020 Accepted 03 Nov 2020

DOI: https://doi.org/10.7746/jkros.2021.16.1.049

딥러닝과 확률모델을 이용한 실시간 토마토 개체 추적 알고리즘

고광은¹

; 박현지²

; 장인훈^†

Real-Time Tomato Instance Tracking Algorithm by using Deep Learning and Probability Model

KwangEun Ko¹

; Hyun Ji Park²

; In Hoon Jang^†

1Senior Researcher, Robot Applied R&D Group, Korea Institute of Industrial Technology, 143, Hanggaul-ro, Gyunggi-do, Korea kke0217@kitech.re.kr
2MS Student, Robot Applied R&D Group, Korea Institute of Industrial Technology, 143, Hanggaul-ro, Gyunggi-do, Korea hyunji@kitech.re.kr

Correspondence to: ^†Principal Researcher, Corresponding author: Robot Applied R&D Group, Korea Institute of Industrial Technology, 143, Hanggaul-ro, Gyunggi-do, Korea ( inhuns@kitech.ac.kr)

Abstract

Recently, a smart farm technology is drawing attention as an alternative to the decline of farm labor population problems due to the aging society. Especially, there is an increasing demand for automatic harvesting system that can be commercialized in the market. Pre-harvest crop detection is the most important issue for the harvesting robot system in a real-world environment. In this paper, we proposed a real-time tomato instance tracking algorithm by using deep learning and probability models. In general, It is hard to keep track of the same tomato instance between successive frames, because the tomato growing environment is disturbed by the change of lighting condition and a background clutter without a stochastic approach. Therefore, this work suggests that individual tomato object detection for each frame is conducted by YOLOv3 model, and the continuous instance tracking between frames is performed by Kalman filter and probability model. We have verified the performance of the proposed method, an experiment was shown a good result in real-world test data.

Keywords:

Tomato Instance Tracking Algorithm, Object Detection, Kalman Filter, Probability Robot, Automatic Harvesting Robot, Smart Farm

1. 서 론

국내 시설원예 기반 농업시장이 세계 시장에서 겨룰 수 있을만한 경쟁력을 갖추기 위해서는 작물의 생산 및 노동비용의 절감과 품질의 향상을 동시에 이루어져야 한다. 하지만 인구 고령화 및 농업분야 종사인구 감소가 가속화됨에 따라 노동 집약적 특성을 가진 국내 농업시장은 큰 위기를 맞이하고 있다. 이러한 구조적 문제를 극복하기 위해 첨단정보통신기술을 기반으로 시설원예작물의 생육환경정보와 관련된 다양한 데이터를 측정, 분석하여 작물생산과정에서 소비되는 노동력, 에너지, 양분 등의 자원을 효율적으로 관리함으로써 생산성을 증대하고 품질을 개선할 수 있는 스마트팜의 도입이 시급하다. 그러나 현재 우리나라의 농업환경에서는 시설원예 전체 재배면적을 기준으로 1%대에 그칠 정도로 보급률이 매우 낮고, 관련 기술수준 또한 초기단계에 머무르고 있어 이에 대한 대책이 시급하다. 국내에 도입된 스마트팜 현황을 살펴보면 대부분의 도입농가에서 파프리카, 토마토, 딸기 등의 시설과채류 작물을 대상으로 온실 기반 생육환경을 구축하였으며 재배면적이 3천평 이하인 중소농가이다. 보다 많은 중소농가에 스마트팜 기술을 보급하려면 생육환경관리뿐만 아니라 인력에 의존하는 수확 등의 작물 대상 농작업을 자동화 할 수 있는 핵심기술의 개발이 필요하다. 현재 국내 대부분의 과채류 스마트팜에서는 작물들이 일정한 간격의 열을 이루어 재배되며 각 열 사이에는 작업자가 승강형 대차에 탑승하여 적엽, 수분, 수확 등의 농작업을 수행한다. 향후 로봇이 이러한 농작업에 투입될 경우, 자율주행하며 작업대상 개체의 위치와 상태정보를 실시간으로 추정 기능이 선행되어야 할 것이다. 하지만 이와 관련된 수확용 로봇 관련기술들은 초기연구단계에 머무르고 있다. 특히 토마토나 딸기와 같이 표면이 손상되기 쉬운 과채류 작물은 수확과정에서 해결해야할 문제가 많다.

로봇이 시설원예 토마토 생육환경에서 수확작업을 수행하기 위해서는 로봇이 작업환경을 이동하는 과정에서 토마토 집단 중 특정한 숙성단계에 속하는 개체에 대한 연속적이고 일관된 검출이 가능해야 한다. 본 연구에서는 이러한 관점에서 토마토 개체 추적문제를 정의하였다. 이 문제를 해결하기 위해 연속된 프레임들에서 공간 위치가 달라지는 동일 개체의 숙도단계를 일관되게 분류(classification)하고 안정적으로 위치탐지(detection)할 수 있는 딥러닝 및 확률모델을 결합한 실시간 작물개체 추적알고리즘을 제시하였다.

본 논문의 구성은 다음과 같다. 2장에서는 수확로봇 관련된 연구동향 및 본 연구실에서 선행한 관련연구에 대하여 소개한다. 3장에서는 우리가 제안하는 딥러닝 모델이 추정한 작물 개체 별 위치검출 결과를 기반으로 개별 작물개체의 실시간 추적을 수행하는 확률모델에 대한 내용을 다룬다. 4장에서는 제안하는 방법을 통해 실제 온실 환경에서 수집한 동영상에 대해 개별 작물개체의 추적실험과 그 결과를 논한다. 마지막 5장에서는 결론과 향후 해결해야하는 과제에 대하여 제시한다.

2. 관련 연구 및 선행연구 소개

기존의 스마트팜에서는 컴퓨터비전 및 머신러닝을 활용하여 잡초나 병충해에 대한 인식이나 농장물의 상품성 평가를 목적으로 하는 연구가 진행되어왔다. 작업 환경이 정형화된 온실에서 농작물의 품질 평가는 주로 작물의 유통과정에서 발생 가능한 손실을 최소화하고 적정 수확시기를 결정하기 위해 이루어진다. 특히 토마토와 같은 후숙작물의 경우 다양한 연구사례들이 존재한다. Arjenaki는 CCD 카메라와 광원상자유닛을 조합한 토마토 선별기를 구축하고 RGB 영상 데이터를 수집하여 HSI 변환, 이진화의 전처리로 배경을 분리한 후, 토마토 표면의 결함 영역을 탐지하는 알고리즘을 개발하였다^[1]. Arakeri이 제안한 토마토 등급 분류 자동화 시스템은 토마토의 영상을 기반으로 적정 라벨에 해당하는 상자로 이송하는 하드웨어와 영상처리를 통해 토마토 표면의 결함과 숙도를 분석하는 소프트웨어로 구성되어있다. 영상처리 소프트웨어는 수집된 RGB 영상의 노이즈 필터링을 위한 전처리기와 객체-배경 분리를 통한 특징 영역 검출기, 그리고 토마토 표면의 결함의 유무와 숙성 여부를 판별하는 다층 신경망(MLP, Multi-Layer Perceptron) 기반 분류기로 구성되어있다^[2]. 일부 연구에서는 이미 수확된 토마토의 숙도를 자동 분류하는 목적으로 컬러이미지로부터 추출된 사전 정의된 특징을 검출하는 방식을 따른다. 예를 들어, Li et al.은 CCD 카메라로부터 수집된 토마토 RGB 이미지를 1차원의 dominant 색공간으로 변환하는 전처리 과정과 이를 히스토그램 매칭 기법을 이용하여 통계적 특징을 추출하는 특징 추출 과정을 결합한 dominant color histogram matching 기법을 제안하였다^[3].El-Bendary이 제안하는 기술은 토마토 표면의 색 정보를 RGB에서 HSI space로 변환하는 전처리기, PCA (Principal Component Analysis) 기반의 특징 추출기, 그리고 SVM (Support Vector Machine) 및 LDA (Linear Discriminant Analysis) 기반 분류기로 구성되어 있다. 이 연구에서는 실험에 쓰인 데이터셋의 통계적 특성을 기반으로 활용 데이터셋에 따라 좋은 성능을 보이는 방법이 각각 다르다는 것을 밝혀냈다^[4]. 최근 영상인식 분야에서 독보적인 성능을 보여온 딥러닝 기술을 농업 분야에 적용한 사례도 존재한다. 딥러닝으로 작물의 품종이나 상태 분류를 수행하기 위해서는 대규모 데이터베이스 구축이 선행되어야 하며 최근 연구에서는 32종 작물에 대한 30 K장 규모의 주석처리 된 CropDeep 데이터셋을 구축하여 다양한 객체 분류 및 탐지용 모델 학습과 테스트에 적용한 사례도 존재한다^[5]. 본 연구진은 수확된 토마토를 자동 선별하기 위하여 딥러닝 기반 자동숙도분류 시스템을 제안했다^[6]. 자체 제작한 카메라 시스템을 기반으로 6단계 숙도 단계 별 대규모 영상 데이터베이스를 구축하였으며 CNN (Convolutional Neural Network) 기반의 단일스테이지 객체탐지기를 설계하였다. 제안하는 시스템을 기반으로 실시간 토마토 숙도분류를 수행한 결과, 평균 93% 정밀도의 분류성능을 달성하였다.

반면에 수확 전 작물에 대하여 적용한 사례는 많지 않다. Goel은 수확 전 토마토의 숙도 분류를 수행하기 위하여 RGB 색 공간 상의 색정보를 R-G 정보로 변환하고 이를 Fuzzy 규칙 기반 분류 시스템 기법을 통해 분류하는 실험을 진행하였으나 실제 생육환경의 개체에 대한 적용은 이루어지지 않았다^[7]. 수확 전 작물에 대한 인식, 탐지를 수행하기 위해서는 광원이나 복잡한 배경 등의 외란의 영향을 줄이는 영상처리 기술이 필요하다. Liu et. al.의 연구에서는 HOG (Histograms of Oriented Gradients)를 기반으로 검출한 특징을 SVM으로 분류하는 시스템을 기반으로 False Color Removal 기법을 적용함으로써 다양한 외란 조건에서도 강인하게 토마토 개체를 검출하는 기술을 제안하였다^[8]. 본 연구실에서는 현재 시설원예 과채류 대상의 스마트팜에서 활용하기 위하여 토마토 개체 별 위치 및 상태정보를 실시간 추적하는 한 수확로봇의 핵심기술을 개발 중이다.

본 논문에서는 앞서 언급한 바와 같이 줄기, 유인줄, 잎사귀 등의 복잡한 배경이나 일기, 작업 시간에 따라 조명이 변화하는 작업환경 조건에서 수확로봇이 이동하면서 발생되는 외란을 극복하고 수확대상이 되는 토마토 개체를 실시간 추적하기 위한 핵심기술을 제안하고자 한다.

3. 확률모델과 결합된 딥러닝 기반 토마토 개체 실시간 추적 기술

실제 토마토를 재배하는 환경에서 토마토 개체 별로 발달 단계, 형태, 크기 및 위치가 일정하지 않다[Fig. 1]. 이러한 환경에서 로봇이 적정한 숙도의 토마토 개체를 탐지하고 해당 개체를 수확하기 위해서는 수확대상 개체에 대한 탐지(detection)가 가능해야 한다. 또한 로봇의 이동이나 매니퓰레이터 자세 변환 등에 따른 입력 영상의 변화에도 수확 대상으로 특정된 개체의 위치 및 숙도 정보를 일관되게 추적하는 기능이 요구된다.

[Fig. 1]

Example of growing tomato instances in a practical farm environment

이를 위해 본 연구실에서는 시설원예 실증환경에서 이동플랫폼에 장착된 매니퓰레이터 형태의 로봇의 엔드 이펙터에 스테레오 비전 기반 카메라 모듈을 부착한 형태의 수확로봇 시스템을 구축하였다. 이를 기반으로 생육 중인 토마토 영상 스트림을 수집하였으며[Fig. 2], 개별 프레임 단위에서 토마토 개체를 탐지하기 위한 딥러닝 알고리즘의 적용과 순차 프레임에 존재하는 동일 개체의 위치 및 숙도 정보를 동일하게 추정하는 확률 모델 기반 개별 개체 추적 알고리즘을 제안한다.

[Fig. 2]

Diagram of harvest robot control system for smart farm application

3.1 딥러닝 기반 토마토 객체 탐지

제안하는 기술은 개별 프레임 영상에 존재하는 토마토에 대한 객체 탐지부터 시작한다. 단일 프레임 영상에서 특정 객체의 관심영역과 종류를 추정하는 객체탐지를 위해 최근 Faster R-CNN, SSD 같은 딥러닝 기반 기법들이 많은 관심을 받고 있다. 농업 분야에서는 작물의 재배 및 생장과정 모니터링이나 잡초 검출, 병충해 검출 등의 목적으로 딥러닝 기법들을 활용하고 있다^[9,10]. 본 논문에서는 단일 프레임 영상 내 토마토 개체에 대한 실시간 탐지 수행이 가능한 단일 스테이지 구조의 딥러닝 모델을 사용한다^[11]. 단일 스테이지 구조 모델은 Faster R-CNN과 같은 다중 스테이지 모델과 다르게 별도의 객체후보영역을 검출하는 Region Proposal Network 모듈없이 출력텐서에서 객체의 위치 추정과 종류분류를 일괄 수행한다^[12,13]. 또한, 기저(backbone)구조가 CNN 기반 분류기 구조를 그대로 활용 가능하므로 전이학습의 적용이 용이하며 전체 계산속도 대비 객체탐지 성능이 우수하다^[11,14]. 토마토 객체탐지를 위해 적용된 네트워크는 [Fig. 3]의 구조를 따른다.

[Fig. 3]

Deep learning model architecture for tomato object detection

실제 수확작업이 진행되는 시설원예 생육환경은 작업시간에 따라 조명이 가변적이며 과실 외에 잎사귀, 줄기 등으로 인한 배경복잡도가 높다. 또한, 작물위치가 고정되어 있고 카메라가 레일을 이동하면서 영상을 수집하므로 개별 프레임마다 토마토 객체탐지를 수행한다면 동일 개체가 연속 프레임에서 탐지에 실패하거나 오분류 될 수 있다. 이러한 문제를 해결하기 위해서 이전 시점의 탐지 결과 및 객체 움직임을 함께 반영하여 동일 개체로 인식, 탐지하는 추적 기술이 필요하다.

3.2 확률모델 기반 개별 개체 추적 알고리즘

본 논문에서는 이동하면서 수집된 동영상을 구성하는 프레임 시퀀스 상에 동일한 토마토 개체가 존재하는 경우, 직전 프레임에서 추정된 결과를 현재 시점의 추정에 반영하여 동일 개체의 위치 및 숙도를 동일하게 추정할 수 있어야 한다.

먼저 객체탐지 결과에 대한 칼만필터를 활용하여 연속 프레임 상의 동일개체에 대한 위치 탐지가 실패하는 경우를 줄이고자 한다. 앞서 객체탐지에 활용된 딥러닝 모델은 시점 t의 프레임 영상에서 i번째 객체의 경계상자 [x_t,y_t,w_t,h_t,C_t]_i 와 숙도 별 확률분포 [p(c₁|obj),p(c₂|obj),p(c₃|obj),]_i를 출력한다. 이 때, (x_t,y_t)는 해당 객체를 감싸는 경계상자의 기준좌표이며 (w_t,h_t)는 너비와 높이, C_t는 경계상자 내 객체가 존재할 확률로 표현된 신뢰도이다. 본 연구에서 고려하는 시설원예 환경은 카메라의 이동만 고려하기 때문에 프레임의 변화에 따른 토마토 위치의 변화가 선형적이므로 시점 t의 프레임 영상에서 추정된 경계상자의 기준점 위치 및 속도 $p t = [x t, y t, x ˙ t, y ˙ t]$ 만을 검출하여 칼만필터로 추정하는 상태(state)로 정의하고 이를 추정하기 위한 시스템 모델을 정의할 수 있다. 만약 동일 개체로 추정될 경우, 나머지 파라미터는 유지된다. 직전 시점, 즉 t-1 프레임 영상에서 추정된 상태 $p ̂ t - 1$ 를 기반으로 현재 시점 t의 프레임 영상에 존재하는 개체의 상태에 대한 사전(prior) 예측 값 $p ̂ t ¯$ 과 오차공분산 사전 예측 값 $P t ¯$ 을 구하는 예측 단계를 먼저 수행한다^[15]. 이 때 시스템 모델 은 연속 프레임 간의 크기가 고정된 경계상자 이동속도를 반영하여 다음 식 (1)과 같이 구성하였다.

A = 10 Δ t 0 010 Δ t 00100001

(1)

보정 단계에서는 $p ̂ t ¯$ 과 현재 시점 t의 영상에 대한 딥러닝 기반 객체탐지 결과인 측정값 z_t 간의 오차를 기반으로 사후(posterior) 예측 $p ̂ t$ 과 오차공분산 P_t를 계산한다^[15]. $p ̂ t$ 는 칼만필터로 예측한 해당 개체의 최종 경계상자이다.

토마토 개체의 숙도 분류도 경계상자 추정과 비슷한 문제가 존재한다. 앞서 언급한 바와 같이 카메라 이동에 따라 영상 내 토마토 개체의 위치가 변화하고 딥러닝 기반 숙도 인식 결과 또한 변할 수 있다. 본 논문에서는 현재 시점 t를 기준으로 N개의 이전 시점영상에서 인식된 숙도 인식 결과를 반영하는 확률 모델을 적용하려 한다. 숙도 인식의 모델은 칼만필터와 같이 선형 시스템으로 정의할 수 없으므로 마르코프 가정 기반 재귀 베이지안 추정필터를 적용한다^[16].

먼저 각 시점의 영상에서 추정하려는 토마토 숙도를 상태(c_t∈{‘r’, ‘o’, ‘g’})로, 각 시점 영상에서 딥러닝이 예측한 숙도를 관측(z_t∈{‘r’, ‘o’, ‘g’})으로 정의한다. 재귀 베이지안 추정 필터를 적용한다면 c_t ~ P(c_t) 들이 마르코프 프로세스에 따라 변화함을 가정할 때, 특정 시점의 상태인 c_t를 추정해야 한다. 이 때, P(c_t)는 확률질량함수이다. 숙도 별 초기 상태는 균등분포를 따르고, 상태천이확률 p(c_t+1|c_t), 그리고 우도 p(z_t|c_t) 이 모델로 주어졌을 때 시점 t까지의 관측값 z_1,...t를 기반으로 p(c_t|z_1,...t)를 식 (2)로 계산할 수 있다.

p c t z 1, …, t = p z t c t p c t z 1, …, t - 1 p z t z 1, …, t - 1 = p c t ∏ k = 1 t η k p z k c t

(2)

η k = 1 p (z k) k = 1 1 p (z k ∣ z 1, . . ., k - 1) k > 1

(3)

본 논문에서는 동일 개체에 대하여 최대 3개의 이전 시점 영상들로부터 관측된 숙도를 관측값으로 활용한다. 예를 들어 관측값이 z₁=‘g’, z₂=‘o’, z₃=‘g’ 일 때 시점 t=3 영상의 토마토 개체 숙도를 p(c₃|z_1,...,3)로 계산해보자. 먼저 초기상태 확률분포는 p(c₀=‘r’)=p(c₀=‘o’)=p(c₀=‘g’)= $13$ 으로 가정하고 식 (2)를 다음 과정을 따라 전개한다.

(Step 1) p(c₃|z₁)을 다음과 같이 계산 가능하다.

: p(c₃=‘r’|z₁)=η₁p(z₁|c₃=‘r’)p(c₃=‘r’)=η₁A₁

: p(c₃=‘o’|z₁)=η₁p(z₁|c₃=‘o’)p(c₃=‘o’)=η₁A₂

: p(c₃=‘g’|z₁)=η₁p(z₁|c₃=‘g’)p(c₃=‘g’)=η₁A₃

p(z_k=“state”|c₃=“state”)는 객체 탐지 딥러닝 모델의 숙도 분류 결과의 confusion matrix를 기반으로 각 상태 별 precision을 계산하여 구할 수 있으며 좌변의 총합은 1이어야 하므로 $η 1 = 1 Α 1 + Α 2 + Α 3$ 이다.

(Step 2) p(c₃|z_1,2)을 다음과 같이 계산 가능하다.

: p(c₃=‘r’|z_1,2)=η₂p(z₂|c₃=‘r’)p(c₃=‘r’|z₁)=η₂B₁

: p(c₃=‘o’|z_1,2)=η₂p(z₂|c₃=‘o’)p(c₃=‘o’|z₁)=η₂B₂

: p(c₃=‘g’|z_1,2)=η₂p(z₂|c₃=‘g’)p(c₃=‘g’|z₁)=η₂B₃

p(c₃=“state”|z₁)은 전 단계에서 구해졌다. 마찬가지로 좌변의 총합은 1이어야 하므로 $η 2 = 1 B 1 + B 2 + B 3$ 이다.

(Step 3) p(c₃|z_1,...,3)을 다음과 같이 계산 가능하다.

: p(c₃=‘r’|z_1,...,3)=η₃p(z₃|c₃=‘r’)p(c₃=‘r’|z_1,2)=η₃C₁

: p(c₃=‘o’|z_1,...,3)=η₃p(z₃|c₃=‘o’)p(c₃=‘o’|z_1,2)=η₃C₂

: p(c₃=‘g’|z_1,...,3)=η₃p(z₃|c₃=‘g’)p(c₃=‘g’|z_1,2)=η₃C₃

p(c₃=“state”|z_1,2)은 전 단계에서 구해졌으며 좌변의 총합은 1이므로 $η 3 = 1 C 1 + C 2 + C 3$ 이다.

이러한 과정을 반복하면서 여러 프레임에 걸쳐 동일 개체에 대하여 일관적인 숙도 판정이 가능하다. 객체 탐지 딥러닝, 칼만필터, 확률모델을 이용한 토마토 개체추적 알고리즘의 동작을 확인하기 위하여 실증팜 기반 생육환경에서의 수집한 영상 데이터셋으로 실험을 수행하였다.

4. 실험 및 결과분석

본 논문에서 제안하는 딥러닝 알고리즘의 학습 및 테스트를 위하여 시설원예 실증환경에서 3단계(“red”, “orange”, “green”) 숙도의 다프니스 품종 토마토의 영상을 수집하였다. 스테레오 카메라(Stereolabs ZED mini)를 사용하였으며 외부광원 등의 환경외란을 최대한 줄이기 위하여 별도의 조명장치를 제작, 장착하였다[Fig. 4]. 데이터 수집용 카메라 시스템은 실제 생육환경을 주행하며 데이터를 수집하였다.

[Fig. 4]

Camera-lighting source system for image data acquisition in facility horticultural tomato farm and sample images collected by it

또한 실험을 위한 딥러닝 및 확률모델의 구현은 Windows 10 운영체제에서 Intel(R) Core(TM) i7-7700K CPU @ 4.20 GHz, 32GB RAM, Quadro RTX 6000 GPU 환경에서 Darknet framework와 C++를 사용하여 진행되었다^[17].

4.1 객체 탐지 딥러닝 모델 학습 및 토마토 개체 추적

실증 환경에서 수집된 영상 데이터를 선별하여 유효한 동영상 샘플 중 일부만 학습에 활용하였으며 학습에 사용되지 않은 동영상 샘플로부터 테스트용으로 720장의 프레임 영상을 추출하여 제안 기술 성능 평가에 사용하였다. 딥러닝 모델은 앞서 제시한 개발환경에서 편향-분산 트레이드오프를 고려하여 학습되었고 테스트용 데이터셋에 대한 실험 결과는 [Table 1]에 제시하였다.

[Table 1]

Individual instance detection result for each ripening stage based on object detection deep learning model (AP: average-precision, IoU: intersection-over-union)

[Fig. 5]는 칼만필터 및 확률모델과 결합하여 개체 추적한 결과 예시이다. 여러 프레임에 동일 개체가 존재할 때 탐지된 개체의 인덱스를 유지하면서 안정적인 검출이 가능하다.

[Fig. 5]

Tomato instance tracking result based on the proposed method

제안하는 알고리즘을 활용한 토마토 개체 추적 성능을 [Table 2]에 도시하였다. 시험용 데이터셋에 대하여 칼만필터 및 확률모델이 적용되지 않은 단순객체탐지 모델과 비교하였다.

[Table 2]

Comparison of ripening stage classification performance according to applying deep learning model versus deep learning + KF + PM

또한 수확작업은 숙도 분류 성능 지표로 precision이 더 중요하기 때문에, 단순객체탐지 기반 숙도 분류 결과와 제안한 알고리즘의 숙도 분류 결과를 precision을 기준으로 [Fig. 6]에 도시하고 비교하였다.

[Fig. 6]

Comparison of ripening stage classification performance of tomato instance: (left) simple object detection deep learning, (right) deep learning + KF + PM

단순 객체탐지 모델의 경우 precision 측면에서 중간 숙도 단계 “orange”의 분류성능이 떨어지지만 제안하는 알고리즘은 보다 정확한 분류가 가능함을 알 수 있다.

5. 결 론

본 논문에서는 토마토 수확로봇을 위한 실시간 토마토 개체 추적 알고리즘을 제안하였다. 실제 토마토를 재배하는 환경에서 수확로봇이 이동하며 작업을 수행해야하기 때문에 특정한 숙성단계에 속하는 개체에 대한 연속적이고 일관된 검출이 필요하다. 본 연구에서는 이러한 관점에서 토마토 개체 추적문제를 정의하였고 객체탐지 딥러닝 모델과 칼만필터, 확률모델을 결합하여 영상 내 토마토 위치 변화에도 수확대상 개체에 대하여 일관적이고 안정적인 추적을 구현하였다. 제안된 알고리즘은 실제 생육환경에서 수집한 영상데이터를 기반으로 수행된 단일 프레임 기반 숙도단계 분류 및 위치탐지 실험결과와 비교하여 훨씬 개선된 성능을 보였다.

현재 3단계 숙도 단계를 향후에는 5단계로 세분화하고, 다중 프레임 기반 숙도 분류와 토마토 위치 탐지를 동시에 수행하면서 수확용 매니퓰레이터 자세 제어 시 카메라 위치 변화에 대응할 수 있도록 알고리즘을 개선할 예정이다.

Acknowledgments

This study was supported by the Industrial Technology Innovation Project, funded by Ministry of Trade, Industry, and Energy (No. 20004055)

References

O. O. Arjenaki, P. A. Moghaddam, and A. M. Motlagh, “Online tomato sorting based on shape, maturity, size, and surface defects using machine vision,” Turkish J. Agric. For., vol. 37, pp. 62-68, 2013,
M. P. Arakeri and Lakshmana, “Computer Vision Based Fruit Grading System for Quality Evaluation of Tomato in Agriculture industry,” Procedia Comput. Sci., vol. 79, pp. 426-433, 2016, [https://doi.org/10.1016/j.procs.2016.03.055]
C. Li, Q. Cao, and F. Guo, “A method for color classification of fruits based on machine vision,” WSEAS Trans. Syst., vol. 8, no. 2, 2009, [Online], https://dl.acm.org/doi/10.5555/1558836.1558849, .
N. El-Bendary, E. El Hariri, A. E. Hassanien, and A. Badr, “Using machine learning techniques for evaluating tomato ripeness,” Expert Syst. Appl., vol. 42, no. 4, pp. 1892-1905, 2015, [https://doi.org/10.1016/j.eswa.2014.09.057]
Y.-Y. Zheng, J.-L. Kong, X.-B. Jin, X.-Y. Wang, T.-L. Su, and M. Zuo, “CropDeep: The Crop Vision Dataset for Deep-Learning- Based Classification and Detection in Precision Agriculture,” Sensors, vol. 19, no. 5, p. 1058, Mar. 2019, [https://doi.org/10.3390/s19051058]
K. E. Ko, S.-H. Yang, and I. Jang, “Real-time tomato ripeness classification system based on deep learning model for object detection,” J. Inst. Control. Robot. Syst., vol. 24, no. 11, pp. 999-1004, 2018, [https://doi.org/10.5302/J.ICROS.2018.18.0166]
N. Goel and P. Sehgal, “Fuzzy classification of pre-harvest tomatoes for ripeness estimation {\textendash} An approach based on automatic rule learning using decision tree,” Appl. Soft Comput. J., vol. 36, pp. 45-56, 2015, [https://doi.org/10.1016/j.asoc.2015.07.009]
G. Liu, S. Mao, and J. H. Kim, “A mature-tomato detection algorithm using machine learning and color analysis,” Sensors (Switzerland), vol. 19, no. 9, May, 2019, [https://doi.org/10.3390/s19092023]
A. Singh, B. Ganapathysubramanian, A. K. Singh, and S. Sarkar, “Machine Learning for High-Throughput Stress Phenotyping in Plants,” Trends Plant Sci., vol. 21, no. 2, pp. 110-124, 2016, [https://doi.org/10.1016/j.tplants.2015.10.015]
G. L. Grinblat, L. C. Uzal, M. G. Larese, and P. M. Granitto, “Deep learning for plant identification using vein morphological patterns,” Comput. Electron. Agric., vol. 127, no. C, pp. 418-424, 2016, [https://doi.org/10.1016/j.compag.2016.07.003]
J. Redmon and A. Farhadi, “YOLOv3: An Incremental Improvement,” arXiv:1804.02767, 2018, [Online], https://arxiv.org/abs/1804.02767, .
S. Ren, K. He, R. Girshick, and J. Sun, “Faster R-CNN: towards real-time object detection with region proposal networks,” IEEE Trans. Pattern Anal. Mach. Intell., no. 6, pp. 1137-1149, 2017, [https://doi.org/10.1109/TPAMI.2016.2577031]
J. Redmon and A. Farhadi, “YOLO9000: better, faster, stronger,” 2017 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Honolulu, HI, USA, pp. 7263-7271, 2017, [https://doi.org/10.1109/CVPR.2017.690]
K. He, X. Zhang, S. Ren, and J. Sun, “Deep residual learning for image recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 770-778, [https://doi.org/10.1109/CVPR.2016.90]
G. Welch and G. Bishop, “The Discrete Kalman Filter,” An Introduction to the Kalman Filter, University of North Carolina at Chapel Hill, 1995, pp. 2-7, [Online], https://courses.cs.washington, . edu/courses/cse571/03wi/notes/welch-bishop-tutorial.pdf
S. Thrun, “Probabilistic robotics,” Commun. ACM, vol. 45, no. 3, pp. 52-57, Mar., 2002, [https://doi.org/10.1145/504729.504754]
J. Redmon, Darknet: Open source neural networks in c, 2013, [Online], https://pjreddie.com/darknet, .

고 광 은

2007 중앙대학교 전자전기공학부(학사)

2017 중앙대학교 전자전기공학부(박사)

2017~2018 한국생산기술연구원 로봇그룹 박사후연구원

2019~현재 한국생산기술연구원 로봇응용 연구부문 선임연구원

관심분야: 딥러닝, 강화학습, 행동인식, HRI

박 현 지

2020 한양대학교 컴퓨터공학과(학사)

2020~현재 한양대학교 컴퓨터공학과 석사재학

2020~현재 한국생산기술연구원 로봇응용 연구부문 학생연구원

관심분야: 딥러닝, Visual SLAM, 패턴인식

장 인 훈

1993 중앙대학교 제어계측공학과(학사)

1999 중앙대학교 제어계측공학과(석사)

2010 중앙대학교 전자전기공학부(박사)

1999~2000 (주)신도리코 기술연구소 연구원

2000~2009 (주)아로마솔루션 기술연구소 책임연구원

2009~현재 한국생산기술연구원 로봇응용 연구부문 수석연구원

관심분야: 딥러닝, 강화학습, 베이지안 학습, HRI, 스마트팜

		AP (IoU%50)	# TP	# FP
Ripening stage	Green	0.87	406	52
	Orange	0.74	61	12
	Red	0.85	177	12

	Deep learning model	Deep learning+KF+PM
Weighted Recall	0.74	0.70
Weighted Precision	0.72	0.75