양봉을 위한 합성 이미지 훈련 기반 비전 인식 및 로봇 자동화 시스템의 타당성 연구

1. 서 론

양봉은 꿀과 꽃가루 등 부가가치가 높은 상품을 생산하는 산업으로, 꿀벌(Anthophila)은 꿀 생산뿐만 아니라 곤충 매개 수분을 통해 생태계 유지에 중요한 역할을 한다. 꿀벌의 활동 범위는 약 1에이커(4,047 m²)이며, 2023년 기준 에이커당 벌통 설치 비용은 평균 200달러로 추산된다^[1]. 국내 양봉 산업은 2020년 기준으로 27,532 농가와 268만 개의 벌군을 보유하고 있으며, 이들의 화분매개 활동은 과수원 및 과채류 작물 생산에 약 6조 원의 경제적 가치를 창출하고 있다^[2]. 그러나 주요 국가에 비해 사육 규모는 여전히 작고 생산성도 하락하고 있어 경영 안정성이 낮은 상황이다^[3].

양봉장은 실내 양봉과 실외 양봉으로 구분된다. 실내 양봉은 악천후와 천적으로부터 보호되지만 밀원수를 찾기 위해 벌들이 장거리 비행을 해야 하는 단점이 있어, 이를 보완하기 위해 근처에 밀원수를 식재하는 방법이 주로 활용된다. 전형적인 실내 양봉장은 [Fig. 1(a)]와 같이 비닐하우스 또는 판넬 구조물을 설치한 후 반 야외식으로 벌통을 보관 및 관리한다.

[Fig. 1]

(a) Typical indoor beekeeping plant (b) Beehive separation work for monitoring (c) Determine the status of colonies attached to the beehive (d) Whether the queen bee is alive or not is essential to check during each inspection

양봉 과정에서 작업자는 매일 벌통의 뚜껑을 열고([Fig. 1(b)]), 내부의 소초광(소광대에 밀랍을 넣어 만든 기구)을 하나씩 꺼내어 육안으로 벌통의 상태를 검사([Fig. 1(c)]) 한다. 이 과정에서는 여왕벌의 존재 여부, 곰팡이와 응애 등의 발생 유무, 벌 군의 세력 확인, 꿀의 저장 상태와 같은 다양한 항목을 점검한다. 이러한 검사는 벌통당 평균 10~30분이 소요되며, 작업자의 전문성과 숙련도가 요구된다.

특히, 여왕벌의 존재 유무는 필수적인 점검 사항 중 하나이다. [Fig. 1(d)]는 벌통 점검 중 반드시 확인해야 하는 여왕벌을 보여준다. 여왕벌은 벌집에 알을 낳고, 군집 내에 페로몬(pheromone)을 분비해 일벌의 행동을 조절하며 군세를 유지하는 중추적인 역할을 담당한다. 만약, 여왕벌이 죽거나 벌통을 떠나는 경우 해당 벌통에서는 더이상 일벌이 생성되지 않아 결국 군집의 자생력을 잃게 되므로, 여왕벌의 유무를 확인하는 것은 매우 중요하다.

벌통의 점검 과정은 다수의 벌통에 대해 소초광 조작 및 상태 확인이 정기적이고 반복적으로 이루어져야 하기 때문에 양봉 작업자에게 큰 부담으로 작용한다. 이러한 문제를 해결하기 위해 센서를 내장해 원격으로 벌통 내부의 온도와 습도를 측정하고, 벌통 입구에 설치된 카메라를 통해 벌들의 활동 상태를 모니터링하는 스마트 벌통 시스템이 제안되었다^[4-6]. 그러나 이러한 시스템은 벌통 내부의 소초광 상태를 관찰하지 못하기 때문에 점검에 물리적인 한계가 있다.

이를 보완하기 위해 인공지능(AI) 기반 컴퓨터 비전 기술을 활용한 벌통 상태 점검 연구가 시도되고 있다. 타 연구에서는 소초광을 촬영한 후 꿀벌에 기생하는 응애를 탐지하는 기술이 소개되었다^[7]. 이 기술은 작업자의 육안 검사 과정을 대체함으로써 점검의 효율성을 높인다. 그러나 여전히 벌통을 열고 소초광을 꺼내는 작업은 수작업으로 이루어져야 하는 한계가 존재한다.

최근 미국의 Beewise사는 전용 컨테이너 내에 로봇과 AI 플랫폼을 탑재한 양봉 자동화 장치를 제안하였다^[8]. 이 시스템은 대형 벌통을 대체하는 컨테이너 구조물로, 내부에는 대량의 랙 구조물이 배치되어 전용 소초광이 거치된다. 컨테이너 내부의 로봇은 각 소초광을 조작하고 비전 인식 기술을 통해 상태를 파악할 수 있다. 그러나 뛰어난 기능에도 불구하고 기존 양봉가의 벌통을 활용할 수는 없으며, 시스템 도입 비용이 매우 높고 유지보수가 복잡하다는 한계가 있어 국내 양봉 농가에 널리 적용되기에는 어려움이 있다.

따라서 기존의 실내 양봉장 시설에서 활용이 가능하고 경제적인 조건이 알맞은 하드웨어 크레인 시스템, 비전 인식을 통해 벌통 위치와, 내부 상태를 점검할 수 있는 양봉 자동화 시스템의 도입이 필요하다.

본 연구에서는 여왕벌 탐지를 위한 컴퓨터 비전 인식 방법을 적용한 로봇 자동화 크레인 시스템을 제안한다. 특히, 합성 이미지를 활용한 비전 인식 학습을 통해 데이터 수집의 부담을 줄이고, 여왕벌 탐지 성능을 향상시키고자 한다. 또한, 경제적이고 효율적인 점검 작업을 위해 직교 로봇 형태의 자동화 크레인 시스템을 고안하고, 다수의 벌통에 대해 인간의 개입 없이 정기적인 점검이 가능하도록 한다.

2. 여왕벌 탐지를 위한 컴퓨터 비전 인식

2.1 소초광 촬영을 통한 학습 데이터 수집

데이터 수집은 강원도 횡성군 소재의 한 실내 양봉장(고산농림)에서 현장 촬영을 통해 진행되었다. [Fig. 2(a)]는 촬영을 위한 장치 구성을 보여준다. 벌통 내부의 한쪽 끝에는 촬영을 위한 웹캠 카메라(Microsoft LifeCam)가 고정되었다. 반대쪽 끝에는 촬영하고자 하는 소초광(45 cm × 23 cm)이 300 mm 거리에 위치한다.

[Fig. 2]

(a) Device for beehive image data collection, (b) A picture of the captured images. Arrow is the target object (a queen bee)

촬영은 5개의 소초광에 대해 이루어졌다. 각 소초광은 1280×720 픽셀의 해상도로 3분길이의 영상으로 촬영되었으며 이로부터 1318장의 이미지를 확보하였다. [Fig. 2(b)]는 획득된 이미지 중 하나로, 하부 화살표로 표시한 영역에 여왕벌이 위치하고 있다.

2.2 여왕벌 탐지를 위한 인공지능 학습

본 연구에서는 여왕벌의 탐지를 위하여 딥러닝 기반의 실시간 객체 인식 모델인 YOLOv8 (You Only Look Once, version 8)이 사용되었다.

사용된 YOLO 모델의 BackBone은 컨볼루션 레이어와 c2F 모듈을 사용하여 특징을 추출하고, NECK은 다중 스케일 특징 통합을 향상시키며, Head는 바운딩 박스, 클래스 확률 및 신뢰성을 예측한다([Fig. 3]).

[Fig. 3]

Object Detection Model Operation Process

탐지 모델 학습을 위해 그래픽 카드(NVIDIA RTX 3080TI)를 탑재한 데스크탑 컴퓨터가 사용되었으며, yolo nano, small, medium 모델로 각각 60 EPOCH, Train, valid, test 7:2:1 비율로 학습되었다 [Table 1].

[Table 1]

Detection model dataset using real image only

943 장으로 훈련이 완료된 모델을 실제 촬영한 여왕벌 데이터에 적용한 결과 [Table 2], precision 47.7%, Recall 40%, mAP 0.5 40.6%, mAP 0.5:0.95 22.3%, F1 score 43.5%에 도달했다 [Table 3]. 완성된 해당 모델을 [Fig. 2(b)]에 적용해 본 결과, [Fig. 4(a)]에서 보았듯이 일반 꿀벌을 여왕벌로 오인하는 결과가 발생하였다. 여왕벌을 올바르게 탐지하기 위해서는 모델의 성능을 높여야 하므로, 증강 데이터 활용을 계획하였다.

[Table 2]

Real Image-Based Data and Synthetic Image-Based Data Models

[Table 3]

Yolov8n model object detection verification

[Fig. 4]

Queen bee detection without augmentation

2.3 합성 이미지 훈련에 기반한 탐지 성능 향상

본 연구에 쓰인 증강 데이터는 객체 구분에 강인한 모델을 만들기 위한 합성 이미지다. 합성 이미지 증강 기법을 활용한 이유는 데이터의 강인도를 높이거나^[9] 저해상도 데이터를 복원하는 방법으로도 활용이 가능하며^[10], 부족한 데이터를 가지고 모델의 성능을 높일 수 있기 때문이다.

합성데이터 생성 과정은 다음과 같다. 기존 943장에 속해 있는 여왕벌 사진 50개를 open image dataset v7의 배경 사진 50장에 덧붙였다. 벌집 배경과 분리된 여왕벌은 image dataset의 배경 사진에 덧붙일 때 불특정 위치에 회전 및 축약을 시켜서 덧붙여져 생성되었다.

합성 이미지 데이터가 섞인 모델은 Model 2~4 이며 [Fig. 5(b)]같이 배경과 여왕벌이 합쳐진 데이터가 활용되었다. 합성데이터를 이용해 모델을 훈련한 결과 Model 2는 Precision 61.2%, Recall 45%, mAP 0.5 46.2%, mAP 0.5:0.95 25.5% 결과를 보였다.

[Fig. 5]

(a) Real Image-Based Models (Model 1) (b) Synthetic Image-Based Models (Model 2)

$\[ F1 score =\frac{2^{\mathrm{*}} Precision \mathrm{*} Recall }{ Precision + Recall } \]$

(1)

식 (1)에서 소개된 Precision과 Recall 결과를 합친 F1 score는 Model 1에 비하여 8.3% 상승하였고, mAP0.5 5.6%, mAP0.5: 0.95 3.2% 상승하였다. 마찬가지로 Model 3~4의 F1-score와 mAP도 Model 1에 비하여 상대적으로 상승하였으나 Model 2에 비교하면 효과가 좋지 않음을 알 수 있다. 합성데이터를 학습에 일부 포함하는 것은 효과적이나, 합성 데이터를 포함하더라도 성능 향상의 정도에는 한계가 있음을 확인하였다.

3. 양봉 자동화 크레인 시스템

3.1 직교 로봇 형태의 크레인 시스템

본 연구에서는 실내 양봉장에 설치 가능한 xyz 직교로봇 형태의 양봉 자동화 크레인 시스템을 제안한다([Fig. 6]). 크레인은 자동화 전동 모터를 이용하여 x,y,z축 병진운동이 가능하도록 설계되었다. 특히, z축의 경우 주변 환경과의 간섭을 최소화하기 위해 Telescopic Arm 형태로 설계되었다. 또한, 벌통 뚜껑과, 소초광 상부에 자성의 철판 조각을 부착하고, 로봇 크레인의 끝단에는 전자석 그리퍼를 설치하여 기존의 벌통을 손쉽게 조작할 수 있도록 하였다.

[Fig. 6]

(a) Configuration of the crane coordinate system and the integrated monitoring camera (b) Utilizing a magnetic holder to grasp the iron plate affixed to the roof structure (c) Each bee comb is equipped with a 3D-printed plate holder (d) Attaching the magnetic holder to the bee comb for subsequent handling (e) Unloading the bee comb for monitoring purposes (f) Detecting the queen bee once the bee comb has been fully unloaded

크레인 제어 시스템에 설치된 메인 제어기(Raspberry pi 5)는 카메라와 연결되어 벌통에 설치된 마커 좌표를 추출한다. 마커 좌표가 추출되면 solver 함수를 이용해 크레인이 이동해야 하는 위치 값 d₁, d₂, d₃을 계산하여 크레인 모터 제어기(Open RB-150, Robotis)로 전송한다. 모터제어기는 d₁, d₂, d₃ 값을 desired theta 값으로 변경하여 각 축에 설치된 모터(Dynamixel XM540-W270, Robotis)에 전송한다.

직교 로봇의 Base 좌표계로부터 로봇 그리퍼가 설치된 끝단(End effector)의 위치와 자세 T_ae는 다음의 정기구학 식으로부터 구할 수 있다.

$\[ \begin{array}{l}{T}_{ae}=T_{ab}{T}_{bc}{T}_{cd}{T}_{de}\\ T_{ab}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 0& -1& 0\\ 0& 1& 0& a_0\\ 0& 0& 0& 1\end{array}\right],T_{bc}=\left[\begin{array}{cccc}0& 0& 1& 0\\ -1& 0& 0& 0\\ 0& -1& 0& a_1+d_1\\ 0& 0& 0& 1\end{array}\right],\\ T_{cd}=\left[\begin{array}{cccc}0& 0& 1& 0\\ 1& 0& 0& 0\\ 0& -1& 0& a_2+d_2\\ 0& 0& 0& 1\end{array}\right],T_{de}=\left[\begin{array}{cccc}1& 0& 0& 0\\ 0& 1& 0& 0\\ 0& 0& 1& a_3+d_3\\ 0& 0& 0& 1\end{array}\right]\end{array} \]$

(2)

또한, 로봇 그리퍼 끝단의 위치가 주어졌을 때, 크레인 각 축의 제어 위치 d₁, d₂, d₃ 를 구하는 역기구학 식은 위의 정기구학 변환 매트릭스와 구현 코드 내 Solver 함수를 통해 수치적으로 계산될 수 있다.

3.2 스테레오 비전을 통한 벌통의 위치 인식

양봉 자동화 로봇이 작동하는 방법은 [Fig. 6]와 같다. 벌통에 아루코 마커를 붙여 좌표를 추출한 후, 해당 위치를 기반으로 벌통을 개봉한 후, 소초광 파지 작업을 진행하면 군집을 파악할 수 있다.

삼각측량은 두 카메라가 위치와 물체까지 거리 간의 삼각 관계를 활용하여 깊이를 계산하는 방식이다.

이처럼 두 카메라가 특정 간격(Baseline)을 두고 배치되어 있고, 각 카메라에서 같은 물체를 촬영했을 때, 삼각형의 두 변의 길이와 각도를 알면 물체까지 거리를 계산할 수 있다. 3차원 상에 존재하는 물체의 좌표를 얻어내기 위해서는 각 양쪽 카메라의 x축 픽셀 좌표 차이를 나타내는 Disparity(시차) 값을 먼저 구해야 한다.

Disparity를 구하기 위해서는 두 개의 카메라에서 촬영된 마커 픽셀 좌표(u_l, u_r)가 필요하다. [Fig. 7] 에서 소개된 매개변수는 각 카메라에서 탐지된 마커의 픽셀 좌표를 뜻한다. 이 픽셀 좌표간 차이 disparity = u_l-u_r로 활용하면 식 (3)과 같이 z_m를 구할 수 있다.

[Fig. 7]

Detect 2D marker pixel coordinate (a) Left image pixel coordinate (b) Right image pixel coordinate

$\[ z_m=\frac{f^{\mathrm{*}} basline }{ disparity } \]$

(3)

여기서 f는 카메라의 초점 거리이고 baseline 은 카메라 간 거리이므로 상수 값이다. 해당 상수 값은 x_m, y_m 좌표를 구하기 위한 매개변수로 활용된다. 식 (3)을 통해 z_m을 구한 후 다음의 식 (4)를 통해 u_l, v_l, u_r, v_r값을 구한다.

$\[ \begin{array}{l}{u}_l=f_x\frac{x_m}{z_m}+p_x,v_l=f_y\frac{y_m}{z_m}+p_y\\ u_r=f_x\frac{x_m-b}{z_m}+p_x,v_r=f_y\frac{y_m}{z_m}+p_y\end{array} \]$

(4)

식 (5)의 3d 좌표 x_m, y_m을 구하기 위해서는 식 (4)에서 이용해 x_m 또는 y_m 값만 남기고 전부 이항한다. 그렇게 되면 식 (5)와 같이 3차원 좌표 x_m, y_m, z_m을 구할 수 있다.

$\[ x_m=\frac{b\left(u_l-p_x\right)}{\left(u_l-u_r\right)},y_m=\frac{b{f}_x\left(u_l-p_y\right)}{\left(u_l-u_r\right)},z_m=\frac{b{f}_x}{\left(u_l-u_r\right)} \]$

(5)

카메라에서 바라본 마커의 위치 x_m, y_m, z_m 좌표를 추정하면 카메라에서 바라본 벌통의 그립 위치 T_fm를 계산할 수 있으며, 이를 크레인 원점 좌표에서 카메라 좌표로의 변환 매트릭스 T_af를 곱하면, 최종적으로 크레인 원점 좌표에서의 벌통의 그립 위치를 구한다.

$\[ \begin{array}{l}{T}_{ae}=T_{af}{T}_{fm}\\ T_{af}=\left[\begin{array}{cccc}0& 0& -1& 2000\\ 1& 0& 0& -700\\ 0& -1& 0& 920\\ 0& 0& 0& 1\end{array}\right],T_{fm}=\left[\begin{array}{cccc}1& 0& 0& x_m\\ 0& 1& 0& y_m\\ 0& 0& 1& z_m\\ 0& 0& 0& 1\end{array}\right]\end{array} \]$

(6)

T_ae는 크레인 원점에서 마커까지의 좌표이다. 벌통 뚜껑 중앙을 파지하기 위해서는 T_fm 위치 값에 x 방향 50 mm, y 방향 100 mm, z 방향 250 mm를 더해야 한다. 그러면 크레인 원점에서 벌통 뚜껑에 설치된 철판 좌표로 이동하게 된다.

4. 시작품을 이용한 여왕벌 점검 자동화 시연

스테레오 비전 시스템과 자석을 이용한 그리퍼, 직교 겐트리 로봇을 활용하여 실험을 수행하였다 [Fig. 8]. 벌통의 위치를 작업 공간내에서 임의의 3개 위치에서 운용 시험을 수행하였으며, 스테레오 비전 카메라는 0.2%의 평균 위치 오차를 가지고 벌통의 위치를 추정하였으며, 모든 경우 성공적으로 벌통 뚜껑 및 소초광 핸들링이 가능함을 확인하였다.

[Fig. 8]

(a) A prototype of the robotic crane system, (b) Process for automate queen bee monitoring, (c) A captured image and recognition of a queen bee

[Fig. 8(b)]는 제안한 자동화 시스템을 이용한 작업 과정을 보여준다. 첫번째로, 크레인에 설치된 스테레오 비전 카메라는 벌통의 마커 위치를 인식한 후, 로봇 크레인의 그리퍼가 뚜껑의 부착 위치로 이동한다. 다음으로 벌통 뚜껑을 전자석 그리퍼로 부착한 후, 벌통의 측면 공간으로 운송하여 벌통을 개방한다. 이어서 로봇 크레인은 점검하고자 하는 소초광의 상부로 이동한 후, 소초광을 집어 벌통 상부로 꺼낸다. 마지막으로 측면의 소초광 촬영용 웹캠을 이용하여 영상정보를 획득하고 이를 컴퓨터로 전송한 후, 개발한 학습모델을 통해 여왕벌의 존재 여부를 확인한다.

[Fig. 8(c)]는 획득된 이미지 및 비전 인식을 통해 탐지한 여왕벌의 위치를 보여준다. 본 시험은 제안한 시스템이 실내 양봉장에서 활용 가능성이 높음을 보여준다.

5. 결 론

본 연구는 인공지능(AI), 비전 기술, 자동화 크레인 시스템을 통합한 스마트 양봉 시스템을 제안하고 실증함으로써, 기존 양봉의 노동 집약적 구조를 혁신하고자 하였다. 특히, 여왕벌의 존재 여부를 파악하기 위해 인공지능 기반 객체 탐지 모델을 사용하였으며, 일부 합성 데이터를 학습에 활용함으로써 모델의 탐지 성능을 향상시켰다. 또한, 벌통의 뚜껑과 소초광을 자동으로 조작할 수 있는 직교 로봇 기반 자동화 크레인 시스템을 개발하였다. 이 시스템은 스테레오 비전 기술을 활용해 벌통의 위치를 정밀하게 추적하고, 사람의 개입 없이 벌통의 뚜껑 개폐 및 소초광 조작 작업을 자동화한다.

제안된 자동화 시스템은 여왕벌 탐지 외에도 백묵병, 응애, 곰팡이와 같은 군집의 이상 현상과 꿀의 수집 상태 등 다양한 항목에 대해 비전 인식 기반 점검이 가능하도록 발전할 잠재력을 지닌다. 이는 병충해 예방 및 군집 유지에 기여하는 한편, 인건비 절감과 생산성 향상이라는 실질적 혜택을 양봉 농가에 제공할 것이다.

향후 연구로는 대규모 양봉장 적용을 위해 다중 카메라 시스템을 구축하여 더 넓은 영역을 모니터링하고, 객체 탐지 모델의 성능 향상을 위해 대규모 데이터 학습과 데이터 증강 기법을 활용할 예정이다. 이러한 연구는 양봉 산업의 혁신을 가속화하고, 지속 가능한 농업과 생태계 유지를 위한 핵심 도구로 자리 잡을 것이다.

Acknowledgments

This paper was supported by Korea Institute for Advancement of Technology (KIAT) grant funded by the Korea Government (MOTIE) (RS-2024-00406796, HRD Program for Industrial Innovation).

References

• D. A. Yeh and V. Abadam, Pollination services valued at $400 million on 1.7 million acres, [Online], https://www.ers.usda.gov/data-products/charts-of-note/chart-detail?chartId=112782, . Accessed: May 27, 2025.
• C. Jung and J. H. Shin, “Evaluation of crop production increase through Insect Pollination Service in Korean Agriculture,” Korean Journal of Applied Entomology, vol. 61, no. 1, pp. 229-238, 2022. [https://doi.org/10.5656/KSAE.2022.02.0.007]
• S. Woojin, J. Choi, and S. Lim, “Public Value of Bees and Research on Apiculture Textiles,” Korea Rural Economic Institute, Republic of Korea, C2023-08, Apr., 2023, [Online], https://www.krei.re.kr/krei/page/53?cmd=view&biblioId=532684&pageIndex=1, , Accessed: May 27, 2025.
• M. Djemali, K. Bouchoucha, and W. Ngara, “The effect of months of the year, recorded by a smart bee device, on the temperature and relative humidity of beehives and broods,” Int. J. Innov. Approaches Agric. Res., vol. 6, no. 3, pp. 230-238, Sept., 2022. [https://doi.org/10.29329/ijiaar.2022.475.6]
• T. S. Alves, M. A. Pinto, P. Ventura, C. J. Neves, D. G. Biron, A. C. Junior, P. L. De Paula Filho, and P. J. Rodrigues, “Automatic detection and classification of honey bee comb cells using deep learning,” Computers and Electronics in Agriculture, vol. 170, Mar., 2020. [https://doi.org/10.1016/j.compag.2020.105244]
• K. He, X. Zhang, S. Ren, and J. Sun, “Deep Residual Learning for Image Recognition,” 2016 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Las Vegas, NV, USA, pp. 770-778, 2016. [https://doi.org/10.1109/CVPR.2016.90]
• S. Bilik, L. Kratochvila, A. Ligocki, O. Bostik, T. Zemcik, M. Hybl, K. Horak, and L. Zalud, “Visual diagnosis of the Varroa destructor parasitic mite in honeybees using object detector techniques,” Sensors, Apr., 2021. [https://doi.org/10.3390/s21082764]
• J. Klein, “BeeHome 4: The 200 Best Inventions of 2023,” TIME, Oct. 2023, [Online], https://time.com/collection/best-inventions-2023/6324558/beehome-4/, , Accessed: May 27, 2025.
• C. Dewi, R.-C. Chen, Y.-T. Liu, X. Jiang, and K. D. Hartomo, “Yolo V4 for Advanced Traffic Sign Recognition With Synthetic Training Data Generated by Various GAN,” IEEE Access, vol. 9, pp. 97228-97242, 2021. [https://doi.org/10.1109/ACCESS.2021]
• B. Dwyer, “How to create a synthetic dataset for computer vision,” Roboflow Blog, Apr., 15, 2020, [Online], https://blog.roboflow.com/how-to-create-a-synthetic-dataset-for-computer-vision/, , Accessed: Jul. 17, 2025.