Current Issue

Journal of Korea Robotics Society - Vol. 19 , No. 3

[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 19, No. 1, pp. 65-70
Abbreviation: J. Korea Robot. Soc.
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 29 Feb 2024
Received 27 Oct 2023 Revised 20 Dec 2023 Accepted 03 Jan 2024
DOI: https://doi.org/10.7746/jkros.2024.19.1.065

이미지 프로세싱을 활용한 공구의 마모 측정법 연구
김수민1 ; 정민수2 ; 박종규

A Study of Tool Wear Measurement Using Image Processing
Sumin Kim1 ; Minsu Jung2 ; Jong-kyu Park
1Master Course, Changwon National University Advanced Defense Engineering, Changwon, Korea (rlatnals1207@gmail.com)
2Ph.D. Course, Changwon National University Smart Manufacturing division, Changwon, Korea (wjdalstn6311@gmail.com)
Correspondence to : Advisor, Corresponding author: Advanced Defense Engineering, Changwon National University, Changwon, Korea (chong@changwon.ac.kr)


CopyrightⓒKROS
Funding Information ▼

Abstract

Tool wear is considered an important issue in manufacturing and engineering, as worn tools can negatively impact productivity and product quality. Given that the wear status of tools plays a decisive role in the production process, measuring tool wear is a key task. Consequently, there is significant attention in manufacturing fields on the precise measurement of tool wear. Current domestic methods for measuring wear are limited in terms of speed and efficiency, with traditional methods being time-consuming and reliant on subjective evaluation. To address these issues, we developed a measurement module implementing the DeepContour algorithm, which uses image processing technology for rapid measurement and evaluation of tool wear. This algorithm accurately extracts the tool’s outline, assesses its condition, determines the degree of wear, and proves more efficient than existing, subjective, and time-consuming methods. The main objective of this paper is to design and apply in practice an algorithm and measurement module that can measure and evaluate tool wear using image processing technology. It focuses on determining the degree of wear by extracting the tool’s outline, assessing its condition, and presenting the measured value to the operator.


Keywords: Measurement Algorithm, Vision Module, Image Processing, DeepContour, Tool Wear

1. 서 론

공구의 마모는 제조업 및 공학 분야에서 중요한 문제로 간주되며, 마모된 공구는 생산성과 제품 품질에 부정적인 영향을 줄 수 있다. 공구의 마모 상태는 생산 프로세스에서 결정적인 역할을 하기 때문에 공구 측정은 핵심적인 작업 중 하나로 여겨진다. 따라서 공학 및 제조 분야에서는 공구 마모의 정밀한 측정에 큰 관심을 기울이고 있다. 현재 국내의 마모 측정 방법은 신속성과 효율성에서 한계를 보이며, 전통적인 방법은 시간이 많이 소요되고 주관적인 평가에 의존한다.

서술한 문제들을 해결하기 위해서 이미지 프로세싱 기술을 이용하여 공구 마모를 신속하게 측정하고 평가하는 알고리즘, DeepContour 기반의 알고리즘을 구현하여 측정 모듈을 개발하였다. 이 모듈은 공구의 외곽선을 정확하게 추출하고 상태를 확인하여 마모의 정도를 판단하며, 기존의 주관적이고 시간 소요가 많은 방법 대비 효율성이 뛰어나다. 본 논문은 이미지 프로세싱 기술을 이용해 공구 마모를 측정하고 평가하는 것이 가능한 알고리즘과 측정 모듈을 설계하여, 공구의 외곽선 추출 및 상태 확인을 통해 마모의 정도를 판단하고 측정한 수치를 나타내어 작업자에게 제시하는 방법에 중점을 둔다.


2. 공구 측정 알고리즘
2.1 이미지 프로세싱 알고리즘

외곽선 검출은 이미지 처리에서 중요한 연구 영역으로 자리매김해왔다. 외곽선은 이미지 내 객체의 구조와 형태를 나타내는 핵심 요소로서, 그 중요성 때문에 다양한 연구가 지속적으로 진행되고 있다. [Fig. 1]과 같이 1983년에 등장한 ‘sobel’ 알고리즘과 1986년의 ‘Canny’ 알고리즘은 초기 이미지 처리 연구의 핵심이었다. 이들 알고리즘은 그래디언트를 기반으로 이미지의 외곽선을 검출하였다. 이후, 2011년과 2012년에는 SCG와 EdgeBoxesPMI 등의 알고리즘이 연구되어, 이미지의 다양한 특징을 세밀하게 파악하는 방향으로 연구가 진행되었다. 2010년대 중반부터는 딥 러닝 기술의 발전에 따라 DeepContour와 DeepEdge와 같은 딥 러닝 기반의 외곽선 검출 알고리즘이 등장하였다. 이러한 연구는 외곽선 검출의 정확도와 효율성을 더욱 높이기 위한 노력의 일환으로 볼 수 있다[1].


[Fig. 1] 
Classic traditional algorithms and algorithms based on deep learning[1]

공구를 측정하는 선행연구에서는 기존의 절삭 표면 정의 방법과 비교하여, 이미지 처리 기법을 통한 방법이 얼마나 효과적인지를 실험적으로 검증하였다. 실험 방안으로는 다양한 종류의 드릴과 다양한 조건으로서의 절삭 표면 이미지를 캡쳐하여, 이를 처리하는 알고리즘의 정밀도와 효율성을 평가하였다. 이 방법은 기존 방법들과 비교했을 때보다 정밀하고 효율적인 절삭 표면 정의를 가능하게 하며, 실제 산업 현장에서의 응용 가능성을 제시하였다[2]. 이를 기반으로 이미지 프로세싱 알고리즘을 이용하여 공구의 마모 상태를 분석하는 측정 모듈 효율성을 확인하기 위해 개발을 진행하였다. 해당 측정 모듈에서는 공구의 외곽선을 측정하여 공구의 마모 및 제원 값을 확인 할 수 있다.

2.2 알고리즘의 성능 분석

본 논문에서 제시한 이미지 처리 기반의 공구 마모 측정 알고리즘의 성능을 평가하기 위한 핵심 지표는 F-Score이다. 이 지표는 알고리즘의 정확도(Precision)와 재현율(Recall) 사이의 균형을 객관적으로 평가한다. F (F-Score)는 정밀도와 재현율의 조화 평균으로 계산되며, 두 지표가 균형 있게 높을수록 F값도 높아진다.

F=1+β2×Precision×Recallβ2×Precision+Recall(1) 

해당 공식은 실제 이미지 프로세싱의 Edge detection 알고리즘에서 사용되는 상황에 따라 가장 적합한 성능 평가를 제공하는 성능 분류 지표 공식이다. F값은 정확도와 재현율의 중요도를 균형 있게 반영하기 위해 사용되는데, 특히, β는 재현율에 대한 정확도의 중요도를 조절하는 파라미터이다.

여기서 β의 값을 조정함으로써 [Table 1]과 같이 정확도와 재현율의 중요도를 조절할 수 있다. 특히, β=1이면, 정확도과 재현율이 동일하게 중요하게 고려되며 같은 가중치를 갖는다. 만약 β=0이면, F는 정확도와 동일하며, β = ∞이면 F는 재현율과 동일하다. 그리고 β의 값에 따라 정확도 또는 재현율의 중요도가 달라지는데, β < 1이면 정확도가 더 중요하고, β > 1이면 재현율이 더 중요해진다. 또한, 정확도와 재현율이 같을 때는 β의 값에 상관없이 F가 결정된다.

MSE=1MNi=1Mj=1Ngi,j-fi,j2(2) 
[Table 1] 
Result formula based on β range
β range Applied formula result
β = 1 F=2PrecisionRecallPrecision+Recall
β = 0 F = Precision
β = ∞ F = Recall
β > 1 F = (1+β)2 • Precision
β2 •Precision > Recall F=1+β2β2Recall
β2 • Precision< Recall F = Precision = Recall

이미지 처리를 통한 공구 측정의 정확성을 평가하는 지표인 MSE (Mean square error)이다. MSE는 예측된 값과 실제 값의 차이를 제곱하여 평균한 값이며, 낮은 MSE 값은 알고리즘이 높은 정확도(Precision)로 측정하고 있다는 것을 나타낸다. 두 이미지 간의 픽셀 값 차이의 제곱 평균으로 정의된 MSE에서, f(i,j)는 원본 이미지의 픽셀 값, g(i,j)는 처리된 이미지의 픽셀 값이다. M과 N은 각각 이미지의 너비와 높이를 의미한다. MSE가 낮을 때 이미지 복원의 품질이 높은 결과 값이 나오며 이러한 값을 비교하여 이미지 처리의 성능을 분류한다.

PSNR=10×log102n-12MSE(3) 

PSNR (Peak Signal-to-noise ratio)은 이미지 품질을 평가하는 지표로, MSE와 반대의 관계에 있다. PSNR은 MSE의 역수에 로그를 취한 형태로 계산되며, MSE가 작을수록 PSNR은 높아진다. 이 지표는 이미지 처리 알고리즘의 성능을 평가할 때 자주 사용된다. 높은 PSNR 값은 원본 이미지와 복원 이미지 사이의 차이가 적다는 것을 나타낸다. 여기서 n은 이미지의 각 픽셀에서 사용되는 비트 수를 의미한다. PSNR 값이 높을수록 이미지 복원의 품질이 높다고 판단되며, 이는 MSE와 반대의 관계를 보인다.

Precision=TPTP+FP(4) 

정확도(Precision)는 이미지의 공구 외곽선을 탐지하는 능력을 평가하는 지표로 사용된다. 이 지표는 True Positive의 비율을 나타내며, 높은 정확도 값은 알고리즘이 마모를 정확하게 탐지하고 있음을 의미한다. 정확도는 실제로 양성인 샘플 중 얼마나 많은 샘플이 양성으로 예측되었는지의 비율을 나타낸다. 여기서, TP는 True Positive를, FP는 False Positive를 의미한다. 정확도 값은 TP가 증가하면 증가하고, FP가 증가하면 감소한다.

Recall=TPTP+FN(5) 

재현율(Recall)은 공구 마모 탐지에서 놓친 부분을 평가하는 지표로 사용된다. 이 지표는 실제 마모 부분 중 얼마나 많은 부분이 정확하게 탐지되었는지의 비율을 나타낸다. 여기서, TP는 True Positive를, FN은 False Negative를 의미한다. 높은 재현율 값은 알고리즘이 실제 마모 부분을 잘 탐지하고 있음을 나타낸다. 재현율 값은 TP가 증가하면 증가하고, FN가 증가하면 감소한다[3].

2.3 이미지 프로세싱 알고리즘의 활용

이미지 프로세싱 분야의 최신 연구 결과와 기존의 이론적 기반을 고려하여, 공구 마모 측정에 적합한 외곽선 측정 알고리즘을 조사하였다. 외곽선 측정은 이미지 분석에서 핵심적인 단계로, 객체의 윤곽을 정확하게 검출하고 추출하는 데에 중요한 역할을 한다. 최신 기술과 알고리즘을 종합적으로 분석하여, 이미지 외곽선 검출에 적합한 알고리즘을 선정하였다[4].

본 연구에서는 [Fig. 2]와 같이 이미지 외곽선 측정을 위하여 선택한 알고리즘은 DeepContour이다. DeepContour은 자체 딥러닝 메커니즘으로 학습하여 이미지에서 윤곽을 정확하게 검출하는 알고리즘이다. 이를 통해 이미지의 공구 마모 측정에 대한 정확성과 효율성을 향상하기 위한 기반을 마련할 수 있다[5]. 이 알고리즘은 긍정 공유 손실(positive-sharing loss)이라는 메커니즘을 활용하여 이미지 처리 분야에서 사용된다. 주로 외곽선(contour)의 위치와 정보를 학습하기 위한 손실 함수 중 하나이며 이 손실 함수는 이미지에서 외곽선을 학습하고 검출하고 정확성과 유연성을 조절하여 모델이 다양한 상황에서 외곽선을 잘 처리할 수 있도록 조율하는 메커니즘을 가지고 있다. 이러한 손실 함수는 이미지의 외곽선을 정확하게 검출하는 데 도움을 주며, 특히 외곽선이 모호하거나 여러 위치에서 나타날 때 유용하다[6].


[Fig. 2] 
Applying a Positive Shared Loss Function to Determine Tool Health


3. 공구 측정 시스템 설계
3.1 공구 측정 알고리즘

이미지 프로세싱 알고리즘을 기반으로 구현한 공구 측정 알고리즘은 [Fig. 3]와 같이 나타낼 수 있다. 먼저, 측정 시작 단계에서 공구의 이미지를 캡처하여 분석을 위한 준비를 한다. 이어서 이미지 성능 평가를 통해 캡처된 이미지의 품질을 평가하며, 이는 정확한 엣지 검출을 위해 필수적이다. 이미지 평가 후 알고리즘은 이미지 윤곽선 탐지 단계로 진행된다. 이 단계에서는 마모 상태를 확인하기 위해 필수적인 공구의 엣지를 식별하는 데 중점을 둔다. 식별된 윤곽선은 엣지 포인트 검색 과정을 용이하게 하며, 알고리즘은 이 단계에서 엣지 포인트를 정밀하게 계산한다. 이 포인트들은 공구 표면의 정확한 마모 패턴을 파악하는 데 중요하다. 측정한 공구의 절삭날 엣지 포인트 식별 후 과정은 두 가지 경로로 분기된다. 첫 번째는 엣지 라인 정보로 이어지며, 여기서 엣지의 기하학적 데이터가 추출된다. 두 번째는 측정 공구 이미지 저장으로 이미지가 미래 참조 및 비교 마모 분석을 위해 보관된다. 이 알고리즘의 과정은 분석된 공구 정보의 분류와 엣지 표면 거칠기 그래프 두 가지 출력으로 마무리된다. 구현한 알고리즘과 측정 모듈의 기능으로 공구에 상태를 기준한 데이터에 기반하여 분류되며, 엣지 표면 거칠기 그래프는 공구 엣지의 거칠기를 시각적으로 나타내는 것으로 공구의 상태를 정량적으로 측정해 수치를 제공한다.


[Fig. 3] 
Algorithm flowchart for measuring and classifying fabricated tool perimeters

3.2 공구 측정 비전 모듈 설계

이미지 프로세싱 알고리즘들을 활용하여 [Fig. 4]와 같이 공구의 외곽선 정보를 추출하는 측정 모듈을 개발하였다. 이 과정에서 LabVIEW 비전 모듈 개발 도구를 이용하여 측정 모듈 알고리즘을 설계하였다. 적용한 방법은 고유한 컨투어 추출을 위한 기술로 제안되었다. 이 기술은 LabVIEW 환경에서도 구현되어 있으며 고속 처리가 가능하게 설계되었다.

pji=expaj(i)l=0Kexpaj(i)(6) 

[Fig. 4] 
LabVIEW program uses DeepContour to develop a tool wear measurement module

수식 (6)은 softmax 함수의 표현을 나타낸다. 여기서 pji는 i-th 입력에 대한 확률 점수이며, aji는 FC2 계층에서의 i-th 출력 점수로 정의된다. 이를 바탕으로 각 입력에 대한 pji의 값을 계산할 수 있으며, 결과적으로 분류할 항목 중 하나를 선택하는 데 사용된다.

J0=-1mi=1mj=0K1yi=jlogpji(7) 

수식 (7)은 손실 함수 J0의 표현이다. 여기서 l(y)=j는 j번째 클래스를 나타내며, y(i)는 i-th 데이터의 실제 클래스를 표현한다. 따라서, 이 함수는 모델의 예측과 실제 클래스 사이의 차이를 측정하는 데 사용된다.

J=J0-1mi=1mλ1yi=0logp0i+j=0K1yi=jlog1-p0i(8) 

수식 (8)J0에 대한 수정된 손실 함수 J의 표현을 나타낸다. 이는 특정 클래스에 대한 편향을 줄이기 위한 것으로, 클래스에 따라 손실 함수를 다르게 적용하여, 모델이 각 클래스에 대해 균형있게 학습될 수 있게 도와준다. 해당 수식들을 활용하여 고유한 외곽선 추출 기법으로 softmax 함수와 손실 함수를 사용하여 모델의 성능을 최적화한다[7].

위와 같은 함수 계산을 적용하여 그라디언트 계산(Filtering Gradient Calculation)값으로 제작된 알고리즘은 [Fig. 5]와 같이 획득된 이미지에서의 특징 및 측정 대상 포인트를 추출하고, 공구의 외곽선을 정밀하게 감지하여 공구의 외형을 파악한다.


[Fig. 5] 
Use the Measurement module to perform tool condition analysis

3.3 공구 상태의 측정 실험 및 분석

개발한 측정 모듈의 알고리즘을 사용하면, 제공된 이미지에서 추출된 외곽선을 기반으로 공구의 상태를 효과적으로 분석할 수 있다. 공구의 이미지가 제공되면 알고리즘은 공구의 가장자리를 식별하고 평가하기 위해 다층 검색 프로세스를 거친다. 적용된 메커니즘은 손실 함수를 적용하여 공구의 모서리를 감지한 후 마모 상태를 판단한다. 측정 모듈을 사용하면 [Fig. 6]와 같이 실제 절삭날을 촬영하여 해당 절삭날의 마모 정도를 그래프로 나타내고 절삭날 엣지 라운드 제원 값을 측정하는 구성으로 되어 있다.


[Fig. 6] 
An experiment to measure the curvature of a tool

개발한 측정 모듈을 사용하여 공구상태에 대한 데이터를 얻기 위하여 실험을 진행하기 위해 [Fig. 7]와 같이 공구 샘플을 선정하였다. 선정한 샘플은 가공 조전과 공구의 종류에 따라 나누었으며, 이는 구현한 알고리즘을 적용한 측정 모듈이 다양한 공구의 상태를 측정 가능한지 확인하기 위해서이다. 절삭날 엣지 라운드의 정보들을 측정 하는 실험 결과로 [Fig. 8]과 [Fig. 9]과 같은 정밀한 측정을 통해 엣지 라운드의 수치를 도출하였다.


[Fig. 7] 
Sample tool used in the measurement experiment


[Fig. 8] 
Endmill sample measurement results


[Fig. 9] 
Drill sample measurement results

엔드밀 샘플의 절삭날 엣지에 최소 라운드는 5.69 ㎛, 최대 라운드는 20.7 ㎛로 측정하였으며, 드릴 샘플의 절삭날 엣지에 최소 라운드는 6.5 ㎛이며 최대 라운드로 20.0 ㎛로 해당 수치는 각기 다른 종류와 공구의 상태에 따라 정확한 측정이 가능한 것을 확인하였다.

개발한 측정 모듈을 활용한 방법으로 공구의 제원 정보와 상태를 정밀하게 얻는 것이 가능하다. 해당 측정 모듈은 고가의 측정 장비가 필요하지 않기에 공구 측정 비용을 줄여주며, 측정 시간 대비 효율적인 공구 마모 측정이 가능하다. 개발 모듈을 이용하면 사용자가 원하는 위치의 공구 마모 상태를 평가할 수 있으며, 공구 상태의 직관적인 정보와 현황을 시각적으로 보여준다.


4. 결 론

본 연구에서는 이미지 프로세싱 알고리즘을 활용하여 공구의 외곽선을 수치적으로 판별하는 측정 모듈을 개발하였다. 이 연구 결과로 얻은 주요 도출점은 다음과 같다.

  • 1. 공구의 외곽선을 정밀하게 판별하기 위해 DeepContour 알고리즘을 활용하였다. 이 알고리즘은 기존의 개발한 측정 방안과 달리, 이미지 내의 복잡한 패턴과 외곽선을 정확하게 인식하고 분석할 수 있다. 그 결과 공구의 외곽선을 명확하게 파악하며, 공구의 마모 분포와 절삭 날의 엣지 정보를 수치적으로 표현할 수 있었다. 그리하여 공구에 상태를 분석하고 작업자에게 필요한 정보를 제시해 줄 수 있다.
  • 2. 기존의 전통적인 방법들은 주관적인 판단이 들어갈 여지가 있었지만, 본 연구에서 사용된 공구 측정 알고리즘은 그러한 주관성을 크게 줄일 수 있다. 이를 통해 마모 상태나 성능 저하를 보다 객관적이며 신뢰도 높게 판별할 수 있게 되었으며, 이는 오차의 범위를 줄이고 효율적인 분석을 가능하게 만든다.
  • 3. 개발한 측정 모듈을 실제 산업 현장에 도입한다면 여러 가지 이점이 예상된다. 첫째, 오류 발생 확률이 줄어들어 생산 과정에서의 불량률 감소와 함께 제품 품질의 향상을 기대할 수 있다. 둘째, 분석 과정의 효율성이 높아져 작업 시간을 단축시키며, 그 결과로 생산 비용의 절감 효과를 가져올 수 있다.
  • 4. 이 연구를 통해 얻은 데이터는 절삭 날의 마모 상태와 그에 따른 성능 저하를 효과적으로 파악하는 데 큰 도움을 제공할 수 있다. 더 나아가, 이 정보는 기존의 데이터와 결합하여 절삭 날의 수명 예측과 최적의 작업 조건 설정 등에 활용될 수 있다. 이러한 데이터를 토대로 생산 과정의 최적화와 함께 공구의 수명 연장이 가능한 지표를 설정할 수 있게 된다.

본 연구를 통해 절삭 날의 마모 상태 및 그에 따른 성능 저하를 효과적으로 파악할 수 있으며, 이러한 데이터는 절삭 날의 수명 예측 및 최적 조건 설정에 활용될 수 있다는 것을 확인하였다.


Acknowledgments

This deliverable is the result of research conducted under the 2022 Industry-Academia Platform Cooperative Technology Development Project (S3307399) supported by the Ministry of SMEs and Startups

This research was supported by “Regional Innovation Strategy (RIS)” through the National Research Foundation of Korea (NRF) funded by the Ministry of Education (MOE) (2021RIS-003)


References
1. B. Tian and W. Wei, “Research Overview on Edge Detection Algorithms Based on Deep Learning and Image Fusion,” Security and Communication Networks, vol. 2022, Sept., 2022.
2. P. M. Pivkin, V. A. Grechishnikov, A. A. Ershov, and S. N. Grigoriev, “A new method definition of cutting surface of drills by image processing flank surface,” SPIE Future Sensing Technologies 2021, vol. 11914, Nov., 2021.
3. S.-M. Hou, C.-L. Jia, Y.-B. Wanga, and M. Brown, “A Review of the Edge Detection Technology,” Sparklinglight Transactions on Artificial Intelligence and Quantum Computing (STAIQC), vol. 1, no. 2, pp. 26-37, Oct., 2021.
4. D. Yang, B. Peng, Z. Al-Huda, A. Malik, and D. Zhai, “An overview of edge and object contour detection,” Neurocomputing, vol. 488, pp. 470-493, Jun., 2022.
5. M. COŞKUN, Ö. YILDIRIM, A. UÇAR, and Y. DEMIR, “AN OVERVIEW OF POPULAR DEEP LEARNING METHODS,” European Journal of Technic, vol. 7, no. 2, pp. 165-176, Dec., 2017.
6. W. Shen, X. Wang, Y. Wang, X. Bai, and Z. Zhang, “Deepcontour: A deepconvolutional feature learned by positive-sharing loss for contourdetection,” 2015 IEEE Conference on Computer Vision and Pattern Recognition (CVPR), Boston, MA, USA, pp. 3982–3991, 2015.
7. R. Saga and Y. Duan, “Apparel Goods Recommender System Based on Image Shape Features Extracted by a CNN,” 2018 IEEE International Conference on Systems, Man, and Cybernetics (SMC), Miyazaki, Japan, pp. 2365-2369, 2018.

김 수 민

2020 동명대학교 메카트로닉스공학과(학사)

2022~현재 창원대학교 첨단방위공학과정(석사)

관심분야: Measurement algorithm, Vision Module

정 민 수

2021 창원대학교(학사)

2023 창원대학교 스마트제조융합협동과정(석사)

2022~현재 창원대학교 스마트제조융헙협동과정(박사)

관심분야: Mechanical Design and Fabrication, Multiphysical Analysis

박 종 규

2000 포항공과대학교 기계공학과(학사)

2002 포항공과대학교 기계공학과(석사)

2007 포항공과대학교 기계공학과(박사)

2019~현재 창원대학교 교수

관심분야: Piezoelectric Sensors and Actuators, Biomimetic Mechatronics Design, Multiphysical Analysis