슬라이딩 윈도우와 타원 피팅 기법 기반 케이블 파지 위치 및 방향 추정

1. 서 론

최근 제조 자동화 및 서비스 로봇 분야의 확장에 따라, 로봇이 여러 환경에서 다양한 객체를 조작하는 능력에 대한 요구가 높아지고 있다^[1-4]. 특히, 케이블, 전선, 호스와 같은 유연체는 그 상황에 따라 비선형적으로 변형되기 때문에, 이들에 대한 인식 및 조작은 중요한 과제로 남아있다^[5-7]. 예를 들어, 자동차용 고전압 배선 케이블 공정에서 어셈블리 테스트 과정을 자동화하기 위해 케이블이 U자 형태로 테이블에 배치된다. 이를 어느 위치와 방향으로 로봇 그리퍼가 파지해야 하는지에 대한 정보는 어셈블리 테스트 장비에 삽입을 위해 요구된다. 또한, 케이블 말단부의 커넥터와 같은 특정 파지 위치 및 방향을 실시간으로 추정하는 것은 다음 작업을 안정적으로 수행하기 위해 해결해야 할 핵심 요소이다. 그러나, 유연체는 강체와 달리 명확한 형태적 특징을 가지지 않기 때문에 기존의 기하학 기반 인식 알고리즘을 그대로 적용하기 어려우며, 이는 로봇의 파지 실패나 조작 정확도 저하로 이어진다^[8].

기존의 케이블 인식 및 조작 연구는 주로 RGB-D 센서나 다중 카메라를 활용한 3차원 모델링 기반 방법, 혹은 딥러닝 기반의 segmentation 기술에 의존하는 경우가 많았다. 예를 들어, 여러 연구에서는 컨볼루션 신경망을 활용하여 케이블의 윤곽이나 말단을 검출하려는 시도가 이루어졌으나^[9], 이는 작업 환경에 대한 대규모 학습 데이터셋이 필요하다^[10]. 또한, RGB-D 센서를 통해 물체의 색상을 기반으로 파지 위치를 결정하는 단순한 접근법은 일관된 파지 위치를 지정할 수 없는 단점이 존재한다. 이에 따라, 요구에 맞는 파지 위치 지정을 위한 실용적이고 경량화 된 방식의 케이블 인식 알고리즘 개발이 요구된다.

본 연구에서는 이러한 한계를 극복하고자, 단일 RGB 카메라만을 활용하여 U자 형태 케이블의 경로를 실시간으로 추적하고, 커넥터 방향을 정량적으로 추정하는 새로운 알고리즘을 제안한다. 제안된 방법은 자율 주행 연구분야에서 차선 경로 탐색에 사용되는 슬라이딩 윈도우 기술을 케이블 영역 추정 및 파지 위치 선정에 활용한다^[11]. 그리고, 양방향 슬라이딩 윈도우 기반의 경로 탐색과 타원 피팅 기법을 통합함으로써, 파지 위치에서의 방향 추정이 가능하다. 또한, 완전한 비전 기반 시스템으로 별도의 학습 과정이나 추가 센서가 필요 없으며, 신경망 모델 대비 빠른 처리 속도로 실시간 파지 정보 제공이 가능하다. 본 연구에서 사용된 케이블은 기업으로부터 제공받은 실제 자동차용 고전압 배선 케이블이며, 어셈블리 테스트 공정과 같이, 평면 작업대 상에 U자 형태로 배치된 케이블을 대상으로 후속 작업을 위한 특정 파지 위치 및 자세를 추정하는 상황을 가정한다. 제안된 알고리즘의 성능 검증을 위해 로봇 팔이 케이블 커넥터를 파지하는 실험을 진행하였고, 배치된 케이블에 대해 높은 인식 정확도로 100%의 파지 성공률을 달성함으로써 신뢰성 있는 파지 동작 수행이 가능함을 검증하였다.

2. 본 론

본 논문에서 제안하는 시스템 전체 처리 과정은 [Fig. 1]과 같이 총 3 단계로 구성된다. 알고리즘 적용을 위한 환경은 실제 기업에서 어셈블리 케이블 테스팅이 이루어지는 환경과 동일하게 초록색 작업대위에 U형 케이블이 놓이도록 구성하였다.

[Fig. 1]

Flow chart of system

2.1 전처리 및 시작점 검출

케이블의 정확한 경로를 추적하기 위해서는 초기 영상에서 유효한 케이블 영역을 효과적으로 분리해내는 것이 필수적이다. 이를 위해 먼저 [Fig. 2 (a)]와 같은 RGB 입력 영상에 대해 중간값 필터를 적용하여 노이즈를 제거하고, Canny edge 검출 알고리즘을 통해 케이블의 경계선 정보가 있는 edge를 추출한다. 이후 morphological closing 연산을 수행하여 단절된 edge 선들을 연결함으로써, [Fig. 2 (b)]처럼 케이블의 edge 정보를 하나의 연속된 객체로 간주할 수 있도록 한다. 이 이미지에 opencv 라이브러리의 Contour 검출 알고리즘을 적용하여 [Fig. 3 (a)]처럼 케이블 전체 영역에 대한 외곽선을 검출하고, [Fig. 3 (b)]와 같이 외곽선 영역의 내부를 채운 케이블 영역 이진화 이미지를 생성한다.

[Fig. 2]

(a) Cable image, (b) Image used morphology

[Fig. 3]

(a) Outline detection of cable, (b) Binarization image

위 작업을 통해 검출된 케이블 영역에서 이진화 이미지의 흰색 값 좌표들의 중앙값에 해당하는 위치를 파지 위치 검출에 사용되는 슬라이딩 윈도우 알고리즘의 시작점으로 설정한다.

2.2 케이블 영역 경로 추적 및 파지 위치 검출

전처리 된 이진화 이미지로부터 케이블의 공간상 경로를 추적하고 파지 위치를 결정하기 위해 양방향 슬라이딩 윈도우 기법을 적용한다. 슬라이딩 윈도우의 크기 W는 카메라 설치 높이에 따라 이미지 상에 나타나는 작업 대상 케이블의 굵기 D에 기반하여 식 (1)을 따라 결정된다.

$\[ W=\lambda \times D \]$

(1)

여기서 λ는 스케일링 요소이다. W는 윈도우가 케이블의 부분 영역을 모두 포함하도록 설정되어야 하며, 케이블의 곡률을 커버하여 윈도우가 다음 케이블 영역을 탐색할 수 있도록 충분히 커야 한다. 반면, 사용자가 원하는 특정 파지 위치를 지정할 수 있도록, 각 윈도우가 포함하는 케이블의 영역이 너무 넓지 않게 W를 설정하는 것도 고려되어야 한다. 이에 따라, W는 D의 2배에서 4배 사이의 값으로 사용되는 것이 적절하며, 본 실험에서는 λ를 3으로 설정하여 이후 과정들을 진행한다.

슬라이딩 윈도우는 전처리 및 시작점 검출 과정에서 설정한 시작점으로부터 [Fig. 4 (a)]와 같이 상하좌우 방향을 탐색하며 윈도우 내 흰색 픽셀 수가 가장 많은 방향을 선택하며 점진적으로 이동한다. 각 슬라이딩 윈도우의 중심 좌표는 케이블 경로를 형성하는 핵심 지점으로 기록되며, 이는 커넥터 위치 추정 및 타원 피팅에 활용된다. 슬라이딩 윈도우는 [Fig. 4 (b)]처럼 흰색 픽셀이 더 이상 검출되지 않는 지점까지 진행되며, 시작점으로부터 양 방향으로의 확장을 통해 케이블의 전체 궤적을 완성한다.

[Fig. 4]

(a) Description of sliding window direction navigation, (b) Visualization about sliding window path

케이블의 전체 궤적을 따라 이동한 슬라이딩 윈도우의 마지막 지점은 커넥터 끝단부에 해당할 가능성이 높다. 또한, 실제 조립 및 패킹 과정에서는 커넥터 금속부가 아닌 절연 피복부를 파지해야 후속 결선 및 삽입 작업 시 간섭이 발생하지 않는다. 이러한 이유로 본 연구에서는 슬라이딩 윈도우가 이동을 멈춘 지점의 바로 이전 중심 좌표를 파지점으로 설정하였다. 이는 커넥터와의 간섭을 방지하면서도, 영상 기반 검출의 안정성이 확보되는 영역에서 로봇 그리퍼가 안전하게 접근할 수 있도록 하기 위함이다.

2.3 타원 피팅과 방향 추정

케이블 경로를 따라 이동된 윈도우의 중심 점들을 기반으로, 케이블 커넥터의 방향 정보를 정량적으로 추정하기 위해 도형 피팅 기법을 활용한다. 본 논문에서 사용한 케이블은 U형 케이블이기 때문에, 이에 적절한 타원 피팅을 적용한다. 이때, 경로 좌표들의 분포를 최소 자승법을 이용해 타원 곡선 형태로 근사하며, 이는 케이블의 전체적인 방향성과 곡률을 반영할 수 있도록 한다^[12]. [Fig. 5 (a)]와 같이 타원이 생성된 후, 파지 위치 검출 과정에서 얻은 파지 위치 (x_grasp, y_grasp)와 타원 상의 각 점들의 유클리드 거리 d_ellipse를 아래 식 (2)과 같이 계산하여 파지 위치와 가장 인접한 타원 상의 점 (x_e, y_e)를 찾는다.

$\[ d_{ellipse }=\sqrt{{\left(x_{grasp}-x_e\right)}^2+{\left(y_{grasp}-y_e\right)}^2}. \]$

(2)

[Fig. 5]

(a) Ellipse fitting based on sliding window trajectory, (b) Visualization of point calculation on an ellipse close to the gripping position

[Fig. 5 (b)]에 나타난 점 (x_e, y_e)가 파지 위치와 가장 인접한 점이라 하였을 때, 이 점의 기울기는 케이블 경로 상에서 파지 지점의 기울기와 유사하다고 간주할 수 있으며, 이 타원 상의 지점에서 접선의 기울기를 통해 커넥터의 방향을 추정한다.

타원 중심의 좌표를 (x_c, y_c), 장축과 단축 길이의 절반을 각각 a, b, 타원의 회전 각도를 θ라 할 때, 파지 지점과 타원 중심 간의 상대 좌표 (x_shift, y_shift)는 다음과 같이 정의된다:

$\[ \left[\begin{array}{c}{x}_{shift}\\ y_{shift}\end{array}\right]=\left[\begin{array}{c}{x}_e-x_c\\ -\left(y_e-y_c\right)\end{array}\right]. \]$

(3)

이후, 타원을 수평으로 정렬하기 위해 회전 행렬을 적용하여 타원 좌표계를 기준으로 회전된 좌표 (x_r, y_r)를 계산한다:

$\[ \left[\begin{array}{c}{x}_r\\ y_r\end{array}\right]=\left[\begin{array}{cc}\text{cos}\theta & -\text{sin}\left(-\theta \right)\\ \text{sin}\left(-\theta \right)& \text{cos}\theta \end{array}\right]\left[\begin{array}{c}{x}_{shift}\\ y_{shift}\end{array}\right]. \]$

(4)

정렬된 타원 상에서의 접선의 기울기 m_r은 타원의 도함수를 이용하여 다음과 같이 표현된다:

$\[ m_r=-\frac{x_r\cdot b^2}{y_r\cdot a^2}. \]$

(5)

해당 기울기를 다시 원래 좌표계로 복원하기 위해 역 회전 변환을 적용하면, 실제 좌표계에서의 접선의 기울기 m은 다음과 같다:

$\[ m=\frac{m_{r }\text{cos} \theta +\text{sin} \theta }{-m_{r }\text{sin} \theta +\text{cos} \theta }. \]$

(6)

마지막으로, 이 기울기를 기반으로 파지 방향 각도 θ_grasp를 도출한다:

$\[ {\theta }_{grasp}={\text{tan}}^{-1}\left(m\right). \]$

(7)

위 과정을 통해 계산된 θ_grasp는 로봇 그리퍼가 해당 지점에서 케이블을 파지할 때의 이상적인 접근 방향을 의미한다.

3. 실 험

본 연구에서 제안한 케이블 인식 및 방향 추정 알고리즘의 실효성을 검증하기 위해 실제 로봇 환경에서 파지 실험을 수행하였다. 실험은 사용자가 U형 케이블을 임의의 위치와 방향으로 작업대 위에 배치한 후, 시스템이 자동으로 해당 케이블의 파지 좌표와 방향을 도출하는 방식으로 진행되었다.

사용자가 커맨드 명령을 통해 시스템 실행을 지시하면, 알고리즘은 단일 RGB 카메라 영상을 입력으로 받아 케이블의 말단부 위치와 이상적인 파지 방향을 추정한다. 이때 도출된 파지 위치 및 방향 정보는 로봇 팔 제어기의 입력으로 전송되며, 로봇은 해당 정보를 기반으로 파지 동작을 수행한다. 각 실험에서 로봇이 커넥터를 성공적으로 파지한 경우를 계수하여, 제안된 알고리즘의 커넥터 인지 및 파지 성공률을 평가하였다.

3.1 실험 방법

우선, 실험에서 사용한 카메라 및 로봇 팔은 logitech사의 webcam C920, TONIFISHI 사의 STR400이다. 프로그램을 실행한 노트북은 AMD Ryzen 7 8845HS w를 탑재하였다. 실험 환경은 실제 산업 환경을 모사하여 구성되었으며, [Fig. 6]은 실험에 사용된 시스템 구성과 로봇 동작 환경을 나타낸다. 카메라는 케이블이 놓이는 작업대로부터 60 cm위에 설치되며, 로봇 팔은 카메라의 시야를 가리지 않는 위치에서 대기한다. 파지 위치와 방향이 결정되어 로봇 팔 컨트롤러에 전달되면 로봇 팔은 케이블을 파지하여 이동시키는 작업을 수행한다. 이때, 실험의 편리성을 위해, 물체의 z축 정보는 카메라와 테이블의 높이와 RGB-D 카메라의 depth 정보를 활용하여 선형적으로 추정하였다.

[Fig. 6]

Setup about cable grasping experiment

3.2 실험 결과

[Fig. 7]처럼 실시간으로 케이블을 작업대 위에 위치 및 회전 상태를 랜덤하게 놓고, 알고리즘이 도출한 파지 위치와 방향을 로봇의 입력으로 사용하였을 때, [Table 1]의 결과처럼 케이블 파지를 성공적으로 수행하였다. 이는 제안한 알고리즘이 케이블의 원하는 파지 지점을 인지 및 적절한 파지 방향을 잘 도출해 낼 수 있음을 검증한다. 또한, 입력 이미지로부터 파지 정보 획득까지 소요되는 연산 시간은 평균 37 ms로 계산된다. 이는 제안된 프레임워크가 딥러닝 기반 방법론의 데이터셋 구축 및 학습을 요구하지 않으면서도, Segment Anything Model과 같이 추가적인 학습을 진행할 필요가 없는 파운데이션 모델이 객체 인지에만 소요되는 시간인 3~5 s에 대비하여 경량화 된 방법론임을 보여준다.

[Fig. 7]

Visualization about cable detection algorithm in real-time

[Table 1]

Success rate of cable grasping

한편, 실내 공정 작업에서는 조명 및 작업대에 대한 변화가 크지 않지만, 조명의 밝기 변화 및 그림자의 유무와 같이 자연스럽게 발생할 수 있는 환경 변화가 존재한다. 따라서, 작업 수행을 위해 제약된 조건을 크게 벗어나지 않는 일정 범위 내에서, 실내 환경의 조명 밝기를 조정한 실험을 세팅하였다. 해당 실험은 10회 진행 및 성공하였으며, 제안된 프레임워크에 사용된 전처리 알고리즘의 동작 가능성을 [Fig. 8]에서 확인할 수 있다.

[Fig. 8]

Visualization about cable detection algorithm under different lighting conditions (a) Low-light environment, (b) High-light environment

4. 결 론

본 논문에서는 유연한 특성을 지닌 케이블의 말단부 커넥터 위치와 방향을 실시간으로 추정하기 위한 새로운 방법론을 제안하였다. 제안한 알고리즘은 RGB 카메라 영상 기반의 슬라이딩 윈도우 경로 추적과 도형 피팅 기법을 결합하여, 케이블의 공간적 경로를 정확히 추적하고, 파지에 적합한 위치 및 방향 정보를 도출한다. 특히, 도형 피팅 기반의 방향 추정 방식은 단일 카메라 정보만으로도 효과적인 자세 추정이 가능함을 실험적으로 검증하였다. 실험 결과, 사용자가 배치한 U자 형태의 케이블에 대해 로봇이 제안된 알고리즘을 활용하여 100%의 파지 성공률을 보였으며, 이는 본 기법이 로봇 팔이 U자형 케이블 조작에 필요한 시각적 인지 능력을 안정적으로 제공함을 시사한다. 또한, 제시된 아이디어는 다양한 곡률 및 형태를 갖는 케이블에 대해서도, 적절한 피팅 도형을 이용한다면 동일한 파이프라인을 통해 파지 정보를 산출 가능하다는 잠재성을 지닌다.

향후 연구에서는 슬라이딩 윈도우 기법이 타 연구분야에서 극복해야 할 문제인 다양한 조명 변화, 그리고 타 객체에 의한 노이즈에 강인한 알고리즘 개선 및 3D 비전 기반의 확장 적용 가능성을 모색하고자 한다. 또한, 객체의 자기 교차나 심한 가림, 형태의 다양성이 있는 다수의 케이블이 놓인 경우 등의 복잡한 상황에 대해서도 일반화를 할 수 있는 추가적인 연구를 진행하고자 한다.

Acknowledgments

This research was supported by the Regional Innovation System & Education (RISE) program through the Gyeongbuk RISE CENTER, funded by the Ministry of Education (MOE) and the Gyeongsangbuk-do, Republic of Korea. (2025-RISE-15-115).

References

• C. Lazar, A. Burlacu, and A. Archip, “Vision-guided robot manipulation predictive control for automating manufacturing,” Service orientation in Holonic and multi-agent manufacturing and robotics, pp. 313-328, Springer, Cham, 2014. [https://doi.org/10.1007/978-3-319-04735-5_21]
• A. Rupenyan and E. C. Balta, “Robotics and manufacturing automation,” The impact of automatic control research on industrial innovation: enabling a sustainable future, 2024, pp. 169-197. [https://doi.org/10.1002/9781119983644.ch6]
• A. Billard and D. Kragic, “Trends and challenges in robot manipulation,” Science, vol. 364, no. 6446, pp. 8414, Jul., 2019. [https://doi.org/10.1126/science.aat8414]
• M. Ersen, E. Oztop, and S. Sariel, “Cognition-enabled robot manipulation in human environments: requirements, recent work, and open problems,” IEEE Robotics & Automation Magazine, vol. 24, no. 3, pp. 108-122, Sep., 2017. [https://doi.org/10.1109/MRA.2016.2616538]
• F. Gu, Y. Zhou, Z. Wang, S. Jiang, and B. He, “A survey on robotic manipulation of deformable objects: recent advances, open challenges and new frontiers,” arXiv:2312.10419, 2023. [https://doi.org/10.48550/arXiv.2312.10419]
• M. Zürn, M. Wnuk, C. Hinze, A. Lechler, A. Verl, and W. Xu, “Kinematic trajectory following control for constrained deformable linear objects,” 2021 IEEE 17th International Conference on Automation Science and Engineering (CASE), Lyon, France, pp. 1701-1707, 2021. [https://doi.org/10.1109/CASE49439.2021.9551613]
• X. Chen, W. Chen, L. Su, and T. Li, “Slender flexible object segmentation based on object correlation module and loss function optimization,” IEEE Access, vol. 11, pp. 29684-29697, 2023. [https://doi.org/10.1109/ACCESS.2023.3261543]
• V. E. Arriola-Rios, P. Guler, F. Ficuciello, D. Kragic, B. Siciliano, and J. L. Wyatt, “Modeling of deformable objects for robotic manipulation: A tutorial and review,” Frontiers in Robotics and AI, vol. 7, no. 82, pp. 1-25, Sep., 2020. [https://doi.org/10.3389/frobt.2020.00082]
• Z. Dai, J. Yi, Y. Zhang, B. Zhou, and L. He, “Fast and accurate cable detection using CNN,” Applied Intelligence, vol. 50, no. 12, pp. 4688-4707, July., 2020. [https://doi.org/10.1007/s10489-020-01746-9]
• S. Dasari, F. Ebert, S. Tian, S. Nair, B. Bucher, K. Schmeckpeper, S. Singh, S. Levine, and C. Finn, “Robonet: large-scale multi-robot learning,” arXiv preprint arXiv:1910.11215, 2019. [https://doi.org/10.48550/arXiv.1910.11215]
• M. R. Haque, M. M. Islam, K. S. Alam, H. Iqbal, and M. E. Shaik, “A computer vision based lane detection approach,” International Journal of Image, Graphics and Signal Processing, vol. 11, no. 3, p. 27, 2019. [https://doi.org/10.5815/ijigsp.2019.03.04]
• W. Gander, G. H. Golub, and R. Strebel, “Least-squares fitting of circles and ellipses,” BIT Numerical Mathematics, vol. 34, no. 4, pp. 558-578, Dec., 1994. [https://doi.org/10.1007/BF01934268]