다시점 객체 공분할을 이용한 2D-3D 물체 자세 추정

1. 서 론

산업 응용을 위한 로보틱스는 다양한 관점에서 많은 발전이 있어왔고^[1-8], 컴퓨터 비전 학계에서도 이를 위한 더 나은 솔루션을 탐구하고 있다^[9,10]. 특히 인터넷에 수 집되는 3D 모델이 최근 크게 증가함에 따라 특정 3D 모델을 가정하여 영상에 맺힌 물체의 정확한 자세를 알 아내는 문제도 제조/검증 응용 관점에서 다시 주목을 받 고 있다. 본 논문에서 다루고자 하는 2D-3D 자세추정이 란 보정된 카메라로 관찰되는 입력 영상내의 물체와 알 고있는 3D 모델의 상대적 자세를 기하학적으로 추론하 는 것을 말한다. 이는 로보틱스, 컴퓨터 비전 및 여러 그래픽스 응용에 있어 중요하게 다루어져 왔다.

현재 정형화 된 접근으로는 보정된 카메라 영상에서 탐지되는 경계를 3D 모델로부터 투영된 그것과 정합하 는 방식이 있다. 이것이 발전하는 과정에서 경계 및 외부 환경에 강인한 국소 특징량들을 추출하게 되었고, 정합 에 이용된 목적 함수들 또한 새로이 제안되어 왔다.

하지만 카메라 입력을 객체화 하는 과정 없이 물체 경계 및 내부 영역의 특징을 추출하려는 시도는 여러가 지 광학적 노이즈로 분명한 경계를 탐지하기 어려운 경 우, 또한 특별한 질감이 없는 물체가 매우 혼잡한 배경에 놓여 있는 경우 자세 추정 오차율을 높이게 된다. 이와 같은 상황에서는 영역 기반으로 물체를 표현하는 것이 유리한 것으로 알려져 있으나, 그러한 2D 영역을 통계적 으로 모델링하고 분할하기에는 초기 전경과 배경의 특 성들이 모호하게 정의되기 쉽다는 단점이 있었다.

본 논문에서는 이와 같은 한계를 극복하고자, 주어지 는 물체는 다시점으로 관찰될 수 있음을 가정하였다. 다 시점 객체 공분할(co-segmentation, 共分割)이란 두 개 이상의 시점에서 관찰되는 임의의 전경 물체를 기하학 적 제한 조건을 사용하여 동시에 분할하는 것을 말한다^[11-17]. 이를 바탕으로 제안하는 시스템은 각 시점의 전경 마스 크들을 이용하여 물체의 시점 별 영역과 경계를 함께 고려하는 에너지 함수를 최적화한다. 더 많은 시점 정보 와 강인한 객체화 과정은 기존 방법들에 비해 정성적, 정량적 이점들을 보인다. 이어지는 장에서는 각 단계의 중요한 기술적 요소들을 구체적으로 설명한다.

2. 기하학, 외형 모델을 통한 다시점 객체 공분할

전통적으로 영상분할은 여러가지 목적함수를 마르코 프 무작위장(Markov random field, 이하 MRF)의 에너지 항으로 모델링하는 기법을 많이 사용한다. 여기서의 에 너지항 또한 크게 데이터항(data term, E_d)과 평활화항 (smoothness term, E_n)으로 나누어 설명한다^[18,19].

(Eq. 1)은 첫번째 단계에서 사용하는 MRF 에너지항을 표현한다. 데이터 항은 전경과 배경의 외형을 각각 모델 링(appearance term, E_a)하고 기하학적 제한조건을 고려 (geometric term, E_g)하도록 설계한다. 또 외형 모델의 신뢰도에 따라 E_a와 E_g의 상대적 영향도 를 결정한다^[12].

단, 외형 정보 중 색상(color) 만을 사용하였는데, 본 본 응용 범위에서는 응용 범위에서는 비교적 질감 정보 가 없는 기계 부품을 다루기 때문이다. 평활화항(neighborhood term, En) 또한 인접 픽셀 간 색상 거리가 주요하 게 고려되며, 모든 시점에 적용되는 기하학 정보(E_ng)를 이것과 함께 사용한다. λ_nc=10, λ_ng=1.5 은 알고리즘 상 수 값이다.

2.1. MRF 초기화(MRF initialization)

다시점 객체 공분할의 초기 영역은 카메라의 자세를 보정 패턴으로 정확하게 추정한 후, 관심 물체가 모든 카메라에 완전히 보여진다는 가정에서 얻어진다^[11-16]. MRF의 각 노드와 연결에 대한 초기 에너지는 픽셀 수준 으로 정의할 수 있다. 모든 데이터항과 기하학적 평활화 항은 매번 갱신되는 영역에서 새롭게 계산된다. 1/4의 초기해상도에서 최적화 후, 원본에서 결과를 구했다.

Fig. 1은 첫 번째 단계의 다시점 객체 공분할의 예를 보여준다. 입력 물체의 정면과 평면 시점에서만 정의된 사용자 영역은 제안하는 알고리즘으로 다음 행의 파란 색 선과 같이 모든 시점으로 전파된다^[12]. 녹색 선은 이 영 역들로부터 초기화된 모델에서 반복적 그래프컷을 사용 하여 수렴된 결과를 보여준다.

Fig. 1

Multi-view co-segmentation of a machinery component (Blue box: Initialization, Green line: Segmentation result)(a) User-given bounding boxes for two views and their segmentations. (b) Propagations for the rest of views and our results

3. 영역 기반 2D-3D 자세 추정

알고리즘의 두번째 단계에서는 Fig. 2와 같이 다양한 종류와 속성을 가진 3D 물체를 공분할 영역에 투영하고, 최종적으로 정확한 모델을 선택하여 그것의 자세(upright orientation, translation, in-plane rotation)를 정한다. 그림 에서는 같은 종류의 부품이나 세부 속성이 다른 reference 모델들이 임의의 자세로 배치된 것을 노란색, 관찰되는 물체의 공분할 영역을 녹색으로 표현했다. 이것을 입력 으로 하여 그림의 오른쪽에서는 (Eq. 2)의 목적 함수를 최대화하는 자세 파라메터가 무엇인지 구하게 된다.

Fig. 2

2D-3D object pose estimation. (Green line: Estimated object mask, Yellow line: Projection of a reference model) Left: Initial projections of two models with a candidate up-vector, Right: Comparison of accumulated errors after model fitting

정확한 reference 모델의 upright orientation이 바르게 추정 되었을 때, 모든 시점에서의 모델 정합 오차가 최소 화 된다. 예를 들어, 수렴 후 투영된 reference 모델과 추론된 분할 영역과의 오차를 빨간색으로 표시하였다.

이 문제에서, 전경 마스크 F가 각 시점 v 별로 추론 되었으며, 칼라 영상 I 또한 각 카메라 시점 마다 ϕ_υ의 내, 외부 파라메터가 보정 되었음 가정한다. 관심있는 물 체 투영 파라메터 θ는 model category, instance에 대한 index와 물체 자세에 관계된 up-vector u, translation x, y 그리고 in-plane rotation r로 설명할 수 있다. θ를 통해 3D 모델이 영상에서 관찰되는 물체 영역과 경계에 정합 될 때, 이를 각각 S_R, S_B로 점수화하여 극대값 지점을 찾는 문제로 풀게 된다. 본 장에서는 이를 구체화한다. 여기서 α=0.15는 각 항의 가중 정도에 대한 상수값이다.

본 논문에서 차용하고 있는 2D-3D 자세 추정은 영역 추출에 기반을 둔 방법론^[25]과 유사한 부분이 있다. 하지 만 level set 분할 접근보다는 보다 복잡한 배경을 다룰 수 있는 그래프컷 기반으로 영역을 추출하게 된다. 또 최적화 과정이 model fitting과 엮여 있는 전자와는 달리 두 단계로 분리했다는 점에서 차이를 보인다. 마지막으 로 다시점 정보에 대한 이점을 실험적 근거를 통해 제시 했다는 점이 기존 연구^[25]에 비해 새롭다고 할 수 있다. 이 알고리즘 비교 및 분석을 위해서는 VLFeat library^[26] 가 활용되었다.

4. 결과 및 토의

4.1. 자료 수집(dataset collection)

검증에 사용된 데이터셋은 다음과 같이 준비되었다. 먼저 임의의 형상을 가진 금속 부품 10개 종류를 수집하 였다. 각 종류 별로 세부 속성이 다른 4개의 개체가 있어, 데이터셋은 총 40개의 부품을 관찰하는 이미지로 구성 된다. 산업용으로 만들어지는 각 부품 정보는 완전하게 주어진다고 가정하였고, 각 모델의 convex hull의 모든 candidate bases의 안정성^[27]을 이용하여 평가하였다. 모 델 별로 가능한 up-vector가 다수 개 존재하는 경우는 이를 이용하여 최대 4개 이하로 제한한다.

Fig. 3은 데이터 캡쳐를 위한 시스템과 논문에서 정의 한 notation을 정리한다. 또 부품 종류 및 개체에 대한 3D 모델링 결과와 up vector 선정 과정을 보여준다^[27].

Fig. 3

Data collection. (a) Capturing system. (b) 3D modeling of target objects. (c) Upright orientation proposal (four at most)

제안하는 알고리즘의 성능 파악, 특히 정밀한 자세 추 정에 대한 알고리즘 분석을 위하여 시뮬레이션 소프트 웨어를 활용하였다^[28-29]. 그리고 최종 실험에 있어서는 자유로운 시점의 카메라를 위해 6 자유도 로봇팔(SAMSUNGFARAMAN, SRCP controller)을 사용하였다.

또한 결과를 정량적으로 분석하기 위해 3 자유도의 정 밀스테이지(Panasonic-MSMD-012G1S, Panasonic-MADHT- 1505E, EmotionTech-MCSH-80P4)를 준비하였다.

4.2. 실험 결과(Experimental results)

본 논문에서 사용한 방법은 전통적인 경계 기반 접근 법과 영역 기반 접근을 혼합한 것이다. 특히 종래의 외관 모델링에 있어, 다시점 입력에서의 기하학적 제한 조건 을 더하여 최적화 하고 있다. Fig. 4에서는 제안하는 알 고리즘 각 단계에 대한 결과 예시를 시각적으로 나타내 었다. 그림에서 파란색 선은 카메라 자세로부터 초기화 된 영역을 나타내며, 빨간색 선은 시점 별로 세워진 전경 외형에 대한 에너지 함수로 물체 영역을 추론한 것이다. 녹색 선은 기하학적인 제한 조건을 포함하여 모든 시점 에서 일관된 전경 영역을 추론한 것이며, 이를 이용해 최종적으로 물체 판별 및 자세를 추정하여 정합된 경계 를 노란색으로 표현하였다.

Fig. 4

2D-3D Pose Estimation using Multi-view Object Co-segmentation. First row: Input images with initialization, Second row: Segmentations using only color models, Third row: Multi-view object co-segmentation, Fourth row: Our 2D-3D pose estimation

그림에서 두번째 줄에 나타난 결과들은 기존 방법론^[25] 과 같이 초기화된 에너지로부터 단일 시점에서 칼라 정 보만을 활용하여 전경 영역을 추론하게 된다. 또한 알고 있는 3D 모델을 2D 영상에서 관찰되는 영역으로 정합시 키는 과정 또한 영역 기반 에너지만을 고려한다.

전통적인 경계 특징량 기반 접근법에서는 배경에서 검출되는 경계 특징들이 보여지는 예제와 많을 경우, 물 체 형태를 미리 가정하는 경우에도 외곽선과 혼동이 생 겨 목적 함수가 국소 최소값에 빠지기 쉬웠다.

특히, 본 논문에서 다루는 금속 부품은 균일한 재질을 가지고 있어 내부의 특별한 질감 특징이 없으며, 시점에 따라 표면 반사나 그림자와 같은 여러가지 광학적 현상 이 경계 검출의 노이즈로 작용하게 된다. 따라서 단일 재질의 객체를 분할하는 접근이 유리하게 사용될 수 있 겠다^[25]. 단, 여기서는 단일 시점 만을 고려한다.

나아가 세번째 줄에 나타난 결과들은 공간에서 일관 된 전경을 추론하기 위해 기하학적인 제한조건을 모든 시점에 대해여 적용한 것이다. 그림에서 보여지는 기하 학적 에너지 항과 앞서 구한 칼라 외형 에너지 항을 함께 적용하여 경계를 추출할 경우, 학계에 보고된 바와 같이, 단일 시점에서 칼라 만을 사용한 예제에 비해 false alarm 을 크게 낮출 수 있었다.

그리고 마지막 줄에서는 위와 같이 수렴된 물체 영역 과 칼라 영상에서 추출되는 경계를 함께 이용하였다 (검 은색으로 표시). 3D 모델을 모든 시점에 투영하여 각 시점 영상의 물체 영역에 정합하는 예제를 보여준다.

기본적으로 본 논문의 2D-3D 자세 추정은 영역 분할 에너지에 크게 의존하는 방법론^[25]를 채택한다. 하지만 우리의 방법론에서는 각 칼라 영상의 경계선과 정렬하 는 부분을 강화한 것과 공간 상의 물체 움직임을 이를 관찰하는 모든 시점에서 동시에 최적화하는 것이 추가되었 다. Fig. 5에서는 본 연구에 기반이 된 알고리즘^[25]과 그것 을 확장한 알고리즘의 주요한 차이들을 보여준다.

Fig. 5

Qualitative comparisons. (Blue line: Initialization, Green line: Segmentation, Yellow line: Pose estimation) (a) Single-view image segmentation using color models only and 2D-3D pose estimation in [25], (b) Our results

먼저 (a)의 경우에서는 단일 시점에서 칼라 모델을 반 복적으로 갱신하여 수렴한 물체 영역과 가장 높은 점수 로 정합된 모델의 자세를 보여준다.

(b)의 경우는 칼라 모델이 갱신되는 과정에서 다시점 공분할 알고리즘^[12]이 이용되었으며, 수렴된 영역과 칼 라 영상에서 검출된 경계선들을 모두 고려하여 모델이 정합된 결과이다. 이들의 초기 MRF 에너지는 8개의 카 메라 자세에 의해 파란색과 같이 동일하게 주어진다. 빨 간 박스는 자세 추정의 결과에 대하여 해당 영역을 확대 한 것을 나타낸다.

정량적인 실험에서는 10개 종류와 4가지 속성 갖는 개체 모델이 2-4개의 up vector를 가지고 3가지 종류의 배경 영상을 갖는 모든 경우에서 무작위로 40회를 수행 한 결과를 Table 1에 정리하였다. (a), (b)에서 보여진 결과에 대하여 instance model retrieval error, up-vector retrieval error, translation error, 그리고 rotation error를 측정하였다. 여기서 retrieval error는 검색이 실패한 경우 를 백분율로 나타내었고, translation error는 2D 평면에 서의 Euclidian metric, rotation error는 absolute difference error로 정의한다. 3 자유도 범위는 [-10 mm ~ 10 mm], [-180°~180°]로 하였다. 위치와 회전 오차 범위는 각각 20 um, 0.025 deg.이다.

Table 1

Quantitative Evaluation

제안한 방법은 분할 영역을 안정화하는 효과와 함께 부품의 up vector, 미묘한 속성 차이를 구분하여 검색하 는데 있어 이득이 있었다. 또한 최종 자세 추정 오차율도 개선되었는데, translation error는 약 2배 수준, in-plane rotation의 경우는 오차율이 4배 이상의 차이를 보였다.

5. 결 론

본 고에서는 여러 시점에서 관찰된 물체를 분할하고, 그것의 평면상 자세를 정교하게 추론하는 과정에서 적 합한 3D 모델 또한 검색 가능한 시스템을 제안하였다. 나아가 기존의 경계 기반, 영역 기반 알고리즘들을 통합 하고, 다시점 정보를 활용하는 접근으로 3 자유도를 갖 는 2D-3D 물체 자세를 추정하였다. 이를 위하여 몇 가지 기술적 한계들을 극복하였고, 특히 다시점 정보에서 얻어 지는 이점을 정성적, 정량적으로 비교하여 검증하였다.

Acknowledgments

This work was supported by the Ministry of Trade, Industry & Energy and the Korea Evaluation Institute of Industrial Technology (KEIT) with the program number of 10060110.

References

• Park, DI, Park, CH, Kim, DH, Kyung, Jh, “Analysis and Design of the Dual Arm Manipulator for Rescue Robot”, The Journal of Korea Robotics Society (KROS), (2016, Dec), 11(4), p235-241. [https://doi.org/10.7746/jkros.2016.11.4.235]
• Park, CH, Park, DI, Kim, DH, “The Analysis of Trajectory Tracking Error Caused by the Tolerance of the Design Parameters of a Parallel Kinematic Manipulator”, The Journal of Korea Robotics Society (KROS), (2016), 11(4), p248-255. [https://doi.org/10.7746/jkros.2016.11.4.248]
• Do, HM, Choi, T-Y, Park, DI, Kim, DH, Youngsu, Son, “Design of Self-Reconfigurable Kinematics and Control Engine for Modular Robot”, The Journal of Korea Robotics Society (KROS), (2016, Dec), 11(4), p270-276. [https://doi.org/10.7746/jkros.2016.11.4.270]
• Choi, TY, Do, HM, Park, DI, Park, CH, Kyung, JH, Kim, DH, “Examples of Art Performing with Industrial Dual-arm Robots”, The Journal of Korea Robotics Society Dec, (2016, Dec), 11(4), p293-299.
• Kim, S-H, Jung, I-K, “UGR Detection and Tracking in Aerial Images from UFR for Remote Control”, The Journal of Korea Robotics Society (KROS), (2015, May), 10(2), p104-111. [https://doi.org/10.7746/jkros.2015.10.2.104]
• Song, HH, first name, J-B, “Artificial Landmark based Pose-Graph SLAM for AGVs in Factory Environments”, The Journal of Korea Robotics Society (KROS), (2015, May), 10(2), p112-118. [https://doi.org/10.7746/jkros.2015.10.2.112]
• Choi, H-S, Kim, D-I, Song, J-B, “Simultaneous path tracking and orientation control for three-wheeled omni-directional robots”, The Journal of Korea Robotics Society (KROS), (2015, Aug), 10(3), p154-161. [https://doi.org/10.7746/jkros.2015.10.3.154]
• Song, SW, Song, JB, “Development of a 5 DOF Manipulator for Weight Handling based on Counterbalance Mechanism”, The Journal of Korea Robotics Society (KROS), (2016, Dec), 11(4), p242-247. [https://doi.org/10.7746/jkros.2016.11.4.242]
• Ahn, BT, Kim, E-H, Sohn, J-H, Kweon, IS, “Robust Real-time Tracking of Facial Features with Application to Emotion Recognition”, The Journal of Korea Robotics Society Dec, (2013, Dec), 8(4), p266-272.
• Bazin, J-C, Kim, S-h, Choi, D-G, Lee, J-Y, Kweon, IS, “Mixing Collaborative and Hybrid Vision Devices for Robotic Applications”, The Journal of Korea Robotics Society (KROS), (2011, Sep), 6(3), p266-272. [https://doi.org/10.7746/jkros.2011.6.3.210]
• Kim, S-H, Tai, Y-W, Bok, Y, Kim, H, Kweon, I-S, “Two phase approach for multi-view object extraction”, Proceedings of International Conference on Image Processing (ICIP), (2011). [https://doi.org/10.1109/icip.2011.6116115]
• Kim, S-H, Tai, Y-W, Park, J, Kweon, I-S, “Multi-view object extraction with fractional boundaries”, IEEE Trans. on Image Processing (TIP), (2016, Aug), 25(8), p3639-3654. [https://doi.org/10.1109/TIP.2016.2555698]
• Lee, W, Woo, W, Boyer, E, “Silhouette segmentation in multiple views”, IEEE Transactions on PatternAnalysis and Machine Intelligence (PAMI), (2011), 33(7), p1429-1441. [https://doi.org/10.1109/TPAMI.2010.196]
• Kowdle, A, Sinha, SN, Szeliski, R, “Multiple view object cosegmentation using appearance and stereo cues”, European Conference on Computer Vision (ECCV), (2012). [https://doi.org/10.1007/978-3-642-33715-4_57]
• Djelouah, A, Franco, J-S, Boyer, E, Clerc, FL, Perez, P, “Multi-view object segmentation in space and time”, International Conference on Computer Vision (ICCV), (2013). [https://doi.org/10.1109/iccv.2013.328]
• Djelouah, A, Franco, J-S, Boyer, E, Clerc, FL, Perez, P, “Sparse multi-view consistency for object segmentation”, IEEE Trans. on Pattern Analysis and Machine Intelligence (PAMI), (2015), 37(9), p1890-1903. [https://doi.org/10.1109/TPAMI.2014.2385704]
• Guillemaut, J-Y, Hilton, A, “Joint multi-layer segmentation and reconstruction for free-viewpoint video applications”, International Journal on Computer Vision (IJCV), (2011), 93(1), p73-100. [https://doi.org/10.1007/s11263-010-0413-z]
• Boykov, Y, Jolly, M-P, “Interactive graph cuts for optimal boundary and region segmentation of objects in n-d images”, ICCV, (2001). [https://doi.org/10.1109/iccv.2001.937505]
• Rother, C, Kolmogorov, V, Blake, A, “Grabcut: Interactive foreground extraction using iterated graph cuts”, Proceedings of ACM SIGGRAPH, (2004), 23(3), p309-314. [https://doi.org/10.1145/1186562.1015720]
• Tai, Y-W, Jia, J, Tang, C-K, “Soft color segmentation and its applications”, IEEE Transactionson Pattern Analysis and Machine Intelligence (PAMI), (2007), 29(9), p1520-1537. [https://doi.org/10.1109/TPAMI.2007.1168]
• Wu, C, 'VisualSFM: A visual structure from motion system', Available: http://ccwu.me/vsfm/, (2011).
• Boykov, Y, Veksler, O, Zabih, R, “Efficient Approximate Energy Minimization via Graph Cuts”, IEEE TPAMI Nov, (2001), 20(12), p1222-1239. [https://doi.org/10.1109/34.969114]
• Kolmogorov, V, Zabih, R, “What Energy Functions can be Minimized via Graph Cuts?”, Pattern Analysis and Machine Intelligence (PAMI), (2004), 26(2), p147-159. [https://doi.org/10.1109/TPAMI.2004.1262177]
• Boykov, Y, Kolmogorov, V, “An Experimental Comparison of Min-Cut/Max-Flow Algorithms for Energy Minimization in Vision”, PAMI, (2004), 26(9), p1124-1137. [https://doi.org/10.1109/TPAMI.2004.60]
• Prisacariu, V, Reid, I, “Pwp3d: Real-time segmentation and tracking of 3d objects”, International Journal of Computer Vision (IJCV), (2012), 98(3), p335-354. [https://doi.org/10.1007/s11263-011-0514-3]
• Vedaldi, A, Fulkerson, B, “VLFeat: An open and portable library of computer vision algorithms”, Proceedings of the 18th ACM International Conf. On Multimedia, (2010). [https://doi.org/10.1145/1873951.1874249]
• Fu, H , , “Upright orientation of man-made objects”, ACM transactions on graphics (TOG), (2008), 27(3).
• Autodesk, '123D Design', Available: http://www.pbrt.org/ [Accessed: Jul. 26, 2016], (2016).
• Pharr, M, Humphreys, G, 'Physically Based Rendering Techniques', Available: http://www.pbrt.org/ [Accessed: Jul. 26, 2016], (2016).