단안 이미지에서 시각 질의 응답 및 객체 거리 추정 통합을 위한 추론 프레임워크

2.1 시각 질의 응답

시각 질의 응답은 자연어 처리와 컴퓨터 비전을 결합한 Task로써, 이미지에 대해 제시된 질문에 올바른 답변을 생성하는 것을 목표로 한다. 시각 질의 응답 모델은 시각적 내용과 텍스트 입력을 모두 이해하고 추론할 수 있도록 설계되어 있다. 초기 시각 질의 응답 접근 방식은 객체의 가시적인 속성에 관한 사실적 질문에 초점을 맞추었으며, 모델이 미리 정의된 답변 후보군 중에서 답변을 선택하는 Classifier의 형태로 작동하였다^[1,6,7]. 그러나 최근 발전한 시각 언어 모델(Vision Language Model, VLM)은 간단한 단답형이나 선다형 답변에서부터 긴 문장형 답안까지 더욱 복잡한 형태의 질의 처리를 가능하게 하였고, 성능 또한 크게 향상시켰다^[8-10]. 이 모델들은 외부 지식이나 심화된 추론이 요구되는 고차원적 질문에 뛰어난 답변 능력을 보이며, 제로샷(Zero-Shot) 또는 퓨샷(Few-Shot)과 같이 이전에 보지 못한 새로운 질의 응답에서도 우수한 성능을 보이고 있다.

2.2 객체 거리 추정

객체 거리 추정은 컴퓨터 비전 분야에서 활발히 연구되어 온 주제로, 특히 로봇공학, 자율주행, 증강현실 등의 응용 분야에서 중요한 역할을 한다. 기존 거리 추정 방식으로는 스테레오 비전 카메라를 활용하여 삼각측량 방식으로 깊이 정보를 추정하거나, 라이다 및 레이더를 통해 직접적으로 깊이 정보를 수집하는 방식이 있다. 이에 비해 단안 카메라를 사용하는 방식은 2D 이미지로부터 깊이를 간접적으로 추정해야 한다는 본질적인 어려움이 있으나, 비용 효율성과 구조적 단순함 등의 장점으로 인해 최근 들어 많은 주목을 받고 있다^[11,12]. 특히, 합성곱 신경망(Convolutional Neural Network, CNN) 및 트랜스포머(Transformer) 기반의 딥러닝 기법들이 대규모 데이터세트들을 활용하여 깊이 추정 성능을 크게 향상시키는 데 기여하고 있다.

그러나 이러한 발전에도 불구하고 2D 이미지로부터 객체 간 거리를 추정하는 방식에는 여전히 몇 가지 한계가 존재한다. 첫째, 객체 거리 추정은 일반적으로 사전 정의된 객체 클래스에 한정되어 있다. 즉, 학습 과정에서 명시적으로 라벨링된 객체에 대해서만 거리를 추정할 수 있으며, 이는 라벨링되지 않은 객체에 대한 일반화 능력에 제약을 가져온다. 둘째, 현재의 방법들은 주로 카메라와 객체 간의 거리를 추정하는 데 집중되어 있으며, 동일한 장면 내에 존재하는 객체 간의 거리를 추정하는 데는 한계가 있다^[3-5]. 이러한 한계는 다수 객체 간의 공간적 관계를 이해해야 하는 상황에서 활용도를 저해할 여지가 있다.

3.1 DistVQA-VK2

본 논문의 모델을 평가하기 위해 DistVQA-VK2 (Distance Visual Question Answering using Virtual KITTI 2 dataset) 데이터세트를 구축하였다. 본 데이터세트의 기반이 된 Virtual KITTI 2 (VKITTI2)는 Unity 엔진을 이용하여 실제 도로 주행 영상 데이터세트인 KITTI^[13]의 주행 장면을 모의한 합성 데이터세트이다^[14].

DistVQA-VK2 데이터세트는 VKITTI2가 제공하는 RGB 이미지, 깊이 맵(Depth Map), 클래스 분할(Class Segmentation), 인스턴스 분할(Instance Segmentation), 카메라 파라미터, 차량 메타데이터 및 바운딩 박스(Bounding Box) 주석 등 풍부한 데이터 모달리티를 활용하여 객체 간 물리적 거리 추정에 초점을 맞춘 질의응답 데이터세트로 구성하였다. 이를 위해 [Fig. 2(a)]와 같이 제작 도구를 개발한 뒤, [Fig. 2(b)]의 예시와 같은 데이터를 제작하였다. 각 질의는 선택된 이미지 내에서 두 가시적 객체 간의 거리를 묻도록 구성되며, 이에 상응하는 응답은 해당 객체 간의 실제 거리를 미터(m) 단위의 부동소수점 숫자로 표현하였다. VKITTI2에서 생성된 이미지 중 총 100장을 선별하여 총 100개의 질문-답변 쌍을 구성하였다. 또한 해당 데이터세트는 질문-답변 쌍과 함께 각 질의에서 참조된 두 객체의 객체 분할 마스크 S와 키포인트 정보도 제공한다. 중심 간 거리를 평가할 경우, 키포인트는 객체 분할 마스크 S의 중심점으로 정의된다. 반면 표면 간 최소 거리를 평가할 경우, 키포인트는 두 객체의 분할 마스크 S에 포함된 점들 중 카메라 좌표계상에서 서로 가장 가까운 점으로 정의되며, 이렇게 정의된 키포인트들은 픽셀 좌표 [u,v] 및 카메라 좌표계상의 실제 거리 값 [X_c,Y_c,Z_c]으로 제공되어 보다 상세한 공간적 분석을 가능하게 한다. 본 연구에서는 Training-Free 접근법을 제안하고 있기에 본 데이터세트는 별도의 훈련 세트 없이 모두 테스트 세트에 해당한다.

[Fig. 2]

Overview of (a) dataset generation tool and (b) a representative example from the DistVQA-VK2. The dataset generation tool provides RGB images and instance segmentation images depending on the selected mode. When an object is selected, the tool displays the object class name, image coordinates, and camera coordinates of the selected point. Additionally, if two objects are specified, the tool calculates and displays the distance between them in meters. The sample data generated using this tool includes a distance-related question, an answer, segmentation masks, and keypoints. Each keypoint is defined according to the chosen distance metric: as the centroid of a segmentation mask for center-to-center distance, or as the nearest pair of points between two masks for minimum surface-to-surface distance, in camera coordinates

3.2 데이터세트 제작 도구

DistVQA를 위한 기존의 데이터세트 및 데이터세트 제작 도구가 부재한 상황이었기에, VKITTI2가 제공하는 멀티모달 데이터를 활용하여 사용자가 수동으로 라벨링을 수행할 수 있는 맞춤형 데이터세트 제작 도구를 개발하였다. 본 도구는 RGB 이미지와 인스턴스 분할(Instance Segmentation) 이미지를 포함한 다양한 시각화 모드를 지원하여, 사용자가 객체를 선택하고 공간적 맥락을 분석하는 데 도움을 준다. 또한 [Fig. 2(a)]에서 보이는 바와 같이 GUI상에서 서로 다른 두 객체가 선택되면, 해당 객체들의 클래스 레이블, 키포인트 이미지 좌표, 그리고 키포인트 카메라 좌표가 표시된다. 이때 도구는 자동으로 두 키포인트 간 카메라 좌표계 상의 유클리드 거리를 계산하여 미터 단위로 결과를 제시한다. 이러한 절차는 [Fig. 3]의 데이터세트 생성 알고리즘으로 설명된다. 본 도구는 질의–응답 쌍 생성의 일관성과 정밀성을 보장하는 데 핵심적인 역할을 수행한다. 이를 통해 정확한 거리 측정과 명확한 객체 참조가 가능해지며, DistVQA에서 거리 추론 성능을 평가하는 데 필수적인 기반을 제공한다.

[Fig. 3]

An algorithm for dataset generation

4.1 프레임워크 개요

제안된 DIF는 [Fig. 1]에서 보이는 것과 같이 다음의 네 가지 핵심 구성 요소로 이루어져 있다: (1) 실측 깊이 추정기(Metric Depth Estimator, MDE) 및 카메라 초점 거리 추정기(Focal Length Estimator, FLE), (2) 소규모 언어 모델(Small Language Model, SLM), (3) 객체 분할 모듈(Object Segmentation Module, OSM) 그리고 (4) 거리 계산 모듈(Distance Calculation Module, DCM). 각각의 구성 요소는 질의에서 언급된 두 객체 간의 거리를 추정하는 데 있어 특정한 역할을 수행한다.

이미지와 자연어 질의가 주어지면, MDE/FLE 모듈은 먼저 단안 RGB 입력으로부터 깊이 맵과 카메라의 초점 거리를 추정한다. 이러한 기하학적 정보는 이후 단계에서 정확한 거리 계산을 위해 필수적이다. 동시에 SLM은 질의를 분석하여 관심 대상이 되는 두 객체에 해당하는 클래스 이름을 추출한다. 추출된 객체 클래스는 OSM에 전달되며, OSM은 개방 어휘(Open-Vocabulary) 기반 객체 검출 및 분할 기법을 활용하여 이미지 내에서 해당 객체 영역을 검출하고 분할한다.

객체 분할 마스크가 얻어진 후, DCM은 앞선 모듈에서 얻은 깊이 맵, 추정 초점 거리, 그리고 분할 마스크 영역의 이미지 좌표를 활용하여 카메라 좌표계상에서 두 객체 간의 3차원 유클리드 거리를 계산한다. 이 최종 단계를 통해 시각적 질의로부터 정량적 공간 답변에 이르는 파이프라인이 완성된다.

나아가 사전 학습된 모델을 활용하는 DIF 모듈들은 추가적인 학습 없이 파라미터를 고정(Frozen)된 상태로 동작하며, Verifier와 DCM과 같이 사전 학습 모델에 의존하지 않는 모듈들은 직접 설계되었다. 이러한 모듈형 아키텍처는 라벨링 데이터가 부족하거나 모델의 미세조정이 어려운 환경에서도 별도의 학습 없이 동작이 가능하도록 한다.

4.2 실측 깊이 추정기 및 카메라 초점 거리 추정기

MDE/FLE 모듈은 정확한 거리 계산에 필요한 기하학적 정보를 제공한다. 단일 단안 RGB 이미지가 주어졌을 때, 이 모듈은 동시에 깊이 맵 예측과 카메라 초점 거리를 추정한다. 이러한 결과물들은 이미지 픽셀을 3차원 카메라 좌표계로 변환하고 객체 간의 실측 거리를 계산하는 데 필수적이다.

본 프레임워크에서는 사전 학습된 Depth Pro^[11]와 UniDepth V2^[12] 두가지 모델을 MDE/FLE 후보군으로 삼았다. 이러한 선택은 두 모델이 공통적으로 지니는 두 가지 핵심 장점에 기반한다. 첫째, 기존 방법들이 주로 실측 깊이 맵 예측 혹은 초점 거리 추정 중 하나에만 집중한 반면, Depth Pro와 UniDepth V2는 단일 모델 내에서 두 과제를 동시에 수행한다. 이와 같은 통합은 시스템 아키텍처를 단순화하고 별도의 보정 절차나 모델 간 조정의 필요성을 제거한다. 깊이 맵 예측과 초점 거리 추정은 개념적으로 독립적이며 별도의 모듈로 구현할 수도 있으나, 본 연구에서는 편의성과 일관성을 위해 두 속성을 동시에 예측할 수 있는 위 두 모델을 후보군으로 채택하였다. 둘째, 두 모델은 다수의 공개 벤치마크에서 제로샷(Zero-Shot) 실측 깊이 맵 예측에 대해 우수한 성능을 달성하였으며, 미세조정 없이도 강력한 일반화 성능과 실용성을 보여주었다^[11,12].

Depth Pro는 이중 분기 구조를 사용하여 깊이 맵 예측과 카메라 초점 거리를 동시에 수행한다. 상위 분기는 입력된 고해상도의 이미지를 여러 해상도로 다운샘플링한 뒤 특징 추출을 진행하고 이를 Dense Prediction Transformer (DPT)^[15] 디코더로 복원하는 과정을 통해 깊이 맵 예측을 수행하고, 하위 분기는 별도의 이미지 인코더와 경량 합성곱 헤드를 통해 초점 거리 추정을 수행한다.

UniDepth V2는 Vision Transformer (ViT)^[16] 기반 인코더를 통해 입력 이미지로부터 임베딩을 추출하고, 이를 다중 스케일 크로스 어텐션(Multi-scale Cross-Attention)을 거쳐 다중 해상도 특징으로 변환한다. 이렇게 얻어진 특징들은 Feature Pyramid Network (FPN)^[17] 기반 디코더에서 점진적으로 업샘플링되어 최종 깊이 맵을 예측한다. 동시에 카메라 모듈은 입력 이미지로부터 장면 수준의 카메라 임베딩을 추정하고, 이를 활용하여 초점 거리를 포함한 카메라 파라미터를 산출한다. 이때 산출된 카메라 임베딩은 FPN 디코더와의 다중 스케일 크로스 어텐션 과정에도 제공되어, 깊이 예측과 카메라 파라미터 추정이 상호 보완적으로 이루어지도록 한다.

4.3 소규모 언어 모델

SLM 모듈은 질의를 입력으로 받아 퓨샷(Few-Shot) 프롬프팅을 통해 해당 질의에서 명시된 두 객체의 클래스를 추출한다. 출력되는 객체 클래스는 단순히 사물의 이름에 국한되지 않고 형용사와 같은 수식어(예: “White Ban”)를 포함할 수 있으며, 이는 OSM에서 보다 정밀한 객체 분할을 가능하게 한다. 프롬프트는 관사(“a”, “an”, “the”)를 생략하는 규칙, 출력 형식 및 기타 제약 조건을 정의하는 일반 지침과 함께, 예시 질의–객체 클래스 쌍을 포함하도록 구성되며 이러한 방식은 입력받은 질의를 주어진 패턴과 정렬시켜 의도된 객체 클래스를 안정적으로 추출할 수 있게 한다. 추출된 클래스는 후속 단계로 전달되어 이미지 내 대응 객체의 검출 및 분할에 활용된다.

본 프레임워크에서는 사전 학습된 Qwen2.5-0.5B-Instruct^[18] 모델을 SLM으로 사용하였다. 이 모델은 자연어 지침을 따르고 구조화된 출력을 생성하는 데 강점을 지니고 있어, 정확하고 형식 일관적인 객체 클래스 추출에 적합하다. 추가적으로 언어적 추론을 전용 모듈에 분리함으로써, 본 프레임워크는 다양한 유형의 질의에 대해 일반화 가능성을 확보하면서도 시각 처리 파이프라인의 모듈성 및 명확성을 유지할 수 있다.

4.4 객체 분할 모듈

OSM 모듈은 단안 RGB 이미지와 SLM에서 출력된 두 객체의 클래스를 입력으로 받아 두 객체 분할 마스크(Object Segmentation Mask)를 출력하기 위한 다음의 세 가지 요소로 구성되어 있다. (1) 개방 어휘 객체 탐지 모델(Open-Vocabulary Object Detection Model, ODM), (2) 검증기(Verifier), (3) 이미지 분할 모델(Visual Segmentation Model, VSM). 우선 ODM은 이미지와 객체 클래스를 입력받아 해당 클래스의 바운딩 박스를 출력한다. 이때 해당 모델의 개방 어휘 특성으로 인해 사전에 학습되지 않은 다양한 객체 클래스에 대해서도 검출이 가능하다. 이후 자체 구현한 검증기를 통해서 검출된 바운딩박스가 동일 객체를 가리키는 중복 결과가 아닌지, 혹은 두개를 초과한 바운딩 박스가 검출된 것은 아닌지 확인한다. 전자의 경우에는 중복된 영역을 잘라낸 이미지를 생성한 뒤 해당 이미지를 ODM의 입력으로 다시 넣어 새로운 바운딩 박스를 생성한다. 후자의 경우에는 바운딩 박스의 신뢰 점수(Confidence Score)를 기준으로 상위 두개의 바운딩 박스만을 남긴다. 마지막으로 검증기를 통과한 두 바운딩박스를 VSM의 입력으로 넣어 해당 바운딩 박스내 객체의 세부적인 객체 분할 마스크를 출력한다.

본 프레임워크에서는 개방 어휘 객체 탐지를 지원하는 모델들 중 사전 학습된 Florence-2^[19]와 Grounding DINO^[20] 두 가지 모델을 ODM 후보군으로, 사전 학습된 Segment Anything Model 2 (SAM2)^[21]를 VSM으로 사용하였다.

Florence-2는 시퀀스-투-시퀀스(Sequence-to-Sequence) 아키텍처를 채택하며, Dual Attention Vision Transformer (DaViT)^[22] 이미지 인코더와 트랜스포머 기반 멀티모달 인코더-디코더로 구성된다. DaViT 인코더는 공간적 어텐션과 채널 차원의 어텐션을 병렬적으로 통합하여 이미지의 지역적 특징과 전역적 특징을 효과적으로 포착한다. 이미지는 일련의 비주얼 토큰으로 인코딩되며, 이는 객체 클래스를 의미하는 프롬프트 토큰과 결합된 후 트랜스포머 레이어를 거쳐 바운딩 박스나 영역별 캡션과 같은 구조화된 출력을 생성한다. 이러한 여러 토큰의 통합은 Florence-2가 자연어 프롬프트를 기반으로 유연한 개방 어휘 객체 탐지를 수행할 수 있도록 한다.

Grounding DINO는 Detection Transformer (DETR)^[23]를 활용한 DETR with Improved deNoising anchOr boxes (DINO)^[24]를 통해 객체 클래스 이름이나 지시적 표현(Referring Expression)과 같은 인간 언어 입력에 따라 임의의 객체를 탐지할 수 있다. 이 모델은 이미지와 텍스트 특징을 융합하는 특징 향상 모듈, 관련 영역을 효과적으로 선택하기 위한 언어 기반 질의 선택 메커니즘, 그리고 이미지와 텍스트 어텐션 레이어를 통합한 크로스 모달리티 디코더를 활용하여 정확한 바운딩 박스 예측을 수행한다. 또한 이 모델은 강력한 일반화 성능을 보여주며, 다양한 제로샷 탐지 벤치마크에서 최첨단 성능을 달성한 바 있다^[20].

SAM2는 프롬프트 기반 객체 분할을 지원하는 트랜스포머 기반 아키텍처를 갖추고 있다. 입력된 이미지는 먼저 이미지 인코더를 통해 다중 해상도의 특징을 추출한다. 이 과정에서 메모리 어텐션 메커니즘은 이미지 전역의 특징을 참조하여 지역 간 맥락 정보를 통합함으로써 객체 구조의 일관성을 유지한다. 이후 바운딩 박스와 같은 시각적 프롬프트가 주어지면, 마스크 디코더가 프롬프트와 인코딩된 특징에 동시에 어텐션을 수행하여 고품질의 분할 마스크를 생성한다. 이러한 구조는 SAM2가 적은 학습으로도 정밀한 객체 경계를 산출하고, 보지 못한 객체 유형에 대해서도 강력한 일반화 성능을 발휘할 수 있도록 한다.

4.5 거리 계산 모듈

DCM 모듈에서는 MDE/FLE에서 얻은 깊이 맵과 추정 초점 거리, OSM에서 얻은 객체 분할 마스크를 이용하여 두 객체 간의 물리적 거리를 계산한다. 이때 사용되는 카메라의 내재 파라미터 행렬 K는 아래의 식과 같다.

여기서 $$ f_x=f_y=\widehat{f}$$는 추정된 초점 거리이며, 이미지의 왜곡이 없다는 가정하에 이미지의 너비 W와 높이 H를 기반으로 한 주점(Principal Point) 좌표는 $$ c_x=\frac{w}{2},c_y=\frac{H}{2}$$이다.

객체 번호 i ∈ {1,2}에 대해, 각 객체의 객체 분할 마스크 S_i의 키포인트의 이미지 내 픽셀 좌표 (u_i,v_i)와 해당 지점의 깊이 값 Z_ci를 이용하여 카메라 좌표계 상의 객체의 위치 ^{[X_ci,Y_ci,Z_ci]}는 아래의 식과 같이 계산되며 이들 간의 공간적 관계는 [Fig. 4]로 설명된다.

[Fig. 4]

Geometry of pinhole camera model used in DCM module[25]

여기서 키포인트의 계산은 어떤 거리 정의를 사용하는가에 따라 달라진다. 중심 간 거리의 경우, 키포인트는 객체 분할 마스크 S_i의 중심점(centroid)로 계산한다. 표면 간 최소 거리의 경우, 키포인트는 두 객체의 분할 마스크 S₁, S₂에 포함된 점들 중 카메라 좌표계상에서 서로 가장 가까운 점으로 계산한다. 이때 예측 마스크 경계 영역에서 발생할 수 있는 노이즈를 줄이기 위해, 마스크의 얇은 가장자리 부분은 제거한 뒤 카메라 좌표계로 변환하여 각각 N₁, N₂개의 3차원 좌표 집합을 얻는다. 이후 N₁개의 좌표로 k-d Tree를 구축하고, 나머지 N₂개의 점 각각에 대해 대해 최근접 이웃을 질의하여 최소 거리를 탐색한다. 이렇게 얻어진 후보 쌍들 중 가장 짧은 거리의 점 쌍이 최종 키포인트로 선택된다. 이 과정은 모든 점 쌍을 직접 비교하는 단순 탐색의 시간복잡도 O(N₁N₂)에 비해, O(N₁logN₁+N₂logN₁)의 시간복잡도로 계산 효율성을 크게 개선한다.

마지막으로, 키포인트 좌표를 이용해 두 객체 간의 물리적 거리는 아래의 식과 같이 3차원 유클리드 거리 식을 통해 계산된다.

5.1 평가 지표

구축한 벤치마크 데이터세트에서 DIF의 성능을 평가하기 위해서는 질문에서 언급된 객체를 올바르게 탐지하였는지 여부와 거리 추정의 정확도를 평가할 수 있는 평가 지표들이 필요하다. 이를 위해 다음과 같은 세 가지 평가지표를 정의하였다: (1) 두 객체의 올바른 위치 추정을 평가하는 QLA (Queried-object Localization Accuracy), (2) 객체 위치 추정과 거리 추정의 정확도를 동시에 평가하는 DVA (DistVQA Accuracy), (3) 두 객체가 정확히 위치 추정된 경우에 한해 거리 추정의 정확도를 평가하는 CDA (Conditional Distance Accuracy).

QLA는 질의에서 언급된 두 객체가 이미지 내에서 올바르게 위치 추정되었는지를 평가하기 위해 다음과 같이 정의된다.

각 객체는 예측된 분할 마스크와 정답 마스크 사이의 IoU (Intersection over Union)가 사전에 정의된 임계값 T_IoU을 초과할 경우 올바르게 위치 추정된 것으로 간주된다. 이때 객체 탐지 분야에서 널리 사용되는 IoU 임계값인 T_IoU ∈ {0.5,0.75,0.9,0.95}를 사용하였다^[26].

위 식 (4)에서 N과 j는 각각 전체 질의응답 쌍의 수와 j번째 쌍의 인덱스를 나타낸다. $$ {\widehat{S}}_{1,j}$$와 $$ {\widehat{S}}_{2,j}$$는 j번째 질문에서 언급된 두 객체의 OSM 모듈에 의해 예측된 각각의 분할 마스크에 해당하며 $$ S_{1,j}$$와 $$ S_{2,j}$$는 실제 정답에 해당되는 분할 마스크이고 $$ 1_S\left(S,\widehat{S}\right)$$는 다음과 같이 정의된다.

QLA는 객체 탐지 분야에서 흔히 사용되는 IoU 기반의 True Positive 판별 기준을 채택하지만, mAP (mean Average Precision)나 AR (Average Recall)과 같은 기존 지표들과는 범위와 해석에서 근본적으로 다르다. 기존 지표들은 이미지 내 가능한 모든 객체 인스턴스에 대한 탐지 성능을 평가하며, 신뢰도 점수와 IoU를 기반으로 다수의 예측을 집계한다. 반면 QLA는 True Positive나 False Positive들의 개수나 분포를 고려하지 않고, 질의에서 언급된 특정 두 객체가 각각 해당 정답 마스크에 대해 IoU 임계값을 만족하는지만 판별한다. 이러한 샘플 단위의 이진 판단은 QLA를 질의된 객체의 정확한 위치 추정 여부만을 검증하는 과제 특화 지표로 만든다. 이는 거리 추정을 평가하기 전에 반드시 선행되어야 하는 단계이다.

DVA는 다음의 식 (7)과 같이 정의된다. DIF의 예측이 올바르다고 간주되기 위해서는 두 객체가 모두 정확히 위치 추정되고, 동시에 예측된 거리가 사전 정의된 상대 오차 임계값을 만족해야 한다. 이는 DIF가 질문과 무관한 객체 쌍에 대해 거리를 예측하여 우연히 정답과 유사한 값을 산출하는 경우를 걸러낼 필요가 있기 때문이다.

위 식 (7)에서 $$ {\widehat{d}}_j$$와 $$ d_j$$는 각자 DCM에서 계산된 두 객체 간의 거리와 실제 거리에 해당하며, $$ 1_D\left(d,\widehat{d}\right)$$는 다음과 같이 정의된다.

식 (8)에서 max 항은 예측 거리와 실제 거리 간의 상대 오차를 측정하며, τ_k = 1.25^k로 허용 가능한 정확도의 임계값을 정의한다^[27]. 즉, 상대오차가 τ_k보다 작거나 같으면 정답으로 평가하며 τ_k보다 크면 오답으로 처리한다. 이 평가 방식은 객체 거리 추정 분야에서 일반적으로 사용되며, k ∈ {1,2,3}의 값이 흔히 사용된다^[3-5].

CDA는 다음의 식 (9)와 같이 정의되며 두 객체가 모두 정확히 위치 추정된 경우에 한해 DIF의 거리 추정 성능을 정량화 한다. 이를 통해 객체 위치 추정 실패의 영향을 배제하고, 거리 추정 성능만을 고립시켜 평가할 수 있다.

이 지표는 DVA를 QLA로 나눈 값으로 정의되며, DVA가 전체 Task 수행 성공을 포착하는 반면, CDA는 위치 추정이 성공한 이후의 DIF의 동작에만 초점을 맞춘다. 분모인 QLA는 일반적으로 0보다 크며, 만약 0이라면 이는 데이터세트 내 모든 질문에 대해서 객체 위치 추정에 실패했다는 의미가 되므로, 평가지표로써 의미 있는 상황으로 간주되지 않는다.

결과적으로 QLA, DVA, CDA ∈ [0,1]로 0과 1사이의 값을 가지며 1에 가까울수록 성능이 우수함을 의미한다. 또한 τ_IoU가 클수록 그리고 k가 작을수록 보다 엄밀한 성능 평가를 하게 된다.

5.2 실험 결과 및 논의

구성 모듈별 효과를 체계적으로 분석하기 위해, SLM은 Qwen2.5-5B-Instruct, VSM은 SAM2, 그리고 DCM은 통제변인으로 고정하고, MDE/FLE와 ODM 모듈만을 조작변인으로 설정하였다. 네 가지 모델 구성을 평가하였으며, 각각은 MDE/FLE와 ODM의 조합으로 정의된다: ① Depth Pro + Florence-2, ② Depth Pro + Grounding DINO, ③ UniDepth V2 + Florence-2, ④ UniDepth V2 + Grounding DINO. 이를 통해 MDE/FLE와 ODM 선택이 전체 성능에 미치는 영향을 분석할 수 있다.

QLA는 객체 탐지 분야에서 널리 사용되는 IoU 임계값 τ_IoU ∈ {0.95,0.9,0.75,0.5}에 대하여 평가하였으며 DVA와 CDA 역시 동일한 IoU 임계값 τ_IoU에서 상대 오차 임계값 τ_k조합과 함께 평가하였다.

[Table 1]은 Florence-2 및 Grounding DINO 두 ODM 모델에 대해 서로 다른 τ_IoU 조건에서의 QLA 결과를 보여준다. QLA는 거리 추정을 고려하지 않기 때문에 OSM 모듈의 성능만으로 결정된다. 모든 설정에서 VSM은 SAM2로 고정되어 있으므로, QLA의 변화는 전적으로 ODM의 차이에 기인한다. τ_IoU가 감소함에 따라 QLA 성능은 향상되며, 이는 두 객체 모두에 대한 IoU 임계값을 충족하는 것이 상대적으로 쉬워지기 때문이다. 가장 엄격한 조건(τ_IoU=0.95)에서 DIF는 Florence-2를 활용한 경우 0.43, Grounding DINO를 활용한 경우 0.46의 정확도를 보였다. 반면 가장 완화된 조건(τ_IoU=0.5)에서는 Florence-2가 0.75, Grounding DINO가 0.87의 정확도를 달성했다. 따라서 Florence-2보다 Grounding DINO를 DIF의 ODM 모듈로 활용하였을 때, QLA 성능이 전반적으로 우수함을 확인할 수 있다.

[Table 1]

QLA at different IoU threshold τIoU for DIF with Florence-2 and Grounding DINO. As τIoU decreases, the localization task becomes less restrictive, leading to a higher success rate in matching both queried objects

[Table 2]는 네 가지 모델 구성을 대상으로, 서로 다른 τ_IoU 조건과 가장 엄격한 상대오차 임계값 조건(τ_k=1.25,k=1)에서 중심 간 거리와 표면 간 최소 거리에 따른 DVA 결과를 보여준다. 이를 통해 MDE/FLE와 ODM이 성능에 미치는 영향을 비교할 수 있다. 구성 ①과 ②, 구성 ③과 ④의 성능을 비교하였을 때, QLA와 마찬가지로 Florence-2 보다 Grounding DINO를 사용한 경우 DVA 성능이 전반적으로 향상됨을 확인할 수 있다. 또한 구성 ①과 ③, 구성 ②와 ④의 성능을 비교하였을 때, DepthPro보다 UniDepth V2에서 DVA 성능이 전반적으로 향상됨을 확인할 수 있다. 따라서, Grounding DINO와 UniDepth V2를 조합한 구성④가 가장 우수한 성능을 보이고 Florence-2와 DepthPro를 조합한 구성①이 가장 낮은 성능을 보인다. 추가적으로, 중심 간 거리와 비교했을 때 표면 간 최소 거리 기반의 경우 일반적으로 정확도가 낮게 나타났다. 이는 표면 간 최소 거리 계산 시 대부분의 키포인트가 마스크의 가장자리에 위치하게 되며, 예측된 마스크가 실제 마스크와 완전히 일치하지 않는 이상 가장자리 영역에서 노이즈가 발생하고 일부 카메라 좌표가 실제 객체를 벗어날 수 있기 때문이다.

[Table 2]

DVA at different IoU threshold τIoU and relative error threshold τk=1.25 (k=1) for four configurations. Configuration ④ (UniDepth V2 with Grounding DINO) achieves the highest accuracy among all tested settings

[Table 3]는 가장 우수한 성능을 보인 구성 ④를 서로 다른 τ_IoU 조건과 τ_k 조건에서 중심 간 거리와 표면 간 최소 거리에 따른 DVA 결과를 보여준다. 가장 엄격한 조건(τ_IoU=0.95,k=1)에서는 중심 간 거리와 표면 간 최소 거리 각각에 대해 0.46, 0.43의 성능을 보인다. 가장 완화된 조건(τ_IoU=0.5,k=3)에서는 중심 간 거리와 표면 간 최소 거리 각각에 대해 0.87, 0.83의 성능을 보인다. 이는 τ_IoU가 낮아지고 τ_k가 증가함에 따라 평가 기준이 점차 완화되어 DVA 점수가 상승하는 경향을 반영한다.

[Table 3]

DVA at different IoU threshold τIoU and relative error threshold τk values for configuration ④ (UniDepth V2 with Grounding DINO). The evaluation becomes less restrictive as τIoU decreases and τk increases, leading to higher DVA scores

[Table 4]는 구성 ④를 서로 다른 τ_IoU 조건과 τ_k 조건에서 중심 간 거리와 표면 간 최소 거리에 따른 CDA 결과를 보여준다. τ_IoU가 커질수록 정답 마스크와 충분히 일치하는 예측만 평가에 포함되어 위치 정밀도가 높아지고, τ_k가 커질수록 거리 오차 허용이 넓어져 전반적으로 CDA 점수가 상승한다. 한편, CDA는 모든 경우에 대해서 0.82 이상의 값을 보이며, 중심 간 거리의 경우에는 모든 조건에서 1의 성능을 보인다. 이는 UniDepth V2가 제공하는 정밀한 카메라 좌표 추정 덕분으로, 객체 위치 추정을 올바르게만 한다면 높은 확률로 올바른 거리 값을 추정한다고 볼 수 있다.

[Table 4]

CDA at different IoU thresholds τIoU and relative error thresholds τk values for configuration ④ (UniDepth v2 with Grounding DINO). As τIoU increases, only predictions with segmentation masks closely matching the ground truth are considered, which favors more precise localization. At the same time, larger τk values allow a wider tolerance for distance errors. These two factors together explain why CDA scores rise with higher τIoU and τk. It is also noteworthy that CDA remains at 1 across all settings when using center-to-center distance, highlighting UniDepth v2’s robustness in distance estimation once object localization is correct

[Fig. 5]는 중심 간 거리와 표면 간 최소 거리를 기준으로, 정답과 모델의 예측값을 비교한 정성적 사례들을 보여준다. 정답에 해당하는 객체 분할 마스크와 키포인트들은 빨간색으로, 예측된 객체 분할 마스크와 키포인트들은 초록색으로 시각화 되었다. 이때 정답 객체 분할 마스크와 예측 객체 분할 마스크가 서로 겹쳐지는 영역은 노란색으로 시각화 되었다. 중심 간 거리의 경우 정답과 예측 키포인트의 이미지 좌표가 매우 유사하기 때문에 두 직선이 겹쳐 하나의 선으로 보인다. 반면, 표면 간 최소 거리는 정답과 예측 키포인트 좌표 간의 차이가 다소 발생하여 두 개의 직선이 구분되는 것을 확인할 수 있다.

[Fig. 5]

Comparison of the ground-truth and predicted distances using Center-to-Center and Minimum Surface-to-Surface metrics. Each row shows an example from the dataset. The left column displays the original RGB images, while the middle and right columns visualize the ground-truth (red) and predicted (green) keypoints and segmentation masks. The ground-truth and predicted keypoints are connected by red and green lines, respectively, and the overlapping regions between the two masks are shown in yellow. The corresponding distance values are also provided to highlight the prediction accuracy