LLM 기반 시맨틱 스타일 분석을 활용한 사용자 추적 시스템

2.1 제안하는 시스템 구성

[Fig. 1]은 제안하는 시스템의 구조이다. 시스템은 스타일 정보추출기(Style Feature Extractor), LLM 스타일 분석기(LLM-based Style Analyzer), 그리고 스타일 추적기(Style Tracker) 모듈로 구성된다. 첫째, 스타일 정보 추출기(Style Feature Extractor)는 RGB 카메라로부터 입력된 이미지를 세그멘테이션(Segmentation) 모델을 이용하여 사람 객체를 분리하고, 각 객체의 바운딩 박스(Bounding Box)를 생성한다. 다음으로, LLM 스타일 분석기에서는 세그멘테이션 이미지, 바운딩 박스 정보, 스타일 분석 프롬프트를 입력받아 각 사람의 상의 및 하의 스타일 정보를 자연어로 도출하고, 이를 사전 정의된 타겟의 스타일과 비교하여 타겟의 좌표를 추출한다. 마지막으로, 스타일 추적기는 스타일 정보추출기와 LLM 스타일 분석기의 결과를 기반으로 타겟의 ID를 맵핑하고, 추적시 타겟을 놓치는 경우 스타일 정보를 기반으로 타겟의 ID를 재지정하여 연속적인 추적을 수행한다.

[Fig. 1]

Architecture of LLM-based style recognition system

본 논문에서 제안된 시스템은 입력 영상으로부터 추적 결과를 도출하기까지의 모든 처리가 연속적으로 연결된 End-to-End (E2E) 기반의 온라인(Online) 구조로 이루어진다. 각 모듈은 프레임 단위의 입력을 받아 순차적으로 처리되며, 중간 결과는 직접 전달된다. 특히, LLM 스타일 분석기는 모든 프레임에서 수행되는 것이 아니라 타겟이 새로 초기화 되거나 특정 플래그 조건이 활성화된 시점에서만 실행되어 시스템의 처리 성능을 효율적으로 유지한다.

2.2 스타일 정보 추출기

[Fig. 2]은 스타일 정보 추출기 구조도를 보여준다. 타일 정보추출기는 시스템의 첫 번째 모듈로, 입력된 RGB 이미지에서 사람 객체를 검출하여 개별 이미지를 생성한다. 본 연구에서는 YOLOv5 기반 세그멘테이션 모델인 Yolov5n-seg을 활용하여 바운딩 박스와 마스크를 생성하고, 마스크 영역만을 잘라내어 개별 사람 이미지를 분리한다^[12]. 이후 각 이미지는 분석 효율 향상을 위해 128×128 해상도로 정규화되며, 모든 이미지가 좌우로 스택된 하나의 통합 이미지로 구성된다. 이 통합 이미지는 사람 순서가 바운딩 박스 탐지 순서와 일치하도록 정렬되어, 이후 스타일 분석 결과와의 인덱스 기반 매칭이 가능하도록 한다. 추출된 바운딩 박스 중심 좌표는 타겟 위치 산출 및 추적기 입력에 사용된다.

[Fig. 2]

RGB camera-based style feature extractor

2.3 LLM 스타일 분석기

LLM 스타일 분석기는 스타일 정보추출기에서 생성된 통합 이미지, 바운딩 박스 정보, 그리고 스타일 분석 프롬프트를 기반으로 시맨틱한 스타일 정보를 생성한다. [Fig. 3]는 제안하는 LLM 스타일 분석기의 구조이다. 본 논문에서는 OpenAI의 GPT-4o 모델을 활용하며, 이 모델은 시각 정보와 언어 정보를 함께 처리할 수 있어 자연어 기반 스타일 인식이 가능하다^[13]. 아래는 입력 정보를 분석하기 위한 분석프롬프트와 결과프롬프트의 정의 및 예이다.

[Fig. 3]

Architecture of style analyzer based on LLM

• • 분석 프롬프트: 입력 정보에 대하여 사용자의 스타일을원하는 형태로 인식하기 위한 명령 프롬프트, “해당 이미지에서 각 사람마다 옷 스타일을 간단히 설명해줘. 색상, 옷 , 그리고 상·하의 구성을 중점적으로 알려줘.”
• • 결과 프롬프트: 분석 프롬프트와 이미지를 입력받아 GPT-4o 모델에서 도출되는 결과 프롬프트, “사람 1: 상의 스타일: 반팔+흰색, 하의 스타일: 긴바지+파란색“

스타일 매칭에서는 LLM에서 출력된 문장을 사전 정의된 타겟 스타일 정보와 비교한다. LLM 응답에서 각 사람에 대한 스타일 문장을 순차적으로 분석하며, 해당 문장에 타겟 스타일 정보에 포함된 키워드가 존재하는지를 문자열 기반으로 확인한다. 즉, 특정 인물의 스타일 설명에 “상의 스타일”과 “하의 스타일”에 정의된 키워드가 모두 포함될 경우, 해당 사람은 타겟으로 식별된다. 예를 들어, 타겟 스타일 정보가 “상의 스타일: [흰색]”, “하의 스타일: [파란색]”인 경우, 키워드가 모두 포함되어 있기 때문에 해당 사람은 타겟으로 판단된다. 인식된 타겟이 있으면, 스타일 추적기의 입력으로 사용하기 위해 바운딩 박스의 중심 좌표를 타겟 위치로 전달한다.

또한, 본 논문에서는 이러한 스타일 정보를 트리 구조로 분해하여 저장한다. 트리의 상위 노드는 “상의 스타일”, “하의 스타일” 등의 항목이며, 하위 노드는 해당 항목의 세부 속성으로 구성된다. 새로운 LLM 응답도 같은 방식으로 파싱되어 스타일 속성 단위로 비교된다. 이 구조는 각 항목별 키워드를 기준으로 일치 여부를 평가하므로 표현의 다양성과 문장 구조의 차이에 영향을 받지 않고 일관된 타겟 식별이 가능하다. 추가적으로 항목별 비교 결과를 기반으로 유사도를 정량화하며, 각 항목에 포함된 키워드의 일치 정도에 따라 완전 일치 시 1점, 일부 색상만 일치하는 경우 0.7점, 전혀 일치하지 않는 경우 0점, 문법 오류나 응답 누락, 판단 불가 등은 –1점으로 처리한다. 이 유사도 평가 방식은 트리 구조 기반 매칭 방식과 결합되어 정확한 타겟 매칭이 가능하다.

2.4 스타일 추적기

세 번째 모듈은 대상자의 이동 경로를 추적하는 객체추적을 위한 스타일 추적기이다. 본 연구에서는 객체추적 알고리즘으로 DeepSORT^[14]를 활용하며, 이 모듈은 바운딩 박스 정보와 타겟 좌표를 입력으로 받아 해당 타겟의 ID를 지속적으로 추적한다.

[Fig. 4]는 DeepSORT 기반 스타일 추적기의 구조를 나타낸다. 바운딩 박스 정보와 스타일 분석기에서 도출된 타겟의 중점 좌표 정보를 입력받고 DeepSORT의 추적 결과와 비교하여 타겟을 설정한다. 이를 위해 각 프레임에서 DeepSORT가 도출한 바운딩 박스 중심 좌표와 타겟 중점 좌표 간의 유클리드 거리를 계산하고, 설정된 거리 임계 값 이하로 가장 근접한 객체를 타겟으로 간주한다. 이 때 추적된 ID와 타겟 이름 간의 매핑이 생성되며, 이후 동일 ID에 대해 타겟 식별 상태가 유지된다.

[Fig. 4]

Architecture of style tracker based on DeepSORT

[Table 1]은 DeepSORT 추적 결과와 타겟 좌표 정보 매칭하기 위한 의사코드(pseudo-code)이다. 스타일 분석기를 통해 도출된 타겟의 중심 좌표 (tx, ty)를 기반으로, 현재 프레임에서 DeepSORT가 추적한 객체들 중에서 타겟에 가장 가까운 객체를 식별한다. 입력으로는 타겟 좌표 정보와 함께, 각 객체에 대한 바운딩 박스 좌표와 추적 ID로 구성된 리스트(tracked_results)가 주어진다. 먼저, 각 객체에 대해, 바운딩 박스의 좌상단 좌표 (x1, y1)와 우하단 좌표 (x2, y2)를 이용하여 중심 좌표 (cx, cy)를 이용하여 해당 객체가 2D 화면상 어디에 위치하는지를 인식한다. 다음으로, 계산된 중심 좌표와 타겟의 중심 좌표 사이의 유클리드 거리(dist)를 계산한다. 다음으로, 유클리드 거리를 기반으로 임계값(threshold)보다 작고, 현재까지 측정된 최소 거리(min_dist)보다도 작은 경우에만 해당 객체가 타겟에 일치하는 것으로 판단한다. 이때, min_dist 값을 현재 거리로 갱신하고, 해당 객체의 추적 ID를 matched_id에 저장한다. 이 과정을 모든 객체에 대해 반복한 후, 가장 가까운 객체의 추적 ID가 결정된다. 마지막으로, 유효한 매칭 결과(matched_id)가 존재한다면, 해당 ID와 타겟 이름을 name_by_id 딕셔너리에 저장한다. 이것은 추적 ID와 타겟 이름 간의 매핑을 유지하며, 이후 프레임에서도 같은 ID가 나타날 경우 해당 객체가 동일한 타겟으로 식별한다. 타겟과 다른 사람의 바운딩 박스의 겹침, 화면 밖으로 사라졌다 들어온 상황등의 발생에 의해 이후 프레임에서 ID가 변경될 경우 변경된 시점의 스타일 정보 추출기와 스타일 인식기 결과를 이용하여 객체 추적기에서 변경된 ID와 타겟좌표를 다시 매핑시켜 타겟 추적을 유지한다.

[Table 1]

Pseudo-code for target ID matching

2.5 모듈 간 통합 및 효과

이와 같은 구조를 통해, 시맨틱한 스타일 정보와 시계열 기반 추적 정보를 통합하여, 단순한 위치 기반 추적이 아닌 ID 복원이 가능한 의미 기반의 지능적 사용자 추적이 가능하다. 특히, 일시적으로 가려지거나 복수 인원이 겹치는 상황에서도 DeepSORT의 외형 기반 ID 유지 기능과 스타일 기반 타겟 식별이 상호 보완적으로 작용하여 높은 추적 안정성을 확보할 수 있다.

본 시스템은 전체 파이프라인이 실시간으로 연동되는 End-to-End 기반의 온라인 구조로 구성되어 있으며, 스타일 분석모듈은 특정 시점에서만 조건부로 실행됨으로써 처리 지연을 최소한하고 실시간 응답성을 유지한다. 이러한 구조는 즉각적인 반응성이 요구되는 응용 환경에서의 적용 가능성을 높인다.

3.1 실험 환경 및 구성

본 실험을 위해 RGB-D 카메라인 Intel RealSense D435를 사용하여 3명이 한 공간에서 자유롭게 움직이며, 일부 프레임에서는 사용자 간의 위치가 겹치거나 일시적으로 가려지는 상황을 포함한 RGB 및 Depth 이미지 영상 1,244프레임의 Rosbag 데이터를 수집하였다. 실험은 Intel i7-14700 CPU와 NVIDIA RTX 4070 Super GPU가 탑재된 환경에서 수행되었다. Yolov5n-seg 모델의 하이퍼파라미터는 신뢰도(confidence) 임계값은 0.7, IoU (Intersection over Union) 임계값은 0.45로 설정하였다. 검출 클래스는 사람(classes=0)만을 대상으로 필터링하였다.

스타일 분석을 위한 LLM 입력 프롬프트는 상의, 하의 스타일, 그리고 색상 목록에 기반하여 구성되며, 각 사람에 대해 사전 정의된 선택지에서 하나씩 선택하여 서술하도록 유도하였다. 사람 구분은 “사람 1”, “사람 2”와 같이 이미지의 좌측부터 순차적으로 부여되며, 응답 형식은 다음 예시와 같이 지정된다: “상의 스타일: 티셔츠 + 색상: 흰색, 하의 스타일: 바지 + 색상: 파란색”. 분석 프롬프트는 다음과 같은 형태로 구성되었다. 사용된 스타일 목록은 [Table 2]와 같다.

[Table 2]

Style list

• • 이미지에서 사람이 2명 이상일 경우, 사람 1, 사람 2, …형태로 구분해야 하며, 이미지에서 왼쪽부터 사람 1로 명명된다.
• • 다음 스타일 목록 중에서 사람에 맞는 항목을 하나씩 고른 후, 각 스타일 항목에 대해 색상도 함께 지정하여 응답해야 한다.
• • 반드시 제공된 스타일 목록과 색상 목록 중에서만 선택하여 응답하도록 제한한다.

프롬프트에 제시되지 않은 색상 표현이 LLM 응답에 포함될 수 있는 점을 고려하여, 사전 정의된 색상 정규화(Color Mapping)를 적용하였다. 이 매핑은 색상의 표현 다양성을 통일하기 위한 전처리 과정으로 사용되었으며, 주요 매핑은 [Table 3]과 같다.

[Table 3]

Color mapping list

3.2 LLM 인식 정확도 실험

인식 정확도 실험에서는 유사도 점수 체계를 활용해 정확도를 측정했다. 3명의 사용자를 대상으로 수행되었으며, 각 사용자의 상의 및 하의 색상 정보를 기반으로 LLM 응답 결과의 정확도를 프레임 단위로 분석하였다. LLM의 응답 속도를 고려하여 1,244프레임의 Rosbag 데이터를 20프레임당 한번씩 각 사용자에 대한 인식을 수행하여 총 62프레임에 대해 실험을 진행하였다.

사전 정의된 타겟 스타일 정보는 상·하의 색상 키워드를 포함하고 있으며, LLM 응답에서 해당 키워드가 정확히 포함될 경우 정답(1), 일부 색상 일치 시 부분 정답(0.7), 불일치 시 오답(0), 판독불가(-1)으로 평가하였다. LLM 응답 결과가 문법적 오류를 포함하거나, 응답이 누락되거나 “사람 없음”, “판단 불가” 등의 표현이 포함된 경우는 해당 프레임을 판독불가로 간주하고 –1 점수로 처리하였다. [Fig. 5]는 LLM 스타일 분석기의 인식 정확도를 확인하는 실험 결과이다. 이것은 각 사용자에 대해 프레임 단위로 측정된 LLM 응답 정확도를 나타낸다. [Table 4]는 [Fig. 5]을 정리한 표로써, 전체 프레임에 대해 평균 점수를 계산하여 인식 정확도를 산출하였다. 점수 계산식은 식 (1)과 같다 :

[Fig. 5]

Recognition Accuracy of LLM-based Style Analyzer

[Table 4]

Average recognition accuracy of LLM response

실험 결과에서는 상의 89.38, 하의 100.00, C 연구원은 상의 100.00, 하의 81.20의 정확도를 기록하였다. 전반적 으로 상의보다는 하의 스타일에서 더 높은 인식 정확도가 나타났으며, 이는 하의의 시각적 특징이 더 명확하거나 덜 가려졌기 때문으로 판단된다. 또한, 일부 오차는 LLM 응답의 색상 표현 차이나 스타일 용어 누락으로 인한 것으로 보이며, 전반적으로 제안된 방식은 다양한 표현에 대해 일정 수준 이상의 인식 성능을 유지함을 확인하였다.

추가로, 측정된 스타일 인식기의 프레임 단위 처리 속도 평균 응답 시간은 약 2.42초였다. 최소 응답 시간은 1.5초, 최대 응답 시간은 5.9초로 확인되었으며, 이것은 LLM 서버 처리 지연 및 입력 이미지 복잡도에 따라 다소 차이를 보이는 것으로 분석된다. 스타일 분석기 모듈은 모든 프레임에서 실행되는 구조가 아니며, 타겟 식별이 필요한 시점에만 수행되도록 설계되었다. 따라서 처리 시간은 스타일 초기화 지연으로 간주되며, 전체 추적 루프의 프레임 속도에는 직접적인 영향을 주지 않는다.

3.3 추적 유지 성능 실험

제안하는 방법의 사용자 추적 안정성을 평가하기 위해, 기존 DeepSORT 추적 방식과 본 논문에서 제안한 DeepSORT 기반 스타일 추적 방식 간의 유지 성능을 1,244 프레임의 Rosbag데이터를 이용하여 비교하였다. 수행되는 DeepSORT 추적기의 주요 파라미터설정은 [Table 5]와 같다.

[Table 5]

Parameters of DeepSORT

외형 특징(Appearance feature) 간 유사도 거리(MAX_DIST)와 Kalman 예측에 기반한 조건(MAX_IOU_DISTANCE)은 오탐 방지를 고려해 설정하였으며, MAX_AGE는 일시적인 가림 상황에서도 동일 ID를 유지할 수 있도록 90으로 설정하였다. 또한, 빠른 ID 초기화를 위해 N_INIT는 1로 설정하고, 임베딩 메모리 사용량 제한을 위해 NN_BUDGET은 100으로 설정하였다.

DeepSORT 기반 스타일 추적기는 초기 프레임에서 LLM 기반 스타일 분석을 통해 타겟 사용자에 대한 스타일 정보를 획득하고, 해당 사람의 중심 좌표와 DeepSORT 추적 결과를 비교하여 타겟 ID를 지정한다. 이후 동일 ID가 프레임 간 얼마나 일관되게 유지되는지를 측정하였다.

[Fig. 6]는 기존 DeepSORT 단독 방식과 LLM 기반 스타일 인식 시스템을 결합한 방식에서의 객체추적결과를 프레임별로 표현한 그림이다. 점선이 끊긴 부분은 DeepSORT 자체에 프서 탐지하지 못한 상황을 표현한 것이다. DeepSORT 단독 방식을 사용하였을 경우, 처음 할당된 ID가 변경이 되는 경우에 더 이상의 추적이 불가능하다. 반면에, LLM 기반 스타일 인식 시스템의 경우에는 다시 ID를 복원하는 기능이 있으므로, 지속적인 추적이 가능한 것을 확인했다.

[Fig. 6]

Frame-by-frame results of human tracking

[Table 6]은 기존 DeepSORT 단독 방식과 LLM 기반 스타일 인식 시스템을 결합한 방식 간의 사용자 추적 유지 성능을 비교한 결과를 보여준다. DeepSORT만을 사용한 경우, 일부 사용자의 추적 정확도가 낮고 정답 ID 유지가 불안정한 경향을 보였다. 반면, LLM 기반 방식은 초기 프레임에서 스타일 정보로 타겟을 식별하고 추적기와 결합함으로써 ID가 변경된 이후에도 스타일 정보를 기반으로 동일 ID를 복원할 수 있었으며, 전반적으로 추적유지 성능을 크게 높였다. 이는 시맨틱 정보가 외형 변화나 가림 상황에서의 보완 정보로 작용함을 의미하며, 제안한 시스템의 추적신뢰성을 실험적으로 입증하였다.