물리 기반 렌더링을 활용한 세그멘테이션용 합성 데이터 생성 및 성능 분석

1. 서 론

현대 제조 산업에서는 자동화를 통한 생산 효율성 향상과 안정성 확보가 필수적으로 요구되고 있으며, 이를 위해 로봇 비전 기반의 정밀한 인식 기술이 핵심 요소로 부각되고 있다. 특히, 다양한 부품을 정확히 식별하고 조작하기 위해서는 세밀한 수준의 영상 분할(Segmentation) 기술이 필요하다. 이러한 고성능 인식 모델을 학습시키기 위해서는 다양한 형상과 재질, 배경, 조명 환경을 포함하는 대규모 데이터셋이 필요하다. 그러나 실제 산업 현장에서 이러한 데이터를 수집하는 것은 쉽지 않다. 많은 산업 부품은 대형, 고중량이며, 형상이 다양하기 때문에 현실 이미지 데이터 확보가 어렵고, 픽셀 단위의 정밀한 라벨링 또한 막대한 시간과 인력을 요구한다. 이러한 한계로 인해, 현실 이미지 데이터에 대한 의존도를 줄이면서도 학습 성능을 확보할 수 있는 새로운 데이터셋 구축 방법의 필요성이 대두되고 있다.

최근에는 이러한 한계를 극복하기 위한 대안으로 합성 데이터(Synthetic Data) 기반의 학습 방법이 주목받고 있다^[1]. 합성 데이터는 가상 환경에서 렌더링과 절차적 생성 기법을 통해 생성된 데이터를 의미하며, 조명, 배경, 객체 배치 등의 조건을 자유롭게 조절할 수 있다. 이를 통해 도메인 랜덤화(Domain Randomization)를 적용하여 다양한 환경의 데이터를 대량으로 생성할 수 있으며, 학습 모델의 일반화 성능을 향상시킬 수 있다. 특히, Unreal Engine 5 (UE5)는 물리 기반 렌더링(Physically Based Rendering), 고해상도 조명, 후처리 효과, 설정 가능한 카메라 모델 등 현실감 있는 합성 이미지 생성을 위한 다양한 기능을 제공한다. 또한 Custom Stencil과 포스트 프로세스 머티리얼, Scene Capture 2D 기능을 활용하면 장면 내 객체의 정확한 픽셀 단위 마스크를 자동으로 생성할 수 있어 수작업 라벨링 과정을 완전히 대체할 수 있다.

본 연구에서는 이러한 UE5의 특성을 활용하여 Sim-to-Real 기반 합성 데이터 생성 파이프라인을 구축하고, 이를 이용한 차량 부품 Segmentation 모델 학습 및 검증 절차를 제안한다. 다양한 가상 환경에서 생성된 RGB 이미지와 객체 마스크를 이용하여 데이터셋을 구축하고, 실제 환경의 배경 이미지를 결합하여 Sim-to-Real 격차를 완화하는 방안을 실험적으로 검증하였다. 학습 데이터 구성에 따라 (i) 합성 이미지 단독, (ii) 현실 배경을 결합한 합성 이미지, (iii) 합성 데이터에 소량의 실제 이미지를 보강한 하이브리드 데이터셋으로 나누어 YOLOv8 기반 분할 모델을 학습시켰으며, 각 조건에서의 성능 차이를 정량적으로 분석하였다. 이를 통해 제안한 합성 데이터셋 구축 방법의 효용성과 현실 데이터 보강이 모델 성능 향상에 미치는 영향을 검증함으로써, 제조 환경에서의 자율 인식 시스템 구현 가능성을 제시한다.

2. 관련 연구

합성 데이터와 도메인 랜덤화는 데이터 부족과 주석 비용 문제를 해결하기 위한 대표적 접근법으로 활용되어 왔다. 무작위화된 텍스처, 조명, 기하, 노이즈 설정을 통해 합성 이미지로 학습된 모델이 실제 환경에서도 강건하게 동작하도록 하는 방법이 제안되었으며^[2], 장면 내 객체 분포와 배경 문맥을 고려하여 현실 적합도를 높이는 구조적 도메인 랜덤화 기법이 개발되었다^[3].

산업 비전 영역에서는 합성 데이터만으로 학습한 모델을 실영상으로 직접 전이하거나, 소량의 실영상으로 미세 조정해 성능을 향상시키는 절차가 다수 보고되었다. 합성 깊이 이미지 기반 학습을 통해 미표지 물체를 포함한 실제 환경에서도 적용 가능한 분할 모델이 구현되었고^[4], 합성 데이터셋으로 검출 및 분류를 학습한 뒤 실제 영상으로의 전이를 정량적으로 비교하는 절차적 파이프라인이 제시되었다^[5]. 또한 합성 RGB 이미지에 실세계 배경을 결합하거나, 소량의 실제 데이터를 보강하여 퓨샷 학습(few-shot learning)을 수행하는 전략도 제안되었다^[6].

데이터 생성을 위해 가상 엔진 기반의 합성 데이터 생성 파이프라인이 활용되고 있다. 물리 기반 렌더링(Physically Based Rendering)과 센서 인지형 렌더링을 통해 대규모 주석 데이터를 자동 생성하는 고충실 합성 데이터셋 구축 방법이 제시되었으며^[7], 장면 다양성과 포토리얼리즘의 확보가 전이 성능 향상과 직접적으로 연관됨이 확인되었다^[8].

또한 픽셀 수준의 도메인 적응(Domain Adaptation)과 이미지 번역(Image Translation)을 결합해 합성 환경과 실제 영상 간 분포 격차를 줄이는 방법이 제안되었으며^[9], 합성 환경에서 학습된 비전 기반 정책을 실제 로봇 제어에 이전하기 위한 전이 학습 절차도 함께 연구되었다^[10].

CAD/3D 모델을 활용한 방법도 제안되었다. CAD 모델을 합성 이미지와 자동 주석 도구를 결합하여 배경 치환과 장면 랜덤화, 대량 주석 자동화 등을 통해 데이터셋 구축 효율을 높이는 방법이 제시되었다^[11].

기존 연구들은 도메인 랜덤화 및 픽셀 수준 적응을 통한 전이 성능 향상, 고충실 합성 파이프라인과 자동 주석 생성, 그리고 퓨샷 학습 전략을 통한 현실 데이터 의존도 감소 등 세 가지 방법론적 방향으로 발전해왔다. 본 연구는 이러한 접근을 통합하여, UE5 기반 합성 데이터 생성·실배경 결합·소량 실데이터 보강 전략이 차량 부품 세그멘테이션 성능에 미치는 상호작용을 정량적으로 분석한다.

3. 본 론

3.1 합성 이미지 생성

본 연구에서는 UE5를 활용하여 차량 부품의 세그멘테이션 모델 학습을 위한 합성 이미지 데이터셋을 구축하였다. [Fig. 1]은 UE5에서의 합성 이미지 생성 과정을 보여준다. 동일 시점에 대한 일반 RGB 이미지와 객체별 단색 마스크를 적용한 주석용 이미지를 획득하기 위해 UE5의 Custom Stencil 기능과 포스트 프로세스 머티리얼을 활용하였다. Custom Stencil은 오브젝트에 고유 Custom Depth Stencil ID를 부여하고, 후처리를 통해 특정 ID값의 객체들만 선택적으로 렌더링하거나 시각적 효과를 부여할 수 있는 기능이다.

[Fig. 1]

Synthetic image generation process. (a) represents the Unreal Editor viewport. (b) and (c) are the RGB image and object mask image from the scene

마스크 이미지를 주석으로 변환하기 위해선 배치된 오브젝트들이 각자 고유한 색깔의 마스크를 가져야 한다. Custom Stencil 값에 따라 서로 다른 색을 출력하도록 하기 위해 포스트 프로세스 머티리얼을 사용하여 [Fig. 2]와 같이 각 Custom Depth Stencil ID 값에 대응하는 색을 지정하였다. 이 머티리얼이 적용된 카메라는 [Fig. 1]의 이미지 (c)와 같이 오브젝트 종류에 따라 다른 색상의 마스크가 적용된 이미지를 획득할 수 있다.

[Fig. 2]

Examples of RGB images and their corresponding object color mask images: Objects with identical mesh share the same color masks

[Fig. 3]과 같이 데이터셋의 다양성과 일반화 성능을 확보하기 위해, 본 연구에서는 합성 이미지 생성 과정에 도메인 랜덤화를 적극적으로 적용하였다. 먼저, 데이터 획득이 이루어지는 맵의 벽면 및 바닥 렌더링을 등록된 머티리얼 리스트에서 각각 교체할 수 있도록 하여 여러 가지의 색상, 패턴, 반사, 질감을 가진 환경을 구성하였다. 또한 장면 내 객체의 위치, 회전을 랜덤화하여 다양한 배치 조건을 반영할 수 있도록 하였다.

[Fig. 3]

Example of synthetic images with domain randomization applied

아울러, 장면 내부에 공장, 창고, 사무실 등의 작업 환경에 대한 배경 객체 레이아웃을 작성하고, 이를 주기적으로 변경함으로써 현실 환경의 복잡한 시각적 정보를 재현하였다. 추가적으로 조명 광원의 조도와 카메라 시점을 주어진 범위 내에서 무작위로 배치하여 다중 시점 및 조명 조건 상에서의 데이터 수집을 구현하였다.

실험에서는 벽면과 바닥 재질을 각각 32종류, 25종류 사용하였고, 5종류의 배경 객체 레이아웃을 생성하여 배치했다. 지정된 범위 내에서 무작위 밝기 값을 가지는 4개의 다중 조명을 통해 랜덤 조명 환경을 구현하였으며, 각 도메인은 매 촬영마다 무작위 값을 가지도록 했다. 마지막으로 서로 다른 위치 및 회전 값을 가지는 카메라를 9군데 배치하여 매 촬영마다 서로 다른 시점에서 이미지를 획득하도록 설계하였다.

이러한 도메인 랜덤화는 배경 구조, 조명 변화, 촬영 시점 차이에 따른 편향을 최소화하여 모델의 일반화 성능을 향상시키는데 중요한 역할을 한다.

합성 이미지의 사실적 묘사와 Sim-to-Real 격차 완화를 위해, 본 연구에서는 UE5에서 생성된 합성 이미지에 실제 환경에서 촬영된 배경 이미지를 결합하는 데이터셋 생성 절차를 적용하였다. [Fig. 4]는 순수 합성 이미지와 현실 이미지 배경을 적용한 합성 이미지를 비교한 예시이다. 세그멘테이션 주석용 마스크 이미지 생성 과정과 유사하게, 인식할 객체를 제외한 부분에 별도의 이미지를 삽입할 수 있도록 하는 포스트 프로세스 머티리얼을 작성하고, 현실 이미지 리스트를 연결하여 무작위로 배경에 투영 가능하도록 설계하였다. 이를 통해 합성 이미지의 시각적 특성이 실제 데이터에 보다 근접하도록 구성하였다.

[Fig. 4]

Example of synthetic images with real-world background integration

3.2 데이터셋 작성

세그멘테이션용 데이터셋 구축을 위해서는 학습에 사용할 이미지와 각 이미지 내 객체의 위치 및 형태를 나타내는 픽셀 단위 라벨이 필요하다. 본 연구에서는 라벨링 과정을 자동화하기 위해 합성 이미지 생성 과정에서 저장한 객체별 마스크 이미지를 활용한다. 본 연구에서는 라벨링 과정을 자동화하기 위해 합성 이미지 생성 과정에서 저장한 객체별 마스크 이미지를 활용한다. [Fig. 5]는 합성 이미지에서 세그멘테이션용 라벨을 생성하는 과정을 보여 준다. 그림 (a)의 마스크 이미지에서 그림 (b)처럼 객체별로 정의된 색을 기반으로 클래스별 픽셀을 추출한다. 이후 추출한 픽셀 정보를 기반으로 학습 모델이 요구하는 형식에 맞는 주석을 생성한다. 그림(c)는 생성된 주석을 원본 이미지에 시각화 함으로써 라벨링의 정확성을 평가하는 과정이다.

[Fig. 5]

Segmentation Labeling Process. (a) represents the object mask image. (b) extracts class-wise pixels based on the colors in the object mask. (c) visualizes the generated labels overlaid on the corresponding RGB image

4. 실 험

4.1 데이터셋 준비 및 모델 학습

본 연구에서는 서로 다른 구성의 다섯 가지 데이터셋을 세그멘테이션 모델 학습에 사용하고, 각 데이터셋으로 학습된 모델의 성능을 비교하였다. [Table 1]은 실험에 사용된 데이터셋 구성을 요약한 표이다. [Fig. 6]은 데이터셋 구성에 사용되는 이미지들의 예시를 보여 준다. Vanilla는 도메인 랜덤화 요소를 적용하지 않은 Unreal Engine 5 (UE5) 기반 합성 이미지이며, Syn은 조명, 재질, 배경 등을 무작위로 변화시킨 도메인 랜덤화 합성 이미지이다. BG는 현실 이미지에서 추출한 배경을 합성한 이미지이고, Real은 실험에 사용한 대상 모델을 3D 프린터로 출력한 후 촬영한 실세계 이미지 데이터이다.

[Table 1]

Training data configuration

[Fig. 6]

Examples of images used in the dataset: (a) Vanilla, (b) Syn, (c) BG, and (d) Real

Dataset1은 Vanilla 이미지 2,500장으로만 구성하여 도메인 랜덤화를 적용하지 않은 기본 합성 데이터의 성능을 평가하였다. Dataset2는 Syn 이미지 2,500장으로 구성하여 도메인 랜덤화의 적용 여부에 따른 모델 성능 차이를 분석할 수 있도록 하였다. Dataset3은 Syn 이미지 1,250장과 BG 이미지 1,250장으로 구성하여, 합성 데이터에 현실 배경을 도입하는 것이 세그멘테이션 성능에 미치는 영향을 평가하였다. Dataset5는 Dataset3에 Real 이미지를 25장 추가하여, 극소량의 실세계 샘플이 모델 성능 향상에 기여하는 정도를 분석하기 위한 데이터셋이다. 반면 Dataset4는 Dataset5에 포함된 25장의 Real 이미지만으로 구성하여, 합성 데이터를 사용하지 않고 소량의 실세계 데이터만으로 학습했을 때의 성능을 통해 합성 데이터의 대체 가능성을 검증하고자 하였다.

모델의 일반화 성능을 평가하기 위해 별도로 Real 이미지 100장을 테스트 데이터셋으로 사용하였다. 모든 실험은 AMD Ryzen 9 9900X CPU, NVIDIA RTX 4090 GPU, 64 GB RAM 환경에서 수행되었다. 세그멘테이션 모델로는 YOLOv8-L-Segmentation 모델을 사용하였으며, 입력 해상도 640×640, batch size 16, 학습 epoch 수 150으로 설정하여 각 데이터셋에 대해 동일한 조건으로 학습을 진행하였다.

4.2 실험 결과

본 연구에서는 다섯 가지 구성의 학습 데이터셋을 기반으로 YOLOv8-seg 모델을 학습한 뒤, 별도로 촬영한 현실 이미지 테스트셋을 이용하여 세그멘테이션 성능을 정량적으로 평가하였다. [Fig. 7]은 각 모델의 mAP 50–95 성능을 비교한 결과를 나타낸다.

[Fig. 7]

This graph presents the mAP 50–95 performance results across the five training datasets

먼저, 도메인 랜덤화를 적용한 Dataset2는 동일한 크기의 비랜덤화 합성 데이터로 구성된 Dataset1 대비 전반적으로 향상된 성능을 보였다. 이는 조명, 재질, 배경 등 다양한 시각적 변이를 포함한 합성 데이터가 모델의 일반화 능력 향상에 기여하며, 실제 환경에서 발생할 수 있는 도메인 변화를 모사하는 데 효과적임을 보여준다.

Dataset3은 Syn 이미지와 현실 배경(BG)을 동일 비율로 혼합하여 구성되었으나, Dataset2 대비 소폭의 성능 저하가 확인되었다. 세부 분석 결과, 현장 배경 이미지 중 객체와 유사한 색상 및 패턴을 포함한 경우가 많아 객체 경계가 흐려지고, 이로 인해 모델이 경계 정보를 안정적으로 학습하지 못한 것으로 추정된다. 이는 도메인 랜덤화만으로 이미 충분한 데이터 다양성이 확보된 상황에서는, 현실 배경을 단순 합성하는 방식이 오히려 시각적 혼선을 유발할 수 있으며, 합성 배경 품질의 세밀한 관리가 중요함을 나타낸다.

Dataset5는 Dataset3에 극소량(25장)의 현실 이미지를 추가한 데이터셋으로 매우 제한된 수의 현실 샘플이 포함되었음에도 불구하고 mAP 50-95 기준에서 눈에 띄는 성능 향상을 달성하였다. 이는 대규모 합성 데이터로 학습된 모델이 소량의 현실 이미지로도 효과적으로 도메인 갭을 보정할 수 있음을 보여주는 중요한 결과이다. 특히 현실 데이터 수집 및 라벨링 비용이 높은 산업 환경에서 의미 있는 실증적 근거를 제공한다.

반면, Dataset4는 합성 데이터를 제외하고 Dataset5에서 사용한 25장의 Real 이미지로만 학습을 진행한 경우로, 전반적인 성능이 Dataset5 대비 크게 저하되었다. 이는 극소량의 현실 이미지 단독으로는 세그멘테이션 모델이 충분한 시각적 다양성을 학습하기 어렵다는 점을 명확히 보여준다. 또한 대규모 고품질 합성 데이터가 현실 데이터의 부족을 보완하는 핵심 요소로 기능하며, 합성 데이터 기반 사전학습과 소량의 현실 데이터 미세조정이라는 전략이 실제 적용 가능한 효율적 학습 파이프라인임을 검증한다.

종합적으로, 실험 결과는 합성 데이터의 대규모 생성이 현실 데이터의 부족을 보완하는 강력한 수단이며 특히 극히 제한된 현실 샘플만으로도 의미 있는 성능 향상이 가능하다는 점을 입증한다. 이는 물리 기반 렌더링을 활용한 합성 데이터 생성이 산업 환경에서의 세그멘테이션 작업에 실질적 효용을 제공할 수 있음을 뒷받침한다.

5. 결 론

본 연구는 물리 기반 렌더링을 활용하여 합성 세그멘테이션 데이터를 대량 생성하고, 이를 현실 데이터와 결합하여 학습한 경우의 성능 향상 효과를 정량·정성적으로 분석하였다. 실험 결과, 현실 데이터셋의 규모가 제한적인 상황에서도 가상 엔진 기반의 합성 데이터 증대가 세그멘테이션 모델의 인식 정밀도를 유의미하게 향상시킴을 확인하였다. 특히 제한된 수의 현실 샘플을 소량 포함하기만 해도 모델의 도메인 적응 성능이 크게 개선되었으며, 이는 합성 데이터와 현실 데이터 간의 도메인 갭을 효과적으로 축소하는 역할을 하였다.

또한 합성 데이터에 도메인 랜덤화를 적용한 구성들은 단순 합성 배경을 사용하는 경우보다 높은 mAP 50-95 성능을 달성하였고, 시각적 결과 역시 더 안정된 객체 경계 예측과 잡음 감소 효과를 보여주었다. 이는 합성 데이터의 품질, 특히 조명, 재질, 배경의 현실성 및 다양성 향상이 세그멘테이션 성능을 직접적으로 향상시킬 수 있음을 검증했다.

종합적으로 본 연구는 대규모 현실 데이터 확보가 어려운 산업, 제조, 로보틱스 분야에서 물리 기반 렌더링 기반 합성 데이터 생성이 현실 데이터를 대체하거나 보완하는 실용적인 방법임을 보여준다. 특히 라벨링 비용이 높은 도메인에서도 비교적으로 적은 현실 샘플만으로도 충분한 성능 향상을 달성할 수 있어, 합성 데이터 중심의 데이터셋 구축 전략이 실제 현장에서 즉각적으로 적용 가능한 장점을 가진다. 향후 연구에서는 합성 환경의 물리 기반 사실성 강화, 다양한 모델에서의 범용성 검증 등을 통해 실제 환경에서의 분할 성능을 더욱 높일 계획이다.

Acknowledgments

This research was supported by the Technology Innovation Program (02314639) of the Korea Evaluation Institute of Industrial Technology (KEIT).

References

• M. Johnson-Roberson, C. Barto, R. Mehta, S. N. Sridhar, K. Rosaen, and R. Vasudevan, “Driving in the Matrix: Can Virtual Worlds Replace Human-Generated Annotations for Real World Tasks?,” IEEE International Conference on Robotics and Automation (ICRA), Singapore, Singapore, pp. 746-753, 2017. [https://doi.org/10.1109/ICRA.2017.7989092]
• J. Tobin, R. Fong, A. Ray, J. Schneider, W. Zaremba, and P. Abbeel, “Domain randomization for transferring deep neural networks from simulation to the real world,” IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS), Vancouver, Canada, pp. 23-30, 2017. [https://doi.org/10.1109/IROS.2017.8202133]
• A. Prakash, S. Boochoon, M. Brophy, D. Acuna, E. Cameracci, G. State, O. Shapira, and S. Birchfield, “Structured Domain Randomization: Bridging the Reality Gap by Context-Aware Synthetic Data,” 2019 International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, pp. 7249-7255, 2019. [https://doi.org/10.1109/ICRA.2019.8794443]
• M. Danielczuk, M. Matl, S. Gupta, A. Li, A. Lee, J. Mahler, and K. Goldberg, “Segmenting Unknown 3D Objects from Real Depth Images Using Mask R-CNN Trained on Synthetic Data,” 2019 International Conference on Robotics and Automation (ICRA), Montreal, QC, Canada, pp. 7283-7290, 2019. [https://doi.org/10.1109/ICRA.2019.8793744]
• X. Peng, B. Sun, K. Ali, and K. Saenko, “Learning Deep Object Detectors from 3D Models,” 2015 IEEE International Conference on Computer Vision (ICCV), Santiago, Chile, pp. 1278-1286, 2015. [https://doi.org/10.1109/ICCV.2015.151]
• L.-C. Nguyen, Q. Nguyen-Tri, B. T. Khanh, D. D. Le, L. Tran-Thanh, and K. Than, “Provably Improving Generalization of Few-Shot Models with Synthetic Data,” arXiv:2505.24190, 2025. [https://doi.org/10.48550/arXiv.2505.24190]
• P. Leoncini, F. Marzola, M. Pescio, M. Casadio, A. Arezzo, and G. Dagnino, “A reproducible framework for synthetic data generation and instance segmentation in robotic suturing,” International Journal of Computer Assisted Radiology and Surgery, Vol. 20, No. 8, pp. 1567-1576, June, 2025. [https://doi.org/10.1007/s11548-025-03460-8]
• Z. Feng, Y. She, and S. Keshav, “SPREAD: A large-scale, high-fidelity synthetic dataset for multiple forest vision tasks,” Ecological Informatics, Vol. 87, no. 103085, pp. 1-13, July, 2025. [https://doi.org/10.1016/j.ecoinf.2025.103085]
• K. Bousmalis, A. Irpan, P. Wohlhart, Y. Bai, M. Kelcey, M. Kalakrishnan, L. Downs, J. Ibarz, P. Pastor, K. Konolige, S. Levine, and V. Vanhoucke, “Using Simulation and Domain Adaptation to Improve Efficiency of Deep Robotic Grasping,” 2018 IEEE International Conference on Robotics and Automation (ICRA), Brisbane, Australia, pp. 4243-4250, 2018. [https://doi.org/10.1109/ICRA.2018.8460875]
• Y. Xiang, T. Schmidt, V. Narayanan, and D. Fox, “PoseCNN: A Convolutional Neural Network for 6D Object Pose Estimation in Cluttered Scenes,” Robotics: Science and Systems (RSS), Pittsburgh, USA, 2018. [https://doi.org/10.15607/RSS.2018.XIV.019]
• M. Jeon, Y. Lee, Y. Shin, H. Jang, T. Yeu, and A. Kim, “Synthesizing Image and Automated Annotation Tool for CNN based Under Water Object Detection,” The Journal of Korea Robotics Society, vol. 14, No. 2, pp. 139-149, May, 2019. [https://doi.org/10.7746/jkros.2019.14.2.139]