Low-Texture 환경에서 적응형 이미지 증강 및 임계값 조정을 통한 ORB-SLAM 성능 향상

1. 서 론

VSLAM (Visual Simultaneous Localization and Mapping)은 로봇이 낯선 환경에서 카메라 센서를 통해 자신의 위치를 추정하고 주변 환경을 모델링 하는 기술로, 자율주행 로봇의 핵심 기술 중 하나이다. 특히 VSLAM 중 특징 기반 방법은 로봇 산업에서 널리 활용되고 있다. 그중에서도 ORB 특징점을 사용하는 ORB-SLAM^[1]은 실시간성과 높은 정확도를 바탕으로 대표적인 특징 기반 VSLAM 시스템으로 자리 잡았다. ORB-SLAM^[1]은 환경의 특징을 추출하고 이를 기반으로 카메라 궤적을 추정하며, 트래킹, 로컬 매핑, 루프 클로징의 세 가지 스레드를 동시에 처리하여 고속성과 정확성을 동시에 달성한다.

그러나 ORB-SLAM^[1]와 같은 특징 기반 시스템은 주로 특징이 풍부한 High-Texture 환경에서 우수한 성능을 발휘하지만, 조명 변화가 심하거나 벽과 바닥처럼 단조로운 패턴인 Low-Texture 환경에서는 특징점 부족으로 인해 성능이 크게 저하되는 문제가 발생한다^[2-4]. 이러한 환경에서는 특징점 추출이 불안정해지며, 이는 추적 실패^[3], 지도 구성 오류, 그리고 전반적인 시스템 안정성 저하로 이어질 수 있다. [Fig. 1]은 이러한 Low-Texture 환경에서 발생하는 문제를 시각적으로 보여준다. 이러한 문제는 단안 기반 시스템뿐 아니라, 센서 융합 시스템에서도 동일하게 발생하며, 특징점이 충분히 추출되지 않는 경우 IMU와의 정렬 오류로 인해 더욱 심각한 추적 실패로 이어질 수 있다^[2]. 기존 연구들은 Low-Texture 환경에서 발생하는 문제를 해결하기 위해 여러 접근법을 제안했다.

[Fig. 1]

Number of ORB Features and Tracking Status in ORB-SLAM2 System Based on Texture (a) High Texture Sequence, (b) High texture Features and State (c) Low Texture Sequence, (d) Low texture Features and State (State 2.5 = Initialization, 1.5 = Tracking, 0.5 = Lost)

(1) 구조적 특징 활용 접근법

기존 연구들은 저텍스처 환경에서 발생하는 특징점 부족 문제를 해결하기 위해 다양한 방법을 시도했다. 그중 점과 선분과 같은 구조적 특징을 활용하는 연구는 Low-Texture환경에서 부족한 특징을 보완해주어 활발히 진행되고 있다. PL-SLAM^[5]은 단안 카메라 기반으로 점과 선분을 동시에 활용하여 Low-Texture 환경에서도 더 풍부한 특징을 얻을 수 있도록 설계하였다. 또한 [6]에서는 특징점 기반 방식^[1]의 한계를 극복하기 위해 선분의 위치 추정, 짧은 선분의 제거 및 병합, 곡률 기반의 선분 개선 기법 등을 제안하여 Low-Texture환경에서 정확도와 추적 지속성을 향상시켰다. 한편 [7-10]에서는 점과 선의 조합뿐 아니라 평면 또는 IMU를 결합하는 구조적 보완 접근법을 제안하였으나, 대부분의 방법들은 추가적인 구조 처리를 위한 연산 비용이 높고, 선분의 방향성에 모호함이 존재하여 Low-Texture 환경에서 여전히 성능 저하 문제를 겪고 있다.

(2) 이미지 전처리 기반 접근법

이미지 전처리 기법을 활용하여 입력의 조도나 대비를 개선하여 Low-Texture 환경에서도 충분한 특징점을 안정적으로 추출하려는 시도도 이루어졌다. HE-SLAM^[11]은 히스토그램 균등화를 활용하여 이미지 대비를 향상시키고, Low-Texture 환경에서도 성능을 강화하였다. 그러나, 히스토그램 기반 접근법은 모든 시나리오에서 일관된 성능을 제공하지는 못했으며, 과도한 대비 향상으로 인해 세부 정보 손실이 발생한다. [12]은 CLAHE (Contrast Limited Adaptive Histogram Equalization)를 활용해 어두운 조명 환경에서 이미지의 대비를 개선하여 더 많은 특징점을 추출하였으나, 이 역시 추가적인 계산 비용과 메모리 사용량 증가로 인해 경량화된 로봇 플랫폼에서는 적합하지 않은 경우가 많았다. 이 외에도 다양한 조건에 따라 대비 조절, 노이즈 억제, 색상 복원 등을 수행해 ORB-SLAM^[1]의 성능을 보완하려는 연구가 있었다. [13]는 조명 조건을 분류하고 적응형 잠마 보정 기법을 활용하여 실제 환경에서 발생하는 대부분의 조명 변화를 포괄적으로 처리하는 Afe‑ORB‑SLAM을 제안하였다. 그러나, 주로 전역 또는 국소적인 밝기 일관성을 유지하는 데에 집중되어 있으며, 모든 유형의 복잡한 조명 조건을 효과적으로 처리하는 데에는 한계가 있다. [14]는 [1]에서 다양한 스케일에서 특징점을 정확하게 추출하기 위해 Adaptive Contrast-guided Contrast Limited Adaptive Histogram Equalization (CLAHE) 방법을 사용하였으나, 초기화에 민감하여 적절히 처리되지 않으면 최적이 아닌 해를 도출하거나 지역 최소값에 수렴할 수 있다. [15]은 히스토그램 균등화 기반(HEP) 이미지 향상 모듈을 [1]에 결합하여, 조도 환경에서 이미지 향상을 적용했으나, 저조도 향상이 이미지에서 잡음 강조가 되어 더 큰 오류를 초래하는 경우도 있었다. 그 외에도 [16,17]과 같이 Low-texture 구간에서 이미지 전처리를 통한 특징점 추출 증가 연구는 꾸준히 진행되고 있다.

(3) 학습 기반 접근법

강화학습 기반 접근법 [18]은 Low-Texture 환경에서 카메라 방향을 조정하여 특징점을 더 효과적으로 추출하려는 시도를 보여주었지만, 높은 계산 비용으로 인해 실시간 처리에는 한계가 있었다. [19]은 3D 합성곱 신경망을 훈련시켜 픽셀 단위의 그레이스케일 변환 곡선을 추정하고, 이를 사용하여 저조도 향상 이미지를 얻는 방법론을 제안했다. [20]은 저텍스처 구간에서 GCN 특징점을 활용하고, 다른 구간에서 ORB 특징점을 활용하여 VSLAM을 실시하였으나, GCN 특징점은 노드와 이웃 노드들 간의 관계를 학습하는 데 있어서 많은 계산을 요구하며, 노드 기반이기에 정보가 제한되어 실제 로봇 주행 시 사용하기 어렵다는 문제점이 있다. [21]는 기존 연구를 기반으로 조명 향상 네트워크를 제안하고, GCNv2를 사용하여 견고한 특징 추출을 수행해 [1]에 결합시켰다. [22]은 기존에 흐릿한 이미지에서 선명한 이미지를 복원하는 방식은 복원된 선명한 이미지가 일반적으로 왜곡된다는 문제점을 말하며, 잔여 모션 블러 구분 네트워크를 제안하여 모션 블러가 있는 이미지를 효율적으로 감지했다. 또한 [23,24]의 연구에서는 Low-Texture 문제를 해결하기 위해 시맨틱 정보를 활용하거나, ORB 대신 다른 특징 추출 기법을 사용하며, 학습된 조명 보정 모듈을 도입하기도 한다. 하지만 이러한 학습 기반 접근 방식은 실시간 처리가 요구되는 상황에서는 한계를 보인다.

본 논문에서는 이러한 문제를 해결하기 위해 적응형 이미지 증강과 적응형 ORB 임계값 조정 기법을 제안한다. 제안된 방법은 이미지의 텍스처 특성을 분석하여 필요한 경우 구조를 강조하고, ORB 특징점 검출 과정에서 발생할 수 있는 과도한 특징점 추출을 방지하기 위해 임계값을 동적으로 조정한다. 이를 통해 Low-Texture 환경에서의 특징점 부족 문제를 해결하고, 시스템의 정확도와 안정성을 높이고자 한다. 이를 통해 본 연구는 기존 연구 대비 다음과 같은 장점을 제공한다:

• 1. Low-Texture 환경에서의 강건한 성능: 제안된 방법은 단순히 대비를 증가시키는 기존 전처리 기법과 달리, 적응형 증강을 통해 Low-Texture 영역에서도 안정적인 특징점 검출을 가능하게 한다.
• 2. 효율적인 성능 설계 : 본 연구는 이미지 전처리와 적응형 FAST 알고리즘^[25]조정을 결합하여 Low-Texture 환경에서도 효율적으로 동작하며, 추가적인 계산 부담 없이 실시간 성능을 충족한다.
• 3. 다양한 환경에서의 일관된 성능: 다양한 텍스처 조건에서도 적응형 접근법을 통해 기존의 전역적 또는 국소적 전처리 기법보다 안정적이고 일관된 성능을 제공한다.

제안된 방법은 기존 SLAM 시스템의 약점을 보완하며, 특히 Low-Texture 환경에서 실시간성 및 정확도를 유지하는 강건한 SLAM 솔루션으로 활용될 수 있다.

2. 본 론

본 논문은 ORB-SLAM의 Low-Texture 구간 성능 향상을 위해 적응형 이미지 증강과 적응형 ORB FAST^[25] 임계값 조정 기법을 제안하며, [Fig. 2]에 제안하는 방법의 파이프라인을 시각화하였다.

[Fig. 2]

Proposed method pipeline

2.1 적응형 이미지 증강

본 연구에서는 ORB-SLAM 시스템의 성능을 Low-Texture 환경에서 개선하기 위해, 기존 이미지 전처리 기법을 확장한 적응형 이미지 증강 방식을 도입한다. 이를 통해 Low-Texture 환경에서 특징점 추출 성능을 향상시키고, 실시간 처리가 가능한 계산 효율성을 유지하고자 한다. 이 과정은 이미지의 텍스처 특성을 분석하여 동적으로 파라미터를 조정하고, 샤프닝 및 에지 검출을 통해 구조를 강조하는 방식으로 진행한다.

2.1.1 이미지 분석 및 파라미터 설정

이미지의 선명도를 추정하기 위해 라플라시안 필터^[26]를 사용하여, 이미지의 텍스처 특성을 분석한다. 라플라시안 필터는 이미지의 급격한 강도 변화를 감지하는데 사용되며, 이를 통해 Low-Texture 환경을 판별한다. 필터를 적용한 결과, 분산 값이 180 이하일 경우 해당 이미지는 Low-Texture 환경으로 분류된다. 이 임계값은 TUM Texture 비교 데이터셋^[27]을 기반으로 실험적으로 도출된 값이며 [Fig. 3]에서 확인할 수 있다.

[Fig. 3]

Comparison of Laplacian variance values in high-texture and low-texture regions

• 1) Low-Texture 영역 판단: 라플라시안 필터^[26]로 계산된 분산 값이 180 이하인 경우 Low-Texture 영역으로 판단한다. Low-Texture 영역에서 구조물 강조와 선명화 효과를 극대화하기 위해 Unsharp Maskingp^[28] 강도를 조정한다.
• 2) Unsharp Masking 강도 조정: Low-Texture 영역에서는 Unsharp Masking^[28]의 강도를 1.0에서 2.0 사이에서 선형적으로 증가시킨다. 이는 Low-Texture 영역에서 중요한 구조물의 에지를 강조하기 위함이다. High-Texture 영역에서는 강도를 1.0으로 고정하여 불필요한 노이즈 증가를 방지하고 기본적인 선명화만 적용한다. 이는 텍스처가 풍부한 이미지에서는 에지 강조가 불필요하다는 실험적 결과를 바탕으로 결정되었다.
• 3) 최소 윤곽선 면적(minContourArea) 설정: 최소 윤곽선 면적은 Low-Texture일 경우 설정하지 않고, 텍스처가 풍부할 경우, 이미지의 전체 면적에 비례하여 0.05%로 설정된다. 이 비율은 이미지 해상도와 복잡도에 따라 노이즈를 줄이며, 다양한 이미지 조건에서도 안정적인 특징점 검출을 보장한다.

2.1.2 Unsharp Masking을 이용한 선명도 향상

이미지의 고주파 성분을 강조하여 구조물의 경계와 텍스처의 가시성을 향상시키기 위해 Unsharp Masking 기법^[28]을 적용했다.

• 1) 가우시안 블러링: 5x5 크기의 커널과 1.5의 표준편차를 사용하여 원본 이미지의 저주파 성분을 제거하고 주요 에지를 보존하여 노이즈를 줄인다.
• 2) Unsharp Mask 생성: 고주파 성분을 추출하기 위해 다음과 같은 수식으로 Unsharp Mask를 생성한다: 이 마스크를 원본 이미지에 더해 선명도를 높이며, Low-Texture 환경에서는 마스크 강도를 더 크게 설정하여 구조를 더 명확히 강조한다.I는 원본 이미지이고, G(I)는 가우시안 블러 함수이며 U는 Unsharp Mask 생성 함수이다.

$\[ U=I-G\left(I\right) \]$

(1)

• 3) 선명화: 생성된 Unsharp Mask를 원본 이미지에 가중치 값에 따라 적용하여 선명도를 개선한다. S는 선명화 이미지, I는 원본 이미지 a는 가중치이다. α값은 이미지 분석 결과에 따라 동적으로 조정된다. 특히 Low-Texture 환경에서는 α값을 크게 조정하여 선명도를 높이며 중요한 구조가 더욱 뚜렷하게 나타나도록 조정한다:

$\[ I_{sharp }=I+\alpha U \]$

(2)

• 4) 추가 선명화: 여기서 β는 에지 강화의 정도를 결정하며, Low-Texture 영역(β=0.3)과 텍스처 영역(β=0)에 따라 추가적인 선명화를 통해 더 부드러운 선명화 효과를 제공한다:

$\[ I_{sharp }^{\text{'}}=I_{sharp }+\beta G\left(U\right) \]$

(3)

• 5) 정규화 및 형식 변환: 최종적으로 생성된 이미지는 [0, 255] 범위로 정규화되며, 8비트로 변환된다. 이 과정은 다양한 이미지 조건에서 일관된 성능을 보장하기 위해 수행된다.

2.1.3 에지 검출 및 강화

Unsharp Masking 기법은 이미지의 전체적인 선명도를 높이고 에지를 강조하지만, Low-Texture 환경에서는 미세한 에지나 중요한 구조적 특징이 충분히 부각되지 않을 수 있다. 이는 Low-Texture 이미지에서 고주파 성분이 부족하여 Unsharp Masking^[28]만으로는 특징점 추출에 필요한 정보를 충분히 제공하지 못하기 때문이다. 이러한 한계를 극복하기 위해 본 연구에서는 Canny 에지 검출^[29]을 추가로 적용하여 중요한 구조적 에지를 더욱 강조하였다. 이를 통해 특징점 추출 알고리즘이 더 풍부한 정보를 기반으로 작동하여, Low-Texture 환경에서도 안정적인 성능을 발휘할 수 있도록 하였다.

• 1) 중앙값 기반 임계 값 설정: 이미지의 밝기 분포에 따라 에지 검출 성능이 크게 달라질 수 있으므로, 이미지의 중앙값을 기반으로 Canny 에지 검출기의 상하한 임계값을 동적으로 설정한다. 임계값은 다음과 같이 계산된다. σ는 실험에 따라 0.33으로 설정되며, 중앙값에 따라 임계값이 자동으로 조정된다.

$\[ \begin{array}{l} Lower =\mathrm{m}\mathrm{a}\mathrm{x}\left(0,\left(1-\sigma med\right)\right)\\ Upper =\mathrm{m}\mathrm{i}\mathrm{n}\left(255,\left(1+\sigma \right)med\right)\end{array} \]$

(4)

• 2) 에지 검출 및 윤곽선 검출: 위에서 설정한 임계값을 사용하여 Canny 에지 검출^[29]을 수행하였다. 그 결과 이미지에서 중요한 에지들이 추출되었으며, 2.1.1절에서 설정한 최소 윤곽선 면적(minContourArea)을 적용하여 노이즈나 불필요한 작은 에지를 제거하였다. 이는 Low-Texture 구간에서 가능한 많은 에지를 검출하여 중요한 구조적 정보를 최대한 확보하며, High-Texture 구간에서 복잡성을 줄이기 위해 주요한 에지만 선택적으로 검출한다. 이러한 접근은 특징점 추출 시 불필요한 연산을 줄이고, 알고리즘의 효율성을 높인다.
• 3) 윤곽선 이미지 생성: 필터링된 윤곽선을 기반으로운 윤곽선 이미지를 생성한다. 이 윤곽선 이미지는 원본 이미지의 중요한 구조적 특징을 강조하며, 이는 Low-Texture 환경에서 특징점 추출 알고리즘이 더 많은 유의미한 정보를 활용할 수 있도록 도와준다. [Fig. 4]는 각 환경에서 Unsharp Masking만 사용한 경우와 추가적인 Edge Detection을 병행한 경우의 ORB 특징점 수를 비교한 결과이다. 실험 결과, 추가적인 Edge Detection 과정을 통해 모든 환경에서 특징점 검출 성능이 향상되었으며, 특히 Low-Texture 환경에서 그 효과가 두드러졌다. 예를 들어, No structure - No texture - Near 환경에서 특징점 검출 수는 246개에서 1008개로 약 4배 증가하였다.

[Fig. 4]

Adaptivce Threshold and ORB Feature with Unsharp Masking and Edge Detection

2.1.4 윤곽선과 선명화 이미지 결합

최종적으로 Unsharp Masking으로 선명화된 이미지와 2.1.3절에서 생성된 윤곽선 이미지를 가중 합산하여 최종 전처리 결과를 얻는다. 이 과정은 다음 수식으로 표현된다. w1과 w2는 각각 선명화 된 이미지와 윤곽선 이미지의 가중치를 나타낸다. 본 연구에서는 실험을 통해 최적화된 값인 w₁=0.7, w₂=0.3로 설정하였다. 결합 전 과정부터 결합 후 이미지는 [Fig. 5]를 통해 확인할 수 있다.

[Fig. 5]

Step of image augmentation applied to (a) low-texture image and (b) high-texture image

$\[ I_{\mathrm{f}\mathrm{i}\mathrm{n}\mathrm{a}\mathrm{l}}=w_1\cdot I_{\mathrm{s}\mathrm{h}\mathrm{a}\mathrm{r}\mathrm{p}}+w_2\cdot I_{\mathrm{e}\mathrm{d}\mathrm{g}\mathrm{e}} \]$

(5)

2.2 적응형 FAST 임계값

ORB-SLAM 시스템에서 ORB 특징점은 FAST 키포인트^[26]와 BRIEF 디스크립터^[30]로 구성된다. FAST 키포인트^[26]는 [Fig. 6]에서 보이는 것처럼, 중앙 점과 주변 픽셀 집합 간의 그레이스케일 차이를 계산하여, 사전 정의된 임계값을 초과하는 경우 해당 중앙 점을 키포인트로 정의한다. 이 과정은 다음과 같은 순서로 진행한다.

[Fig. 6]

FAST algorithm

• 1) 중앙 점 선택 : 이미지 내에서 픽셀을 선택하고, 이를 중앙 점 f_mid로 지정하며, 해당 점의 그레이스케일 값을 I_mid로 설정 한다
• 2) 주변 영역 탐색 : 중앙 점 f_mid 주변의 반경 R내에서 N개의 픽셀을 선택하여 이미지의 주변 영역을 탐색한다.
• 3) 임계값 설정 : 임계값 𝑇를 설정한다. 일반적으로, 이는 중앙 점 f_mid 의 그레이스케일 값의 10%로 정해진다.
• 4) 특징점 판별 : 선택된 N개의 픽셀 중 K개의 연속적인 픽셀이 동일한 밝기를 가지는 경우, 해당 중앙 점을 코너 점으로 정의한다.
• 5) 밝기 판별 : 각 픽셀의 밝기를 식 (6)에 따라 판별한다: 𝐼𝑘는 주변 픽셀의 그레이스케일 값이다.

(6)

기본 ORB-SLAM 시스템^[2]에서는 이러한 임계값 𝑇가 정적으로 제공된다. 이는 다양한 조명 조건이나 장면 복잡도에 따라 최적의 임계값을 설정할 수 없게 만들며, 시스템 성능의 저하로 이어질 수 있다. 따라서 본 논문은 임계값 𝑇를 이미지의 지역적 특징에 맞게 조정하는 적응형 FAST 임계값 조정 기법을 제안하며, 이미지의 지역적 특성에 맞게 임계값을 조정함으로써 특징점 추출 및 전체 VSLAM 시스템 성능을 향상시키고자 한다.

2.2.1 이미지 그리드 분할

입력 이미지를 균일한 크기의 그리드로 분할 하는 방법을 통해 이미지의 지역적 특성을 고려하여 적응적 처리를 가능하게 한다. 이 방법은 Low-Texture 장면에서는 더 작은 그리드 크기를 사용하여 세밀한 특징을 포착할 수 있고, High-Texture 장면에서 작은 그리드 크기가 지역적 특성을 더 잘 반영할 수 있다. 본 연구의 실험 결과, 30x30이 다양한 환경에서 최적의 성능을 보였다.

2.2.2 지역 최적 임계값 계산 및 적응형 FAST 임계값 적용

각 그리드 셀에 대해 오츠 알고리즘 [31]을 사용하여 최적의 임계값을 계산하고, 이를 바탕으로 FAST 알고리즘에 사용할임계값을 계산한다. 이를 통해 각 그리드 셀 내에서 가장 적합한 밝기 수준을 반영할 수 있다. 이 방법은 다음과 같은 단계로 이루어진다.

• 1) 최적 임계값 계산 : 각 그리드 셀에 대해 오츠 알고리즘을 적용하여 최적의 임계값을 계산한다. 오츠 알고리즘은 클래스 간 분산을 최대화하는 임계값을 찾아주는 방법으로, 식 (7)과 (8)을 통해 구할 수 있으며, 이미지를 두 가지 클래스로 이진화할 때 사용된다. 이를 통해 각 그리드 셀 내에서 가장 적합한 밝기 수준을 반영하고, 이미지의 전체적인 특성을 더 정확하게 파악할 수 있다. t는 임계값, w₀(t)와 w₁(t)는 각각 임계값 t로 나누어진 두 클래스의 확률, μ₀(t)와 μ₁(t)는 각각 두 클래스의 평균 강도이다.

$\[ {\sigma }_B^2\left(t\right)=w_0\left(t\right)w_1\left(t\right){\left[{\mu }_0\left(t\right)-{\mu }_1\left(t\right)\right]}^2 \]$

(7)

$\[ T=\underset{t}{\arg \mathrm{m}\mathrm{a}\mathrm{x}}{\sigma }_B^2\left(t\right) \]$

(8)

• 2) 적응형 FAST 임계값 설정 : 오츠 알고리즘^[31]으로 계산된 최적 임계값을 바탕으로 FAST 알고리즘에서 사용할 임계값을 설정한다. 이때, m은 8비트 그레이스케일 이미지의 중간값으로, 오츠 임계값(T)이 이미지 중간 밝기에서 얼마나 떨어져 있는지를 측정한다. 이미지의 대비가 높을수록 (즉, T가 127.5에서 멀어질수록) 이 값은 커진다. 즉, 이미지의 대비에 따라 FAST 임계값을 조정한다. 대비가 높은 영역에서는 더 높은 FAST 임계값을, 대비가 낮은 영역에서는 더 낮은 임계값을 사용한다. c_min은 최소 FAST 임계값으로, 식 (9)과 같이 FAST 임계값이 너무 낮아 노이즈에 민감하게 반응하는 것을 방지하기 위해 사용한다.

$\[ \begin{array}{l}FAS{T}_{thres }=\mathrm{m}\mathrm{a}\mathrm{x}\left(C_{min},C_{Adaptive }\cdot m\right)\\ m=\left|127.5-T\right|\end{array} \]$

(9)

계산된 최적 임계값을 사용해 FAST 알고리즘에서 적응형 임계값을 두 단계에 걸쳐 적용되며 [Fig. 7]과 같이 최종 임계값을 확인할 수 다. 이 방법은 Low-Texture 환경에서도 안정적인 특징점 검출과 매칭을 가능하게 하여, 위치 추정의 정확도를 높인다. 또한, 이미지 증강 기법과 결합하여 다양한 조건에서도 일관된 성능을 보장한다.

[Fig. 7]

Adaptive FAST Threshold (Left : Original Image, Right : Adaptive FAST Threshold)

3. 실 험

3.1 데이터셋

실험은 TUM RGB 데이터셋^[27]의 다양한 텍스처 시퀀스를 사용하여, 제안된 방법의 성능을 평가했다. TUM RGB 데이터셋의 Texture 시퀀스를 사용하여 수행되었다. 이 데이터셋은 다양한 조명 조건과 낮은 텍스처를 포함하고 있어, 제안된 방법의 효과를 평가하기에 적합하다. 다양한 조명 조건과 텍스처 수준을 포함하고 있어, Low-Texture 및 High-Texture 환경 모두에서 제안된 기법의 성능을 확인하기에 적합한 환경을 제공한다. 실험에 사용된 데이터는 [Table 1]에 요약되어 있으며, 카메라의 움직임에 따라 평면 구간인 No structure 구간과 지그재그 구조를 따르는 Structure 구간으로 나뉘어진다. 텍스처의 여부에 대해서는 특징이 없는 Low texture 구간, 특징이 풍부한 High Texture 구간으로 나뉠 수 있다. 그리고 각각의 구간에서 촬영 거리에 따라 촬영 거리가 먼 Far 구간, 촬영 거리가 가까운 Near 구간으로 나눌 수 있다.

[Table 1]

Description of Dataset

3.2 실험

3.2.1 실험 방법

본 실험에서는 제안된 시스템의 성능을 평가하기 위해 다양한 지표를 측정하였다. 각 프레임에서 검출된 ORB 특징점의 수, 연속된 프레임 간 매칭된 특징점 수, 각 프레임의 추적 에 소요되는 시간(ms), 그리고 FAST 코너 검출기의 적응형 임계값 등을 도출하였다. 또한, 키프레임 경로의 절대 위치 오차(APE) 및 상대 위치 오차(RPE)를 통해 전체 경로 정확도를 분석하였으며, 기준(GT) 경로와 비교하여 값을 계산하였다. 본 논문에서 제안하는 방법을 하나씩 적용 및 혼합해서 적용 시의 결과를 분리해서 제시함으로써, 구체적인 결과 및 전체 ORB SLAM 시스템의 성능 향상 여부를 확인할 수 있다.

3.2.2 실험 결과

[Table 2]는 각 데이터셋에서 검출된 ORB 특징점 수의 평균을 보여준다. 기존 ORB-SLAM보다 ORB-SLAM + IM (Image Manipulation) 및 ORB-SLAM + AT (Adaptive Threshold) 방법은 High-Texture에서 더 많은 특징점을 검출하였으며, Low-Texture 환경에서도 특징점 수의 개선을 확인할 수 있었다. 특히, IM 기반 방법은 Low-Texture 환경에서 고주파 성분 강화 및 구조물 강조를 통해 특징점 검출 성능을 크게 향상시켰다. 예를 들어, Low-Texture-Near 환경에서 IM을 적용한 경우 특징점 검출 수가 146 → 319로 약 118.5% 증가한 것을 확인할 수 있다. 그러나 ORB-SLAM + AT는 적응형 임계값 조정에도 불구하고 일부 Low-Texture 구간에서 특징점 검출 수가 상대적으로 제한되는 한계를 보였다. 반면, 제안된 ORB-SLAM + IM + AT (Proposed) 방법은 IM과 AT의 장점을 결합하여 각각의 단점을 효과적으로 보완하였다.

[Table 2]

Number of ORB Features

Low-Texture-Near 환경에서 특징점 검출 수는 146 → 412로 증가하여 IM 단독 적용 대비 약 29.1% 더 많은 특징점을 검출하였다. 또한, IM과 AT의 결합은 Low-Texture 환경뿐만 아니라 High-Texture 환경에서도 효과적으로 작동하여, 제안된 방법이 기존 ORB-SLAM 대비 평균적으로 30.5% 더 많은 특징점을 검출하였음을 보여준다. Low-Texture 구간에서는 낮은 임계값이 적용되어 더 많은 특징점을 검출하였으며, High-Texture 구간에서는 높은 임계값을 통해 불필요한 특징점 검출을 억제하였다. 또한, IM 적용으로 인해 증가된 노이즈를 고려하여 적응형 임계값이 상황에 따라 적절히 조정되었음을 확인할 수 있다. 이는 제안된 방법이 각 환경에 맞는 최적의 임계값을 설정하여 시스템의 안정성과 정확성을 크게 향상시 음을 나타낸다. [Table 3]은 매칭된 ORB 특징점 수의 평균을 비교한다. ORB-SLAM + IM의 경우 이미지 전처리로 인해 일부 환경에서 노이즈가 증가하여 매칭 성능이 제한되었으나, 제안된 ORB-SLAM + IM + AT 방법은 적응형 임계값 조정을 통해 이러한 문제를 효과적으로 해결하였다. 예를 들어, No -Texture - Near 환경에서 매칭된 특징점 수는 50 → 78로 약 56% 증가하였다. 특히, IM 단독 적용 시 검출된 특징점 중 일부는 노이즈로 인해 매칭되지 않았으나, AT를 병행함으로써 검출된 특징점 중 정확한 특징점만 매칭에 활용되었다. 이는 매칭 성능의 개선이 SLAM 시스템의 궤적 추정 정확도를 높이는 데 중요한 역할을 했음을 보여준다. 또한, [Table 4]에서 확인할 수 있듯이, 텍스처가 부족한 환경에서는 낮은 임계값이 적용되어 의미 있는 특징점만 선택되었으며, IM으로 인해 증가된 노이즈를 고려하여 적절히 조정된 낮은 임계값을 통해 시스템 성능이 더욱 안정화되었다. 이와 같은 실험 결과는 IM과 AT를 결합한 제안된 방법이 기존 ORB-SLAM 대비 더 많은 특징점을 검출하고, 검출된 특징점 중 정확한 매칭을 보장함으로써 전체 SLAM 성능을 극대화할 수 있음을 입증한다. 이는 특히 Low-Texture 환경에서 기존 방법론보다 탁월한 성능을 발휘하며, 제안된 방법이 SLAM 시스템의 안정성과 정확성을 동시에 향상시켰음을 보여준다.

[Table 3]

Number of ORB Features Matching

[Table 4]

Adaptive ORB Threshold

또한, 제안된 ORB-SLAM + IM + AT 방법은 [Table 5]에서 볼 수 있듯, 추가적인 계산 과정을 포함하더라도 실시간 처리 요구를 충족함을 입증한다. 기존 ORB-SLAM보다 평균적으로 더 긴 추적 시간을 보였으나, 한 키프레임당 최대 0.08초의 시간이 소요되어 실시간 처리 기준(30fps)을 만족한다.

[Table 5]

ORB SLAM Tracking time(ms)

[Table 6]은 각 키프레임에 대한 카메라 경로의 RMSE 값을 비교한 결과이다. 제안된 ORB-SLAM + IM + AT 방법은 대부분의 데이터셋에서 기존 ORB-SLAM보다 낮은 RMSE 값을 기록하였다. 특히 Low-Texture-Near 환경에서 RMSE는 0.16 m에서 0.03 m로 약 81.3% 감소하였다. 이러한 감소는 특징점 검출 및 매칭 성능 향상이 궤적 추정의 정확도를 높이는 데 기여했음을 명확히 보여준다. Texture-Far 환경에서도 RMSE가 0.85 m에서 0.59 m로 약 30.6% 감소하여, 다양한 텍스처 조건에서도 안정적인 성능을 제공하였다. [Fig. 8]의 궤적 비교에서도 확인할 수 있듯이, 제안된 방법은 기존 ORB-SLAM과 비교하여 더 정밀한 궤적을 유지하였으며, 특히 Low-Texture 환경에서 궤적의 연속성과 정확성이 강화되었다. 이는 특징점 매칭 성능이 궤적 추정 정확도와 밀접하게 연결되어 있음을 시사하며, 제안된 방법이 위치 인식 성능을 향상시킨다고 볼 수 있다.

[Table 6]

Comparison Results of Camera trajectory on TUM fr3 dataset

[Fig. 8]

Keyframe trajectory comparison of the six sequences. Proposed (blue), ORB‑SLAM (green), PL‑SLAM (red), and Structure‑PLP‑SLAM (purple). (a) No‑structure Texture‑Far, (b) No‑structure Texture‑Near, (c) Structure No‑texture‑Far, (d) Structure No‑texture‑Near, (e) Structure Texture‑Far, (f) Structure Texture‑Near

4. 결론 및 향후 연구

Acknowledgments

This work was supported by Korea Institute for Advancement of Technology (KIAT) grant funded by the Korea Government (MOTIE) (P0024177, Development of RIC (Regional Innovation Cluster)).It was also supported by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No. RS-2025-02219319, Development of Standards for Quantum Cryptography based Zero Trust Secure Network/Service and Control/Management against Quantum Computer Attacks).

References

• R. Mur-Artal and J. D. Tardós, “Orb-SLAM2: An open-source SLAM system for monocular, stereo, and RGB-D cameras,” IEEE Transactions on Robotics, vol. 33, no. 5, pp. 1255-1262, Oct., 2017. [https://doi.org/10.1109/TRO.2017.2705103]
• H. Liu, C. Li, G. Chen, G. Zhang, M. Kaess, and H. Bao, “Robust keyframe-based dense SLAM with an RGB-D camera,” arXiv:1711.05166, 2017. [https://doi.org/10.48550/arXiv.1711.05166]
• G. Yang, Z. Chen, Y. Li, and Z. Su, “Rapid relocation method for mobile robot based on improved ORB-SLAM2 algorithm,” Remote Sensing, vol. 11, no. 2, Jan., 2019. [https://doi.org/10.3390/rs11020149]
• A. Pumarola, A. Vakhitov, A. Agudo, A. Sanfeliu, and F. Moreno-Noguer, “PL-SLAM: Real-time monocular visual SLAM with points and lines, 2017 IEEE International Conference on Robotics and Automation (ICRA), Singapore, pp. 4503-4508, 2017. [https://doi.org/10.1109/ICRA.2017.7989522]
• I. Alamanos and C. Tzafestas, “ORB-LINE-SLAM: An open-source stereo visual SLAM system with point and line features,” TechRxiv, Dec., 2022. [https://doi.org/10.36227/techrxiv.21691949.v1]
• H. Wu, H. Yu, X. Qu, and R. Zhang, “Robust Monocular Visual Odometry with Point-Line Features in Low-texture Scenes,” 2023 China Automation Congress (CAC), Chongqing, China, pp. 706-711, 2023. [https://doi.org/10.1109/CAC59555.2023.10451809]
• G. Pan, Y. Fan, and Y. Guo, “A low-texture monocular visual odometer based on point-line feature,” 2021 5th International Conference on Robotics and Automation Sciences (ICRAS), Wuhan, China, pp. 216-220, 2021. [https://doi.org/10.1109/ICRAS52289.2021.9476464]
• H. Lim, Y. Kim, K. Jung, S. Hu, and H. Myung, “Avoiding degeneracy for monocular visual SLAM with point and line features,” 2021 IEEE International Conference on Robotics and Automation (ICRA), Xi’an, China, pp. 11675-11681, 2021. [https://doi.org/10.1109/ICRA48506.2021.9560911]
• G. Zha, P. Guan, Z. Cao, T. Sun, and S. Yu, “Monocular Visual-Inertial SLAM With IMU-Aided Hybrid Line Matching,” IEEE Sensors Letters, vol. 8, no. 9, pp. 1-4, Sept., 2024. [https://doi.org/10.1109/LSENS.2024.3435988]
• F. Shu, J. Wang, A. Pagani, and D. Stricker, “Structure PLP-SLAM: Efficient Sparse Mapping and Localization using Point, Line and Plane for Monocular, RGB-D and Stereo Cameras,” 2023 IEEE International Conference on Robotics and Automation (ICRA), London, United Kingdom, pp. 2105-2112, 2023. [https://doi.org/10.1109/ICRA48891.2023.10160452]
• Y. Fang, G. Shan, T. Wang, X. Li, W. Liu, and H. Snoussi, “HE-SLAM: A Stereo SLAM System Based on Histogram Equalization and ORB Features,” 2018 Chinese Automation Congress (CAC), Xi’an, China, 2018, pp. 4272-4276. [https://doi.org/10.1109/CAC.2018.8623424]
• Q. Gu, P. Liu, J. Zhou, X. Peng, and Y. Zhang, “DRMS: Dim-Light Robust Monocular Simultaneous Localization and Mapping,” 2021 International Conference on Computer, Control and Robotics (ICCCR), Shanghai, China, pp. 267-271, 2021. [https://doi.org/10.1109/ICCCR49711.2021.9349407]
• L. Yu, E. Yang, and B. Yang, “AFE-ORB-SLAM: Robust monocular vSLAM based on adaptive FAST threshold and image enhancement for complex lighting environments,” Journal of Intelligent & Robotic Systems, vol. 105, no. 2, Feb., 2022. [https://doi.org/10.1007/s10846-022-01645-w]
• Z. Hu, W. Qi, K. Ding, G. Liu, and Y. Zhao, “An Adaptive Lighting Indoor vSLAM With Limited On-Device Resources,” IEEE Internet of Things Journal, vol. 11, no. 17, pp. 28863-28875, Sept., 2024. [https://doi.org/10.1109/JIOT.2024.3406816]
• B. Han, T. Li, Z. Wang, and C. Shi, “Improving the performance of the ORB-SLAM3 with low-light image enhancement,” 2024 14th International Conference on Indoor Positioning and Indoor Navigation (IPIN), Kowloon, Hong Kong, pp. 1-7, 2024. [https://doi.org/10.1109/IPIN62893.2024.10786104]
• G. Chen, G. Du, C. Yang, Y. Xu, C. Wu, H. Hu, F. Dong, and J. Zeng, “An underwater visual SLAM system with adaptive image enhancement,” Ocean Engineering, vol. 326, May, 2025. [https://doi.org/10.1016/j.oceaneng.2025.120896]
• Y. Yu, D. Shi and C. Hua, “Adaptive optimization in feature-based SLAM visual odometry,” Journal of System Simulation, vol. 34, no. 1, pp. 104-112, Jan., 2022. [https://doi.org/10.16182/j.issn1004731x.joss.20-0424E]
• X.-Y. Dai, Q.-H. Meng, S. Jin, and Y.-B. Liu, “Camera view planning based on generative adversarial imitation learning in indoor active exploration,” Applied Soft Computing, vol. 129, Nov., 2022. [https://doi.org/10.1016/j.asoc.2022.109621]
• Y. Quan, D. Fu, Y. Chang and C. Wang, “3D convolutional neural network for low-light image sequence enhancement in SLAM,” Remote Sensing, vol. 14, no. 16, Aug., 2022. [https://doi.org/10.3390/rs14163985]
• Y. Fang and Q. Li, “A semantic SLAM system for low texture and dynamic environments, Third International Conference on Advanced Algorithms and Signal Image Processing (AASIP 2023), vol. 12799, pp. 580-586, Oct., 2023. [https://doi.org/10.1117/12.3005821]
• X. Zhao, A. Zhao, Z. Liao, Z. Huang, and Z. Gao, “A computationally efficient visual SLAM for low-light and low-texture environments based on neural networks,” 2023 IEEE International Conference on Real-time Computing and Robotics (RCAR), Datong, China, pp. 677-682, 2023. [https://doi.org/10.1109/RCAR58764.2023.10249872]
• J. Chen, Y. Shen, Q. Zhu, Q. Jiang, O. Xie, and J. Miao, “Motion blur processing method for visual SLAM system based on local residual blur discrimination network,” Journal of Mechanical Science and Technology, vol. 36, pp. 3653-3666, Jul., 2022. [https://doi.org/10.1007/s12206-022-0640-6]
• B. Zhang, J. Hu, T. Yang, Y. Chen, and H. Hong, “Enhanced Motion Estimation for Autonomous Excavation: Accelerated Semantic Segmentation and ORB Features for Unstructured Environments,” IEEE Access, vol. 12, pp. 157516-157530, Mar., 2024. [https://doi.org/10.1109/ACCESS.2024.3485901]
• Z. Zhao, C. Wu, X. Kong, Z. Lv, X. Du, and Q. Li, “Light-SLAM: A robust deep-learning visual SLAM system based on LightGlue under challenging lighting conditions,” arXiv:2407.02382, 2024. [https://doi.org/10.48550/arXiv.2407.02382]
• E. Rosten and T. Drummond, “Machine learning for high-speed corner detection,” Computer Vision - ECCV 2006, vol. 3951, pp. 430-443, 2006. [https://doi.org/10.1007/11744023_34]
• S. Paris, S. W. Hasinoff, and J. Kautz, “Local Laplacian filters: Edge-aware image processing with a Laplacian pyramid,” ACM Transactions on Graphics (TOG), vol. 30, no. 4, pp. 1-12, Jul., 2011. [https://doi.org/10.1145/2010324.1964963]
• F. Steinbrücker, J. Sturm, and D. Cremers, “Real-time visual odometry from dense RGB-D images,” 2011 IEEE International Conference on Computer Vision Workshops (ICCV Workshops), Barcelona, Spain, pp. 719-722, 2011. [https://doi.org/10.1109/ICCVW.2011.6130321]
• G. Deng, “A Generalized Unsharp Masking Algorithm,” IEEE Transactions on Image Processing, vol. 20, no. 5, pp. 1249-1261, May, 2011. [https://doi.org/10.1109/TIP.2010.2092441]
• W. Rong, Z. Li, W. Zhang, and L. Sun, “An improved CANNY edge detection algorithm,” 2014 IEEE International Conference on Mechatronics and Automation, Tianjin, China, pp. 577-582, 2014. [https://doi.org/10.1109/ICMA.2014.6885761]
• M. Calonder, V. Lepetit, C. Strecha, and P. Fua, “BRIEF: Binary robust independent elementary features,” Computer Vision - ECCV 2010, vol. 6314, pp. 778-792, 2010. [https://doi.org/10.1007/978-3-642-15561-1_56]
• D. Liu and J. Yu, “Otsu method and K-means,” 2009 Ninth International Conference on Hybrid Intelligent Systems, Shenyang, China, pp. 344-349, 2009. [https://doi.org/10.1109/HIS.2009.74]