소실점 정보의 Loss 함수를 이용한 특징선 기반 SLAM

1. 서 론

Global Navigation Satellite System (GNSS) 정보를 이용할 수 없는 실내외 환경에서 로봇의 위치 인식을 위해 동시적 위치추정 및 지도작성(SLAM) 연구가 활발히 진행되었다. 그 중에서도, 카메라를 사용하는 visual SLAM 알고리즘은 특징점을 기반으로 하는 연구가 주로 진행되었다. 하지만, 특징점은 복도와 같이 특징점이 적은 환경에서 잘 추출되지 못한다. 또한, 특징점은 희소하기 때문에 작성된 지도가 구조적 특성을 나타내기 어렵다^[1].

특징점의 단점을 보완하기 위하여, 특징선을 추가로 사용하는 방법들이 제안되었다. 특징선은 복도와 같은 환경에서 중요한 정보로 사용될 수 있다. 또한, 선은 여러 개의 점으로 이루어져 있기 때문에, 빛이 변화하는 환경에서도 강인하다. 마지막으로, 특징선은 구조적 특징을 가지고 있기 때문에, 3차원 지도작성을 통해 구조물에 대한 정보를 확인할 수 있다^[2].

특징선을 visual SLAM에서 사용하기 위하여, 기존 연구에서는 선 측정 모델을 선의 재투영 오차로 정의했다^[3]. 하지만, 3D 선은 4 자유도를 가지기 때문에, 2 자유도를 가지는 선 측정 모델만으로는 관측 가능성을 보장하지 못한다. 이를 해결하기 위해, 우리의 이전 연구에서는 소실점 측정 모델을 제안했다^[4]. 소실점 측정 모델은 카메라 이미지에서 관측된 2D 특징선들을 통해 관측할 수 있는 소실점과, 3차원 특징선으로부터 계산할 수 있는 소실점과의 차이를 잔차로 정의하여 사용한다.

Visual SLAM의 관측 모델들은 이상점을 제거하기 위하여 손실 함수를 사용한다. 일반적인 특징점과 특징선의 재투영 모델의 경우, Huber나 Cauchy 손실 함수를 사용한다. 하지만, 소실점 측정 모델을 일반적인 정규화 이미지 평면의 잔차로 정의하는 경우, 무한대의 값을 가지는 문제가 발생한다. 이는, 최적화 과정에서 특징선의 변수가 변하면서 잔차가 급격하게 변화하는 현상이 발생할 수 있다. UV-SLAM^[4]에서는 소실점 측정 모델의 손실 함수에 대한 분석이 없었다. 이 문제를 해결하기 위해, 본 논문에서는 소실점 측정 모델에 맞는 새로운 손실 함수를 제안한다.

2. 관련 연구

3. 제안 방법

3.1 프레임워크

제안 방법의 전체적인 구조는 [Fig. 1]과 같다. 제안 방법은 VINS-Mono를 기반으로 하여 IMU와 특징점 모델을 사용한다. 특징점은 Shi-Tomasi^[22] 방법을 통해 추출되고, KLT tracker^[23]를 사용하여 추적한다. 이에 더하여, IMU 측정 모델은 pre-integration 방법^[24]을 통해 정의한다. 마지막으로, 최적화 기법을 사용하기 위해서 Schur complement^[25]를 통한 marginalization을 사용한다.

[Fig. 1]

The proposed algorithm’s framework is depicted in a block diagram, where newly added blocks are represented by dashed boxes. Upon receiving an RGB image, the algorithm performs line feature detection and matching, followed by vanishing point detection and line clustering. The triangulation process creates 3D lines, and residuals of lines and vanishing points are defined. Eventually, SLAM results can be achieved by employing sliding window optimization

이와 같은 VINS-Mono 기반의 단안 visual SLAM에 특징선을 추가하기 위하여, 추출 및 매칭을 위해 각각 LSD^[26]와 LBD^[27]를 사용한다. 관측된 특징선은 삼각법을 통해 3차원 특징선으로 만들 수 있다. 3차원 특징점은 (x, y, z)의 형태로 표현할 수 있는 것에 반해, 3차원 특징선은 표현하는 방법이 필요하다. 우리는 Bartoli et al.^[5]에서 사용한 Plücker coordinates와 orthonormal representation을 사용한다. Plücker coordinates는 3차원 특징선을 표현할 수 있는 직관적인 방법으로 다음과 같다:

$\[ \mathbf{L}{\left(\mathbf{n},\mathbf{d}\right)}^{\mathrm{\top }}\in {\mathbb{R}}^6, \]$

(1)

이때 n과 d는 각각 수직과 방향 벡터를 표현한다. Plücker coordinates는 triangulation 및 재투영 과정에서 사용한다. 하지만, 3차원 특징선이 4-DoF인 것에 반해, Plücker coordinates로 표현된 3차원 특징선은 6-DoF다. 따라서, 최적화 과정에서 over-parameterization이 발생한다. 이 문제를 해결하기 위해, 최적화 과정에서는 4-DoF를 가지는 orthonormal representation을 사용하고, 다음과 같다:

$\[ \mathbf{o}=\left[\psi ,\varphi \right], \]$

(2)

이때 ψ와 ϕ는 각각 카메라 좌표계를 기준으로 하는 3차원 특징선 자세의 Euler 각과 3차원 특징선과 카메라 원점까지의 최소 거리를 의미한다.

우리가 제안하는 방법은 특징선과 함께 특징선에서 얻을 수 있는 소실점을 사용한다. 소실점은 특징선이 구조적 규칙성을 가지고 있는지 판단할 수 있는 정보를 가지고 있다. 우리는 소실점 추출을 위해 J-linkage^[28]를 사용한다. 이 방법은 잡음과 이상점이 존재하는 상황에서 여러가지 후보군을 찾을 수 있는 방법이다. 이를 통해, Manhattan world 가정 없이 더 많은 개수의 소실점을 찾을 수 있다는 장점이 있다.

이 논문에서 (·)^w, (·)^c, 그리고 (·)^b는 각각 world, camera, 그리고 body 좌표계를 의미한다. 이에 더하여 $$ {\left(\cdot \right)}_c^b$$는 body에서 camera 좌표계로의 변환행렬을 의미한다. 이 시스템에서 사용하는 상태 벡터는 다음과 같다:

$\[ \begin{array}{c}\text{χ}=\begin{array}{l}\left[{\mathbf{x}}_0,{\mathbf{x}}_1,\cdots ,{\mathbf{x}}_{I-1},\right.\hfill \\ {\mathbf{\text{λ}}}_0,{\mathbf{\text{λ}}}_1,\cdots ,{\mathbf{\text{λ}}}_{J-1},\hfill \\ \left.{\mathbf{o}}_0,{\mathbf{o}}_1,\cdots ,{\mathbf{o}}_{K-1}\right],\hfill \end{array}\hfill \\ {\mathbf{x}}_i=\left[{\mathbf{p}}_{b_i}^w,{\mathbf{q}}_{b_i}^w,{\mathbf{v}}_{b_i}^w,{\mathbf{b}}_a,{\mathbf{b}}_g\right],i\in \left[0,I-1\right],\hfill \\ {\mathbf{o}}_k=\left[{\mathit{\psi }}_k,{\varphi }_k\right],k\in \left[0,K-1\right],\hfill \end{array} \]$

(3)

이때 χ는 전체 상태 벡터, 그리고 x_i는 위치, 자세, 속도, 그리고 bias들로 이루어진 i번째 sliding window의 body 상태 벡터를 의미한다. 이에 더하여, 전체 상태 벡터는 $$ {\lambda }_j,j\in \left[0,J-1\right]$$로 표현된 특징점의 역 깊이를 포함하고 있다. 이 논문에서는 o로 표현된 특징선의 orthonormal representation이 새롭게 추가되었다. I, J, 그리고 K는 각각 sliding window, 특징점, 그리고 특징선의 숫자를 의미한다.

식 (3)에서 정의한 상태 벡터를 사용한 최적화 과정의 비용 함수는 다음과 같다:

$\[ \begin{array}{c}\underset{\text{χ}}{\text{min}}\left\{{∥{\mathbf{\text{r}}}_0-{\mathbf{\text{J}}}_0\mathbf{\text{χ}}∥}^2\right.\hfill \\ +\sum _{i\in B}{∥{\mathbf{r}}_I\left({\mathbf{z}}_{b_{i+1}}^{b_i},\mathbf{\text{χ}}\right)∥}_{{\Sigma }_{b_{i+1}}^{b_i}}^2+\sum _{\left(i,j\right)\in P}{\rho }_p{∥{\mathbf{r}}_p\left({\mathbf{z}}_{p_j}^{c_i},\mathbf{\text{χ}}\right)∥}_{{\Sigma }_{p_j}^{c_i}}^2\hfill \\ \left.+\sum _{\left(i,k\right)\in L}{\rho }_l{∥{\mathbf{r}}_l\left({\mathbf{z}}_{l_k}^{c_i},\mathbf{\text{χ}}\right)∥}_{{\Sigma }_{l_k}^{c_i}}^2+\sum _{\left(i,k\right)\in V}{\rho }_v{∥{\mathbf{r}}_v\left({\mathbf{z}}_{v_k}^{c_i},\mathbf{\text{χ}}\right)∥}_{{\Sigma }_{v_k}^{c_i}}^2\right\},\hfill \end{array} \]$

(4)

이때 r₀, r_I, r_p, r_l, and r_v는 각각 marginalization, IMU, 특징점, 특징선, 그리고 소실점 측정 모델에 대한 잔차를 의미한다. $$ {\mathbf{\text{z}}}_{b_{i+1}}^{b_i}$$, $$ {\mathbf{\text{z}}}_{p_j}^{c_i}$$, $$ {\mathbf{\text{z}}}_{l_k}^{c_i}$$, 그리고 $$ {\mathbf{\text{z}}}_{v_k}^{c_i}$$는 각각 IMU, 특징점, 특징선, 그리고 소실점에 대한 관측을 의미한다. B, P, L, 그리고 V는 각각 sliding window 내 IMU pre-integration, 특징점, 특징선, 그리고 소실점 측정에 대한 집합을 의미한다. $$ {\Sigma }_{b_{i+1}}^{b_i}$$, $$ {\Sigma }_{p_j}^{c_i}$$, $$ {\Sigma }_{l_k}^{C_i}$$, 그리고 $$ {\Sigma }_{v_k}^{c_i}$$는 각각 IMU, 특징점, 특징선, 그리고 소실점 측정에 대한 공분산 행렬을 의미한다. ρ_p, ρ_l, ρ_v는 각각 특징점, 특징선, 그리고 소실점에의 손실 함수를 의미한다. 최적화 과정에서는 Ceres Solver^[29]를 사용한다.

3.3 소실점 측정 모델

이 논문에서는 특징선에서 얻을 수 있는 소실점을 관측된 정보로 사용한다. 특징선 측정 모델과 비슷하게, 3차원 특징선으로부터 소실점을 추정한다. 소실점을 추정하기 위해서, 3차원 특징선 위 한 점을 동차 좌표계로 표현하면 다음과 같다:

$\[ \mathbf{V}\left(t\right)={\mathbf{V}}_0+t\mathbf{D}=\left[\begin{array}{c}{x}_0+t{d}_1\hfill \\ y_0+t{d}_2\\ z_0+t{d}_3\\ 1\end{array}\right], t\in \left(0,\mathrm{\infty }\right), \]$

(11)

이때

$\[ \begin{array}{c}{\mathbf{V}}_0={\left[\begin{array}{cccc}{x}_0\hfill & y_0\hfill & z_0\hfill & 1\hfill \end{array}\right]}^{\mathrm{\top }},\hfill \\ \mathbf{D}={\left[{\mathbf{d}}^{c\mathrm{\top }},0\right]}^{\mathrm{\top }}={\left[d_1,d_2,d_3,0\right]}^{\mathrm{\top }},\hfill \end{array} \]$

(12)

여기서 V₀는 3차원 특징선 위의 한 점을 의미한다. 소실점의 정의처럼 3차원 특징선 위 무한대의 점을 투영시키면 다음과 같다:

$\[ {\mathbf{v}}^c=\left[\begin{array}{c}{v}_1\hfill \\ v_2\\ v_3\end{array}\right]=\underset{t\to \mathrm{\infty }}{\text{lim}}\mathbf{P}\left({\mathbf{V}}_0+t\mathbf{D}\right)={\mathbf{K}\mathbf{d}}^c={\mathbf{d}}^c, \]$

(13)

이때 P = K[I|0]는 카메라 투영 행렬이다. 마찬가지로, 우리가 제안하는 알고리즘에서는 정규화된 이미지를 사용하기 때문에, 추정된 소실점은 3차원 특징선의 방향벡터와 같다. 최종적으로, 소실점 측정 모델에 대한 잔차는 다음과 같다:

$\[ {\mathbf{r}}_v={\mathbf{P}}_v-\frac{1}{v_3}\left[\begin{array}{c}{v}_1\\ v_2\end{array}\right], \]$

(14)

이때, r_v과 P_v는 각각 소실점 측정 모델의 잔차와 이미지에서 관측된 특징선으로부터 계산한 소실점 관측 정보다.

소실점 모델의 잔차에 상응하는 자코비안 행렬을 δx와 δo를 통해 표현하면 다음과 같다:

$\[ {\mathbf{J}}_v=\frac{\partial {\mathbf{r}}_v}{\partial {\mathbf{v}}^c}\frac{\partial {\mathbf{v}}^c}{\partial {\mathbf{L}}^c}\left[\frac{\partial {\mathbf{L}}^c}{\partial \delta \mathbf{x}} \frac{\partial {\mathbf{L}}^c}{\partial {\mathbf{L}}^w}\frac{\partial {\mathbf{L}}^w}{\partial \delta \mathbf{o}}\right] \]$

(15)

이때

$\[ \begin{array}{c}\frac{\partial {\mathbf{r}}_v}{\partial {\mathbf{v}}^c}={\left[\begin{array}{ccc}-\frac{1}{v_3}& 0& \frac{v_1}{v_3^2}\\ 0& -\frac{1}{v_3}& \frac{v_2}{v_3^2}\end{array}\right]}_{2\times 3},\hfill \\ \frac{\partial {\mathbf{v}}^c}{\partial {\mathbf{L}}^c}={\left[\begin{array}{cc}{0}_{3\times 3}\hfill & \mathbf{K}\hfill \end{array}\right]}_{3\times 6}.\hfill \end{array} \]$

(16)

제안하는 소실점 관측 모델은 일반적인 정규화 이미지 평면이 아닌, 단위 구에서의 잔차로 정의하고 [Fig. 2]와 같다. 또한, 이를 식으로 표현하면 다음과 같다:

$\[ ‖\mathbf{ }\mathbf{r}\mathbf{ }‖=r\theta =r{\mathrm{t}\mathrm{a}\mathrm{n}}^{-1}\left(\frac{s}{r}\right)={\mathrm{t}\mathrm{a}\mathrm{n}}^{-1}s, \]$

(17)

[Fig. 2]

Illustration of the residuals from two different views: a perspective view and a top view. The green arc represents the inverse tangent loss function proposed in this paper

이때 r, r, s, 그리고 θ는 각각 단위 구에서의 잔차, 단위 구의 반지름, 정규화 이미지 평면에서의 잔차, 그리고 소실점 관측과 추정 사이의 각도 차이를 의미한다. 최종적으로, 우리는 소실점 측정 모델의 손실 함수로 역탄젠트 함수를 사용한다.

4. 실험 방법 및 결과

실험은 32GB RAM이 장착된 Intel Core i7-9700K 프로세서 PC에서 수행되었다. 우리가 제안하는 소실점 측정 모델의 손실 함수가 타당함을 입증하기 위해, 영상 관성 오도메트리의 성능 평가에서 주로 사용되는 EuRoC dataset^[30]을 사용했다. 이 데이터셋은 조명, 텍스처 및 MAV 속도와 같은 다양한 요인을 포함하고 있다. 비교 알고리즘으로는 우리가 제안하는 방법이 기반으로 하는 VINS-Mono를 선정했다. 또한, 특징선을 사용하는 알고리즘인 PL-VINS, ALVIO^[2], 그리고 우리가 이전에 제안했던 알고리즘^[3]과 비교했다. 우리는 위치 정확도 비교를 위해 rpg trajectory evaluation tool^[31]을 사용했다.

[Table 1]은 EuRoC dataset에서 각 알고리즘의 평균 제곱근 오차에 대한 표다. 제안한 방법은 VINS-Mono, PL-VINS, ALVIO, 그리고 우리가 이전에 제안했던 알고리즘^[3]보다 약 32.3%, 23.8%, 26.4%, 그리고 17.6% 더 작은 평균 제곱근 오차를 보였다. 이는 다른 최신 알고리즘과 다르게, 소실점 측정 모델 및 적절한 손실 함수를 사용했기 때문에 더 좋은 결과를 얻을 수 있었다.

[Table 1]

Translational RMSE without loop closing for the EuRoC dataset(Unit: m)

[Fig. 3]은 EuRoC dataset의 MH_04_difficult에서 ALVIO와 우리가 제안한 알고리즘의 특징선 지도 작성 결과다. ALVIO의 경우 특징선들이 부정확한 것을 확인할 수 있다. 이와는 다르게, 우리가 제안한 알고리즘에선 소실점 측정 모델을 사용하기 때문에, 3차원 특징선들이 구조적 규칙성을 가지며 정확하게 지도 작성이 되는 것을 확인할 수 있다.

[Fig. 3]

The top views of mapping results of ALVIO (left) and proposed (right) for MH_04_difficult in the EuRoC datasets

5. 결 론

이 논문에서는 소실점 측정 모델을 위한 손실 함수를 제안하여 특징선 기반 SLAM의 정확도 및 지도 작성의 정확도를 향상시켰다. 추후에는, 추정된 위치 및 3차원 특징점 및 특징선 정보를 통해 3차원 지도를 재구성하는 연구를 진행할 예정이다.

Acknowledgments

This work was financially supported in part by Institute of Information & communications Technology Planning & Evaluation (IITP) grant funded by the Korea government (MSIT) (No. 2021-0-00230, development of real · virtual environmental analysis based adaptive interaction technology). The students are supported by BK21 FOUR

References

• Y. He, J. Zhao, Y. Guo, W. He, and K. Yuan, “PL-VIO: Tightly coupled monocular visual–inertial odometry using point and line features,” Sensors, vol. 18, no. 4, pp. 1159, Apr., 2018, [Online], https://www.mdpi.com/1424-8220/18/4/1159, . [https://doi.org/10.3390/s18041159]
• K. Jung, Y. Kim, H. Lim, and H. Myung, “ALVIO: Adaptive line and point feature-based visual inertial odometry for robust localization in indoor environments,” International Conference on Robot Intelligence Technology and Applications (RiTA), Singapore, 2021, pp. 171-184, [Online], https://link.springer.com/chapter/10.1007/978-981-16-4803-8_19, . [https://doi.org/10.1007/978-981-16-4803-8_19]
• H. Lim, Y. Kim, K. Jung, S. Hu, and H. Myung, “Avoiding Degeneracy for Monocular Visual SLAM with Point and Line Features,” IEEE International Conference on Robotics and Automation (ICRA), Xi’an, China, 2021. [https://doi.org/10.1109/ICRA48506.2021.9560911]
• H. Lim, J. Jeon, and H. Myung, “UV-SLAM: Unconstrained Line-Based SLAM Using Vanishing Points for Structural Mapping,” IEEE Robotics and Automation Letters, vol. 7, no. 2, pp. 1518-1525, Apr., 2022. [https://doi.org/10.1109/LRA.2022.3140816]
• A. Bartoli and P. Sturm, “Structure-from-motion using lines: Representation, triangulation, and bundle adjustment,” Computer Vision and Image Understanding, vol. 100, no. 3, pp. 416-441, Dec., 2005. [https://doi.org/10.1016/j.cviu.2005.06.001]
• F. Zheng, G. Tsai, Z. Zhang, S. Liu, C.-C. Chu, and H. Hu, “Trifo-VIO: Robust and Efficient Stereo Visual Inertial Odometry Using Points and Lines,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Madrid, Spain, 2018. [https://doi.org/10.1109/IROS.2018.8594354]
• Y. Yang, P. Geneva, K. Eckenhoff, and G. Huang, “Visual-Inertial Odometry with Point and Line Features, IEEE International Workshop on Intelligent Robots and Systems (IROS), Macau, China, 2019. [https://doi.org/10.1109/IROS40897.2019.8967905]
• A. I. Mourikis and S. I. Roumeliotis, “A Multi-State Constraint Kalman Filter for Vision-aided Inertial Navigation,” IEEE International Conference on Robotics and Automation (ICRA), Rome, Italy, pp. 3565-3572, 2007. [https://doi.org/10.1109/ROBOT.2007.364024]
• A. Pumarola, A. Vakhitov, A. Agudo, A. Sanfeliu, and F. Moreno-Noguer, “PL-SLAM: Real-time Monocular Visual SLAM with Points and Lines,” IEEE International Conference on Robotics and Automation (ICRA), Singapore, pp. 4503-4508, 2017. [https://doi.org/10.1109/ICRA.2017.7989522]
• X. Zuo, X. Xie, Y. Liu, and G. Huang, “Robust visual SLAM with Point and Line Features,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Vancouver, Canada, pp. 1775-1782, 2017. [https://doi.org/10.1109/IROS.2017.8205991]
• S. J. Lee and S. S. Hwang, “Elaborate Monocular Point and Line SLAM with Robust Initialization,” International Conference on Computer Vision (ICCV), Seoul, Korea, pp. 1121-1129, 2019. [https://doi.org/10.1109/ICCV.2019.00121]
• R. Mur-Artal, J. M. M. Montiel, and J. D. Tardos, “ORB-SLAM: A Versatile and Accurate Monocular SLAM System,” IEEE Transactions on Robotics, vol. 31, no. 5, pp. 1147-1163, Aug., 2015. [https://doi.org/10.1109/TRO.2015.2463671]
• T. Qin, P. Li, and S. Shen, “VINS-mono: A Robust and Versatile Monocular Visual-Inertial State Estimator,” IEEE Transactions on Robotics, vol. 34, no. 4, pp. 1004-1020, Aug., 2018. [https://doi.org/10.1109/TRO.2018.2853729]
• P. Kim, B. Coltin, and H. J. Kim, “Low-Drift Visual Odometry in Structured Environments by Decoupling Rotational and Translational Motion,” IEEE International Conference on Robotics and Automation (ICRA), Brisbane, Australia, 2018. [https://doi.org/10.1109/ICRA.2018.8463207]
• Y. Li, N. Brasch, Y. Wang, N. Navab, and F. Tombari, “Structure-SLAM: Low-Drift Monocular SLAM in Indoor Environments,” IEEE Robotics and Automation Letters, vol. 5, no. 4, pp. 6583-6590, Oct., 2020. [https://doi.org/10.1109/LRA.2020.3015456]
• P. Kim, B. Coltin, and H. J. Kim, “Indoor RGB-D compass from a single line and plane,” Conference on Computer Vision and Pattern Recognition (CVPR), Salt Lake City, USA, 2018. [https://doi.org/10.1109/CVPR.2018.00491]
• R. Yunus, Y. Li, and F. Tombari, “ManhattanSLAM: Robust Planar Tracking and Mapping Leveraging Mixture of Manhattan Frames,” IEEE International Conference on Robotics and Automation (ICRA), Xi’an, China, pp. 6687-6693, 2021. [https://doi.org/10.1109/ICRA48506.2021.9562030]
• H. Zhou, D. Zou, L. Pei, R. Ying, P. Liu, and W. Yu, “StructSLAM: Visual SLAM with Building Structure Lines,” IEEE Transactions on Vehicular Technology, vol. 64, no. 4, pp. 1364-1375, Apr., 2015. [https://doi.org/10.1109/TVT.2015.2388780]
• D. Zou, Y. Wu, L. Pei, H. Ling, and W. Yu, “StructVIO: Visual-Inertial Odometry With Structural Regularity of Man-Made Environments,” IEEE Transactions on Robotics, vol. 35, no. 4, pp. 999-1013, Aug., 2019. [https://doi.org/10.1109/TRO.2019.2915140]
• J. Lee and S.-Y. Park, “PLF-VINS: Real-time monocular visual-inertial SLAM with point-line fusion and parallel-line fusion,” IEEE Robotics and Automation Letters, vol. 6, no. 4, pp. 7033-7040, Oct., 2021. [https://doi.org/10.1109/LRA.2021.3095518]
• J. Ma, X. Wang, Y. He, X. Mei, and J. Zhao, “Line-based stereo SLAM by Junction Matching and Vanishing Point Alignment,” IEEE Access, vol. 7, pp. 181800-181811, Dec., 2019. [https://doi.org/10.1109/ACCESS.2019.2960282]
• J. Shi and Tomasi, “Good features to track,” IEEE Computer Society Conference on Computer Vision and Pattern Recognition Workshops (CVPRW), Seattle, USA, pp. 593-600, 1994. [https://doi.org/10.1109/CVPR.1994.323794]
• B. D. Lucas and T. Kanade, “An Iterative Image Registration Technique with an Application to Stereo Vision,” International Joint Conference on Artificial Intelligence, Vancouver, Canada, pp. 674-679, 1981, [Online], https://onlinelibrary.wiley.com/doi/10.1002/rob.20360, .
• C. Forster, L. Carlone, F. Dellaert, and D. Scaramuzza, “On-Manifold Preintegration for Real-Time Visual-Inertial Odometry,” IEEE Transactions on Robotics, vol. 33, no. 1, pp. 1-21, Feb., 2017. [https://doi.org/10.1109/TRO.2016.2597321]
• G. Sibley, L. Matthies, and G. Sukhatme, “Sliding window filter with application to planetary landing,” Journal of Field Robotics, vol. 27, no. 5, pp. 587-608, Aug., 2010. [https://doi.org/10.1002/rob.20360]
• R. G. Von Gioi, J. Jakubowicz, J.-M. Morel, and G. Randall, “LSD: A Fast Line Segment Detector with a False Detection Control,” IEEE Transactions on Pattern Analysis and Machine Intelligence, vol. 32, no. 4, pp. 722-732, Apr., 2008. [https://doi.org/10.1109/TPAMI.2008.300]
• L. Zhang and R. Koch, “An efficient and robust line segment matching approach based on LBD descriptor and pairwise geometric consistency,” Journal of Visual Communication and Image Representation, vol. 24, no. 7, pp. 794-805, Oct., 2013. [https://doi.org/10.1016/j.jvcir.2013.05.006]
• R. Toldo and A. Fusiello, “Robust Multiple Structures Estimation with J-Linkage,” European Conference on Computer Vision (ECCV), Berlin, Germany, pp. 537-547, 2008. [https://doi.org/10.1007/978-3-540-88682-2_41]
• S. Agarwal, K. Mierle, and Others, “Ceres solver,” [Online], http://ceres-solver.org, , Accessed: May 1, 2023.
• M. Burri, J. Nikolic, P. Gohl, T. Schneider, J. Rehder, S. Omari, M. W. Achtelik, and R. Siegwart, “The EuRoC micro aerial vehicle datasets,” The International Journal of Robotics Research, vol. 35, no. 10, pp. 1157-1163, Jan., 2016. [https://doi.org/10.1177/0278364915620033]
• Z. Zhang and D. Scaramuzza, “A Tutorial on Quantitative Trajectory Evaluation for Visual (-Inertial) Odometry,” IEEE International Workshop on Intelligent Robots and Systems (IROS), Madrid, Spain, pp. 7244-7251, 2018. [https://doi.org/10.1109/IROS.2018.8593941]