Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 20, No. 1, pp.138-143
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 28 Feb 2025
Received 24 Oct 2024 Revised 12 Nov 2024 Accepted 12 Nov 2024
DOI: https://doi.org/10.7746/jkros.2025.20.1.138

합성곱 신경망(CNN) 기반 새로운 호흡 환기량 추정 모델 개발

추정연1 ; 백재현1 ; 정강수1 ; 정승원1 ; 박영진2 ; 이호수
Development of a Novel Ventilation Estimation Model Based on Convolutional Neural Network (CNN)
Jeongyeon Chu1 ; Jaehyon Baik1 ; Kangsu Jeong1 ; Seungwon Jung1 ; Youngjin Park2 ; Hosu Lee
1Bachelor Student, Department of Control and Robot Engineering, Gyeongsang National University, Jinju, Korea chookk55@naver.combjhme22@naver.comrkdtn5784@gmail.comdokdonia@naver.com
2Assistant Professor, School of Mechanical Engineering, Gyeongsang National University, Jinju, Korea youngjin.park@gnu.ac.kr

Correspondence to: Associate Professor, Department of Control and Robot Engineering & School of Aerospace Engineering, Gyeongsang National University, Jinju, Korea ( lakelee77@gnu.ac.kr)

CopyrightⓒKROS

Abstract

Recently, ventilation (VE) has been studied as an alternative to estimating energy expenditure. Wearable sensors used for respiratory monitoring such as VE can be affected by motion artifacts, leading to signal distortion. Therefore, this study aims to monitor respiration using a microphone sensor to estimate the respiratory parameter, VE (ventilation). A CNN model was implemented to estimate ventilation using respiratory sounds processed into Mel-spectrograms. The experiment was conducted in a treadmill environment with a protocol involving progressively increasing speed over a total of 15 minutes, during which both respiratory sounds and VE (Truth Reference) were collected simultaneously. The results showed a Pearson correlation coefficient of 0.96 ± 0.01, R² of 0.84 ± 0.07, and MAE of 6.66 ± 2.09. These results demonstrate a high correlation between respiratory sounds and VE, suggesting the potential for estimating VE using respiratory sounds.

Keywords:

Energy Expenditure, Ventilation, Respiratory Sound, Mel-Spectrogram, CNN

1. 서 론

최근 헬스케어에 대한 관심이 증가하면서 스마트 워치와 같은 웨어러블 기기를 활용한 건강 상태 모니터링이 각광받고 있다. 웨어러블 기기에는 다양한 센서(심박센서, 가속도계) 등이 내장되어 있어 심박수, 걸음 수, 에너지소비량 등의 정보가 제공된다[1]. 특히 신체 활동으로 인해 소비되는 에너지를 의미하는 에너지소비량은 운동 강도와 능력을 평가하는 주요 지표로 활용된다[2].

에너지소비량을 측정하는 주요 방법에는 직접 열량 측정법(direct calorimetry), 간접 열량 측정법(indirect calorim-etry), 그리고 비열량 측정법(non-calorimetric)이 있다. 직접 열량 측정법은 등온 챔버(isothermal chamber)내에서 사람에게서 발생하는 열 손실을 측정하는 방식으로 에너지소비량을 측정한다[3]. 직접 열량 측정법은 가장 정확하지만 비실용적이고 비용이 많이 들어 접근성이 낮다. 간접 열량 측정법은 호흡 가스 대사 분석 시스템(Metabolic Gas Analysis System, COSMED K5)을 통해 측정된 산소 섭취량(VO2 )과 이산화탄소 배출량(VCO2 )을 바탕으로 에너지소비량을 산출하여 측정한다[2]. 호흡 가스 대사 분석 시스템은 높은 정확도를 갖기 때문에 많은 실험에서 표준 장비로 활용되지만, 측정 장비가 고가이며, 마스크를 착용해야 하기 때문에 다양한 환경 또는 일상생활 중에 사용하는데 한계가 있다. 비열량측정법은 열량을 직접 측정하지 않고, 에너지소비와 관련된 변수를 통해 에너지소비량을 추정하는 방법으로, 비침습적이고 비용이 낮은 장점이 있다[4]. 또한 측정 장치들은 사용이 간편하도록 설계되어 있어 활동 유형이나 지속 시간, 강도에 제한없이 자연스러운 생활을 할 수 있게 한다[5].

널리 사용되는 비열량 측정 방법에는 심박수와 신체 움직임과 같은 생리적 및 운동학적 변수를 심박센서나 가속도계로 모니터링하여 에너지소비량을 추정하는 방법이 있다[6,7]. 팔목과 허벅지와 같은 신체 부위의 가속도는 움직임 정보를 직접적으로 반영하지만, 경사오르기와 같은 움직임의 노력 정도에 대한 정보가 부족하여 물건을 다루는 등의 복잡한 활동을 평가하는 데는 어려움이 있다[8]. 심박수 역시 신체 활동 강도의 변화를 반영하는 생리적인 변수이지만 정신적 스트레스, 자세, 활동 방식 등의 다양한 요인에 의해 영향을 받을 수 있다. 또한, 심박수와 에너지소비량 사이의 연관성이 휴식 및 저강도 활동에서 약하다는 점이 중요한 제한 요소이다[8,9]. C. Villars 외 9명은 심박수와 가속도 데이터를 통합하여 에너지소비량을 추정하여 정확도를 높였으나, 각각의 단점이 여전히 존재한다[10].

최근, 호흡 환기량(VE, Ventilation)이 에너지소비량 추정의 대안으로 연구되고 있다. 환기량은 1분간 폐를 통해 흡입되고 배출되는 공기의 총량으로서, 심박수 보다 에너지소비량과 높은 선형 관계를 가진다고 확인되었다[8,11]. 정확한 환기량을 측정하기 위해서는 스파이로미터(Spirometer)와 같은 폐 기능을 측정하는 장비 또는 호흡 가스 대사 분석 시스템이 필요하고, 이는 휴대성과 착용성이 떨어진다[12]. R. Alam외 2명은 천식과 같은 만성 심폐 질환이 있는 환자의 호흡 모니터링을 위해, 착용형 심전도(ECG)와 IMU신호로 호흡 환기량을 추정하는 연구를 수행하였다[13]. K. Lu외 5명은 임피던스 뉴모그래피(Impedance Pneumography)기술이 접목된 착용형 기기를 이용해 상대적 환기량값(VE-rel)을 간접 측정하고, 심박수, 팔목, 허벅지 부위의 가속도 데이터와 통합하여 에너지소비량을 추정하였다[8]. 그러나 간접 측정된 상대적 환기량(VE-rel)이 환기량(VE)과의 선형성이 낮다는 결과를 보였으며, 그 원인 중 하나로 모션 아티팩트(Motion artifact)가 지목되었다[8]. 모션 아티팩트는 활동 중 미끄러지는 등의 움직임으로 인해 신호가 왜곡되는 현상을 의미하며, 스마트 셔츠와 같은 착용형 기기는 신체에 밀착되는 섬유 기질과 같은 소재를 사용하기 때문에 모션 아티팩트 현상이 일어나기 쉽다[12,14].

따라서, 본 논문에서는 마이크로폰 센서로부터 취득한 호흡음을 이용해 환기량을 추정하는 새로운 모델을 제안하고자 한다. 마이크로폰 센서는 다른 센서에 비해 모션 아티팩트에 강건할 뿐만 아니라, 휴대용 장치와 높은 호환성을 갖는 장점을 가지고 있다[15,16]. 이와 같은 이유로, 호흠음을 입력으로 하는 CNN (Convolutional Neural network) 신경망을 기반으로 환기량을 추정하는 모델을 구현하고 평가하였다.


2. 방 법

2.1 오디오 데이터 취득 및 전처리

본 연구에서는 호흡음 데이터를 수집하기 위해 일렉트릿 콘덴서 마이크(SYNCO, Shenzhen, China)를 사용하였으며, 44,100 Hz의 샘플링 속도로 데이터를 취득하였다. 일렉트릿 콘덴서 마이크는 높은 민감도와 넓은 대역폭에서 안정적인 주파수 응답을 제공하며, 스마트폰과 같은 장치와 함께 사용하기에도 적합하다[15].

수집된 호흡음 데이터는 200-800 Hz 범위의 3차 Butterworth 대역 통과 필터를 적용하여 심장소리, 50 Hz 전자 잡음, 외부 소음 등과 같은 불필요한 고주파 및 저주파 잡음을 제거하였다. 이를 통해 호흡음과 무관한 잡음을 최소화하였다. 계산 부담을 줄이고 호흡 패턴 및 주파수 변화와 같은 유의미한 특징을 추출하기 위해, 수집된 호흡음 데이터를 15초 단위로 분할한 후 각 분할된 데이터를 멜 스펙트로그램(mel-spectrogram)으로 변환하였다. 한 호흡 주기가 3~5초 정도이므로 15초 간격에는 3~5회의 호흡 사이클이 포함되어 충분한 호흡 정보를 담는다[8]. 멜 스펙트로그램은 멜 스케일(Mel-scale)을 사용해 오디오 데이터를 시간-주파수 영역으로 시각화하는 방식으로, 인간의 청각과 유사하게 소리를 분석할 수 있도록 설계되었으며, 직관적인 정보를 제공해 음성 인식 및 생체 신호 분석 등 다양한 분야에서 널리 활용된다[17,18].

따라서, 멜 스펙트로그램을 활용한 오디오 데이터 처리는 본 연구에서 호흡음을 효과적으로 분석하는 데 적합하다. 호흡음 데이터 처리 과정은 [Fig. 1]에 요약되어 있다.

[Fig. 1]

Audio data preprocessing

2.2 환기량 데이터 취득

환기량의 참조값(Truth Reference)데이터를 취득하기위해 호흡가스 대사분석 시스템 K5 (Cosmed, Rome, Italy)를 통해 환기량 값이 매 호흡(Breath by Breath)마다 측정되었으며, 15 초 단위로 분할된 호흡음의 멜 스펙트로그램 이미지와 대응되도록 15 초 간의 환기량 값의 평균을 산출하였다.

2.3 호흡음을 통한 환기량 추정 신경망 모델

본 연구의 목적은 호흡음을 기반으로, 트레드밀 환경에서 다양한 운동 강도에 따른 환기량을 추정하는 모델을 구현하고 그 성능을 평가하는 것이다. 이를 위해, 15초 단위로 분할된 호흡음의 멜 스펙트로그램 이미지를 입력으로 사용하는 CNN (Convolutional Neural Network) 모델을 구현하였다.

CNN은 이미지 분석에 특화된 신경망 구조로, 입력 데이터에서 공간적 패턴과 특징을 효과적으로 추출하는데 적합하다. 멜 스펙트로그램은 시간-주파수 영역을 시각적으로 표현하기 때문에, CNN을 활용하여 시간에 따른 주파수 변화와 호흡 패턴 등의 특징을 분석할 수 있다. 본 연구에서 구현된 CNN 모델은 이미지에서 특징을 추출하는 합성곱층과 추정된 환기량 값을 출력하는 완전 연결층으로 구성된다. [Fig. 2]는 CNN 모델의 구조를 보여준다. 첫 번째 Convolutional Layer는 입력(RGB 채널), 출력 채널 수가 3, 32로 사용되고, 커널 크기 3x3과 패딩 1을 적용된다. 이 레이어는 이미지의 기본 특징을 추출하며, ReLU 활성화 함수가 사용된다. 이후 Max Pooling (2x2)을 사용하여 주요 특징을 요약하고 연산량을 줄였다. 두 번째 Convolutional Layer는 채널 수를 64로 늘려, 보다 복잡한 특징을 학습할 수 있도록 하였다. 동일한 커널 크기와 패딩 설정이 적용되며, ReLU와 Max Pooling (2x2)을 통해 특징을 요약한다. 세 번째 Convolutional Layer는 채널 수를 128로 설정하여 더 고차원적인 특징을 추출한다. 이 레이어는 Adaptive Average Pooling ((4, 4))을 적용하여 고정된 크기의 특징 맵을 생성한다. 이후 Fully Connected Layer (fc1)는 세번째 Convolutional Layer에서 생성된 128x4x4 크기의 평탄화(flatten) 된 특징 맵을 입력으로 받아 128개의 뉴런을 출력한다. 그 다음 ReLU 활성화 함수가 적용된 후, Dropout (0.5)을 적용하여 과적합을 방지하였다. 두 번째 Fully Connected Layer (fc2)는 최종출력부로, 128개의 입력뉴런을 받아 최종적으로 1개의 최종 예측값을 생성한다.

[Fig. 2]

CNN model configuration

모델 학습 시, 입력데이터인 멜 스펙트로그램 이미지의 W (너비), L (높이)은 가시성과 해상도(Resolution)를 고려하여 500x200으로 설정하였다. N_seq는 240 (60x4명)으로 1명의 900초 데이터를 15초 단위로 분할한 멜 스펙트로그램 이미지 개수 60과 학습에 사용된 인원 수 4명을 곱한 값이다. 이미지 픽셀의 intensity (dB)은 음량을 로그 스케일로 표현해, 인간의 청각 특성과 유사하게 음량 변화를 나타냈다. 입력데이터는 각 채널을 평균 0.5, 표준편차 0.5로 정규화하여 CNN 모델 학습에 적합하도록 조정하였다. 출력 데이터는 평균이 33.32이고 표준편차가 20.33인 환기량 값으로 평균이 0이고 표준편차가 1인 표준 정규분포로 변환하는 z-score 정규화를 적용하였다. 손실 함수로는 평균 제곱 오차(Mean Squared Error, MSE)를 사용하였으며, 최적화 기법으로는 Adam (Adaptive Moment Estimation)을 채택하였다. 학습 에포크(Epoch) 수는 100번으로 설정하고, 학습률은 10-4으로 설정하였다. 과적합(Overfitting)을 방지하기 위해 0.5의 드롭아웃(Dropout) 비율을 모델의 층에 적용하였다.


3. 실험 및 결과

3.1 실험방법

호흡음을 통한 환기량 추정 신경망 모델의 학습과 검증을 위해, 5명의 건강한 남성 피험자(나이: 25.4 ± 1.1 세, 키: 175.2 ± 2.8 cm, 몸무게: 69.7 ± 9.0 kg)를 대상으로 트레드밀 보행 및 주행 실험을 진행하여 호흡음 및 환기량 데이터를 수집하였다.

호흡음 오디오 데이터를 취득하기 위한 일렉트릿 콘덴서 마이크(SYNCO, Shenzhen, China)는 호흡 가스 대사 분석 시스템 k5의 마스크 내에 같이 내장되었으며, 실험은 [Fig. 3]과 같은 환경에서 수행되었다.

[Fig. 3]

Experimental setup

실험은 총 5단계로 진행되었다. 먼저 트레드밀 위에서 가만히 서 있는 휴식 단계(phase 1)를 거친 후, 3 km/h 속도로 걷는 단계(phase 2)가 이어졌다. 이후 5 km/h 속도로 걷는 단계(phase 3), 7 km/h 속도로 달리는 단계(phase 4), 그리고 마지막으로 9 km/h 속도로 달리는 단계(phase 5)가 진행되었다. 각 단계(phase)는 3분간 진행되었으며 총 15분 동안 실험이 진행되었다. [Fig. 4]는 프로토콜의 단계를 그래프로 나타낸 것이다. 이때 걷기 및 달리기 단계의 속도는 사람들이 흔히 일상생활 중에 걷거나 뛸 수 있는 속도의 범위를 고려하여 선정되었다[2].

[Fig. 4]

Treadmill speed protocol

3.2 실험결과 및 분석

[Table 1]은 CNN 모델을 통해 환기량을 추정한 결과로, 피어슨 상관계수(Pearson Correlation Coefficient, PCC), 결정 계수(R²), 그리고 평균 절대 오차(Mean Absolute Error, MAE) 값을 포함하고 있다. 각 성능 지표는 다음과 같이 정의된다. 피어슨 상관계수는 두 변수 간의 선형 상관관계를 측정하는 지표로, -1부터 1까지의 값을 가지며 1에 가까울수록 강한 양의 선형 상관관계를 의미한다. 결정 계수는 회귀 모델이 예측한 값이 참조값을 얼마나 잘 설명하는지를 나타내는 지표로, 1에 가까울수록 설명력이 높음을 나타낸다. 평균 절대 오차는 예측값과 참조값 간의 차이의 절대값 평균을 나타내며, 값이 작을수록 예측 오차가 적음을 의미한다.

Overall performance metrics of CNN model

이 실험은 개별 특성에 과적합되는 것을 방지하기 위해 LOSO (Leave-One-Subject-Out) 교차검증 방법을 사용하여 수행되었다. 피어슨 상관계수의 평균과 표준편차는 0.96 ± 0.01로 나타났으며, 이는 모델이 예측한 환기량과 참조값 간에 매우 높은 선형 상관관계가 있음을 의미한다. 피어슨 상관계수가 1에 가까울수록 두 변수 간의 강한 양의 선형 관계를 나타내므로, 멜 스펙트로그램 이미지로 변환된 호흡음을 통해 추정된 환기량과 참조값 사이에 강한 상관관계가 있음을 알 수 있다. 이는 호흡음과 환기량 간에 높은 선형 관계가 존재함을 시사한다. 결정 계수의 평균과 표준편차는 0.84 ± 0.07로 나타났다. 이는 모델이 환기량을 예측하는 데 있어서 상당히 높은 설명력을 가지고 있음을 보여준다. 환기량은 생체 데이터의 특성상 개인 간 변동성과 비선형적 특성을 포함할 수 있으나, 모델은 이러한 변동성에도 불구하고 높은 예측 성능을 유지하고 있다.

평균 절대 오차의 평균과 표준편차는 6.66 ± 2.09 L/min로 나타났으며, 이는 예측값과 참조값 간의 오차가 크지 않음을 보여준다. 환기량 데이터는 개인 차이와 운동 강도에 따라 최소 4.96 L/min에서 최대 87.86 L/min까지의 범위를 가지므로, 이와 같은 결과는 모델이 다양한 환기량 범위에서도 안정적이고 일관된 성능을 보여주고 있음을 나타낸다. 또한, MAE의 표준편차 값이 크지 않다는 점에서 예측 오차의 변동성이 적고, 모델의 성능이 일관되게 유지되고 있음을 알 수 있다.

[Table 2]는 VE 예측 성능을 피험자 별로 평가한 결과이며, 피어슨 상관계수(PCC), 결정계수(R2), 평균 절대 오차(MAE)를 통해 모델의 성능을 나타낸다. 피어슨 상관계수는 최대 0.98에서 최소 0.94, 결정계수는 최대 0.93에서 최소 0.75, 평균 절대 오차는 최소 4.63 L/min에서 최대 10.37 L/min으로 나타났다. 이러한 편차는 개인별 차이로 인해 발생할 수 있으며 AI 모델에 피험자의 특성(Subject’s-Characteristic)인 키, 몸무게, 최대환기량(VEMAX)등의 요소를 추가하여 일반화 성능을 높일 수 있을 것으로 예상된다.

Individual cross-validation performance of VE prediction

Neili와 Sundaraj의 연구는 폐질환 분류에서 멜 스펙트로그램을 포함한 다양한 시간-주파수 변환 방식을 비교하였으며, 멜 스펙트로그램이 음향 신호의 주파수 변화를 효과적으로 반영하여 CNN 모델에서 우수한 성능을 보였다고 보고하였다[17]. 멜 스펙트로그램은 인간의 청각 특성을 반영한 주파수 스케일을 사용하여 저주파 대역의 세밀한 변화를 포착할 수 있으며, 시간과 주파수 정보를 동시에 제공함으로써 비선형적인 호흡음 데이터를 효율적으로 분석할 수 있다는 점에서 유리하다. 본 연구에서도 이러한 특성을 고려하여 호흡음을 멜 스펙트로그램으로 변환하여 신경망 모델의 입력 데이터로 사용하였으며, 이를 통해 호흡음과 환기량 간의 상관관계를 효과적으로 예측할 수 있었다.


4. 결 론

본 연구의 목적은 호흡음 기반 멜 스펙트로그램을 통해 학습된 CNN (Convolutional Neural network)신경망 모델로 환기량을 추정하는 모델을 구현하고 추정 성능을 평가하는 것이다.

호흡음을 활용한 신경망 모델에서는 호흡음을 시간-주파수 영역의 멜 스펙트로그램 이미지로 변환하여 입력값으로 사용하였다. CNN 신경망은 멜 스펙트로그램에서 호흡 패턴과 주파수 변화를 분석해 최종적으로 환기량을 추정하는 모델을 구현하였다. 실험에는 5명의 건강한 남성이 참가하였으며, 트레드밀 위에서 다양한 운동 강도(5단계 속도 구간)에서의 호흡음과 환기량(Truth Reference)데이터를 동시에 수집하였다. CNN 모델의 성능 평가는 LOSO 방법을 통해 피어슨 상관계수, 결정 계수 및 MAE를 산출하여 이루어졌다. 실험 결과, 피어슨 상관계수는 0.96 ± 0.01, 결정계수는 0.84 ± 0.07, 평균 절대 오차는 6.66 ± 2.09로 나타났다. 피어슨 상관계수의 결과값은 호흡음과 환기량의 강한 선형 상관관계를 의미하며, 결정계수와 평균 절대 오차는 CNN 신경망 모델이 호흡음을 통해 환기량을 추정하는 데 좋은 성능을 나타낸다는 것을 보여준다.

따라서, 본 연구에서는 트레드밀 위에서 5단계 운동 강도로 수집된 호흡음을 통해 환기량을 추정하는 데 의미 있는 결과를 확인하였다. 환기량은 호흡 모니터링의 중요한 변수 중 하나로, 특히 에너지소비량과의 선형 관계로 인해 중요한 지표로 활용된다. 이에 따라 호흡음은 환기량을 추정하는 또 다른 대안이 될 수 있다. 기존의 가속도계를 통해서 에너지소비량을 추정하는 방법은 경사오르기와 같은 노력의 정도를 평가하지못하며 자기장의 영향을 받는 한계를 갖는다. 향후 본 논문에서 제안한 신경망(CNN) 기반 호흡 환기량 측정시스템을 가속도계와 통합하여 에너지소비량을 추정하는 모델을 개발하고 평가할 예정이다. 아울러, 향후 다수의 피험자를 대상으로 실험 데이터를 수집하여 모델 성능의 일반화 및 평가가 진행할 것이다.

Acknowledgments

This work was supported in part by the Glocal University 30 Project Fund of Gyeongsang National University in 2024, and in part by “Leaders in INdustry-university Cooperation 3.0” Project funded by the Ministry of Education and National Research Foundation of Korea, and in part by the National Research Foundation of Korea (NRF) grant funded by the Korea government(MSIT) (No. RS-2023-00212372).

References

  • S. Passler, J. Bohrer, L. Blöchinger, and V. Senner, “Validity of wrist-worn activity trackers for estimating VO2max and energy expenditure,” International journal of environmental research and public health, vol. 16, no. 17, Aug., 2019. [https://doi.org/10.3390/ijerph16173037]
  • C. J. Lee and J. K. Lee, “Comparative Analysis between IMU Signal-based Neural Network Models for Energy Expenditure Estimation,” Journal of the Korean Society for Precision Engineering, vol. 41, no. 3, pp. 191-198, Mar., 2024. [https://doi.org/10.7736/JKSPE.023.126]
  • Y.-T. Hwang, Y.-R. Hsu, and B.-S. Lin, “Using $ B $-Spline Model on Depth Camera Data to Predict Physical Activity Energy Expenditure of Different Levels of Human Exercise,” IEEE Transactions on Human-Machine Systems, vol. 54, no. 1, pp. 79-88, Feb., 2024. [https://doi.org/10.1109/THMS.2023.3349030]
  • J. A. Levine, “Measurement of energy expenditure,” Public health nutrition, vol. 8, no. 7a, pp. 1123-1132, Oct., 2005. [https://doi.org/10.1079/PHN2005800]
  • K. Durkalec-Michalski, M. Woźniewicz, J. Bajerska, and J. Jeszka, “Comparison of accuracy of various non-calorimetric methods measuring energy expenditure at different intensities,” Human Movement, vol. 14, no. 2, pp. 161-167, 2013. [https://doi.org/10.2478/humo-2013-0019]
  • K. Y. Chen and M. Sun, “Improving energy expenditure estimation by using a triaxial accelerometer,” Journal of applied Physiology, vol. 83, no. 6, pp. 2112-2122, Dec., 1997. [https://doi.org/10.1152/jappl.1997.83.6.2112]
  • L. Keytel, J. Goedecke, T. Noakes, H. Hiiloskorpi, R. Laukkanen, L. van der Merwe, and E. Lambert “Prediction of Energy Expenditure from Heart Rate Monitoring During Submaximal Exercise,” Journal of Sports Sciences, vol. 23, no. 3, pp. 289-297, 2005. [https://doi.org/10.1080/02640410470001730089]
  • K. Lu, L. Yang, F. Seoane, F. Abtahi, M. Forsman, and K. Lindecrantz, “Fusion of heart rate, respiration and motion measurements from a wearable sensor system to enhance energy expenditure estimation,” Sensors, vol. 18, no. 9, Sept., 2018. [https://doi.org/10.3390/s18093092]
  • S. J. Strath, D. R. Bassett, A. M. Swartz, and D. L. Thompson, “Simultaneous heart rate-motion sensor technique to estimate energy expenditure,” Medicine & Science in Sports & Exercise, vol. 33, no. 12, pp. 2118-2123, 2001. [https://doi.org/10.1097/00005768-200112000-00022]
  • C. Villars, A. Bergouignan, J. Dugas, E. Antoun, D. A. Schoeller, H. Roth, A. C. Maingon, E. Lefai, S. Blanc, and C. Simon, “Validity of Combining Heart Rate and Uniaxial Acceleration to Measure Free-Living Physical Activity Energy Expenditure in Young Men,” Journal of Applied Physiology, vol. 113, no. 11, pp. 1763-1771, Dec., 2012. [https://doi.org/10.1152/japplphysiol.01413.2011]
  • R. Gilgen-Ammann, M. Koller, C. Huber, R. Ahola, T. Korhonen, and T. Wyss, “Energy expenditure estimation from respiration variables,” Scientific reports, 2017. [https://doi.org/10.1038/s41598-017-16135-5]
  • A. Lanatà, E. P. Scilingo, E. Nardini, G. Loriga, R. Paradiso, and D. De-Rossi, “Comparative evaluation of susceptibility to motion artifact in different wearable systems for monitoring respiratory rate,” IEEE Transactions on Information Technology in Biomedicine, vol. 14, no. 2, pp. 378-386, Mar., 2010. [https://doi.org/10.1109/TITB.2009.2037614]
  • R. Alam, D. B. Peden, and J. C. Lach, “Wearable respiration monitoring: interpretable inference with context and sensor biomarkers,” IEEE journal of biomedical and health informatics, vol. 25, no. 6, pp. 1938-1948, Jun., 2020. [https://doi.org/10.1109/JBHI.2020.3035776]
  • T. Hussain, S. Ullah, R. Fernández-García, and I. Gil, “Wearable sensors for respiration monitoring: A review,” Sensors, vol. 23, no. 17, pp. 7518, Aug., 2023. [https://doi.org/10.3390/s23177518]
  • C. Romano, A. Nicolò, L. Innocenti, M. Bravi, S. Miccinilli, S. Sterzi, M. Sacchetti, E. Schena, and C. Massaroni, “Respiratory Rate Estimation During Walking and Running Using Breathing Sounds Recorded with a Microphone,” Biosensors, vol. 13, no. 6, pp. 637, Jun., 2023. [https://doi.org/10.3390/bios13060637]
  • Y. Nam, B. A. Reyes, and K. H. Chon, “Estimation of respiratory rates using the built-in microphone of a smartphone or headset,” IEEE journal of biomedical and health informatics, vol. 20, no. 6, pp. 1493-1501, Nov., 2015. [https://doi.org/10.1109/JBHI.2015.2480838]
  • Z. Neili and K. Sundaraj, “A comparative study of the spectrogram, scalogram, melspectrogram and gammaton-egram time-frequency representations for the classification of lung sounds using the ICBHI database based onCNNs,” Biomedical Engineering/Biomedizinische Tec-hnik, vol. 67, no. 5, pp. 367-390, Aug., 2022. [https://doi.org/10.1515/bmt-2022-0180]
  • M. Aly and N. S. Alotaibi, “A novel deep learning model to detect COVID-19 based on wavelet features extracted from Mel-scale spectrogram of patients’ cough and breathing sounds,” Informatics in Medicine Unlocked, vol. 32, 2022. [https://doi.org/10.1016/j.imu.2022.101049]
추 정 연

2019~현재 경상국립대학교 제어로봇공학과(학사과정)

관심분야: 지능형 제어, 음성인식

백 재 현

2019~현재 경상국립대학교 제어로봇공학과(학사과정)

관심분야: 인간-로봇 상호작용, 인공지능

정 강 수

2019~현재 경상국립대학교 제어로봇공학과(학사과정)

관심분야: 지능형 제어, 음성인식

정 승 원

2019~현재 경상국립대학교 제어로봇공학과(학사과정)

관심분야: 음성인식, 전동기 제어, EV

박 영 진

2006 포항공과대학교 기계공학과 / 전자전기 공학과(공학사)

2014 포항공과대학교 기계공학과 박사(통합)

2014~2022 삼성전자 종합기술원 수석연구원

2022~현재 경상국립대학교 기계공학부 조교수

관심분야: Wearable Robot, Walking Assistance Device, Manipulator Force Control, Lab Automation

이 호 수

2014 경상국립대학교 기계공학과(공학사)

2016 경상국립대학교 기계설계학과(공학석사)

2022 광주과학기술원 융합기술학제학부 지능로봇전공(공학박사)

2023~현재 경상국립대학교 제어로봇공학과 조교수

관심분야: 보행 재활 로봇, 햅틱, 보행 인터페이스, 케이블 구동 병렬 로봇

[Fig. 1]

[Fig. 1]
Audio data preprocessing

[Fig. 2]

[Fig. 2]
CNN model configuration

[Fig. 3]

[Fig. 3]
Experimental setup

[Fig. 4]

[Fig. 4]
Treadmill speed protocol

[Table 1]

Overall performance metrics of CNN model

Performance Metrix Model : CNN
Pearson Correlation Cofficient(PCC) 0.96 ± 0.01
R2 0.84 ± 0.07
MAE(L/min) 6.66 ± 2.09

[Table 2]

Individual cross-validation performance of VE prediction

Gender Age
(Year)
Height
(cm)
Weight
(kg)
BMI
(kg/m2)
VE (L/min)
PCC R2 MAE
(L/min)
M 26 174.8 68.3 22.35 0.98 0.93 4.63
M 24 174.0 72.6 23.98 0.94 0.88 6.07
M 26 173.0 69.4 23.19 0.96 0.75 10.37
M 27 180.0 83.5 25.77 0.95 0.88 4.88
M 23 174.4 58.0 19.07 0.96 0.76 7.33