순환신경망 기반 저가형 뇌파 분류기를 이용한 생체신호 인터페이스 연구

1. 서 론

일본은 대표적인 고령화 국가로서 부양받아야 하는 고령의 인구는 점점 증가하여 2030년 즈음 고령자를 보살피는 데 필요한 간병인은 860만 명에 달할 것으로 추산된다^[2]. 대한민국도 마찬가지로 통계청 자료에 따르면 2023년 65세 이상 고령 인구 비율은 18.4%이며, 2025년에는 20.6%로 초고령사회로 진입할 것으로 전망하였다^[2]. 따라서 간병인 부족 문제와 더불어 고용에 따른 금전적인 부담이 가중될 것으로 예상한다. 특히 가족 또는 간병인이 동거하면서 24시간 고령자 또는 와병 환자를 보살피는 것은 매우 어려운 일이다. 따라서 저비용으로 24시간 효과적으로 환자의 상태를 살피면서 이상 상황 발생 시 보호자에게 통보하거나, 비상조치를 할 수 있는 인터페이스가 필요하다. 여기서 거동이 불편하고 디지털기기의 조작에 익숙하지 않은 사용자를 대상으로 한다면 키보드나 마우스, 음성인식 등 기존의 인터페이스는 작동이 매우 어려우며 뇌파(EEG)를 사용한 인터페이스도 하나의 대안이 될 수 있다^[2].

이 논문에서는 [Fig. 1]과 같이 고령으로 거동이 불편하거나 목 아래 전신 마비 또는 와병 환자를 위하여 저가형 단 채널 뇌파(EEG) 측정기를 사용하여, 환자의 흥분이나 불안정 상태를 인식할 수 있는 순환신경망(RNN) 기반 뇌파인식기 모델을 제안하고 구현하였다. 특히, 제안한 생체신호를 이용한 인터페이스는 저가형 뇌파인식기를 사용하여 시스템의 단가를 낮추고 환자의 이상 상황 발생 시 보호자가 즉시 대처할 수 있도록 알림을 전송하고, 목의 근전도(EMG)를 측정하여 로봇 또는 그 외 장치들과 연동하여 필수 명령을 전달할 수 있게 하였다.

[Fig. 1]

EEG-based system to detect the abnormality of patients

2. 제안한 뇌파 인터페이스

[Fig. 2]는 우리가 제안한 와병 환자를 위한 생체신호 기반 호출 시스템 흐름도를 시각화하여 나타낸 것이다. 각 단계를 설명하면 다음과 같다.

[Fig. 2]

Operation flowchart of our proposed system

a) 뇌파 및 근전도 센서를 착용한 와병 환자의 생체신호 측정을 시작한다.

b) 순환신경망 기반 뇌파 인식기로 환자의 상태(정상/흥분)를 확인할 수 있다. 또한, 근전도 측정기를 이용하여 환자가 임의로 목을 움직일 때 나오는 근전도 신호를 측정할 수 있다.

c) 환자의 흥분상태를 감지 시, 로봇이 환자에게 지정된 약품을 전달하거나 외부의 보호자에게 스마트폰으로 알람을 전송할 수 있다.

d) 마지막으로 와병 환자가 임의로 목을 돌리거나 움직이는 경우 근전도 신호가 검출되어 로봇에게 음료 배송 등 지정된 임무를 수행하게 할 수 있다.

3. 뇌파 데이터베이스 구축

3.1 뇌파(EEG) 측정

뇌파인식기 모델 학습을 위해서 [Fig. 3(a)]와 같이 코딩교육용 저가형 단 채널 뇌파측정기를 사용하여 뇌파(EEG) 데이터베이스를 구축하였다. 측정환경으로 [Fig. 3(b)]와 같이 항온항습이 유지된 쾌적한 방에서 실험자, 실험보조자, 데이터측정자 3인이 수행하였고, 측정하는 동안 실험자가 집중할 수 있도록 모든 방해요소가 제거되었다. 데이터는 집중, 흥분, 눈깜빡임 3가지의 흥분 및 불안정 상태와 지루, 멍때리기, 명상 3가지의 정상 및 안정 상태에 대하여 측정되었다. 측정은 먼저 실험자가 뇌파측정기를 착용하고 준비 기간을 충분히 가진 후 각 조건마다 3분간 측정하였으며, 측정이 끝난 후 다음 측정이 들어가기 전까지 2분간 휴식을 가졌다.

[Fig. 3]

Constructing EEG datasets

상태에 따른 측정조건으로 집중은 온라인 틀린 그림 찾기 게임을 하면서 측정하였고, 흥분의 경우 유튜브로 돌발행동과 떼쓰면서 급발진하는 손자로 인해서 할머니가 실신하는 영상을 보면서 측정하였으며, 눈깜빡임은 눈을 일정하게 깜빡이면서 측정하였다. 또한 지루는 수도꼭지에 물이 떨어지는 영상을 보면서 측정하고, 멍때리기는 비눗방울 화면보호기를 보면서 아무 생각을 하지 않으면서 측정하였으며, 명상은 평온한 상태로 측정하였다.

3.2 뇌파 데이터베이스

[Table 1]과 같이 뇌파 인식기 학습을 위해서 만 18세에서 33세 사이의 20명(남자 15, 여자 5)에 대해서 저가형 교육용 단 채널 뇌파측정기로 6가지의 실험 조건마다 150번씩 데이터가 측정되었다. 또한 한 번 측정될 때마다 7가지의 뇌파 종류로 분리되어 저장되었다.

[Table 1]

Structure of EEG datasets

정리하면 [Table 1]의 각 실험 조건마다 7개의 뇌파 종류가 150번씩 측정되어 20명분 총 21,000개 뇌파 샘플 데이터가 구축되었으며, 각 뇌파 종류를 기준으로는 6가지 실험 조건에 150번씩 측정되어 20명분 총 18,000개 뇌파 샘플 데이터가 포함된다. 마지막으로 학습 시 검증과 학습된 모델의 성능평가를 위해서 뇌파 측정 참가자 중 8명은 같은 조건으로 뇌파가 추가 측정되었다.

4. 뇌파 머신러닝 분석

4.2 뇌파 데이터셋 실험결과

[Table 2]는 앞서 4가지의 기계 학습 기법을 통하여 [Table 1]의 뇌파 데이터를 분류한 결과이다. 정확도(Accuracy)를 보면 Logistic Regression이 0.53, Random Forest 0.54, LightGBM 0.52, XGBoost 0.53을 얻어 대동소이한 가운데 Random Forest 기법이 미약하나마 가장 좋은 성능을 얻었다. Random Forest를 기준으로 정밀도(Precision) 0.54, 재현율(Recall) 0.54, F1 점수는 0.53, AUROC 0.54를 얻었다. Random Forest의 혼동 행렬(Confusion Matrix)의 경우 True Positive 1,064, False Negative 736, False Positive 933, True Negative 867로 분류되어 나머지 3개 기계 학습 기법 중 가장 좋은 결과를 얻었지만 뚜렷한 분류성능을 얻었다고는 말하기 어렵다. 즉, 대부분 50%를 약간 상회하는 수준으로 저가형 단채널 뇌파 측정기로 취득한 데이터셋의 변별력은 매우 낮다고 할 수 있다.

[Table 2]

The result of machine learning tests

[Fig. 4]는 [Table 1]의 데이터셋을 이용하여 4가지 종류의 기계 학습 기법에 따른 성능 결과의 ROC 곡선을 나타낸다.

[Fig. 4]

ROC curve the machine learning tests

5. 순환신경망 기반 뇌파 인식기

5.1 네트워크 구조

제안한 뇌파 인식기 네트워크 구조는 [Fig. 5]과 같다. 단일층의 순환신경망을 사용하였고, [Table 1]과 같이 7종류의 뇌파 신호를 30번 연속적으로 측정하여 입력으로 사용하였다. 각 순환신경망의 은닉층(hidden)은 32개이며 전체 출력값은 2개의 FC (Fully Connected)층을 통과하여 <정상/안정> 또는 <흥분/불안정> 두 개의 상태로 최종 예측하게 된다.

[Fig. 5]

The network structure of our proposed EEG classifier

6. 성능평가

학습된 뇌파 인식기의 성능평가를 위해서 추가로 측정한 남학생 4명분의 테스트 뇌파 신호를 사용하였다.

뇌파 인식기에 입력되는 신호는 [Table 1]과 같이 7종류의 뇌파 신호와 함께 30번 연속적으로 측정된 신호를 입력으로 사용하였다. 즉, 1명당 7종류의 뇌파 신호가 150번 연속적으로 측정되었으므로, 30개씩 5개 묵음으로 분절된 4명분 총 20개 뇌파 데이터가 성능평가에 사용되었다.

시스템 구성은 아두이노가 뇌파측정기와 블루투스로 연동되어 측정된 데이터를 시리얼 통신을 통해서 라떼판다 델타 임베디드PC(셀러론 N5105 2GHz, 8GB DDR4 램)로 실시간 전송한다. 뇌파는 대략 1초에 1~2개의 측정값을 받아와서 처리할 수 있으며 제안한 뇌파인식기는 연속적으로 30개의 EEG 데이터를 입력값으로 사용하므로 약 30초마다 한번씩 환자의 상태(안정/불안정)를 측정할 수 있었다.

성능평가 결과는 [Table 3]와 같이 3가지 순환신경망 종류 중에서 GRU가 가장 성능이 뛰어났으며 <정상/안정>은 인식률 100%, <흥분/불안정>은 90%의 인식률을 보였다. 단, 학습에 사용한 뇌파 데이터셋은 아니지만, 학습 데이터셋에 측정에 참여한 사람의 뇌파를 추가로 측정한 결과이며, 저가형 뇌파 측정기로 취득한 데이터이기 때문에 새로운 사람의 뇌파를 사용하거나 환경이나 개인의 컨디션에 따라서 측정된 뇌파(EEG)의 차이가 크기 때문에 많은 성능 하락이 있음을 확인하였다.

[Table 3]

The performance of our proposed EEG classifier

그러나 앞서 4가지 기계학습 방법론에서는 거의 변별을 하지 못했지만, 우리가 제안한 순환신경망 기반 뇌파 인식기에서는 저가형 단 채널 뇌파 측정 헤드셋을 이용한 저품질의 뇌파 데이터에서도 분류 가능성을 확인할 수 있었다.

7. 결 론

본 논문은 뇌파(EEG)를 사용하여 거동이 불편한 고령자나 사지마비 또는 와병 환자들의 이상 상태를 모니터링하고 보호자에게 알림을 전송하거나 로봇에게 간단한 서비스 명령어를 전송할 수 있도록 생체신호 기반 호출 시스템을 제안하였다. 이를 위해서 저가형 단 채널 뇌파측정기를 사용한 순환신경망 기반의 뇌파 인식기 모델을 제안하였고 생체신호 기반 호출 시스템과 연동하여 구현함으로써 적용 가능성을 검증하였다.

향후 뇌파 인식률 향상을 위하여 다채널의 뇌파측정기를 사용한 DB를 구축하여 모델 학습이 필요하며, 좀 더 다양한 상태를 인식할 수 있도록 생체신호의 종류와 범위를 확장할 필요가 있다. 또한 제안한 생체신호 기반 호출 시스템이 실생활에 적용된다면, 보호자나 간병인들에게 편의성을 제공할 뿐만 아니라 관련된 사회적인 비용을 절약할 수 있을 것으로 기대한다.

References

• 2019 Japan Report - Thinking about Korea while looking at Japan, [Online], https://www.hankyung.com/article/2019012345691, , Accessed: Sept. 01, 2023.
• 2023 Elderly Statistics, [Online], https://kostat.go.kr/board.es?mid=a10301010000&bid=10820&act=view&list_no=427252, , Accessed: Dec. 01, 2023.
• J.-H. Lee, J. Park, J.-S. Kim, and S. Kwon, “EEG-based Customized Driving Control Model Design,” IEMEK Journal of Embedded Systems and Applications, vol. 18, no. 2, pp. 81-87, Apr., 2023. [https://doi.org/10.14372/IEMEK.2023.18.2.81]
• D. R. Cox, “The regression analysis of binary sequences,” Journal of the Royal Statistical Society. Series B (Methodological), vol. 20, no. 2, pp. 215-232, 1958, [Online], https://www.jstor.org/stable/2983890, .
• T. K. Ho, “Random decision forests,” 3rd International Conference on Document Analysis and Recognition, Montreal, QC, Canada, pp. 278-282, 1995. [https://doi.org/10.1109/ICDAR.1995.598994]
• G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, and T.-Y. Liu, “Lightgbm: A highly efficient gradient boosting decision tree,” 31st Conference on Neural Information Processing Systems (NIPS 2017), pp. 3146-3154, 2017, [Online], https://proceedings.neurips.cc/paper_files/paper/2017/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf, .
• T. Chen and C. Guestrin, “XGBoost: A Scalable Tree Boosting System,” arXiv:1603.02754, 2016. [https://doi.org/10.48550/arXiv.1603.02754]
• D. P. Kingma and J. L. Ba, “Adam: A Method for Stochastic Optimization,” International Conference on Learning Representations, San Diego, CA, USA, pp. 1-15, 2015, [Online], https://arxiv.org/pdf/1412.6980, .
• Y. Liu, L. Liu, H. Zhang, H. Rezatofighi, and I. Reid, “Meta Learning with Differentiable Closed-form Solver for Fast Video Object Segmentation,” arXiv:1909.13046, 2019. [https://doi.org/10.48550/arXiv.1909.13046]
• P. Liu, X. Qiu, and X. Huang, “Recurrent Neural Network for Text Classification with Multi-Task Learning,” arXiv:1605.05101, 2016. [https://doi.org/10.48550/arXiv.1605.05101]
• S. Hochreiter and J. Schmidhuber, “Long Short-Term Memory,” Neural Computation, vol. 9, no. 8, pp. 1735-1780, Nov., 1997. [https://doi.org/10.1162/neco.1997.9.8.1735]
• K. Cho, B. Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, “Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation,” arXiv:1406.1078, 2014. [https://doi.org/10.48550/arXiv.1406.1078]