Journal of Korea Robotics Society
[ ARTICLE ]
The Journal of Korea Robotics Society - Vol. 19, No. 4, pp.364-368
ISSN: 1975-6291 (Print) 2287-3961 (Online)
Print publication date 30 Nov 2024
Received 03 Aug 2024 Revised 04 Sep 2024 Accepted 02 Oct 2024
DOI: https://doi.org/10.7746/jkros.2024.19.4.364

순환신경망 기반 저가형 뇌파 분류기를 이용한 생체신호 인터페이스 연구

김현돈
A Study on a Bio-signal Interface with a RNN based Low-cost Brainwave Classifier
Hyun-Don Kim

Correspondence to: Department of Robot Automation in Robot Campus of Korea Polytechnics, Yeongcheon, Korea ( reynolds@kopo.ac.kr)

CopyrightⓒKROS

Abstract

We proposed the RNN (Recurrent Neural Network)-based EEG classifier that can recognize the excited or unstable states of bedridden patients using a low-cost single-channel EEG measuring device. This is also efficient for elderly patients with difficulty in moving, paralysis below the neck, or illness. In spite of poor EEG acquisition signals due to low-cost devices, our proposed model using a GRU (Gate Recurrent Unit) neural network showed the accuracy of 100% when the state of a brain was normal or stable, and the accuracy of 90% when the state of a brain was excited or unstable.

Keywords:

Biosignal Processing, Deep Learning, Recurrent Neural Network, Classification

1. 서 론

일본은 대표적인 고령화 국가로서 부양받아야 하는 고령의 인구는 점점 증가하여 2030년 즈음 고령자를 보살피는 데 필요한 간병인은 860만 명에 달할 것으로 추산된다[2]. 대한민국도 마찬가지로 통계청 자료에 따르면 2023년 65세 이상 고령 인구 비율은 18.4%이며, 2025년에는 20.6%로 초고령사회로 진입할 것으로 전망하였다[2]. 따라서 간병인 부족 문제와 더불어 고용에 따른 금전적인 부담이 가중될 것으로 예상한다. 특히 가족 또는 간병인이 동거하면서 24시간 고령자 또는 와병 환자를 보살피는 것은 매우 어려운 일이다. 따라서 저비용으로 24시간 효과적으로 환자의 상태를 살피면서 이상 상황 발생 시 보호자에게 통보하거나, 비상조치를 할 수 있는 인터페이스가 필요하다. 여기서 거동이 불편하고 디지털기기의 조작에 익숙하지 않은 사용자를 대상으로 한다면 키보드나 마우스, 음성인식 등 기존의 인터페이스는 작동이 매우 어려우며 뇌파(EEG)를 사용한 인터페이스도 하나의 대안이 될 수 있다[2].

이 논문에서는 [Fig. 1]과 같이 고령으로 거동이 불편하거나 목 아래 전신 마비 또는 와병 환자를 위하여 저가형 단 채널 뇌파(EEG) 측정기를 사용하여, 환자의 흥분이나 불안정 상태를 인식할 수 있는 순환신경망(RNN) 기반 뇌파인식기 모델을 제안하고 구현하였다. 특히, 제안한 생체신호를 이용한 인터페이스는 저가형 뇌파인식기를 사용하여 시스템의 단가를 낮추고 환자의 이상 상황 발생 시 보호자가 즉시 대처할 수 있도록 알림을 전송하고, 목의 근전도(EMG)를 측정하여 로봇 또는 그 외 장치들과 연동하여 필수 명령을 전달할 수 있게 하였다.

[Fig. 1]

EEG-based system to detect the abnormality of patients


2. 제안한 뇌파 인터페이스

[Fig. 2]는 우리가 제안한 와병 환자를 위한 생체신호 기반 호출 시스템 흐름도를 시각화하여 나타낸 것이다. 각 단계를 설명하면 다음과 같다.

[Fig. 2]

Operation flowchart of our proposed system

a) 뇌파 및 근전도 센서를 착용한 와병 환자의 생체신호 측정을 시작한다.

b) 순환신경망 기반 뇌파 인식기로 환자의 상태(정상/흥분)를 확인할 수 있다. 또한, 근전도 측정기를 이용하여 환자가 임의로 목을 움직일 때 나오는 근전도 신호를 측정할 수 있다.

c) 환자의 흥분상태를 감지 시, 로봇이 환자에게 지정된 약품을 전달하거나 외부의 보호자에게 스마트폰으로 알람을 전송할 수 있다.

d) 마지막으로 와병 환자가 임의로 목을 돌리거나 움직이는 경우 근전도 신호가 검출되어 로봇에게 음료 배송 등 지정된 임무를 수행하게 할 수 있다.


3. 뇌파 데이터베이스 구축

3.1 뇌파(EEG) 측정

뇌파인식기 모델 학습을 위해서 [Fig. 3(a)]와 같이 코딩교육용 저가형 단 채널 뇌파측정기를 사용하여 뇌파(EEG) 데이터베이스를 구축하였다. 측정환경으로 [Fig. 3(b)]와 같이 항온항습이 유지된 쾌적한 방에서 실험자, 실험보조자, 데이터측정자 3인이 수행하였고, 측정하는 동안 실험자가 집중할 수 있도록 모든 방해요소가 제거되었다. 데이터는 집중, 흥분, 눈깜빡임 3가지의 흥분 및 불안정 상태와 지루, 멍때리기, 명상 3가지의 정상 및 안정 상태에 대하여 측정되었다. 측정은 먼저 실험자가 뇌파측정기를 착용하고 준비 기간을 충분히 가진 후 각 조건마다 3분간 측정하였으며, 측정이 끝난 후 다음 측정이 들어가기 전까지 2분간 휴식을 가졌다.

[Fig. 3]

Constructing EEG datasets

상태에 따른 측정조건으로 집중은 온라인 틀린 그림 찾기 게임을 하면서 측정하였고, 흥분의 경우 유튜브로 돌발행동과 떼쓰면서 급발진하는 손자로 인해서 할머니가 실신하는 영상을 보면서 측정하였으며, 눈깜빡임은 눈을 일정하게 깜빡이면서 측정하였다. 또한 지루는 수도꼭지에 물이 떨어지는 영상을 보면서 측정하고, 멍때리기는 비눗방울 화면보호기를 보면서 아무 생각을 하지 않으면서 측정하였으며, 명상은 평온한 상태로 측정하였다.

3.2 뇌파 데이터베이스

[Table 1]과 같이 뇌파 인식기 학습을 위해서 만 18세에서 33세 사이의 20명(남자 15, 여자 5)에 대해서 저가형 교육용 단 채널 뇌파측정기로 6가지의 실험 조건마다 150번씩 데이터가 측정되었다. 또한 한 번 측정될 때마다 7가지의 뇌파 종류로 분리되어 저장되었다.

Structure of EEG datasets

정리하면 [Table 1]의 각 실험 조건마다 7개의 뇌파 종류가 150번씩 측정되어 20명분 총 21,000개 뇌파 샘플 데이터가 구축되었으며, 각 뇌파 종류를 기준으로는 6가지 실험 조건에 150번씩 측정되어 20명분 총 18,000개 뇌파 샘플 데이터가 포함된다. 마지막으로 학습 시 검증과 학습된 모델의 성능평가를 위해서 뇌파 측정 참가자 중 8명은 같은 조건으로 뇌파가 추가 측정되었다.


4. 뇌파 머신러닝 분석

4.1 뇌파 데이터셋 분석기법

본 연구에서 사용한 저가형 단 채널 교육용 뇌파(EEG) 측정기에서 취득한 신호의 품질은 매우 좋지 않다. 이유는 단 채널이고 저가형이기 때문에 성능은 매우 떨어지며, 안정적으로 변별력 있는 뇌파를 측정하기 위해서는 최소 2채널 이상(가능하면 8채널 이상)의 뇌파 측정 헤드셋을 사용하는 것이 바람직하다. 하지만 본 연구의 목적은 저가형 단 채널 뇌파측정기를 사용하여 환자의 흥분과 불안정 상태를 검출하는 것이므로 이를 이용하여 데이터셋을 구축하였다.

여기서 구축한 데이터셋의 품질과 변별력이 얼마나 있는지를 검증하기 위해서 다음과 같은 기존의 기계 학습 기법들을 이용하여 분석하였다.

a) Logistic Regression: 주로 이진 분류 문제에 적합한 선형 모델로서, 주어진 데이터가 특정 카테고리에 속할 확률을 추정하는 기법이다. 단순하고 해석이 직관적인 것이 강점이다[2].

b) Random Forest: 다수의 의사결정 트리 구축을 기반으로 한 앙상블 학습 방법이다. 랜덤 포레스트는 과적합을 해소하고 분산을 감소시켜 정확도가 높다는 장점이 있지만, 계산 비용이 많이 들고 규칙이 많아 추론 로직을 설명하기 어려운 단점이 있다[2].

c) LightGBM: 그라디언트 부스팅(Gradient Boosting) 프레임워크로 트리 기반 학습 알고리즘이다. 부스팅은 여러 개의 트리(혹은 다른 모델)를 만들고 기존의 예측기를 조금씩 발전시켜서 이를 합하여 추정하는 기법이다[2].

d) XGBoost: 랜덤포레스트가 한 번에 다양한 데이터셋을 만들어 그 결과를 평균해 다양한 데이터셋에서 안정적 성능을 얻을 수 있는 알고리즘이라면, 그라디언트 부스팅은 오차가 줄어드는 방향을 계속 학습을 해가며 정확도를 높일 수 있는 기법이었다. 하지만 그라디언트 부스팅 기법은 데이터를 학습하는 데 시간이 오래 걸리는 단점을 해결하기 위해서 병렬 학습이 지원되도록 구현한 기법이다[2].

4.2 뇌파 데이터셋 실험결과

[Table 2]는 앞서 4가지의 기계 학습 기법을 통하여 [Table 1]의 뇌파 데이터를 분류한 결과이다. 정확도(Accuracy)를 보면 Logistic Regression이 0.53, Random Forest 0.54, LightGBM 0.52, XGBoost 0.53을 얻어 대동소이한 가운데 Random Forest 기법이 미약하나마 가장 좋은 성능을 얻었다. Random Forest를 기준으로 정밀도(Precision) 0.54, 재현율(Recall) 0.54, F1 점수는 0.53, AUROC 0.54를 얻었다. Random Forest의 혼동 행렬(Confusion Matrix)의 경우 True Positive 1,064, False Negative 736, False Positive 933, True Negative 867로 분류되어 나머지 3개 기계 학습 기법 중 가장 좋은 결과를 얻었지만 뚜렷한 분류성능을 얻었다고는 말하기 어렵다. 즉, 대부분 50%를 약간 상회하는 수준으로 저가형 단채널 뇌파 측정기로 취득한 데이터셋의 변별력은 매우 낮다고 할 수 있다.

The result of machine learning tests

[Fig. 4]는 [Table 1]의 데이터셋을 이용하여 4가지 종류의 기계 학습 기법에 따른 성능 결과의 ROC 곡선을 나타낸다.

[Fig. 4]

ROC curve the machine learning tests

4.3 뇌파 데이터셋 분석결과

본 연구에서 사용한 저가형 단 채널 교육용 뇌파(EEG) 측정기에서 취득한 신호의 품질은 매우 좋지 않고 변별력이 떨어진다는 사실을 앞서 기계학습 기법들로 확인하였다. 정확도가 50%에 근접한다는 것은 한마디로 랜덤한 조건에서 인식하는 것과 크게 다르지 않아 어떠한 조건에서도 비슷한 데이터 또는 불필요한 잡음 신호가 많다는 것을 의미한다.

이러한 원인으로 크게 두 가지를 예상할 수 있다. 첫 번째로 [Fig. 3]과 같이 실험자가 각 상황에 맞게 충실하게 참여하지 않았을 가능성이 있다. 또한, 뇌파를 측정하는 전극이 이마에 완전히 접촉하지 못했을 가능성도 있다. 하지만 특정 사람이 아닌 전체적으로 변별력이 떨어지는 상황으로 근본 원인으로는 두 번째 뇌파 측정기의 성능 신뢰도의 문제를 예상할 수 있다. 사전에 취득한 데이터를 눈으로 또는 엑셀과 같은 스프레드시트 애플리케이션을 사용해서는 특정한 패턴을 찾기 어려웠으며, [Table 2] 결과와 같이 4개의 대표적 기계학습 기법을 적용해도 50%를 약간 높은 수준의 정확도를 보여 일상적으로 뇌파 인식기로의 사용은 불가한 수준임을 확인하였다. 따라서 미미한 변별력을 가지는 저품질 뇌파 데이터를 분류하기 위하여 최근 주목받고 있는 딥러닝 기법을 적용하기로 하였으며, 측정된 시간적 흐름에 따른 순차적인 입력값을 가지고 있음에 따라서 순환신경망(RNN, Recurrent Neural Network) 기반의 모델을 적용하기로 하였다. 즉, 기존 기계학습 기법들로도 분류가 쉽지 않은 저품질의 뇌파 데이터를 심층 신경망(DNN)을 적용하려 극복하려고 시도하였다.


5. 순환신경망 기반 뇌파 인식기

5.1 네트워크 구조

제안한 뇌파 인식기 네트워크 구조는 [Fig. 5]과 같다. 단일층의 순환신경망을 사용하였고, [Table 1]과 같이 7종류의 뇌파 신호를 30번 연속적으로 측정하여 입력으로 사용하였다. 각 순환신경망의 은닉층(hidden)은 32개이며 전체 출력값은 2개의 FC (Fully Connected)층을 통과하여 <정상/안정> 또는 <흥분/불안정> 두 개의 상태로 최종 예측하게 된다.

[Fig. 5]

The network structure of our proposed EEG classifier

5.2 학습조건

[Table 1]의 뇌파 데이터셋을 이용하여 제안한 뇌파인식기 모델을 학습하였다. 이때 추가로 측정한 8명분의 뇌파 중에서 4명은 학습 검증에 사용하였고, 4명은 학습된 모델의 성능검증에 사용하였다. 학습을 위한 배치(Batch) 크기는 10, 반복 횟수(Epoch)는 500번 수행하였다. 학습에 사용한 최적화(Optimizer) 함수는 Adam[2]을, 손실 함수(Loss function)는 BCEWithLogits Loss[2]를 사용하였다.

제안한 뇌파인식 모델에서 단일 층의 시계열 순차 데이터를 예측하기 위한 신경망은 RNN (Recurrent Neural Network)[2] 뿐만 아니라 LSTM (Long Short-Term Memory)[2]과 GRU (Gate Recurrent Unit)[2]로도 변경 적용하여 성능평가 하였다.


6. 성능평가

학습된 뇌파 인식기의 성능평가를 위해서 추가로 측정한 남학생 4명분의 테스트 뇌파 신호를 사용하였다.

뇌파 인식기에 입력되는 신호는 [Table 1]과 같이 7종류의 뇌파 신호와 함께 30번 연속적으로 측정된 신호를 입력으로 사용하였다. 즉, 1명당 7종류의 뇌파 신호가 150번 연속적으로 측정되었으므로, 30개씩 5개 묵음으로 분절된 4명분 총 20개 뇌파 데이터가 성능평가에 사용되었다.

시스템 구성은 아두이노가 뇌파측정기와 블루투스로 연동되어 측정된 데이터를 시리얼 통신을 통해서 라떼판다 델타 임베디드PC(셀러론 N5105 2GHz, 8GB DDR4 램)로 실시간 전송한다. 뇌파는 대략 1초에 1~2개의 측정값을 받아와서 처리할 수 있으며 제안한 뇌파인식기는 연속적으로 30개의 EEG 데이터를 입력값으로 사용하므로 약 30초마다 한번씩 환자의 상태(안정/불안정)를 측정할 수 있었다.

성능평가 결과는 [Table 3]와 같이 3가지 순환신경망 종류 중에서 GRU가 가장 성능이 뛰어났으며 <정상/안정>은 인식률 100%, <흥분/불안정>은 90%의 인식률을 보였다. 단, 학습에 사용한 뇌파 데이터셋은 아니지만, 학습 데이터셋에 측정에 참여한 사람의 뇌파를 추가로 측정한 결과이며, 저가형 뇌파 측정기로 취득한 데이터이기 때문에 새로운 사람의 뇌파를 사용하거나 환경이나 개인의 컨디션에 따라서 측정된 뇌파(EEG)의 차이가 크기 때문에 많은 성능 하락이 있음을 확인하였다.

The performance of our proposed EEG classifier

그러나 앞서 4가지 기계학습 방법론에서는 거의 변별을 하지 못했지만, 우리가 제안한 순환신경망 기반 뇌파 인식기에서는 저가형 단 채널 뇌파 측정 헤드셋을 이용한 저품질의 뇌파 데이터에서도 분류 가능성을 확인할 수 있었다.


7. 결 론

본 논문은 뇌파(EEG)를 사용하여 거동이 불편한 고령자나 사지마비 또는 와병 환자들의 이상 상태를 모니터링하고 보호자에게 알림을 전송하거나 로봇에게 간단한 서비스 명령어를 전송할 수 있도록 생체신호 기반 호출 시스템을 제안하였다. 이를 위해서 저가형 단 채널 뇌파측정기를 사용한 순환신경망 기반의 뇌파 인식기 모델을 제안하였고 생체신호 기반 호출 시스템과 연동하여 구현함으로써 적용 가능성을 검증하였다.

향후 뇌파 인식률 향상을 위하여 다채널의 뇌파측정기를 사용한 DB를 구축하여 모델 학습이 필요하며, 좀 더 다양한 상태를 인식할 수 있도록 생체신호의 종류와 범위를 확장할 필요가 있다. 또한 제안한 생체신호 기반 호출 시스템이 실생활에 적용된다면, 보호자나 간병인들에게 편의성을 제공할 뿐만 아니라 관련된 사회적인 비용을 절약할 수 있을 것으로 기대한다.

References

  • 2019 Japan Report - Thinking about Korea while looking at Japan, [Online], https://www.hankyung.com/article/2019012345691, , Accessed: Sept. 01, 2023.
  • 2023 Elderly Statistics, [Online], https://kostat.go.kr/board.es?mid=a10301010000&bid=10820&act=view&list_no=427252, , Accessed: Dec. 01, 2023.
  • J.-H. Lee, J. Park, J.-S. Kim, and S. Kwon, “EEG-based Customized Driving Control Model Design,” IEMEK Journal of Embedded Systems and Applications, vol. 18, no. 2, pp. 81-87, Apr., 2023. [https://doi.org/10.14372/IEMEK.2023.18.2.81]
  • D. R. Cox, “The regression analysis of binary sequences,” Journal of the Royal Statistical Society. Series B (Methodological), vol. 20, no. 2, pp. 215-232, 1958, [Online], https://www.jstor.org/stable/2983890, .
  • T. K. Ho, “Random decision forests,” 3rd International Conference on Document Analysis and Recognition, Montreal, QC, Canada, pp. 278-282, 1995. [https://doi.org/10.1109/ICDAR.1995.598994]
  • G. Ke, Q. Meng, T. Finley, T. Wang, W. Chen, W. Ma, Q. Ye, and T.-Y. Liu, “Lightgbm: A highly efficient gradient boosting decision tree,” 31st Conference on Neural Information Processing Systems (NIPS 2017), pp. 3146-3154, 2017, [Online], https://proceedings.neurips.cc/paper_files/paper/2017/file/6449f44a102fde848669bdd9eb6b76fa-Paper.pdf, .
  • T. Chen and C. Guestrin, “XGBoost: A Scalable Tree Boosting System,” arXiv:1603.02754, 2016. [https://doi.org/10.48550/arXiv.1603.02754]
  • D. P. Kingma and J. L. Ba, “Adam: A Method for Stochastic Optimization,” International Conference on Learning Representations, San Diego, CA, USA, pp. 1-15, 2015, [Online], https://arxiv.org/pdf/1412.6980, .
  • Y. Liu, L. Liu, H. Zhang, H. Rezatofighi, and I. Reid, “Meta Learning with Differentiable Closed-form Solver for Fast Video Object Segmentation,” arXiv:1909.13046, 2019. [https://doi.org/10.48550/arXiv.1909.13046]
  • P. Liu, X. Qiu, and X. Huang, “Recurrent Neural Network for Text Classification with Multi-Task Learning,” arXiv:1605.05101, 2016. [https://doi.org/10.48550/arXiv.1605.05101]
  • S. Hochreiter and J. Schmidhuber, “Long Short-Term Memory,” Neural Computation, vol. 9, no. 8, pp. 1735-1780, Nov., 1997. [https://doi.org/10.1162/neco.1997.9.8.1735]
  • K. Cho, B. Merrienboer, C. Gulcehre, D. Bahdanau, F. Bougares, H. Schwenk, and Y. Bengio, “Learning Phrase Representations using RNN Encoder–Decoder for Statistical Machine Translation,” arXiv:1406.1078, 2014. [https://doi.org/10.48550/arXiv.1406.1078]
김 현 돈

1997 고려대학교 제어계측공학과(학사)

2004 고려대학교 전기공학과(석사)

2008 Intelligence Science and Technology in Graduate School of Informatics from Kyoto University, Japan(박사)

2017~현재 한국폴리텍대학 로봇캠퍼스 로봇 자동화과 부교수

관심분야: Machine Learning, Human Robot Interaction, Biometrics, Sound Signal Processing, Speech Recognition, Collaborative Robot, Artificial Intelligence

[Fig. 1]

[Fig. 1]
EEG-based system to detect the abnormality of patients

[Fig. 2]

[Fig. 2]
Operation flowchart of our proposed system

[Fig. 3]

[Fig. 3]
Constructing EEG datasets

[Fig. 4]

[Fig. 4]
ROC curve the machine learning tests

[Fig. 5]

[Fig. 5]
The network structure of our proposed EEG classifier

[Table 1]

Structure of EEG datasets

Number of EEG signals according to brain states
State Excited / Unstable Normal / Stable Total
Condition Concentration Excitement Blink Meditation Spacing out Boring All
Number 21,000 21,000 21,000 21,000 21,000 21,000 126,000
Number of acquisition signals according to EEG types
Types Theta Alpha SMR Beta High Beta Low Gamma Mid Gamma
Freq. (Hz) 4~7 8~12 12~15 15~18 18~30 30~50 50~100
Number 18,000 18,000 18,000 18,000 18,000 18,000 18,000

[Table 2]

The result of machine learning tests

Logistic Regression Random Forest LightGBM XGBoost
Accuracy 0.53 0.54 0.52 0.53
Precision 0.53 0.54 0.52 0.53
Recall 0.53 0.54 0.52 0.53
F1 Score 0.53 0.53 0.52 0.53
AUROC 0.53 0.54 0.52 0.53
Confusion 962 838 1064 736 959 841 1016 784
Matrix 838 962 933 867 895 905 891 909

[Table 3]

The performance of our proposed EEG classifier

Type of NN Normal / Stable Excited / Unstable
RNN 70% (14/20) 50% (10/20)
LSTM 90% (18/20) 70% (14/20)
GRU 100% (20/20) 90% (18/20)