본문바로가기

Development of SSVEP Command Protocol Combined with EMG Characterized by Jaw-Clenching to Reduce False Alarms in Brain-Computer Interaction

Abstract

Objective: The purpose of this study was to investigate whether electromyogram (EMG) induced by jaw-clenching can be accurately observed in steady-state visually evoked potential (SSVEP) signals at occipital lobes as well as temporal lobes. We also investigated a feasibility that the fused SSVEP data with the jaw-clenching EMG can be classified as a function of task types characterized by SSVEPs with and without the short and long clenching noise. Based on this hypothesis, we proposed a novel command protocol to effectively and efficiently reduce false alarms caused by using SSVEP brain-computer interface (BCI).

Background: Much attention has been paid to various brain-computer interfaces for neural rehabilitation and alternative communication channels for disabled people with severe neurological disorders. However, despite the interests in BCI, false alarms caused by interference effects between command flickers with different frequencies or internal and external noises have been still problematic and have yet to be investigated. Even though protocols to correct the false alarms based on error-related potential (ErrP) or eye blinks have been proposed, it has still limitation due to errors inherent in involuntary reactions of humans. Thus, it is necessary to develop a protocol to address the issue and propose a method insusceptible to the involuntary reactions.

Method: Nine undergraduate students (3 female) voluntarily participated in the experiment. They were asked to divide their attention between the two squares randomly oscillating with 8.57 and 10Hz and perform three types of tasks characterized by SSVEP only, short clenching, and long clenching conditions. They carried out the three tasks with a semi-counterbalanced and random order and rest interval between the tasks was set to 10 minutes to minimize order and carryover effects. It took about 12 minutes in completing the experimental tasks for each participant. We used five machine learning algorithms of binary classification to compare the performance in classifying the brainwave signals characterized by the three tasks.

Results: As a result of the classification comparison, random forest showed the highest classification performance of more than 0.85 (AUC) as follows: 0.88 (short clenching vs. SSVEP), 0.87 (long clenching vs. SSVEP), 0.85 (long clenching vs. short clenching condition) in the test data set. Notably, the findings implicated a clear classification in the long cand short clenching condition even at the frequency band of more than 20Hz. For the participants whose highest weight factor was shown at the occipital lobe, it can be possible to reduce false alarms in the SSVEP BCI with only single electrode at the occipital lobe.

Conclusion: The findings found in this study implicate that the proposed protocol can be used to effectively and efficiently correct false alarms in event-related potential (ERP), event-related desynchronization/synchronization (ERD/ERS) BCI as well as SSVEP BCI. On top of that, classifying the subtle changes in the jaw clenching types enables BCI developers to create additional commands to modulate their BCI system. The results can be greatly improved if weight factors in the binary classification are modulated as a function of individual characteristics.

Application: The findings obtained in this study can be utilized in developing asynchronous BCI very robust to false alarms and expected to provide a future direction into hybrid BCI system.



Keywords



Brain computer interface False alarm correction Steady-State visually evoked potential Machine learning Random forest



1. Introduction

선택 주의 집중(Selective Attention)이나 생각만으로 컴퓨터나 외부 장치를 제어할 수 있는 뇌-인터페이스(Brain-Computer Interface, BCI) 기술은 현재 머신러닝 알고리즘의 발달로 인해 많은 연구가 이루어지고 있다. 특히, 루게릭병(amyotrophic lateral sclerosis)을 앓고 있는 중증 장애인에게 제공되는 대체 커뮤니케이션 채널로서의 역할이 크게 증대되고 있다. 또한 이러한 BCI 기술은 인간의 인지 기능을 향상시킬 수 있는 뉴로-바이오 피드백 시스템으로 활용되거나 미래 자율주행차의 새로운 인터페이스(뇌파로 차의 내부 조명을 조절하거나 특정 운행 모드로 전환 등)로 각광받고 있다. 최근 BCI 기술의 발전으로 페이스북, 아마존, 일론 머스크가 리딩하는 뉴럴링크 등의 글로벌 IT 기업이 BCI 초기 시장 확대를 견인하며, 관련 글로벌 BCI 산업 규모도 13억 6,000만 달러(2019년 기준)에서 2027년까지 14.3%의 연평균 성장률을 기록할 것으로 예상된다(PR Newswire, 2020). 또한 보건복지부에 따르면 2020년 기준 국내 장애인 등록 수는 2,633,026명에 달하고, 그 중 중증 장애인의 수도 984,965명으로 전체 인구 대비 5.1%를 차지하고 있다(Ministry of Health and Welfare, 2020). 따라서 중증 신경장애를 가진 장애인에게 디지털 헬스케어 재활이나 대체 의사소통 커뮤니케이션 채널을 제공하기 위해 많은 BCI 연구가 이루어지고 있다.

이러한 사회적 관심과 관련 초기 시장의 개화로 다양한 BCI 알고리즘이 제안되고 관련 시스템이 개발되어 왔다(Zhang et al., 2021a; Lin et al., 2021; Ahmad et al., 2021; Andersen, 2021; Naebi et al., 2021; Zhang et al., 2021b; Khan et al., 2020). Zhang et al. (2021a)은 SSVEP (Steady-State Visually Evoked Potential) BCI의 인식 정확도를 개선하기 위해 FBMSI (Filter Bank Driven MSI) 알고리즘을 제안하고 6-command SSVEP-NAO 로봇 시스템을 제안하였다. 이를 통해 MSI 알고리즘 적용 시보다 BCI 인식 정확도를 12.26% 향상시켰다. Lin et al. (2021)은 전이학습, Volterra 필터 및 t-eCCA (transfer-extended Canonical Correlation Analysis) 알고리즘을 활용하여 비선형 SSVEP BCI 모델을 제안하였다. 이를 통해, 적은 양의 학습 데이터로도 높은 인식 정확도(86.96%±12.87%)를 보이는 SSVEP BCI 시스템을 개발하였다. Naebi et al. (2021)은 BCI 뇌파 신호 특징점, 기록전극, BCI 분석 주파수 범위를 축소할 수 있는 알고리즘을 제안하여 BCI 시스템 운용에 불필요한 요인을 최소화하였다. 이를 통해, 최소 데이터 샘플링과 기록전극을 사용하는 효율적인 BCI 시스템을 제안하였다. Zhang et al. (2021b)은 건식센서를 기반으로 실제 환경을 스트리밍 하여 AR로 미러링 하는 BMI 로봇 제어 프로토콜을 제안하였다. 이를 통해, 사용자는 모니터에 디스플레이 되는 시각 자극으로 로봇을 원격으로 제어할 수 있는 시스템을 개발하였다. 또한 상상동작(MI, Motor Imagery) 기반의 BCI 프로토콜과 가상현실(VR, Virtual Reality) 디스플레이 기술이 융합된 신경재활 BCI 연구가 활발히 진행되고 있다(Khan et al., 2020).

그러나 이러한 많은 BCI 연구들이 진행되고 있음에도, 신호처리 민감성, 환경 노이즈 및 개인차 등으로 인한 BCI 오탐(False alarm) 이슈는 지속적으로 제기되고 있다(Davarinia and Maleki, 2022; Giudice et al., 2020; Xie at al., 2021). Davarinia and Maleki (2022)은 외부 환경에 의한 오탐을 줄이기 위해 SSVEP 유발전위와 팔 각도의 근전도(EMG, Electromyogram) 신호를 하이브리드 입력 신호로 처리하여 뇌파만으로 시스템이 작동할 때의 오탐을 저감하는 프로토콜을 제안하였다. Giudice et al. (2020)은 전두엽에서 탐지되는 눈 깜박임만으로 BCI 시스템을 제어할 수 있는 BCI 프로토콜을 개발하였다. 1차원 CNN (Convolutional Neural Network) 백본을 활용해 자발적 눈 깜박임과 비자발적 눈 깜박임을 높은 정확도(97.92%)로 분류할 수 있는 알고리즘을 제안하였다. 이를 통해, 운동 장애를 가진 장애인이 눈 깜박임만으로 BCI 시스템을 제어할 때, 비자발적 눈 깜박임에 대한 오탐을 저감할 수 있음을 강조하였다. Xie e al. (2021)은 SSVEP BCI의 잦은 오탐 문제를 해결하기 위해, BCI 콘트롤 패널의 상단에 BCI on/off 기능을 포함하는 작은 버튼을 두어 시선 추적으로 해당 버튼이 클릭될 경우 BCI 시스템이 on/off 되는 스위치 방식의 비동기 BCI 프로토콜을 제안하였다. 그 결과 제안된 비동기 SSVEP BCI 시스템 환경에서 오탐이 10% 미만으로 감소함을 보고하였다.

그러나, 현재까지 제안된 오탐 저감 프로토콜은 다음과 같은 한계가 존재한다. 근전도 기반의 방식은 근전도 신호를 추가로 수집해야 되거나 다른 자극이 추가로 요구되어 뇌파 측정만으로 부가적인 오탐 저감을 수행하기에는 한계가 존재한다. 뇌파에서 관측이 가능한 눈 깜박임 신호나 에러 관련 유발전위를 오탐 보정 신호로 사용하는 연구의 경우에도 하기와 같은 한계점이 존재한다. 눈 깜박임 등의 안전도 신호를 전두엽(Frontal Lobe) 부분의 기록 전극에서 인식하여 오탐 보정 명령어로 사용할 경우, 내적/외적 요인(피로감에 의한 잦은 눈 깜박임 및 이물감 등으로 인한 신호 겹침 현상)에 의한 추가 오탐 발생 가능성이 높다는 문제가 발생할 수 있다. 또한 BCI 사용자가 특정 움직임에 대해 에러임을 인지하였을 경우에 발생하는 ErrP (Error-Related Potential)나 ERN (Error Related Negativity) 등의 유발전위를 오탐 보정 명령어로 사용하는 경우에도, 유발전위의 탐지 정확도의 한계로 인해 오히려 BCI 사용자의 정보 전달 속도(ITR, Information Transfer Rate)가 저하되는 문제가 유발될 수 있다. 따라서 유발 뇌파 외에 자발적으로 발생되고 뇌파에서 관측이 가능한 생체 신호 정보를 기반으로 즉각적인 오류 대응이 가능한 프로토콜 개발 연구가 필요하다.

따라서, 본 연구는 추가적인 오탐 발생 요인이 적은 어금니를 깨무는 것으로 유발되는 턱 근전도를 측두엽(Temporal Lobe)과 후두엽(Occipital Lobe)의 기록전극에서 정확하게 관측할 수 있는지를 테스트하고, 이를 기반으로 한 듀얼 모달리티 오탐 보정 프로토콜을 개발하는 것을 그 목적으로 한다.

세부적으로는 뇌-컴퓨터 인터페이스 중 ITR이 가장 좋은 SSVEP 플리커 자극을 기반으로 사용될 수 있는 듀얼 모달리티 오탐 보정 프로토콜의 Feasibility를 테스트하고자 한다. 즉, 저주파수 대역의 SSVEP 자극을 사용하고 유발뇌파와 간섭효과가 거의 없는 20Hz 이상의 턱 근전도(Jaw Clenching EMG) 신호를 효율적이고 세부적으로 구분할 수 있는 프로토콜을 제안하고 머신러닝 분류 알고리즘으로 검증하고자 한다.

2. Method

2.1 Participants

20대 대학생 9명(여자 3명, 남자 6명, 평균 나이: 23.0±1.0)이 실험 참가자로 본 실험에 참여하였다. 심각한 약시, 난시, 근시, 외사위 및 원시 등 뇌-컴퓨터 인터페이스 실험에 잠재적인 영향을 줄 수 있는 부분을 통제하기 위해 상기 시력 문제가 없고, 시력이 0.8 이상(교정 시력을 포함)인 실험 참가자만 모집하였다. 또한 모든 참가자는 정상적인 청력과 촉각을 지녔으며, 인지 기능을 포함한 주의/집중 관련 신경기전에 특정 신경생리학적 문제가 없었다. 특정 인지 기능의 개인차를 통제하기 위해 오른손잡이 참가자만 실험에 참여하였다. 실험 참가자들에게 실험 12시간 이전부터 카페인 및 음주 섭취를 절제(금연 포함) 하고 충분한 수면을 할 것을 요청하였다. 모든 실험 참가자들은 실험 목적을 제외한 실험 절차, 수행 태스크 시간 및 잠재적 이익과 위험성 등을 포괄하는 피험자 서면 동의서를 읽고 이에 동의하였다.

2.2 Experimental stimuli

뇌-컴퓨터 인터랙션의 주된 명령어인 시유발지속전위를 유발하기 위해, 17인치 모니터상에 시각 플리커(60cm 거리에서 가로/세로 9.46°의 시각도를 가지는 정사각형 플리커)가 사용되었다(Figure 1). 시유발지속전위 기반 뇌-컴퓨터 인터랙션 태스크 환경을 모사하기 위해 두 정사각형 사이 중앙에 시선을 고정할 수 있도록 하는 붉은색의 십자가를 표시하였다. 이 붉은색 십자가는 실제 뇌-컴퓨터 인터랙션 환경처럼 서로 다른 플리커 자극이 동시에 제시되는 상황을 모사하기 위한 시선 고정용으로 사용되었다. 시선을 붉은색 십자가에 고정한 채 사전에 지시되는 방향(좌 또는 우측)에 선택 주의 집중(Selective attention)하는 식으로 자극을 구성하였다. 두 정사각형은 120Hz 화면주사율을 기반으로 8.57 또는 10Hz의 속도로 반복적으로 디스플레이되는 플리커(흰색과 검정)로 구성되었다. 실험은 자극에 대한 집중도를 극대화하기 위해 빛이 차단된 암막 상태에서 실시되었다.

Figure 1. Experimental environment

10Hz 자극과 8.57Hz 자극이 좌측과 우측으로 각각 랜덤하게 제시되었으며, 특정 방향에 집중하라는 큐가 나온 후의 플리커 트레인 자극은 12초(1 trial)로 구성하였다. 하나의 Session(특정 방향에 집중)은 4 trial로 구성되고, trial간 휴식 시간은 2초로 설정하였다. 각 세션(특정 방향에 집중)은 좌측 2번, 우측 2번 집중으로 구성하고 랜덤하게 제시되도록 구성하였다. 4세션을 수행하는 데에는 약 4분의 시간이 소요되었다(Figure 2). 각 실험 참가자는 상기의 조건으로 시유발전위 자극에 집중하는 태스크, 시유발전위에 집중하며 어금니를 짧은 시간(1초 미만) 동안 반복적으로 깨물어 턱 근전도를 발생(Short Clench 조건)시키는 태스크, 시유발전위에 집중하며 어금니를 긴 시간(5초 이상) 동안 길게 깨물어 턱 근전도를 발생(Long Clench 조건) 시키는 태스크를 Semi-Counterbalanced 순서로 수행하였다. 9명의 실험 참가자는 평일 2회(14시, 16시)의 시간에 1명씩 상기 태스크를 진행하였다. 한 조건(4세션)당 약 4분이 소요되었으며, 3가지 조건을 시행하는 데에는 약 12분이 소요되었다.

Figure 2. Experiment with semi-counterbalanced order

2.3 Experimental procedure

실험은 연구보조원에 의해 이중맹검법(Double-blind)으로, 각 피험자당 약 1시간 동안 진행되었다. 피험자 동의 절차와 시각 자극에 대한 설명 후에 CAP100C 뇌파센서(BIOPAC Systems Inc., Goleta, CA, USA)를 부착(10-20 시스템)하고 임피던스를 3kΩ 이하로 유지한 후에 진행하였다. 뇌파에 미치는 근전도와 안전도 노이즈를 최소화하기 위해 시각 자극에 집중하는데 필요한 부분 외의 불필요한 눈 깜박임/좌우 눈 움직임 및 몸 움직임을 최소화하는 사전 훈련을 진행하였다(Figure 3). 각 피험자는 Figure 2에서 보는 바와 같이, 순서효과와 이월효과를 최소화하기 위해 Semi-Counterbalanced & Random 디자인으로 정해진 순서에 의해 10분의 휴식 시간을 두고 3가지 실험 조건을 순차적으로 수행하였다. 본 실험 진행 전에 시각 자극을 사전에 제시하고 시유발지속전위가 유발되는 지를 사전에 확인하여 BCI illiteracy를 보이는 피험자가 없음을 확인하였다.

Figure 3. Experiment procedure

2.4 Data acquisition and processing

뇌파 데이터 획득과 처리를 위해 BIOPAC MP160 시스템(BIOPAC Systems Inc., Goleta, CA, USA)과 NI-USB-6009 및 LabVIEW 프로그램(National Instruments, Austin, TX, USA)을 사용하였으며, 향후 최소 센서기반의 안경형 또는 헤드셋형 폼팩터의 프로토콜로 발전시키기 위해 4채널 뇌파 지점(T3, T4, O1, O2)을 기록전극으로 하였다. 500Hz의 시간해상도로 데이터를 샘플링하였으며, 랩뷰 밴드패스 필터와 PSD (Power Spectrum Density) 알고리즘을 기반으로 주파수 신호를 분석하였다. 또한 본 실험은 BCI 시스템의 오탐을 보정하기 위한 신호 프로토콜로 활용하기 위한 목적이므로, BCI 명령이 탐지되는 2초 내를 데이터 분석 범위로 한정하였다(자극+태스크 개시 시간부터 시작 후 2초 데이터를 분석 범위로 한정). Long Clench와 Short Clench의 신호를 후두에서 명확하게 탐지하여 구분할 수 있고 측두에서 관측된 Clenching 신호 특성을 보완적으로 사용하는 것이 가능하다면, 단순히 오탐을 교정하는 것이 아닌 Short Clench와 Long Clench를 BCI 명령어로 만들거나 추가적인 BCI 커맨드로 활용 가능하여 오탐을 저감할 수 있다고 가정하였다.

따라서 각 지점의 실험 조건 별 데이터는 Clenching의 유무 및 종류에 따라 각 측정 지점별로 머신러닝 분류 알고리즘에 의해 처리되었다. Figure 4는 PSD 후의 세 가지 실험 조건(SSVEP only condition, SSVEP + long clenching condition, SSVEP + short clenching condition)에 따른 후두엽(O1, O2) 지점의 신호 분류 예시를 나타낸다.

Figure 4. An example of clenching signal separation at O1 and O2 of P1

2.5 Data analysis

데이터 분석을 위해 파이썬 3.9.2 (2021 Python Software Foundation)와 오픈소스를 활용하여 5개의 머신러닝 분류 알고리즘을 구현하였다(Table 1). 이를 통해 각 측정 지점의 데이터 분류 성능을 5 Cross-validation을 적용한 ROC (Receiver Operating Characteristic) 커브와 AUC (Area Under the Curve)를 계산하여 평가하였다.

Number

Machine learning

1

Logistic Regression (LR)

2

Linear Discriminant Analysis (LDA)

3

Decision Tree (DT)

4

Random Forest (RF)

5

Linear Kernel Support Vector Machine (LSVM)

Table 1. Machine learning algorithms used in the binary classification
3. Results

3.1 Classification results between SSVEPs with and without clenching activation

생체 신호의 경우 개인차가 매우 크기 때문에, 각 피험자에 대한 신호를 별도로 분석하여 개인별 가중치를 설정하는 것이 필수적이다. 따라서, 본 연구에서는 평균과 통계량 기반의 통계분석보다는 각 피험자별 신호 분류 결과를 토대로 분류 결과를 제시하고자 한다. 또한 Permutation Importance 분석을 실시하여, 측두엽과 후두엽의 4 기록전극의 신호를 개인별 가중치로 산출할 수 있도록 하였다.

Training 데이터와 Test 데이터 셋을 5-fold cross validation 기법을 이용하여 구성하고 분류결과를 각각 제시하였다. Table 2에서 보는 바와 같이, 대부분의 피험자의 경우 랜덤포레스트(Random Forest)가 가장 분류 성능이 좋은 것으로 확인되었다. 다중비교로 인한 1종 오류(Alpha Inflation)를 보정하기 위해 보수적인 본페로니 교정(Bonferroni Correction)을 적용하여 유의수준 0.016 (0.05/3)에서 통계검정을 수행하였다. 테스트 셋에 대한 일원 반복측정 분산분석(One-way repeated-measures ANOVA) 수행결과, Short Clench vs. SSVEP Only 조건의 경우 분류 알고리즘의 ROC 값에 유의한 차이가 관측되었다(F[1.13, 9] = 58, p < 0.001, Greenhouse-Geisser ε = 0.28, η_p^2 = 0.88). 사후검정(Tukey's HSD tests) 결과, 랜덤포레스트 알고리즘이 타 알고리즘에 비해 유의하게 높은 ROC 값이 보고되었다[p < 0.001 (LR), p < 0.001 (LDA), p = 0.001 (DT), p < 0.001 (LSVM)]. Long Clench vs. SSVEP Only 조건의 경우 분류 알고리즘의 ROC 값에 유의한 차이가 관측되었다(F[1.43, 10] = 68.33, p < 0.001, Greenhouse-Geisser ε = 0.36, η_p^2 = 0.91). 사후검정(Tukey's HSD tests) 결과, 랜덤포레스트 알고리즘이 타 알고리즘에 비해 유의하게 높은 ROC 값이 보고되었다[p < 0.001 (LR), p < 0.001 (LDA), p = 0.002 (DT), p < 0.001 (LSVM)]. Long Clench vs. Short Clench 조건의 경우에도 알고리즘 간 ROC 값에 유의한 차이가 관측되었다(F[1.02, 8.2] = 57.48, p < 0.001, Greenhouse-Geisser ε = 0.26, η_p^2 = 0.88). 사후검정(Tukey's HSD tests) 결과도, 랜덤포레스트 알고리즘이 타 알고리즘에 비해 유의하게 높은 ROC 값을 보여주었다[p < 0.001 (LR), p < 0.001 (LDA), p < 0.001 (DT), p < 0.001 (LSVM)].

Comparison of Accuracy and AUC scores of the algorithms. AUC: AUC for Training Set (AUC for Test Set)

 

P1

P2

P3

Classifier

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

Logistic
regression

0.48

(0.40)

0.53

(0.57)

0.53

(0.50)

0.59

(0.57)

0.54

(0.54)

0.59

(0.58)

0.63

(0.64)

0.55

(0.51)

0.56

(0.50)

Linear

discriminant

0.48

(0.41)

0.52

(0.54)

0.54

(0.51)

0.60

(0.58)

0.55

(0.55)

0.61

(0.60)

0.64

(0.64)

0.55

(0.51)

0.55

(0.50)

Decision trees

0.69

(0.68)

0.86

(0.88)

0.78

(0.80)

0.63

(0.65)

0.63

(0.63)

0.67

(0.63)

0.74

(0.76)

0.85

(0.88)

0.78

(0.77)

Random forest

0.84

(0.85)

0.95

(0.96)

0.90

(0.92)

0.76

(0.79)

0.77

(0.75)

0.81

(0.79)

0.89

(0.91)

0.95

(0.95)

0.90

(0.88)

Linear support

vector machine

0.48

(0.40)

0.55

(0.56)

0.54

(0.51)

0.60

(0.57)

0.55

(0.54)

0.60

(0.59)

0.62

(0.63)

0.55

(0.51)

0.56

(0.49)

 

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

Logistic

regression

0.58

(0.54)

0.51

(0.57)

0.57

(0.53)

0.61

(0.60)

0.60

(0.60)

0.56

(0.57)

0.57

(0.58)

0.59

(0.60)

0.57

(0.57)

Linear

discriminant

0.57

(0.54)

0.52

(0.57)

0.57

(0.54)

0.62

(0.62)

0.65

(0.71)

0.59

(0.60)

0.56

(0.56)

0.59

(0.61)

0.58

(0.58)

Decision trees

0.67

(0.71)

0.69

(0.77)

0.72

(0.74)

0.74

(0.73)

0.77

(0.78)

0.66

(0.66)

0.72

(0.69)

0.69

(0.69)

0.64

(0.61)

Random forest

0.81

(0.86)

0.83

(0.84)

0.86

(0.87)

0.88

(0.87)

0.90

(0.90)

0.82

(0.79)

0.85

(0.78)

0.82

(0.81)

0.75

(0.75)

Linear support

vector machine

0.58

(0.53)

0.51

(0.57)

0.57

(0.54)

0.61

(0.59)

0.61

(0.62)

0.56

(0.57)

0.60

(0.60)

0.60

(0.60)

0.57

(0.57)

 

P7

P8

P9

Classifier

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

Short

clench

vs.

SSVEP

only

Long

clench

vs.

SSVEP

only

Long

clench

vs.

Short

clench

 

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

AUC

Logistic

regression

0.54

(0.52)

0.48

(0.47)

0.53

(0.53)

0.62

(0.56)

0.58

(0.58)

0.61

(0.59)

0.56

(0.51)

0.62

(0.62)

0.53

(0.49)

Linear

discriminant

0.54

(0.53)

0.49

(0.49)

0.53

(0.53)

0.59

(0.55)

0.60

(0.61)

0.59

(0.59)

0.56

(0.50)

0.64

(0.61)

0.52

(0.49)

Decision trees

0.73

(0.74)

0.67

(0.65)

0.68

(0.69)

0.92

(0.92)

0.78

(0.82)

0.76

(0.75)

0.90

(0.91)

0.76

(0.75)

0.76

(0.80)

Random forest

0.86

(0.87)

0.80

(0.82)

0.82

(0.82)

0.98

(0.98)

0.91

(0.93)

0.88

(0.88)

0.97

(0.98)

0.88

(0.88)

0.90

(0.92)

Linear support

vector machine

0.54

(0.51)

0.47

(0.48)

0.52

(0.51)

0.63

(0.57)

0.57

(0.56)

0.63

(0.59)

0.54

(0.51)

0.62

(0.63)

0.55

(0.51)

Table 2. Individual classification performance of the five algorithms based on area under the curve (AUC)

피험자 3의 경우, 타 분류 알고리즘은 낮지만 Decision tree와 Random forest의 경우 모델의 높은 분류 예측 성능이 도출되었다(Figure 5). Random forest의 경우, SSVEP with short clenching과 SSVEP only condition의 분류 예측 성능이 Training set과 Test set에서 각각 0.89 (AUC)와 0.91 (AUC)의 높은 분류 예측 성능이 확인되었다. SSVEP with long clenching과 SSVEP only condition 간에도 0.95 (AUC)의 아주 높은 분류 예측 성능이 관측되었다. Clenching 타입간 분류에서도 Training set과 Test set에서 각각 0.90 (AUC), 0.88 (AUC)의 분류 성능이 확인되었다.

Figure 5. ROC and AUC of in the binary classification of participant 5 (left: classification results of training data set, right: classification results of test data set)

Table 3에서 보는 바와 같이, Random forest classifier의 경우 평균 85% 이상의 높은 분류 성능평가 지표(AUC)가 확인되었다(0.88 (Short Clenching vs. SSVEP) 0.87 (Long Clenching vs. SSVEP) 0.85 (Short vs. Long Clenching) (Test Set 기준)). 또한, 20Hz 이상의 주파수 대역에서 Long Clenching과 Short Clenching의 뚜렷한 변화가 확인되어 모든 종류의 BCI (ERP/SSVEP/ERD-ERS)에서 오탐을 보정하는 Triggering Command나 로봇의 동작 정확도를 향상시킬 수 있는 Additional Command Trigger로 활용이 가능할 것으로 판단된다.

Classifier

P1 ~ P9 (AUC for Test Set)

Short clench vs SSVEP only

Long clench vs SSVEP only

Long clench vs Short clench

AUC

AUC

AUC

Logistic regression

0.58±0.04 (0.55±0.06)

0.56±0.04 (0.56±0.05)

0.56±0.03 (0.54±0.04)

Linear discriminant

0.57±0.04 (0.55±0.06)

0.57±0.05 (0.58±0.06)

0.56±0.03 (0.54±0.04)

Decision trees

0.75±0.09 (0.75±0.09)

0.74±0.08 (0.76±0.09)

0.72±0.05 (0.72±0.07)

Random forest

0.87±0.07 (0.88±0.07)

0.87±0.06 (0.87±0.07)

0.85±0.05 (0.85±0.06)

Linear support vector machine

0.58±0.04 (0.55±0.06)

0.56±0.05 (0.56±0.05)

0.57±0.03 (0.54±0.04)

Table 3. Averaged classification performance of the five algorithms based on area under the curve (AUC)

3.2 Results of permutation importance reflecting individual weight factors between SSVEPs with and without clenching activation

측정 부위의 경우 오른 손잡이 특성상 우반구 측정 지점이 가중치가 높은 것으로 나타났다(Figure 6). 측두엽과 후두엽 가중치의 경우는 개인마다 가중치가 측두와 후두가 높은 경우가 개인마다 다른 것으로 확인되었다. 이는 개인마다 치아 구조, 턱 관절 구조 및 턱 근전도-대뇌피질 신경전달 Amplification의 차이로 이런 현상이 나타난 것으로 추측되며, 향후 개인 별 기록 지점 가중치를 적용한 실시간 BCI 태스크 수행을 통해 맞춤형 BCI로서 활용될 수 있는 결과인지 검증이 필요할 것으로 사료된다. 주목할 만한 결과는 우측 후두엽에서 가중치가 높게 도출된 피험자의 경우, SSVEP 신호가 후두엽 기록전극에서 가장 명확하게 나타난다는 점에서 싱글 기록전극으로도 BCI 오탐 저감을 가능케 할 수 있을 것이라는 점이다.

Figure 6. Results of permutation importance analysis to indicate weight factors of recording electrode sites for each comparison condition
4. Discussion & Conclusion

본 연구에서는 기존의 BCI 오탐 교정 프로토콜의 내인적 한계를 개선하기 위해 일반적으로 뇌파의 노이즈로 작용하는 턱 근육 움직임을 역으로 활용하여 턱 근육 움직임과 시유발지속전위를 동시에 탐지할 수 있는지를 조사하였다. 20Hz 이상에서 주로 탐지되는 턱 근육 움직임과 구분하기 위해 10Hz 이하의 시유발지속전위 자극을 사용하고, 세부적인 Clenching 타입에 따라서도 신호 구분이 가능한지를 테스트하였다. 실험결과 평균 85% 이상의 높은 분류 성능치가 도출되고 20Hz 이상의 주파수 대역에서 Long Clenching과 Short Clenching의 뚜렷한 변화가 확인되었다.

본 연구에서 제안한 프로토콜에 대한 검증 실험을 수행한 결과, 하기와 같은 주요 연구결과가 도출되었다. (1) 턱 근육 세부 움직임을 포함한 SSVEP 데이터 Classification의 경우 O2와 더불어 T4의 분류 가중치가 높다는 점이 확인되었다. 이는 전술한 바와 같이, 오른 손잡이의 경우 우측 근육의 활성화 정도가 상대적으로 커서 강한 턱 근육 노이즈가 우측 기록 지점에서 관측된 것으로 추측된다. (2) 20Hz 이상에서 비교적 명확하게 관측되는 짧은 턱 근육 움직임과 긴 턱 근육 움직임의 세부적인 패턴이 SSVEP 신호에서 구분 가능하다는 것이 확인되었다. 이는 뇌파 신호만으로도 EMG 노이즈를 세부적으로 분류할 수 있어 다양한 종류의 BCI (ERP/SSVEP/ERD-ERS)에서 오탐을 보정하는 Triggering Command나 로봇의 동작 정확도를 향상시킬 수 있는 Additional Command Trigger로서 활용이 가능하다는 것을 의미한다. (3) 데이터의 크기가 크지 않은 경우 딥러닝 모델보다 전통적인 기계학습 분류모델의 성능이 더 좋고, 많은 경우에서 Random Forest가 강력한 분류 성능을 보이고 있음이 본 연구에서도 확인되었다. 본 연구는 실시간 BCI 오탐 교정 시스템을 개발하기 위한 전 단계로 제어 프로토콜을 제안하고 이를 각 기록전극의 데이터를 모두 독립변수로 취급하여 머신러닝 분류모델의 입력값으로 사용하고 분류 성능을 검증하였다. 그 결과, 실시간 BCI 신호탐지와 유사한 자극 집중후의 2초 데이터 Segmentation 기반으로 분류 성능치를 비교할 때, 2초 데이터만으로도 Random Forest가 우수한 분류 성능을 보인다는 것을 확인했다는 점에서 의미가 있다.

도출된 결과는 BCI 시스템의 오탐을 교정하는 용도로 사용이 가능할 뿐만 아니라, SSVEP/MI BCI와 연동하여 선택적 집중 명령 외에 특정 Jaw Clenching에 부가적인 Triggering을 할당하여 두 가지 신호가 다 탐지가 되어야 BCI 시스템이 동작하도록 하는 방식의 구현도 가능하다(e.g., long jaw clenching에 move to the left, short clenching에 move to the right 명령 할당). 이러한 방식으로 오탐을 원천적으로 최소화하여 BCI 시스템의 Information Transfer Rate (ITR)을 향상시킬 수 있을 것으로 기대된다. 또한 개인의 특성에 따라 기록전극의 분류 가중치가 상이한 것으로 확인되어 본 제안 프로토콜 활용 시 레퍼런스 단계를 두어 측두엽이나 후두엽 기록전극에 개인별 가중치를 부여하고 개인별 임계치와 Relative Power 특정 로직을 설계한다면 분류 정확도가 크게 개선될 것으로 예상된다.

자발적 눈 깜박임 또는 시선추적기술을 BCI Command로 활용한 이전 연구(Lahane et al., 2018; Giudice et al., 2020; Xie at al., 2021)와 달리, 본 연구는 시각 피로감에 의한 잦은 눈 깜박임 및 이물감 등으로 비자발적 눈 깜박임이나 빠른 좌우 눈 움직임(Saccade)에 따른 오버슈트(Overshoot) 등의 오탐 이슈가 추가로 발생할 가능성이 적다는 점에서 큰 의미가 있다. 향후 MI BCI 시스템에도 동일하게 적용 가능한지, MI Training에 Left Clenching Right Clenching 등 세부 Jaw Clenching Action이 결합될 수 있는지 등을 실험적으로 검증하고, MI & SSVEP 하이브리드 BCI 기반 Error-robust Hybrid 제어 프로토콜로 발전시켜 나간다면 BCI에서 발생하는 오탐을 획기적으로 줄이는 것이 가능할 것으로 예상된다. 본 연구의 결과는 오탐에 강건한 비동기식(Asynchronous) BCI 개발에도 활용될 수 있으며, 오탐을 저감하기 위한 하이브리드 BCI 프로토콜 개발에 가이드라인으로 활용될 수 있을 것이다.



References


1. Ahmad, I.S., Shuai Z., Saminu, S., Isselmou, A.E.K., Musa, J.M., Javaid, I., Kamhi, S. and Kulsum, U., "Analysis and classification of motor imagery using deep neural network", Journal of Applied Materials and Technology, 2(2), (pp. 85-93), 2021. doi.org/ 10.31258/Jamt.2.2.85-93.
Google Scholar 

2. Andersen T., "Implementation of a simple asynchronous pipeline framework (SAPF) for construction of real-time BCI systems", LUND UNIVERSITY LIBRARIES, (pp. 1-81), 2021.
Google Scholar 

3. Davarinia, F. and Maleki, A., "SSVEP-gated EMG-based decoding of elbow angle during goal-directed reaching movement", Biomedical Signal Processing and Control, 71, 103222, 2022. doi:10.1016/j.bspc.2021.103222.
Google Scholar 

4. Giudice, M.L., Varone, G., Ieracitano, C., Mammone, N., Bruna, A.R., Tomaselli, V. and Morabito, F.C., "1D convolutional neural network approach to classify voluntary eye blinks in EEG signals for BCI applications", 2020 International Joint Conference on Neural Networks (IJCNN), (pp. 1-7), Glasgow, UK, 2020. doi:10.1109/IJCNN48605.2020.9207195
Google Scholar 

5. Khan, M.A., Das, R., Iversen, H.K. and Puthusserypady, S., "Review on motor imagery based BCI systems for upper limb post-stroke neurorehabilitation: From designing to application", Computers in Biology and Medicine, 123, 103843, 2020. doi:org/ 10.1016/j.compbiomed.2020.103843


6. Lahane, P., Adavadkar, S.P., Tendulkar, S.V., Shah, B.V. and Singhal, S., "Innovative Approach to Control Wheelchair for Disabled People Using BCI," 2018 3rd International Conference for Convergence in Technology (I2CT), (pp. 1-5), Pune, India, 2018. doi:10.1109/I2CT.2018.8529473
Google Scholar 

7. Lin, J., Liang, L., Han, X., Yang, C., Chen, X. and Gao, X., "Cross-target transfer algorithm based on the volterra model of SSVEP-BCI", Tsinghua Science and Technology, 26(4), (pp. 505-522), 2021. doi:10.26599/TST.2020.9010015
Google Scholar 

8. Naebi, A., Feng, Z., Hosseinpour, F. and Abdollahi, G., "Dimension reduction using new bond graph algorithm and deep learning pooling on EEG signals for BCI", Applied Sciences, 11(18), 8761(1-42), 2021. doi:10.3390/app11188761
Google Scholar 

9. PR Newswire home page, https://www.prnewswire.com/news-releases/brain-computer-interface-bci-market-size-is-expected-to-reach-usd-3-85-billion-by-2027---valuates-reports-301058477.html (retrieved April 12, 2022).


10. Registration status of persons with disabilities (2020.12), Ministry of Health and Welfare, https://www.mohw.go.kr/react/al/ sal0301vw.jsp?PAR_MENU_ID=04&MENU_ID=0403&CONT_SEQ=365339 (retrieved April 13, 2022).


11. Xie, J., Zhang, H., Liu, Y., Fang, P., Yu, H., He, L., Li, G., Yuan, S., Xu, G. and Li, M., "Asynchronous steady-state visual evoked potential brain-computer interface application: True and false positive rate comparison between with and without eye-tracking switch paradigms", 2021 IEEE International Conference on Real-time Computing and Robotics (RCAR), (pp. 438-443), Xining, China, 2021. doi:10.1109/RCAR52367.2021.9517381
Google Scholar 

12. Zhang, Y., Wang, R. and Qin, K., "Filter bank-driven multivariate synchronization index for training-free SSVEP BCI", IEEE Transactions on Neural Systems and Rehabilitation Engineering, 29, (pp. 934-943), 2021a. doi:10.1109/TNSRE.2021.3073165
Google Scholar 

13. Zhang, D., Liu, S., Wang, K., Zhang, J., Chen, D., Zhang, Y., Nie, L., Yang, J., Shinntarou, F., Wu, J. and Yan, T., "Machine-vision fused brain machine interface based on dynamic augmented reality visual stimulation", Journal of Neural Engineering, 18(5), 056061, 2021b. doi:10.1088/1741-2552/ac2c9e
Google Scholar 

PIDS App ServiceClick here!

Download this article