본문바로가기

A Systematic Literature Review of EEG Utilization Studies in UX/UI Design

Soo In Hwang , Yejin Lee , Kwang Tae Jung
10.5143/JESK.2024.43.6.575 Epub 2025 January 07

0
Cited By

Abstract

Objective: The purpose of this study is to analyze research cases that utilize EEG in the field of User Experience (UX) and User Interface (UI) through a systematic literature review.

Background: UX and UI design are key elements in the development of products and services. As EEG-based analysis of biometric signals gains traction, it provides valuable insights into user behavior and cognitive states. This research aims to explore the application of EEG in UX/UI design, identify its limitations, and propose solutions to enhance its effectiveness.

Method: In this study, a systematic review of relevant studies published between 2014 and 2024 inclusive was conducted. Various UX/UI evaluation methodologies and the applicability of EEG data were analyzed using the PICO framework. The review identifies existing research gaps and proposes future directions for EEG-based UX/UI design research.

Results: The studies focused on user experience, emotion, and cognitive load in contexts such as VR, vehicle interfaces, and product design. Various techniques, including EEG, eye tracking, and facial expression recognition, were employed together. Complex interfaces and low usability caused high cognitive load and negative emotions, while intuitive and highly usable designs improved immersion and information recall. In EEG analysis, alpha, beta, theta, and gamma waves were used as the main signals, and emotional and cognitive states were quantitatively evaluated. Consequently, EEG has demonstrated its potential as an effective tool for UX/UI design and evaluation.

Conclusion: The findings indicate that simplified and intuitive design elements can enhance user engagement and reduce cognitive load. EEG-based analysis has proven to be a powerful tool for quantitative usability testing of the impact of design factors on user experience. However, challenges such as limited demographic diversity, EEG data analysis complexity, and controlled laboratory settings remain. Addressing these challenges requires expanding research to diverse user groups, adopting wireless EEG devices, and advancing real-time data analysis capabilities.

Application: This study provides insights into the potential of EEG in UX/UI design and serves as a reference for future research in EEG-based UX/UI design and evaluation.



Keywords



Electroencephalography (EEG) User Experience (UX) User Interface (UI) Usability evaluation



1. Introduction

제품 설계 및 평가에 있어 사용성은 중요하다. ISO9241-11에서는 사용자가 제품을 사용함에 있어 효과성(effectiveness), 효율성(efficiency), 만족도(satisfaction) 측면에서 목표를 달성할 수 있는 정도로 사용성을 정의하고 있다. Lewis와 Sauro (2021)는 사용성과 사용자 경험(user experience, UX)을 제품 또는 시스템의 설계 및 평가에서 중요한 개념이라고 강조하고 있으며, 제품 설계와 평가는 사용자 경험으로까지 확장되어, 사용 맥락에 따라 즐거움, 아름다움, 신뢰와 같이 감성적인 요소까지 고려하는 개념으로 발전되었다(Abujelala et al., 2016; Cherng et al., 2016; Nadri et al., 2020).

한편, 디자인의 평가 방법은 크게 정성적 평가와 정량적 평가로 나뉘는데, 정성적 평가는 설문과 인터뷰 등을 활용한 주관적 평가 방법이고, 정량적 방법은 수행도 평가와 생체 신호를 활용한 생리학적 평가 방법으로 나뉜다(Park et al., 2017). 주관적 평가는 평가자를 통한 설문 또는 인터뷰 분석 방법을 사용하며 주관적인 문항을 통해 정성적으로 응답하여 사용자가 느끼는 주관적 사용성을 파악한다. 자신도 모르게 결과에 맞추어 본인의 생각을 왜곡할 가능성이 있기 때문에(Lee and Jung, 2021), 충분한 실증적 검증을 거치거나 정량적 평가 방법과 병행하면 좋다(Yun et al., 2021).

Yu et al. (2023)과 Lohmeyer and Meboldt (2016)은 디자인 분야에서의 생체 측정 장치는 디자인 활동 중 발생하는 생리적 반응을 수집하고 분석함으로써, 주관적인 보고에만 의존하지 않은 객관적인 데이터를 활용할 수 있는 것에 주목하였다. 특히, 디지털 디자인 환경에서 유용하게 사용되며, 디자인 교육, 실무에서 생체 분석의 적용과 관련 기술의 발전을 위한 추가 연구가 필요함을 제안하고 있다.

특히 디자인 분야에서 EEG (Electroencephalogram)는 사용자의 감성 및 인지적 반응을 보다 심층적으로 분석하고, 다각적으로 해석하는데 활용되고 있다. 최근 디지털 기술의 대중화로 인하여 UX/UI는 제품의 경쟁력을 결정짓는 핵심 요소로 다양한 관점에서의 연구가 진행되고 있다.

이에 본 연구는 UX/UI 디자인 분야에서의 뇌파(EEG) 기반의 사용성 평가에 초점을 맞추어, EEG를 활용한 UX/UI 디자인 평가 연구의 현황과 동향을 체계적으로 고찰하였다. 이를 통해 EEG 기반 평가의 장점과 한계를 분석하고, UX/UI 분야에서의 활용 가능성을 제시한다.

2. Method

본 연구는 EEG 기반 UX/UI 디자인 평가 연구를 체계적으로 고찰하기 위해 2014년부터 2024년 사이에 출판된 연구 논문을 대상으로 "EEG", "usability", "evaluation", "UI", "UX", "experience", "interface" 등의 키워드를 조합하여 문헌 검색을 수행하였다. 검색된 논문들 중 영어 논문을 기준으로 UX/UI 디자인 평가와 직접적인 관련이 없는 뇌 질환 연구, 뇌-컴퓨터 인터페이스(BCI) 연구, 리뷰 논문 등은 제외하였다. 총 20,988개의 논문이 1차 검색 결과로 도출되었으며, 제외 기준에 따라 496개로 축소하였다. 타이틀과 초록을 검토하여 2차로 153편의 논문으로 선별하였으며, 최종적으로 21편의 논문을 분석 대상으로 선정하였다.

선정된 연구 문헌에 대하여 UX/UI 평가에 참여한 사용자 그룹(P, Population), EEG 기반 UX/UI 평가 방법(I, Intervention), EEG를 활용한 UX/UI 사용성 평가(C, Comparison), 사용성 평가의 결과(O, Outcome)로 요소를 나누는 PICO 프레임워크를 사용하여 분석하였다. 이를 통해 각 연구에서 사용된 EEG 분석 기법, 평가 지표, 사용자 그룹 등을 빈도 분석하여 연구 동향을 파악하였다. 또한, EEG 신호와 UX/UI 평가 지표 간의 상관관계를 분석하여 각 디자인 요소가 사용자의 인지적 및 감성적 반응에 미치는 영향을 확인하였다.

3. Results

3.1 Trend analysis of EEG application research in the UX/UI field based on the PICO framework

본 연구에서는 PICO (P: population, I: Intervention, C: Comparison, O: Outcome) 프레임워크를 통하여 UX/UI 분야에서의 EEG 활용 연구 사례들을 분석하였다. Table 1은 그 결과를 보여주고 있다. UX/UI 디자인 분야에서의 EEG 활용에 관한 연구들은 주로 가상현실(VR), 차량 인터페이스, 제품 디자인 등과 관련된 사용자 경험, 감성 분석, 인지 부하에 초점을 맞추고 있으며, 18~43세의 피실험자들을 대상으로 연구를 진행하였다. 그리고 일부 연구는 특정 성별이나 경험 수준(예: 운전 경험)에 초점을 맞추어 진행되었다. 또한 EEG를 활용한 UX/UI 디자인 연구는 참가자의 주의력을 유지하고 외부 변수를 최소화하기 위해 VR 환경이나 시뮬레이션 환경, 소음 차단 환경 등 통제가 강화된 실험 환경에서 진행되는 경우가 많았다. 연구 방법으로는 대부분 EEG를 중심으로 시선 추적(Eye-tracking), ErrP(오류 관련 전위 분석), 감성 인식(얼굴 인식) 등의 방법이 병행되었다. 주요 결과로 EEG 연구를 통하여 직관적인 인터페이스(예: Vive Wands, 단순 레이아웃)가 더 나은 경험을 제공하는 것으로 나타났고, 낮은 사용성이나 오류 발생 시 부정적 감성 및 스트레스 증가가 관찰되었다. 그리고 인지 부하 측면에서 복잡한 레이아웃, 낮은 해상도, 미러 반전(VR 상호작용) 등은 인지 부하를 증가시키는 것으로 나타났다. 또한 VR에서 음성 코멘트는 몰입감과 사회적 존재감을 높이는 것으로 나타났으며, 운전 경험 측면에서는 초보자보다 숙련 운전자가 더 높은 P300 뇌파 신호를 보이는 것으로 나타났다. VR 및 인터랙션 연구에서 다양한 EEG 신호(예: P300, 감마파, 세타파 등)를 활용하여 감성과 인지 상태를 분석할 수 있음을 확인할 수 있었고, 실시간 오류 탐지 및 수정 가능성(예: Wimmer et al.)을 제시하여 향후 응용 가능성을 암시하고 있음을 알 수 있었다.

Author

Research

objective

P
(Population)

I
(Intervention)

C
(Comparison)

O
(Outcome)

Cherng et al.
(2016)


Analysis of semantic distance differences
in graphic icons

19~24 years,
11 males,
8 females

EEG

 

 

Comparison of icons
with varying semantic distances

Close icons improved
attention focus

Hou et al.
(2017)

Evaluation of user
experience in VR
gaming

20~30 years,
12 males,
8 females

EEG


High-usability vs
low-usability games

Significant increase in
gamma waves in high-usability games

Kula et al.
(2017)

 

Cognitive load and
emotional response
to hybrid car design

13~43 years,
8 participants

EEG, Eye-tracking

 

Comparison of car dashboard designs

Volt design provided a
better user experience

Sengupta
et al. (2017)

Efficiency of text input
on gaze-based virtual
keyboards

22~26 years,
5 males

EEG


Comparison of
virtual keyboards
A, B, C

Keyboard C showed
lower cognitive load

Yan et al.
(2020)


Impact of social
experience on
immersion in VR
movies

Mean age 22.3,
32 participants


EEG, Eye-tracking


Comparison
according to voice
comments

VR-VC provided
higher immersion
and social presence

Abromavičius
et al. (2017)

Exploration of QoE
measurement methods
for immersive content

18~25 years


EEG


EEG changes based
on SoP levels

EEG variations
observed in high
immersion

Stefancova
et al. (2018)


Automatic detection
of emotional responses
and usability issues

18~30 years,
18 males,
4 females

EEG



Arousal and
pleasantness with/
without usability
issues

Increased negative
emotions during
usability issues

Liu et al.
(2019)

Emotional and cognitive
load assessment of air
traffic controllers

6 males,
6 females

EEG


2D vs 3D display


Higher initial stress in
3D display

Si-Mohammed
et al. (2020)

Error detection and
user response analysis
in VR systems

Mean age 24.8,
15 participants

EEG, ErrP
analyzer

ERP patterns by
error type

ErrP patterns observed
in tracking errors

Han et al.
(2020)

Evaluation of human-vehicle interaction
with EEG signals

18~30 years,
22 participants

EEG


Vibration on/off in
car touchpad

Theta and gamma
waves decreased in
vibration mode

Mangion
et al. (2020)

Assessment of
acebook UX
's
emotional impact

18 participants


EEG


New vs existing
users

New users experienced
higher stress and cognitive load

Paranthaman
et al. (2021)


Emotional state comparison in VR
gaming and reliability
of low-cost EEG

Mean age 21.6,
9 males,
5 females

EEG



Behavioral patterns
by VR game


High stress observed in
Space Pirate Trainer


Moon et al.
(2019)

Perceptual response
to car design

Drivers with
experience

EEG, Eye-tracking

Real car vs photo
design

Real car induced
higher immersion

Yamamoto
et al. (2021)


Impact of driving experience on P300 potential in traffic scenarios

20~23 years,
male drivers


EEG



Beginner vs expert drivers


Higher P300 induction
rate in expert group


Meng et al. (2022)


Cognitive load assessment and optimization for
digital interfaces

19~26 years,
9 males,
7 females

EEG, SVM classifier


Layout complexity
and color contrast


Increased cognitive
load with complex
layouts

Lee et al.
(2022)

Cognitive load
evaluation in VR
gesture interaction

23~27 years,
10 males,
5 females

EEG


Vive Wands vs LeapMotion

Vive Wands provided
a more intuitive
experience

Li et al.
(2023)

Impact of VR resolution
degradation on user
experience

21~27 years,
4 males,
3 females

EEG


Comparison of
resolution transitions

P300 signal energy
decreased with
resolution reduction

Gao et al.
(2023)


UX evaluation of OceanBase documentation

5 males,
2 females


EEG, Eye-tracking,
Facial recognition

Usability by four document tasks


High cognitive load
and negative emotions
observed

Bozgeyikli
et al. (2023)

Impact of mirror-reversal
interaction in VR on spatial ability

18~32 years,
27 males

EEG


Mirror-reversed vs
non-reversed
interactions

Increased theta waves
in mirror-reversed
group

Chynał et al.
(2016)


Visual attention and
emotional response
during product
selection in stores

22~41 years,
4 males,
10 females

EEG, Eye-tracking


Emotional response
by product design

 

Price and design
significantly influenced
consumer reactions

Wimmer et al.
(2023)


EEG-based error
detection performance
during VR navigation

Mean age 27.6,
VR-inexperienced
adults

EEG


Reaction time and
error detection by
error type

Rapid error detection

and real-time
correction observed

Table 1. EEG-Based UX/UI studies of PICO framework

3.2 EEG analysis methods in UX/UI research cases

Table 2는 UX/UI 분야에서의 다양한 연구에서 사용된 EEG(뇌파 측정) 기기와 추가 장비, 신호 유형, 분석 지표를 정리한 내용으로, 인간의 인지 상태와 감성 반응을 평가한 사례들을 보여준다. 기존의 연구들은 주로 2D 또는 3D UI 프로토타입, 하드웨어 디자인, 가상현실(VR) 환경 등 다양한 인터페이스를 분석 대상으로 삼았으며, 실험 환경과 기기의 정밀도에 따라 사용된 장비와 전극 수가 다른 것을 알 수 있다. EEG 기기는 Emotiv EPOC+, Muse Headband, ANTNeuro EEG 등 다양한 모델이 사용되었으며, 일부 연구에서는 시선 추적기, VR 헤드셋, 표정 인식 소프트웨어와 같은 추가 장비를 병행하여 데이터를 수집하였다. 전극 수는 4개에서 256개까지 다양했으며, 연구 목적과 환경에 따라 선택되었다. 대부분의 실험은 소음을 차단하거나 전자기 간섭을 최소화한 노이즈 제거 환경에서 진행되었다.

분석 대상은 주로 2D 및 3D UI 프로토타입과 하드웨어 디자인에 초점을 맞췄으며, 실험 결과는 인지 상태, 감성 상태, 몰입도, 사용성, 정보 회상 등의 지표로 평가되었다. EEG 신호 중 알파(Alpha), 베타(Beta), 세타(Theta), 감마(Gamma) 파형이 주요 분석 대상이었는데, 알파파는 8~12Hz의 주파수대역을 보이며 주로 매우 편안한 상태 또는 수동적 관심을 보일 때 발생한다. 휴식 상태 및 몰입도와 관련이 있다. 베타파는 12~35Hz의 주파수대역을 가지며 불안한 상태 또는 활동적인 상태, 외부에 관심이 있는 상태, 편안한 상태에서도 발생하며, 인지 및 수행 상태를 분석하기 위하여 활용될 수 있다. 세타파는 4~8Hz의 주파수대역에서 발생하며 깊은 이완과 내면집중을 할 때 발생한다. 감성 반응 및 공간 처리와 관련이 있다. 감마파는 35Hz를 넘는 주파수대역을 말하며 고도의 집중력을 가질 때 발생한다(Abhang et al., 2016). 높은 인지 부하와 복잡한 정보 처리에 대한 신호로 사용되었다.

기존의 EEG를 활용한 UX/UI 연구 사례들을 보면, 복잡한 인터페이스와 낮은 사용성은 높은 인지 부하와 부정적인 감정 반응을 유발했으며, 사용성이 좋은 디자인과 직관적인 인터페이스는 몰입도와 정보 회상 능력을 향상시킨 것을 알 수 있다. 특히, VR 환경과 같은 몰입형 인터페이스에서는 높은 몰입도와 감성적 반응이 관찰되었다. 또한, 고전극(64개 이상)을 사용한 연구는 정밀한 신경 반응 분석을 가능하게 했으며, 저전극(1~8개) 장비는 실용성과 접근성 측면에서 장점이 있었다.

그리고 Table 3은 EEG 데이터를 분석하는 데 사용된 소프트웨어와 해당 소프트웨어에서 적용된 분석 방법을 정리한 내용이다. 각 소프트웨어는 EEG 데이터를 시간적, 주파수적 특성으로 분류하거나 이벤트 관련 전위를 분석하여 사용자 상태를 평가하는 데 활용되었다. 데이터 분석에 사용되는 주요 소프트웨어는 LabStreamingLayer, NeuroMedia, EEGLAB, Emotiv Pro Suite 등이 있으며, 최근에는 실시간으로 피실험자의 상태를 측정할 수 있는 머신러닝 알고리즘을 활용하여 복잡한 패턴을 인식하고 특정 사용자 경험 요소를 더욱 정교하게 분석할 수 있도록 하고 있다. 연구자들은 사용성 지표를 확보하기 위해 다양한 시각화 및 패턴 인식 기법을 활용하여 UX/UI 디자인 요소에 대한 EEG 반응을 시각적으로 나타내고, 데이터를 직관적으로 분석할 수 있는 분석 소프트웨어를 사용하였다. 결과적으로 본 연구에서는 기존 연구 사례의 분석을 통하여 EEG 장비와 분석 방법은 UX/UI 디자인 및 평가에 있어 효과적으로 활용될 수 있음을 확인할 수 있었다.

Author

EEG device & others

Number of
electrodes

Design
element

Main wave
forms

Analysis metrics

Kula et al.

(2017)

Brain products EEG,
Eye tracker

32

Image

Alpha,
Beta (Expected)

Cognitive state

Yan et al.

(2020)

Muse headband,
HTC VIVE VR headset

4


2D UI
prototype

Alpha,
Beta (Expected)

Immersion,
Social presence,
Information recall

Sengupta

et al. (2017)

Emotiv EPOC+ EEG,

Eye tracke

14

3D UI
prototype

Beta

Cognitive state,
Performance state

Gao et al.

(2023)

CUBand EEG, Eye tracker,
Facial recognition

1


2D UI
prototype

Alpha,
Theta (Expected)

Performance,
Comprehension,
Ease of search

Meng et al.

(2022)

NE wireless EEG

8

2D UI
prototype

Alpha, Theta
(Expected)

Cognitive state

Paranthaman
et al. (2021)

Emotiv EPOC X EEG,
Oculus quest VR headset

14

 

3D UI
prototype

Alpha, Beta,
Theta (Expected)

Emotional state

Abromavičius

et al. (2017)

EEG, ECG, Respiration
measurement device

256

Hardware
prototype

Alpha, Beta, Theta

Cognitive state,
Emotional state

Si-Mohammed
et al. (2020)

ANTNeuro EEG,
Noise-Free environment

64

3D UI
prototype

Alpha, Beta, Theta

Cognitive state

Hou et al.
(2017)

E-motive EEG,
Noise-Isolated chamber

 

16

 

3D UI
prototype

Beta, Gamma


Immersion, Cognitive
state, Emotional state, Performance state

Liu et al.

(2019)

Emotiv EEG,
ATC training simulation

14

2D UI
prototype

Alpha, Beta,
Theta, Gamma

Cognitive state,
Emotional state

Lee et al.

(2022)

Looxid Link EEG,
VR environment

6

3D UI
prototype

Alpha,
Theta (Expected)

Cognitive state,
Immersion

Chynał et al.
(2016)

Emotiv EPOC EEG, Eye tracker, Facial recognition

14

Hardware
prototype

Alpha, Beta, Theta,
Gamma (Expected)

Emotional state,
Immersion

Moon et al.
(2019)


Emotiv Epoc+ EEG,
Eye tracker

14


Hardware
prototype
and image

Alpha, Beta,
Theta, Gamma

Cognitive state,
Emotional state

Cherng et al.
(2016)

NeuroScan EEG,
Shielded room

32

2D UI
prototype

Alpha, Theta

Attention,
Semantic mismatch

Stefancova
et al. (2018)

Emotiv Epoc EEG,
Facial expression recognition software

14



2D UI
prototype

Alpha,
Beta (Expected)

Arousal,
Pleasantness

Han et al.

(2020)

BitBrain EEG

8

Hardware
prototype

Alpha, Beta, Theta,
Gamma (Expected)

Cognitive state,
Emotional state

Bozgeyikli

et al. (2023)

Muse 2 EEG

4

3D UI
prototype

Theta,
Alpha (Expected)

Spatial processing,
Cognitive state

Mangion

et al. (2020)

g.Recorder EEG,
Noise-Free environment

16

Hardware
prototype

Alpha,
Beta (Expected)

Cognitive state,
Emotional state

Li et al.

(2023)

NeuSen W EEG,
HTC vive pro 2 VR devoce

64

Hardware
prototype

Alpha, Theta

Cognitive state

 

Yamamoto

et al. (2021)

Polymate AP108

1

2D UI
prototype

Alpha, Theta

Cognitive state

Wimmer

et al. (2023)

eegoTMsports EEG,
Physical glider cockpit

63

3D UI
prototype

Beta

Cognitive state

Kula et al.

(2017)

Brain Products EEG,
Eye tracker

32

Image

Alpha,
Beta (Expected)

Cognitive state

Yan et al.

(2020)

Muse headband,
HTC VIVE VR headset

4


2D UI
prototype

Alpha,
Beta (Expected)

Immersion,
Social presence,
Information recall

Sengupta

et al. (2017)

Emotiv EPOC+ EEG,
Eye tracker

14

3D UI
prototype

Beta

Cognitive state,
Performance state

Gao et al.

(2023)

CUBand EEG, Eye tracker,
Facial recognition

1


2D UI
prototype

Alpha,
Theta (Expected)

Performance state,
Comprehension,
Ease of search

Meng et al.

(2022)

NE wireless EEG

8

2D UI
prototype

Alpha,
Theta (Expected)

Cognitive state

Paranthaman

et al. (2021)

Emotiv EPOC X EEG,
Oculus quest VR headset

14

3D UI
prototype

Alpha, Beta,
Theta (Expected)

Emotional state

Abromavičius

et al. (2017)

EEG, ECG, Respiration
measurement device

256

Hardware
prototype

Alpha, Beta, Theta

Cognitive state,
Emotional state

Si-Mohammed et al. (2020)

ANTNeuro EEG,
Noise-Free environment

64

3D UI
prototype

Alpha, Beta, Theta

Cognitive state

Hou et al.
(2017)

E-motive EEG,
Noise-Isolated chamber

16


3D UI
prototype

Beta, Gamma


Immersion, Cognitive
state, Emotional state,
Performance state

Liu et al.

(2019)

Emotiv EEG,
ATC training simulation

14

2D UI
prototype

Alpha, Beta,
Theta, Gamma

Cognitive state, Emotional state,

Lee et al.

(2022)

Looxid Link EEG,
VR environment

6

3D UI
prototype

Alpha,
Theta (Expected)

Cognitive state,
Immersion

Chynał et al.
(2016)

Emotiv EPOC EEG, Eye tracker, Facial recognition

14

 

Hardware
prototype

Alpha, Beta, Theta,
Gamma (Expected)

Emotional state,
Immersion

Moon et al.
(2019)

Emotiv Epoc+ EEG,

Eye tracker

14


Hardware
prototype
and image

Alpha, Beta,
Theta, Gamma

Cognitive state,
Emotional state

 

Cherng et al.
(2016)

NeuroScan EEG,
Shielded room

32

2D UI
prototype

Alpha, Theta

Attention,
Semantic mismatch

Stefancova

et al. (2018)

Emotiv Epoc EEG, Facial expression software

14

2D UI
prototype

Alpha,
Beta (Expected)

Arousal,
Pleasantness

Han et al.

(2020)

BitBrain EEG

8

Hardware
prototype

Alpha, Beta, Theta,
Gamma (Expected)

Cognitive state,
Emotional state

Bozgeyikli

et al. (2023)

Muse 2 EEG

4

3D UI
prototype

Theta,
Alpha (Expected)

Spatial processing,
Cognitive state

Mangion

et al. (2020)

g.Recorder EEG,
Noise-Free environment

16

Hardware
prototype

Alpha,
Beta (Expected)

Cognitive state,
Emotional state

Li et al.

(2023)

NeuSen W EEG,

HTC vive Pro 2 VR device

64

Hardware
prototype

Alpha, Theta

Cognitive state

Yamamoto

et al. (2021)

Polymate AP108

1

2D UI
prototype

Alpha, Theta

Cognitive state

Wimmer

et al. (2023)

eegoTMsports EEG,
Physical glider cockpit

63

3D UI
prototype

Beta

Cognitive state

Table 2. EEG factors used in UX/UI studies

Analysis software

Analysis methods

LabStreamingLayer

STFT (Short-Time Fourier Transform, Power Spectrum Calculation)

NeuroMedia

PSD (Power Spectral Density Calculation)

EEGLAB (MATLAB Toolbox)

ERP (Event-Related Potential Analysis), Frequency Filtering and Analysis

Emotiv Pro Suite

TFA (Time-Frequency Analysis for Time Series Data)

Fieldtrip toolbox

ICA (Independent Component Analysis)

Looxid Link Unity SDK

Alpha and Beta Wave Analysis

SMI BeGaze

ERP (Event-Related Potential Analysis)

Table 3. EEG-Based UX/UI Studies of analyzing software and methods

3.3 A Review of EEG application research in the UX/UI field

UX/UI 분야에서의 EEG를 활용한 여러 연구에서는 사용자의 인지 상태, 몰입도, 감성 상태 및 수행도에 대한 지표를 개발하고, 이를 통하여 다양한 디자인 요소가 사용자 경험에 미치는 영향을 분석하였다. 특히 인지 상태를 측정하는 연구가 가장 많았고 그 다음으로 감성을 측정하는 연구가 그 뒤를 이었다. 그리고 몰입도와 수행도에 관한 연구도 있음을 알 수 있었다. 또한 이외에도 정보 회상 능력과 사회적 존재감, 의미적 불일치, 각성도, 유쾌성, 공간 처리를 측정하는 다양한 연구를 통하여 EEG 신호가 디자인 요소를 평가하는 객관적인 지표로 활용되고 있음을 확인하였다.

선행연구들에서는 EEG 및 생체 데이터를 활용하여 사용자 경험 및 인터페이스 디자인의 개선 가능성을 논의하고 있으며, 특정 디자인 요소가 사용자 경험에 미치는 영향을 평가하여 디자인 개선의 필요성을 제시하고 있다.

Table 4는 UX/UI 디자인 분야에서 EEG를 활용한 연구 사례별로 연구에 활용된 사용자 반응 척도와 그에 대한 유의성을 정리한 것이다. 대부분의 UX/UI 연구에서 사용자 반응 척도로 인지 상태, 몰입도, 감성, 수행도 등이 활용된 것을 알 수 있고, EEG를 활용한 각 사용자 반응 척도가 실험 요인에 따라 유의한 차이를 보이는 연구 결과가 도출된 것을 알 수 있다.

Author

Cognitive
state

Immersion

Emotion

Performance

Others

Significance

Kula et al. (2017)

 

 

 

 

p < 0.05

Yan et al. (2020)









Recall ability,
Social presence

p < 0.05

Sengupta et al. (2017)

 

 

 

p < 0.05

Gao et al. (2023)

 

 

 

 

No information

Meng et al. (2022)

 

 

 

 

No information

Paranthaman et al. (2021)

 

 

 

 

p < 0.05

Abromavičius et al. (2017)

 

 

 

p < 0.05

Si-Mohammed
et al. (2020)











p < 0.05

Hou et al. (2017)

 

p < 0.001

Liu et al. (2019)

 

 

 

p < 0.05

Lee et al. (2022)

 

 

 

p < 0.05

Chynał et al. (2016)

 

 

 

No information

Moon et al. (2019)

 

 

 

p < 0.05

Cherng et al. (2016)









Semantic
incongruence

p < 0.05

Stefancova et al. (2018)









Arousal,
Pleasantness

p < 0.0001

Han et al. (2020)

 

 

 

p < 0.01

Bozgeyikli et al. (2023)

 

 

 

Spatial processing

p < 0.05

Mangion et al. (2020)

 

 

 

 

p < 0.05

Li et al. (2023)

 

 

 

 

p < 0.005

Yamamoto et al. (2021)

 

 

 

 

p < 0.05

Wimmer et al. (2023)

 

 

 

 

p < 0.05

Table 4. EEG-Based UX/UI studies of usability metrics and p-value

3.4 Limitations and suggestions of the study

UX/UI 디자인 분야에서 EEG를 활용한 연구 사례들을 통하여 EEG가 UX/UI 연구에서 효과적으로 활용될 수 있음을 확인할 수 있었지만, 몇 가지 한계점도 존재함을 알 수 있었다.

첫 번째로, 피실험자 집단의 제한성이다. 대부분의 연구는 특정 대학이나 연령대, 성별로 제한된 피실험자를 기반으로 수행되었다. 이로 인해, 연구 결과의 일반화에 어려움이 있을 수 있다. 두 번째로 EEG 기술의 제약 및 데이터 분석의 어려움이다. EEG 데이터는 노이즈와 아티팩트에 영향을 받기에 연구자의 숙련도에 따라 측정 정확도가 달라진다. 또한, 장비의 제한이나 분석 과정의 복잡성으로 인해 데이터를 해석하는 데 어려움이 따를 수 있다. 세 번째로 실험 환경의 제약이다. EEG 데이터에 영향을 받지 않기 위해 강한 통제가 있는 실험실 환경에서 실험이 진행될 수 밖에 없다. 이것은 실제 사용 환경을 반영하는데 문제점이 있다. 그리고 네 번째로 연구 설계의 다양성 부족이다. 실험실 환경에서 연구될 수 없는 자극 요인은 실제로 경험하지 못하기에 실험 요인의 다양성이 부족하여 특정 상황에 대한 적용성이 제한될 수 있다.

이러한 한계를 극복하기 위하여 UX/UI 디자인에서의 EEG 활용 연구에서는 다음과 같은 요소를 고려할 필요가 있다. 첫째, 다양한 연령대와 경험을 가진 소수 집단의 표본을 선정하고, 다양한 생체 데이터를 수집하여 연구의 범위를 넓힘으로써 일반화의 가능성을 높여야 한다. 둘째, 무선 EEG 장비를 활용하여 실제 사용 환경에서 측정하고자 하는 자극에 대한 데이터 수집 및 분석을 가능하도록 환경을 조성하는 것이 필요하다. 셋째, 분석 알고리즘과 인공지능을 활용하여 실시간 데이터 분석 및 피드백을 제공하고, 효율적인 데이터 분석을 할 수 있는 역량이 필요하다. 마지막으로, 다양한 디자인 요소와 지표를 혼합하여 다양한 객관적인 지표를 만들어 신뢰도를 높이는 연구가 필요하다.

4. Discussion and Conclusion

본 연구에서는 2014년부터 2024년까지 발표된 EEG 기반의 UX/UI 디자인 평가에 관한 기존 연구들을 체계적 문헌 검토 방법을 활용하여 분석하고, EEG를 활용한 사용성 평가의 현황과 동향을 살펴보았다. EEG는 사용자의 인지적 및 감성적 반응을 실시간으로 추적할 수 있는 유용한 도구로, 다양한 UX/UI 디자인 요소가 사용자의 경험에 미치는 영향을 보다 정교하게 분석할 수 있는 가능성을 제시하였고, 사용자 경험 및 디자인 평가에 있어 객관적인 데이터를 제공함으로써, 디자인 개선에 중요한 평가도구로 활용할 수 있음을 알 수 있었다. EEG를 활용한 기존의 UX/UI 연구 사례들로 부터 직관적이고 간단한 레이아웃이나 인터페이스가 더 나은 사용자 경험을 제공하며, 복잡한 디자인은 인지 부하를 증가시키고 부정적인 감성 반응을 유발하는 경향이 있다는 것을 확인할 수 있었다. 또한, EEG 신호를 통해 사용자의 몰입도, 감성 상태, 인지 부하 등을 효과적으로 평가할 수 있다는 점에서 EEG 기반 평가의 장점이 부각되었다. 특히, VR 환경이나 시뮬레이션 실험에서는 몰입도와 현장감, 감성적 반응 등을 평가하는 데 유용하다는 결과가 도출되었다.

EEG를 활용한 평가 방법은 주로 고급 EEG 장비를 사용하여 더욱 정밀한 분석을 가능하게 했으며, 비교적 간단한 장비도 실용적인 측면에서 장점이 있었다. 이러한 연구들은 EEG를 기반으로 한 UX/UI 디자인 평가가 향후 제품 설계와 개선에 중요한 역할을 할 수 있음을 시사한다. 다만, 실험 환경에서 발생할 수 있는 외부 변수의 영향을 최소화하는 방법에 대한 추가적인 연구가 필요하며, 실시간 데이터 분석과 실용적인 응용 가능성을 높이는 방법에 대한 연구도 지속적으로 이루어져야 할 것이다. 또한 UX/UI 디자인 분야에서 EEG 활용 연구를 위해서는 다양한 사용자 집단을 대상으로 실제 환경에서 데이터를 수집하며, 인공지능을 활용한 실시간 분석 기술을 활용한다면 더 효과적인 방법으로 활용될 수 있을 것이다.

본 연구는 EEG를 활용한 UX/UI 평가에 대한 포괄적인 분석을 제공하여 기술적 활용뿐 아니라 연구 방법론의 통합적 관점을 강조하였고, 다양한 UX/UI 디자인 환경(가상현실, 게임 인터페이스, 모바일 앱 등)에서 EEG 데이터를 어떻게 적용할 수 있는지 사례별로 구체적으로 제안하였다는 점에서 의미가 있다.

하지만 본 연구는 몇 가지 측면에서 한계점을 제시하고 있다. 먼저 특정 기간(2014~2024)의 연구만을 대상으로 하였기 때문에 장기적인 연구 동향이나 과거 연구와의 비교는 제한적이다. 그리고 고가의 장비 중심으로 한 연구사례들을 대상으로 하였기 때문에 일반 사용자 환경에서의 적용 가능성을 충분히 검토하지 못하였다. 이러한 부분들은 추후 연구를 통하여 보완되어야 할 것이다. 하지만 본 연구는 향후 디지털 디자인 및 UX/UI 설계 분야에서의 EEG 활용 가능성을 더욱 넓히는 데 기여할 수 있다는 점에서 좋은 의미를 부여할 수 있을 것이다.



References


1. Abhang, P., Gawali, B. and Mehrotra, S., Proposed EEG/Speech-Based Emotion Recognition System, in Introduction to EEG- and Speech-Based Emotion Recognition, Elsevier, 123-147, 2016.
Google Scholar 

PIDS App ServiceClick here!

Download this article