JESK Journal of the Ergonomics Society of Korea

A Systematic Review on the Application of Machine Learning Techniques for Improving User Experience in Virtual Reality Systems

Donggun Park , Yong Min Kim
10.5143/JESK.2023.42.3.209 Epub 2023 June 30

0: Cited By

Abstract

Objective: The purpose of this study is to identify research trends in studies that apply machine learning (ML) techniques to user experience (UX) improvement for virtual reality (VR) systems through systematic literature analysis and to provide insights into future research directions.

Background: UX research for VR systems is important because VR systems are composed of various components, which can lead to different user interactions. Recently, there have been many studies to improve the UX of VR experiences from various perspectives by applying ML techniques. Therefore, it is necessary to identify the research status and to suggest discussion points for future research directions through a systematic literature review.

Method: A systematic review protocol was adopted in this study. Articles were collected from academic research databases. After removing redundant and irrelevant articles, the full text of remaining articles was carefully reviewed according to the eligibility criteria.

Results: A total of 117 unique articles were collected, and after going through the systematic review process, 21 articles were finally selected for review analysis. In the results, ML techniques have been frequently used for users' physiological state prediction (cybersickness, workload, stress, immersion, etc.), user identification, gesture recognition, and VR system quality evaluation. In addition, the ML models were developed with data collected from VR system (e.g., hardware characteristics, environment variables, and contents properties) and users (e.g., physiological and behavioral responses, personal background, and performance results). Also, many studies compared the performance of different ML techniques with the same data. They show that until now it is difficult to conclude that there is a certain algorithm superior or advantageous in a specific domain or purpose when applying the ML techniques in the UX research of VR systems.

Conclusion: This study analyzed the studies that applied ML techniques to improve the UX of VR systems according to a systematic literature analysis procedure. Accordingly, research trends on ML techniques used to improve the UX of VR systems, application purposes, and types of training data are presented.

Application: ML techniques are gradually becoming more sophisticated, and computing technology for processing large amounts of data is also rapidly developing. Just as ML techniques are applied to our daily lives everywhere in the real world to provide expanded services, it is judged that it will be important to apply ML techniques as core technologies in the virtual world in the future. It is expected that the suggestions of this study will help VR system researchers (e.g., hardware developers, software engineers, or service planners) gain insights for future research plans.

Keywords

Virtual reality User experience Machine learning

1. Introduction

가상현실(Virtual reality, VR) 시스템은 사용자와의 상호작용을 통해 몰입감을 제공해 주는 시스템으로(Kim et al., 2020), 몰입형 헤드 마운티드 디스플레이(Head-mounted display, HMD) 기반의 VR 시스템이 상용화되면서 VR 시스템에 대한 대중의 관심이 높아지고 있다. 사용자에게 더 높은 현실감과 몰입감을 제공하고 시각적 스트레스 및 멀미 등과 같은 부정적 경험을 저감하기 위한 관련 VR 기술이 지속해서 발전해오고 있다. 이에 따라, VR 시스템은 오락 분야에 집중되기 보다 의학, 재활, 교육, 공학, 예술 및 전시 등 다양한 분야에 적용되어 그 효과를 인정받고 있다. VR 기반 재활 프로그램은 기존 프로그램과 비교하여 뇌졸중 및 뇌성 마비가 있는 사람들의 운동 제어에 효과적이었다는 사실이 밝혀 지기도 했다(Amirthalingam et al., 2021; Chen et al., 2018; Lohse et al., 2014). VR 기반 학습 프로그램의 학습 효과도 실험적으로 입증된 바 있다. 예를 들어, VR 시뮬레이터를 사용하여 외과 수술 훈련을 받은 경우, 기존 훈련 장비 대비 더 좋은 수술 훈련 성과를 보였으며(Clarke, 2021) VR을 활용한 백내장 수술 교육에서는 교육 전 대비 교육 후 수술에서 더 높은 수술 평가 결과를 보였다(Thomsen et al., 2017). VR 시스템은 어린이가 보행자 측면에서의 안전을 인식하고 횡단보도를 건너는 행동을 개선하는 데에도 효과적이었다(Bart et al., 2008; Schwebel et al., 2014; Thomson et al., 2005). 예술 및 전시 분야와 관련해서는 실제 박물관에서 VR 기술을 응용한 전시를 통해 방문자의 긍정적인 경험을 파악한 바 있으며(Jung et al., 2016), VR 기반의 예술 전시가 방문자들의 체험 경험에 긍정적 영향을 미치고 미술관에 대한 새로운 공간 및 사회적 관계를 형성할 수 있는 가능성을 제시한 바 있다(Parker and Saker, 2020).

VR 시스템은 다양한 기기와 요소들로 구성되고 이로 인해 사용자와 여러 유형의 상호작용이 발생할 수 있기 때문에 사용자 경험(User experience, UX)에 대한 연구가 중요하다. Thüring and Mahlke (2007)이 제안한 Components of user experience (CUE) 모형에 따르면 상호작용 특성은 UX에 직접적인 영향을 줄 수 있고 시스템 속성, 사용자 특성, 과업 특성으로 세분화할 수 있다. 또한, Kim et al. (2020)이 제안한 VR 시스템의 UX 프레임워크는 사용자 특성(연령, 지식 수준, 성향, 장애 유무 등), 기기 특성(입력 및 출력 장치), 과업 및 과업 수행 환경, 그리고 평가 방식의 측면에서 VR 시스템의 UX를 면밀히 연구할 필요가 있다고 강조한다. 또한, 긍정적인 VR 사용 경험을 설계하기 위해 VR 개발자는 VR 경험에 기인한 모든 유형의 부작용을 이해하고 이러한 문제를 인식할 필요성이 있음을 강조한다(Jerald, 2015).

데스크톱 기반의 VR, HMD 기반의 VR, CAVE 시스템 등 다양한 VR 시스템을 대상으로 몰입감 및 현실감 향상, 멀미 저감을 위한 연구들이 꾸준히 이어지고 있으며(Lin et al., 2002; Llorach et al., 2014; Luks and Liarokapis, 2019; Salimi and Ferguson-Pell, 2021), 최근 기계학습(machine learning, ML)을 적용하여 VR 시스템의 UX 향상을 위한 연구가 적극적으로 시도되고 있다. ML을 적용한 VR 시스템의 UX 연구는 다음 세 가지 측면에서 그 중요성을 가질 수 있다.

첫째, VR 시스템의 새로운 사용 맥락에 대해 목적하는 개별 UX 평가 요소의 수준을 예측할 수 있다. 신규 VR 콘텐츠 및 새로운 상호작용 방식이 적용된 VR 시스템에 대해 매번 사용자를 모집하여 UX 평가실험을 수행하지 않더라도 ML 기법을 적용한 평가 모델을 구축함으로써 신규 VR 콘텐츠 및 상호작용 방식에 대한 개별 UX 요소의 평가 결과를 예측할 수 있다. 예를 들어, 사용자를 모집하여 다양한 VR 콘텐츠에 대해 사용자의 주관적 경험의 질(Quality of Experience, QoE)을 평가하고 이 결과를 토대로 ML 기법(Logistic Regression, k-Nearest Neighbors, Support Vector Machine, Decision Tree)을 적용하여 VR 콘텐츠의 특징에 따른 사용자의 QoE를 예측하는 모델을 개발함으로써 신규 VR 콘텐츠의 QoE 수준을 예측한 바 있다(Anwar et al., 2020c). 이와 같은 결과는 추가적인 사용자 평가실험 과정을 수반하지 않을 수 있다는 장점이 있다. 더불어, 부정적인 UX 구성 요소(예: 멀미감, 지각된 불편도 등)에 대한 모델을 구축할 수 있다면, 이를 VR 설계 지침으로 활용할 수 있다.

둘째, 사용자의 개별적 특성(성별, 연령, 신체적 조건, 멀미 민감도 등)에 적합한 적응형 VR 시스템을 구축함으로써 VR 시스템이 목적하는 바를 보다 효과적으로 달성할 수 있다(Senno and Barcha, 2018). ML 기법을 적용하여 맞춤형 서비스를 제공하는 시스템과 유사하게 VR 시스템 상에서도 사용자의 개별 특성에 기반하여 적응형 VR 콘텐츠를 제작함으로써 사용자의 긍정적인 UX를 향상시키고 부정적인 UX 요소를 최소화할 수 있다.

셋째, UX 평가 측면에서도 ML을 활용한 연구의 중요성이 높다고 할 수 있다. VR 시스템의 UX 연구에 대한 체계적 문헌 고찰을 수행한 기존 연구에서 밝힌 바와 같이, 오늘날 VR 시스템에 대해 UX를 평가한 연구는 대부분 설문 및 인터뷰 방식을 채택하였으며, 이에 따라 VR 시스템을 경험한 이후의 평가 결과에 집중된 경향이 있다(Kim et al., 2020). 설문 기법의 평가 방식의 경우, 비교적 빠른 시간 내에 평가를 완료할 수 있다는 장점이 있고 인터뷰 기법의 경우 설문으로 평가할 수 없는 정성적 데이터를 수집할 수 있다는 장점이 있으나 VR을 체험하는 동안 사용자의 주관적 느낌에 대한 평가 결과는 예측할 수 없다. 반면, VR을 체험하는 동안 사용자의 생체신호 및 움직임에 대한 위치 정보를 실시간으로 수집할 수 있다면 멀미 및 실재감을 예측하는 모델을 개발할 수 있다(Padmanaban et al., 2018; Lee et al., 2019). 이처럼 VR 시스템이 적용되는 다양한 분야에서 ML을 적용하여 UX를 향상하기 위한 연구가 진행되고 있으나, 현재까지 이와 관련한 연구를 대상으로 체계적인 고찰은 부족한 실정이다.

체계적 문헌 연구를 수행함으로써 다음의 학술적 및 실용적 이점을 달성할 수 있다. 첫째, 체계적 문헌 연구는 유관 연구자 및 실무자의 제한된 지식을 통합하고 연구의 비효율성을 최소화하는 데 기여할 수 있다. VR 시스템을 대상으로 ML 기법을 적용한 UX 연구에 대한 체계적 문헌 고찰의 부재는 유관 연구자 및 실무자가 현재 연구 현황에 대한 이해가 제한적일 수 있음을 시사한다. 이에 따라 연구 과업에 적용할 수 있는 연구 방법론 및 연구 추세를 놓칠 수 있으며 결과적으로 각자의 노력이 중복되거나 단편화 될 수 있다는 문제가 있다. 둘째, 체계적 문헌 연구를 통해 유망한 연구 방향과 새로운 트렌드를 식별할 수 있다. 이에, 연구자들의 연구 방향에 대한 우선 순위를 정하고 추가 조사가 필요한 영역에 집중하는 데 도움을 줄 수 있다. 결과적으로는 보다 목표 지향적이고 영향력 있는 연구 결과를 획득하는 데 기여할 수 있다. 셋째, 체계적 문헌 연구는 기존 연구를 모아 함께 공유함으로써 VR 관련 여러 분야의 연구자(콘텐츠 기획자, 디자이너, 기술 개발자 등) 간의 협력을 촉진할 수 있다. 현 상황에 대한 공통된 이해를 바탕으로 학문적 교류를 통해 해결책을 도출하고 VR 시스템의 UX 개선에 더욱 신속한 진전을 이끌어 내는 데 기여할 수 있다.

따라서, 본 연구는 VR 시스템을 대상으로 UX 향상을 위해 ML 기법을 적용한 선행연구들을 수집하여 체계적인 문헌 분석을 수행함으로써 향후 연구 방향에 대한 통찰을 제시하는 것을 목표로 한다. 연구 목적 달성을 위해 총 4개의 세부 연구 문제(Research question, RQ)를 설정하였다.

 RQ 1: 어떤 유형의 VR 시스템 및 과업에 ML 기술이 적용되고 있는가?

 RQ 2: ML 기술이 어떠한 분야와 목적으로 VR 시스템 UX 연구에 적용되는가?

 RQ 3: ML 모델 구축을 위해 어떠한 데이터가 활용되고 있는가?

 RQ 4: 어떠한 ML 기술이 VR 시스템 UX 연구에 활용되는가?

RQ 1은 ML 기술이 어떤 유형의 VR 시스템과 과업에 적용되는지를 파악함으로써, 특정 유형의 시스템과 과업에 적합한 ML 기법을 선택하고 개발할 수 있다. 이를 통해 연구자는 ML 기술을 사용하여 특정 VR 시나리오에서 최적의 UX를 제공하는 방법을 결정할 수 있다. RQ2는 ML 기술이 어떤 분야와 목적으로 VR 시스템의 UX 연구에 활용되는지 이해함으로써, 해당 분야에서의 적절한 응용과 잠재적인 혜택을 식별할 수 있다. 이를 통해 연구자는 ML 기술을 활용하여 특정 분야에서의 UX 개선에 초점을 맞출 수 있다. RQ3은 ML 모델을 구축하기 위해 어떤 종류의 데이터가 필요한지 파악함으로써, 해당 데이터를 수집하고 처리하는 데 필요한 노력과 자원을 산정할 수 있다. 이를 통해 연구자는 ML 모델의 품질과 성능을 향상시키기 위해 필요한 데이터 수집 방법과 전처리 기술을 결정할 수 있다. RQ 4는 VR 시스템의 UX 연구에 어떠한 ML 기술이 활용되고 있는지 이해함으로써, 다양한 기법과 접근 방식을 파악할 수 있다. 이를 통해 연구자와 설계자는 ML 기술을 활용하여 VR 시스템의 UX를 개선하는 데 가장 적합한 방법을 선택하고 적용할 수 있다.

2. Method

2.1 Search strategy

본 연구는 PRISMA (Preferred Reporting Items for Systematic Reviews and Meta-Analyses)를 적용하여 체계적 문헌 연구를 수행했다(Liberati et al., 2009). 다양한 분야의 문헌을 수집하기 위해 총 다섯 개의 데이터베이스를 선정하고(Web of Science, Science direct, IEEE Xplore, ACM digital library, Wiley online library), 검색 키워드를 활용하여 논문을 검색했다(2022.11.10). 가상현실에 대한 검색 키워드로 "virtual reality", "virtual environment", "VR", 그리고 "VE"를 선정하고, 사용자 경험에 대한 키워드로는 "user experience" 및 "UX", 그리고 기계학습에 대한 키워드로 "machine learning", "ML"을 설정하여 총 16개의 키워드 조합에 대한 검색을 수행했다.

2.2 Selection criteria

본 연구에서는 VR 시스템을 대상으로 UX 향상을 위해 ML을 적용한 논문을 선정했다. PRISMA 절차에 있어 영어로 작성된 학술지 게재 논문을 대상으로 총 130편의 논문이 수집되었고(Web of Science: 66편, Science direct: 19편, IEEE Xplore: 5편, ACM digital library: 23편, Wiley online library: 17편) 중복 논문을 제거한 후 제목과 초록을 읽고 관련 없는 논문들을 제거하여 85편의 논문을 선별했다. 논문 선정을 위해 세 가지의 기준을 정하고 전체 논문을 면밀히 검토하여 기준을 모두 만족하는 논문을 선별했다. 선정 기준은 1) VR 시스템을 대상으로 2) 사용자 실험을 수행하고, 3) 수집된 사용자 데이터(사용자 과업 수행도, 자세, 생체신호 등)에 ML 기법에 적용하여 VR 시스템의 UX를 분석한 논문으로 설정했다. 이를 통해 최종적으로 21편의 논문이 선정되었다(Figure 1).

Figure 1. Flow diagram of paper selection

3. Results

3.1 (RQ1) Types and tasks of VR systems

VR 시스템의 UX 향상 연구에서 ML 기법을 적용한 논문들을 리뷰한 결과, 연구에서 사용된 VR 시스템은 크게 HMD, 모니터 디스플레이, 프로젝터, CAVE로 구분할 수 있다(Table 1). 동일 연구에서 복수의 시스템을 사용한 경우 각각의 시스템을 개별적으로 고려하였을 때 총 24개의 사례를 확인할 수 있으며 구체적인 시스템 정보가 제시되지 않는 2건을 제외하고 가장 많이 사용된 시스템은 HMD 기반의 VR 시스템으로 16건(66.7%)의 사례를 확인할 수 있다. 그 뒤를 이어 모니터 디스플레이가 4건(16.7%)으로 확인되었고 프로젝터와 CAVE는 각각 1건(4.2%)의 사례가 확인되었다. HMD 사용 사례는 다른 시스템들의 사용 사례를 모두 합한 것보다 2배 이상 높은 수치를 보인다.

VR System	No. of case	Reference
HMD	16	Niu et al., 2019; Olade et al., 2020; Anwar et al., 2020b; Anwar et al., 2020a; Fu et al., 2020; Połap et al., 2020; Anwar et al., 2020c; Iqbal et al., 2021; Stranick and Lopez, 2022; de Lima et al., 2022; Yan et al., 2022; Porcino et al., 2022; Liebers et al., 2022; Orozco-Mora et al., 2022; Mu et al., 2022
Monitor display	4	Kirchner et al., 2016; Al Luhaybi et al., 2019; Niu et al., 2019; Zhao et al., 2021
Projector	1	Li et al., 2019
CAVE	1	Kirchner et al., 2016
No information	2	Rosa-Pujazon et al., 2016; Lamb et al., 2022

Table 1. Types of VR system used in the reviewed articles

선정 연구에서 수행된 사용자 과업은 내비게이션, 선택 및 조작, 시스템 제어, 시청으로 분류할 수 있고 각각 6건(24%), 12건(48%), 1건 (4%), 6건(24%)의 사례가 확인되었다(Table 2). 선택 및 조작은 VR 환경에서 객체를 선택하고 변형하거나 이동시키는 과업이고 내비게이션의 경우 아바타, 사물 탑승 등의 상황에서 특정 경로를 따라 이동하는 과업이며 시스템 제어는 VR 환경에서 메뉴 선택 및 설정 활성화와 같은 과업이다. 이들은 3D 상호작용의 주요한 과업들로 VR에서 사용자가 주도적으로 객체와 상호작용을 하게 된다. 이에 반해 시청 과업 유형은 대부분의 경우에 VR에서 제공하는 시각 및 청각 정보를 사용자가 수동적으로 수용한다. 다만, HMD를 사용하는 경우 사용자의 머리 움직임을 통해 VR 환경에서 가상 카메라를 제어하여 시각적 제어를 능동적으로 사용할 수 있다. 기존 VR 시스템의 UX 연구 결과와 같이(Kim et al., 2020), 본 연구에서 확인된 ML을 적용한 VR 시스템의 UX 연구에서도 능동적인 과업이 사용자 과업의 유형이 주를 이루는 것을 확인할 수 있다.

User task	No. of case	Reference
Navigation	6	Al Luhaybi et al., 2019; Połap et al., 2020; de Lima et al., 2022; Porcino et al., 2022; Lamb et al., 2022; Mu et al., 2022
Selection and manipulation	12	Kirchner et al., 2016; Rosa-Pujazon et al., 2016; Olade et al., 2020; Fu et al., 2020; Połap et al., 2020; Zhao et al., 2021; Iqbal et al., 2021; Stranick and Lopez, 2022; de Lima et al., 2022; Yan et al., 2022; Liebers et al., 2022; Orozco-Mora et al., 2022
System control	1	Kirchner et al., 2016
Watching	6	Niu et al., 2019; Anwar et al., 2020b; Anwar et al., 2020a; Li et al., 2019; Anwar et al., 2020c; Lamb et al., 2022

Table 2. Types of user task in the reviewed articles

3.2 (RQ2 & RQ3) Application, objective, and training data of ML techniques

문헌 연구 분석 결과에 따르면 ML 기법을 활용해서 UX를 연구한 VR의 응용 분야는 Table 3와 같다. 연구에서 특정한 VR 응용 분야를 정의 또는 제안하지 않은 경우 기본으로 분류되었고 해당 유형은 10건(41.7%)으로 가장 많이 확인되었다. 그 다음으로 엔터테인먼트 6건(25%), 재활 및 건강관리 3건(12.5%), 교육 및 훈련 2건(8.3%)이 확인되었으며 원격조작, 예술, 쇼핑은 각각 1건(4.2%)씩 확인되었다.

Application fields	No. of case	Reference
Education and training	2	Yan et al., 2022; Lamb et al., 2022
Rehabilitation and healthcare	3	Zhao et al., 2021; Stranick and Lopez, 2022; Orozco-Mora et al., 2022
Entertainment	6	Olade et al., 2020; Połap et al., 2020; de Lima et al., 2022; Porcino et al., 2022; Orozco-Mora et al., 2022; Mu et al., 2022
Teleoperation	1	Kirchner et al., 2016
Arts	1	Mu et al., 2022
Shopping	1	Olade et al., 2020
Applicable basics	10	Rosa-Pujazon et al., 2016; Al Luhaybi et al., 2019; Niu et al., 2019; Anwar et al., 2020b; Anwar et al., 2020a; Li et al., 2019; Fu et al., 2020; Anwar et al., 2020c; Iqbal et al., 2021; Liebers et al., 2022

Table 3. Application fields of ML techniques in the reviewed articles

ML 기법을 적용한 목적은 Table 4와 같다. 적용 목적은 크게 인식, 예측, 평가로 구분될 수 있다. 인식은 대상을 인식하는 목적으로 사용자 인식, 제스처 인식 그리고 사물 인식으로 구분된다. 예측은 사용자의 멀미, 스트레스 수준, 감정, 몰입감 등으로 구분할 수 있고 평가는 학습률, 활동강도, 수용도, 지각된 품질로 구분할 수 있다. 많이 활용된 분야는 예측으로 12건(46.2%)이 확인되었고 세부적으로는 멀미가 4건(15.4%)으로 가장 많이 나타났다. 단일 사례로 가장 많이 확인된 적용 목적은 제스처 인식으로 6건(23.1%)이 나타났다.

Objective of ML application		No. of case	Reference
Recognition	User	2	Olade et al., 2020; Liebers et al., 2022
	Gesture	6	Rosa-Pujazon et al., 2016; Olade et al., 2020; Połap et al., 2020; Zhao et al., 2021; Iqbal et al., 2021; Yan et al., 2022
	Object	1	Al Luhaybi et al., 2019
Prediction	Cybersickness	4	Anwar et al., 2020b; Li et al., 2019; Anwar et al., 2020c; Porcino et al., 2022
	Workload	1	Kirchner et al., 2016
	Stress level	1	Orozco-Mora et al., 2022
	Emotion	2	Niu et al., 2019; de Lima et al., 2022
	Immersion	2	Kirchner et al., 2016; Anwar et al., 2020a
	Presence	1	Anwar et al., 2020a
	Attention	1	Anwar et al., 2020a
Evaluation	Learning rate	1	Lamb et al., 2022
	Activity intensity	1	Stranick and Lopez, 2022
	Acceptability	1	Anwar et al., 2020a
	Perceived quality	2	Fu et al., 2020; Anwar et al., 2020c

Table 4. Objective of ML application in the reviewed articles

ML 기법 학습에 사용한 데이터는 수집 대상에 따라 시스템과 사용자로 구분할 수 있다(Table 5). 전체 60개의 사례가 있었고 사용자로부터 수집한 데이터가 44건(73.3%)이 파악되었다. 해당 사례들을 하위 유형으로 구분해 보면 사용자의 생리 및 행동 반응(7건), 인적 정보 및 VR 경험(4건), 모션(24건), 수행 결과(3건)의 데이터로 구분할 수 있다. 가장 많이 활용된 데이터는 모션 데이터이고 그 중에서도 위치 정보(9건, 15.0%), 회전 정보(5건, 8.3%), 속도(4건, 6.7%)가 전체 학습 데이터 사례에서도 많이 사용되었다. 시스템으로부터 수집한 데이터는 장치 특성(1건), 환경 변수(7건), 콘텐츠 특성(8건)으로 구분할 수 있다.

Data resource	Type	Input data	No. of case	Reference
System	Hardware characteristic	Device type	1	Anwar et al., 2020c
	Environment variable	Quantization parameter	2	Anwar et al., 2020a; Anwar et al., 2020c
		Resolutions	2	Anwar et al., 2020a; Anwar et al., 2020c
		Frame rate	2	Porcino et al., 2022; Liebers et al., 2022
		Delay and interruptions	1	Anwar et al., 2020a
	Contents properties	Camera motion	1	Anwar et al., 2020b
		Play speed	1	Anwar et al., 2020b
		No. of moving targets	1	Anwar et al., 2020b
		Time stamp	2	Porcino et al., 2022; Liebers et al., 2022
		Event occurrence	1	Liebers et al., 2022
		Screen captured	1	Al Luhaybi et al., 2019
		UI design elements	1	Fu et al., 2020
User	Physiological and behavioral responses	EEG	2	Kirchner et al., 2016; Li et al., 2019
		EDA	2	Niu et al., 2019; Orozco-Mora et al., 2022
		EMG	1	Orozco-Mora et al., 2022
		ECG	1	Orozco-Mora et al., 2022
		Hemodynamic response	1	Lamb et al., 2022
		CoP	1	Li et al., 2019
		Eye gaze	3	Liebers et al., 2022; Iqbal et al., 2021; Olade et al., 2020
	Personal background and VR experience	Sex	2	Anwar et al., 2020c; Porcino et al., 2022
		Age	1	Porcino et al., 2022
		Interest	1	Anwar et al., 2020c
		Familiarity	2	Anwar et al., 2020c; Porcino et al., 2022
	Motion	Positional data	8	Rosa-Pujazon et al., 2016; Olade et al., 2020; Li et al., 2019; Zhao et al., 2021; Iqbal et al., 2021; Stranick and Lopez, 2022; de Lima et al., 2022; Liebers et al., 2022; Mu et al., 2022
		Rotational data	5	Olade et al., 2020; Iqbal et al., 2021; de Lima et al., 2022; Porcino et al., 2022; Liebers et al., 2022
		Percentage of time (standing still, walking, colliding)	1	de Lima et al., 2022
		Curvature feature	1	Yan et al., 2022
		Angle feature	1	Yan et al., 2022
		Speed	4	Stranick and Lopez, 2022; de Lima et al., 2022; Yan et al., 2022; Porcino et al., 2022
		Acceleration	2	Stranick and Lopez, 2022; Porcino et al., 2022
		Image	1	Połap et al., 2020
	Performance results	Score	1	Stranick and Lopez, 2022
		Activity counted	1	Stranick and Lopez, 2022
		Uncomfortable level	1	Porcino et al., 2022
EEG: Electroencephalography, EDA: Electrodermal Activity, EMG: Electromyography, ECG: Electrocardiography, CoP: Center of Pressure

Table 5. Training data used in the reviewed articles

3.3 (RQ4) Types and performance measures of ML techniques

문헌 분석을 통해 파악된 ML 기법은 전체 50개의 사례 중에서 비지도학습 1건을 제외하고 전부 지도학습이 사용되었다(Table 6). 각 연구들은 단일 기법을 사용하는 것이 아니라 다양한 ML 기법을 적용해서 동일한 목적과 환경에서의 성능 비교를 많이 수행했다. 가장 많이 사용된 ML 기법은 Multilayer Perceptron (MLP)로 9건(18.0%)이 사용되었고 그 다음으로 Support Vector Machine (SVM)이 7건(14.0%)이 사용되었으며 K-Nearest Neighbor (KNN), Decision Tree (DT), Logistic Regression (LR), Random Forest (RF)가 각각 6건(12.0%)이 사용되었다. 다양한 ML 기법 중에서 MLP, Convolutional Neural Network (CNN), Long Short-Term Memory (LSTM) 등의 신경망 기반의 방법이 14건(28%)으로 빈번히 사용되었다.

ML classification		No. of case	Reference
Supervised learning	SVM	7	Kirchner et al., 2016; Rosa-Pujazon et al., 2016; Niu et al., 2019; Anwar et al., 2020c; Stranick and Lopez, 2022; Yan et al., 2022; Orozco-Mora et al., 2022
	MLP	9	Rosa-Pujazon et al., 2016; Anwar et al., 2020b; Li et al., 2019; Anwar et al., 2020c; Stranick and Lopez, 2022; de Lima et al., 2022; Yan et al., 2022; Orozco-Mora et al., 2022; Mu et al., 2022
	CNN	4	Al Luhaybi et al., 2019; Fu et al., 2020; Połap et al., 2020; Mu et al., 2022
	LSTM	1	Mu et al., 2022
	NB	2	Rosa-Pujazon et al., 2016; Stranick and Lopez, 2022
	KNN	6	Rosa-Pujazon et al., 2016; Niu et al., 2019; Olade et al., 2020; Li et al., 2019; Anwar et al., 2020c; Orozco-Mora et al., 2022
	DT	6	Rosa-Pujazon et al., 2016; Niu et al., 2019; Anwar et al., 2020a; Anwar et al., 2020c; Porcino et al., 2022; Orozco-Mora et al., 2022
	LR	6	Rosa-Pujazon et al., 2016; Niu et al., 2019; Li et al., 2019; Anwar et al., 2020c; Iqbal et al., 2021; Stranick and Lopez, 2022
	RF	6	Li et al., 2019; Stranick and Lopez, 2022; Porcino et al., 2022; Liebers et al., 2022; Lamb et al., 2022; Orozco-Mora et al., 2022
	VC	1	Li et al., 2019
	AB	1	Yan et al., 2022
Unsupervised learning	SC	1	Zhao et al., 2021
Reinforcement learning	-	0
SVM: Support Vector Machine, MLP: Multilayer Perceptron, CNN: Convolutional Neural Network, LSTM: Long Short-Term Memory, NB: Naïve Bayes, KNN: K-Nearest Neighbor, DT: Decision Tree, LR: Logistic Regression, RF: Random Forest, VC: Voting Classifier, AB: AdaBoost, SC: Spectral Clustering

Table 6. ML techniques used in the reviewed articles

ML 기법을 평가하는 성능 지표는 50개의 사례가 확인되었다(Table 7). 대부분의 연구는 복수의 지표를 활용해서 제안한 ML 모형을 정량적으로 평가했고 가장 많이 사용한 지표는 Accuracy로 17건(33.3%)이 나타났다. 그 뒤를 이어 Recall이 6건(11.8%) 사용되었으며 Precision, F-measure, Area Under the ROC Curve (AUC)이 각각 5건(9.8%)씩 사용되었다.

Application fields	No. of case	Reference
Accuracy	17	Rosa-Pujazon et al., 2016; Al Luhaybi et al., 2019; Niu et al., 2019; Olade et al., 2020; Anwar et al., 2020b; Anwar et al., 2020a; Li et al., 2019; Połap et al., 2020; Anwar et al., 2020c; Iqbal et al., 2021; Stranick and Lopez, 2022; de Lima et al., 2022; Yan et al., 2022; Liebers et al., 2022; Lamb et al., 2022; Orozco-Mora et al., 2022; Mu et al., 2022
Balanced accuracy	1	Kirchner et al., 2016
AUC	5	Kirchner et al., 2016; Anwar et al., 2020c; Porcino et al., 2022; Lamb et al., 2022; Orozco-Mora et al., 2022
Recall	6	Al Luhaybi et al., 2019; Anwar et al., 2020b; Anwar et al., 2020a; Li et al., 2019; Anwar et al., 2020c; Lamb et al., 2022
Precision	5	Al Luhaybi et al., 2019; Anwar et al., 2020b; Anwar et al., 2020a; Anwar et al., 2020c; Iqbal et al., 2021
F-measure	5	Al Luhaybi et al., 2019; Anwar et al., 2020b; Anwar et al., 2020a; Anwar et al., 2020c; Iqbal et al., 2021
MAE	3	Anwar et al., 2020b; Anwar et al., 2020a; Anwar et al., 2020c
MSE	1	Fu et al., 2020
Cohen's kappa	2	Li et al., 2019; Lamb et al., 2022
Specificity	2	Li et al., 2019; Lamb et al., 2022
Running time	1	Yan et al., 2022
Recognition time	1	Yan et al., 2022
Error rate	1	Li et al., 2019
ROC	1	Anwar et al., 2020c
No information	1	Kirchner et al., 2016
AUC: Area Under the ROC Curve, MAE: Mean Absolute Error, MSE: Mean Square Error

Table 7. Performance measures used in the reviewed articles

4. Discussion

본 연구는 VR 시스템의 UX 향상을 위해 ML 기법을 적용한 연구를 체계적으로 분석하였고, 이에 따라 사전에 설정된 연구 문제에 대한 몇 가지 주요 논의점을 제시한다. 첫째, VR 시스템 유형과 관련하여 HMD 기반의 VR 시스템이 가장 빈번하게 채택되었으며 그 외에도 데스크톱 및 프로젝터 기반의 VR 시스템과 CAVE 시스템에 대한 연구가 진행된 바 있다. 저가의 실감형 HMD 기반의 VR 기기가 상용화됨에 따라 일반 사용자들도 개인 공간에서 HMD를 활용하여 VR을 체험하는 경우가 많아지고 있으므로 HMD 기반의 VR 시스템을 대상으로 한 연구는 지속적으로 필요하며 연구 결과의 기여 또한 클 것으로 판단된다. 다만, 프로젝터 및 CAVE 시스템을 기반으로 한 연구가 확대될 필요성이 있다. 두 시스템 모두 HMD 기반의 VR 시스템과 비교하여 구축 비용이 많이 들고 넓은 공간이 요구되기 때문에 일반 사용자가 해당 시스템 구현하는 데 어려움이 있는 것은 사실이다. 그럼에도 프로젝터 및 CAVE 기반의 VR 시스템은 재활, 교육/훈련, 박물관, 전시회 및 관광 등의 체험을 목적으로 지속해서 구현되고 있으므로(Genova et al., 2022; Zhou et al., 2022; Lombardo and Lauro, 2022), 이에 대한 연구로 확장할 필요가 있다.

둘째, ML 적용 목적과 관련해서 사용자의 생리적 상태(멀미, 과업부하, 스트레스, 몰입감 등)를 예측하는 연구의 비율이 약 46%로 특히, VR 체험에 기인한 멀미 발생 여부와 그 수준을 실시간으로 예측함으로써 사용자가 위험한 수준의 멀미를 경험하지 않도록 하기 위한 연구가 적극적으로 진행되고 있다. VR을 경험하는 사용자는 필연적으로 부정적인 영향을 받을 수 있으며(Descheneaux et al., 2020; Nichols and Patel, 2002) 특히 몰입형 VR 시스템의 멀미 발생 문제는 꾸준히 제기되어 왔다. 이에, 이를 저감하기 위한 노력 또한 지속적으로 이어지고 있었으며(Chang et al., 2020), ML을 적용하여 부정적인 경험 요소를 실시간으로 관리하는 방향으로 연구 분야가 확장되고 있는 것으로 판단된다. 멀미 예측 알고리즘을 기반으로 VR 콘텐츠의 멀미 수준을 사전에 평가할 수 있으며 멀미로 인한 부작용이 악화되는 것을 예방할 수 있을 것으로 기대한다.

사용자의 제스처 인식을 통해 자연스러운 3D 인터랙션을 구현한 연구도 활발히 수행되었다. 컨트롤러 기반의 조작 방식이 친숙함 및 조작 용이성 측면에서 이점이 있을 수 있으나, ML을 적용하여 분류 정확도가 높은 제스처 기반의 인터랙션 구현은 자연스러운 사용자 인터페이스(Natural user interface)를 실현하여 보다 높은 수준의 몰입 경험을 제공할 수 있다는 장점이 있으므로, 이에 대한 연구는 지속적으로 이어질 필요가 있다.

사용자 인증 및 보안 문제도 다뤄지고 있으나 아직까지는 그 관심이 저조한 것으로 파악된다. 그러나 가상 세계 속에서의 사무, 회의, 쇼핑, 금융 활동 등의 업무 및 서비스 적용이 확대되고 있으므로(Jenkins, 2022; Campbell et al., 2020; Yuly et al., 2020) ML을 적용한 VR 시스템의 인증 시스템 구축에 대한 더 높은 관심이 요구된다. 더불어, 단일 사용자를 위한 VR 시스템에서 확대되어 네트워크로 연결된 다중 사용자를 위한 VR 시스템 환경이 대중화된다면 스마트폰 및 일반 PC 환경에서 사용자 인증 및 보안 시스템을 구축하는 것과 마찬가지로 VR 시스템에서의 사용자 식별을 통한 인증 시스템이 구현될 필요가 있다. 비밀번호 입력 등과 같이 전통적으로 활용되는 인증 시스템도 적용 가능하겠으나 컨트롤러의 패드를 활용한 지문 인식, 음성 인식을 통한 인증, 제스처 기반의 인증 등 다양한 인증 시스템이 개발될 수 있다. 따라서 ML을 적용하여 사용 편의성, 보안성, 그리고 VR 시스템의 특성을 고려한 다양한 인증 시스템 개발을 통해 VR 사용 환경에 적합한 인증 시스템을 구현할 수 있을 것으로 기대한다.

셋째, ML 모델 개발을 위해 VR 시스템 및 사용자로부터 얻을 수 있는 데이터가 모두 활용되고 있다. 움직임 데이터는 VR을 체험하는 사용자의 머리, 손, 또는 전신의 움직임과 관련된 데이터로서 특히 HMD 기반의 VR 시스템에서는 HMD 및 컨트롤러의 IMU 센서로부터 움직임 정보를 실시간으로 수집할 수 있으므로 모션 캡션 장비 등의 추가적인 장치 구축 필요 없이 사용자의 움직임에 대한 정보를 얻을 수 있는 이점이 있다. 사용자의 생리 및 행동 반응에 대한 데이터를 수집하기 위해서는 생리신호 측정 장비를 활용해야 하나 장비 구축에 전문성이 요구되며 사용자의 신체 부위에 측정 장비가 부착되므로 자연스러운 움직임을 방해할 수 있다. 따라서 반드시 생리신호를 학습 데이터로 활용해야 하는 경우라면 알고리즘 정확도가 매우 높을 것을 예상하고 진행할 필요가 있다. 이런 관점에서 본다면 시스템 특성과 추가적인 장비가 요구되지 않는 VR 시스템의 하드웨어 및 콘텐츠 설정 값과 사용자 인적 정보를 활용하여 정확도가 높은 모델을 개발하는 데 지속적인 노력이 필요할 것으로 판단한다.

넷째, 적용된 ML 기법 및 평가 지표와 관련해서 한 건의 비지도학습 기반의 연구를 제외하고는 모두 지도학습 기반의 연구로 MLP 기법이 가장 많이 활용되었으며 그 외에도 SVM, KNN, DT, LR, RF 기법이 활용되고 있다. 하나의 ML 기법을 적용하여 연구를 수행한 경우와(11편) 동일한 목적에 대해 여러 ML 기법을 동시에 적용함으로써 그 성능을 비교 평가하는 탐색적 연구의 빈도가 비슷했다(10편). 즉, 아직까지는 VR 시스템 사용 맥락에서 ML 적용 목적에 대해 특정 알고리즘이 우수하다고 단정하기는 어렵다. 가령, 사용자의 멀미 수준을 예측하는 ML 기법으로 DT, KNN, LR, MLP, SVM, VC, RF 등이 활용되었으며 학습 데이터 및 사용 맥락에 따라 그 성능에 차이가 있을 수 있다. 따라서, VR 시스템 특성, 학습 데이터 및 ML 적용 목적을 명확히 밝히고 다양한 ML 기법을 동시에 적용하여 그 결과와 논의점을 제시하는 연구들이 꾸준히 이어진다면 추후 유사한 연구를 수행하는 연구자들의 실험 설계에 기여할 수 있을 것으로 기대한다.

5. Conclusion

본 연구는 체계적 문헌 분석 절차에 따라 VR 시스템의 UX 향상을 위해 ML 기법을 적용한 연구를 분석하였다. 가상현실의 사용 경험을 증진시키기 위한 방법으로 긍정적 사용 경험을 강화하거나 부정적 사용 경험을 저감하는 방향의 접근 방식을 확인할 수 있었다. 가상 환경을 구성하는 인터페이스 설계 및 인터랙션 구현 측면에서 ML을 적용하는 경우가 주를 이루었으며, 사용자 식별, 감정 인식, 인증 시스템 구축 등 다양한 목적을 위해 ML 기법이 활용될 수 있음을 확인하였다. 사용자의 부정적 사용 경험을 사전에 판단하기 위한 예측 모델 개발 연구가 여러 확인되기는 하였으나, 실제 개발된 모델을 토대로 사용 경험이 좋아졌다는 검증 연구가 뒷받침되고 있지 않다. 모델 구현에서 더 나아가 이를 적용하여 실제 사용자에게 긍정적인 사용 경험을 제공해 줄 수 있는지에 대한 문제는 또 다른 문제이기 때문에 이에 대한 검증 연구가 반드시 필요하다고 본다. 아울러 본 연구에서는 설정한 연구 문제를 중심으로 빈도에 대한 결과 및 논의를 진행했다. 추후 연구에서는 기존 연구들의 세부 결과를 바탕으로 연구간의 관계 및 개선점을 도출하고 후속 연구를 위한 분야 및 방향성을 제시해볼 필요가 있다. ML 기법이 점차 고도화되고 다량의 데이터를 처리할 수 있는 컴퓨팅 기술 또한 급속도로 발전하고 있다. ML 기법이 실제 세계에서 우리 일상에 적용되어 여러 서비스를 제공하는 것과 마찬가지로 가상 세계에서도 핵심 기술로서 ML 기법 적용이 중요할 것으로 판단한다. 가상의 세계에서도 본 연구의 결과가 유관 연구자들에게 미래 연구에 대한 인사이트를 얻는데 도움이 되기를 기대한다.

References

1. Al Luhaybi, A., Alqurashi, F., Tsaramirsis, G. and Buhari, S.M., Automatic Association of Scents Based on Visual Content, Applied Sciences, 9(8), 1697, 2019. https://doi.org/10.3390/app9081697
Google Scholar

2. Amirthalingam, J., Paidi, G., Alshowaikh, K., Jayarathna, A.I., Salibindla, D.B.A.M.R., Karpinska-Leydier, K. and Ergin, H.E., Virtual reality intervention to help improve motor function in patients undergoing rehabilitation for Cerebral Palsy, Parkinson's Disease, or Stroke: A systematic review of randomized controlled trials. Cureus, 13(7), 2021.
Google Scholar

3. Anwar, M.S., Wang, J., Ahmad, S., Khan, W., Ullah, A., Shah, M. and Fei, Z.S., Impact of the Impairment in 360-Degree Videos on Users VR Involvement and Machine Learning-Based QoE Predictions. IEEE Access, 8, 204585-204596, 2020a. https://doi.org/ 10.1109/ACCESS.2020.3037253
Google Scholar

4. Anwar, M.S., Wang, J., Ahmad, S., Ullah, A., Khan, W. and Fei, Z.S., Evaluating the Factors Affecting QoE of 360-Degree Videos and Cybersickness Levels Predictions in Virtual Reality. Electronics, 9(9), 1530, 2020b. https://doi.org/10.3390/electronics9091530
Google Scholar

5. Anwar, M.S., Wang, J., Khan, W., Ullah, A., Ahmad, S. and Fei, Z., Subjective QoE of 360-Degree Virtual Reality Videos and Machine Learning Predictions. IEEE Access, 8, 148084-148099, 2020c. https://doi.org/10.1109/ACCESS.2020.3015556
Google Scholar

6. Bart, O., Katz, N., Weiss, P.L. and Josman, N., Street crossing by typically developed children in real and virtual environments. OTJR: Occupation, Participation and Health, 28(2), 89-96, 2008.
Google Scholar

7. Campbell, A.G., Holz, T., Cosgrove, J., Harlick, M. and O'Sullivan, T., Uses of virtual reality for communication in financial services: A case study on comparing different telepresence interfaces: Virtual reality compared to video conferencing. Future of information and communication conference, 2020.
Google Scholar

8. Chang, E., Kim, H.T. and Yoo, B., Virtual reality sickness: a review of causes and measurements. International Journal of Human-Computer Interaction, 36(17), 1658-1682, 2020.
Google Scholar

9. Chen, Y., Fanchiang, H.D. and Howard, A., Effectiveness of virtual reality in children with cerebral palsy: a systematic review and meta-analysis of randomized controlled trials. Physical Therapy, 98(1), 63-77, 2018.
Google Scholar

10. Clarke, E., Virtual reality simulation—the future of orthopaedic training? A systematic review and narrative analysis. Advances in Simulation, 6(1), 1-11, 2021.
Google Scholar

11. de Lima, E.S., Silva, B.M.C. and Galam, G.T., Adaptive virtual reality horror games based on Machine learning and player modeling. Entertainment Computing, 43, 100515, 2022. https://doi.org/https://doi.org/10.1016/j.entcom.2022.100515
Google Scholar

12. Descheneaux, C.R., Reinerman-Jones, L., Moss, J., Krum, D. and Hudson, I., Negative effects associated with HMDs in augmented and Virtual Reality. International Conference on Human-Computer Interaction, 2020.
Google Scholar

13. Fu, Q.W., Lv, J., Tang, S.H. and Xie, Q.S., Optimal Design of Virtual Reality Visualization Interface Based on Kansei Engineering Image Space Research. Symmetry, 12(10), 1722, 2020. https://doi.org/10.3390/sym12101722
Google Scholar

14. Genova, C., Biffi, E., Arlati, S., Redaelli, D.F., Prini, A., Malosio, M., Corbetta, C., Davalli, A., Sacco, M. and Reni, G., A simulator for both manual and powered wheelchairs in immersive virtual reality CAVE. Virtual Reality, 26(1), 187-203, 2022.
Google Scholar

15. Iqbal, H., Latif, S., Yan, Y., Yu, C. and Shi, Y., Reducing Arm Fatigue in Virtual Reality by Introducing 3D-Spatial Offset. IEEE Access, 9, 64085-64104, 2021. https://doi.org/10.1109/ACCESS.2021.3075769
Google Scholar

16. Jenkins, T., Immersive Virtual Shopping Experiences in the Retail Metaverse: Consumer-driven E-Commerce, Blockchain-based Digital Assets, and Data Visualization Tools. Linguistic and Philosophical Investigations, 21, 154-169, 2022.
Google Scholar

17. Jerald, J., The VR book: Human-centered design for virtual reality. Morgan and Claypool, 2015.
Google Scholar

18. Jung, T., Lee, H. and Chung, N., Effects of virtual reality and augmented reality on visitor experiences in museum. In Information and Communication Technologies in Tourism 2016 (pp. 621-635). Springer, 2016.
Google Scholar

19. Kim, Y.M., Rhiu, I. and Yun, M.H., A systematic review of a virtual reality system from the perspective of user experience. International Journal of Human-Computer Interaction, 36(10), 893-910, 2020.
Google Scholar

20. Kirchner, E.A., Kim, S.K., Tabie, M., Wohrle, H., Maurus, M. and Kirchner, F., An Intelligent Man-Machine Interface - Multi-Robot Control Adapted for Task Engagement Based on Single-Trial Detectability of P300. Frontiers in Human Neuroscience, 10, 291, 2016. https://doi.org/10.3389/fnhum.2016.00291
Google Scholar

21. Lamb, R., Neumann, K. and Linder, K.A., Real-time prediction of science student learning outcomes using machine learning classification of hemodynamics during virtual reality and online learning sessions. Computers and Education: Artificial Intelligence, 3, 100078, 2022. https://doi.org/https://doi.org/10.1016/j.caeai.2022.100078
Google Scholar

22. Lee, T.M., Yoon, J.C. and Lee, I.K., Motion sickness prediction in stereoscopic videos using 3d convolutional neural networks. IEEE Transactions on Visualization and Computer Graphics, 25(5), 1919-1927, 2019.
Google Scholar

23. Li, Y., Liu, A. and Ding, L., Machine learning assessment of visually induced motion sickness levels based on multiple biosignals. Biomedical Signal Processing and Control, 49, 202-211, 2019. https://doi.org/https://doi.org/10.1016/j.bspc.2018.12.007
Google Scholar

24. Liberati, A., Altman, D.G., Tetzlaff, J., Mulrow, C., Gøtzsche, P.C., Ioannidis, J.P., Clarke, M., Devereaux, P.J., Kleijnen, J. and Moher, D., The PRISMA statement for reporting systematic reviews and meta-analyses of studies that evaluate health care interventions: explanation and elaboration. Journal of Clinical Epidemiology, 62(10), e1-e34, 2009.

25. Liebers, J., Brockel, S., Gruenefeld, U. and Schneegass, S., Identifying Users by Their Hand Tracking Data in Augmented and Virtual Reality. International Journal of Human-Computer Interaction, 2022. https://doi.org/10.1080/10447318.2022.2120845
Google Scholar

26. Lin, J.W., Duh, H.B.L., Parker, D.E., Abi-Rached, H. and Furness, T.A., Effects of field of view on presence, enjoyment, memory, and simulator sickness in a virtual environment. Proceedings ieee virtual reality 2002, 2002.
Google Scholar

27. Llorach, G., Evans, A. and Blat, J., Simulator sickness and presence using HMDs: comparing use of a game controller and a position estimation system. Proceedings of the 20th ACM symposium on virtual reality software and technology, 2014.
Google Scholar

28. Lohse, K.R., Hilderman, C.G., Cheung, K.L., Tatla, S. and Van der Loos, H.M., Virtual reality therapy for adults post-stroke: a systematic review and meta-analysis exploring virtual environments and commercial games in therapy. PloS One, 9(3), e93318, 2014.
Google Scholar

29. Lombardo, V. and Lauro, V., Prototype of virtual reality and CAVE installation for transdisciplinary archeology. 2022 12th International Congress on Advanced Applied Informatics (IIAI-AAI), 2022.
Google Scholar

30. Luks, R. and Liarokapis, F., Investigating motion sickness techniques for immersive virtual environments. Proceedings of the 12th acm international conference on pervasive technologies related to assistive environments, 2019.
Google Scholar

31. Mu, M., Dohan, M., Goodyear, A., Hill, G., Johns, C. and Mauthe, A., User attention and behaviour in virtual reality art encounter. Multimedia Tools and Applications, 2022. https://doi.org/10.1007/s11042-022-13365-2
Google Scholar

32. Nichols, S. and Patel, H., Health and safety implications of virtual reality: a review of empirical evidence. Applied Ergonomics, 33(3), 251-271, 2002.
Google Scholar

33. Niu, Y.F., Wang, D.L., Wang, Z.W., Sun, F., Yue, K. and Zheng, N., User Experience Evaluation in Virtual Reality based on Subjective Feelings and Physiological Signals. Journal of Imaging Science and Technology, 63(6), 060413, 2019. https://doi.org/10.2352/ J.ImagingSci.Technol.2019.63.6.060413
Google Scholar

34. Olade, I., Fleming, C. and Liang, H.N., BioMove: Biometric User Identification from Human Kinesiological Movements for Virtual Reality Systems. Sensors, 20(10), 2944, 2020. https://doi.org/10.3390/s20102944
Google Scholar

35. Orozco-Mora, C.E., Oceguera-Cuevas, D., Fuentes-Aguilar, R.Q. and Hernandez-Melgarejo, G., Stress Level Estimation Based on Physiological Signals for Virtual Reality Applications. IEEE Access, 10, 68755-68767, 2022. https://doi.org/10.1109/ACCESS. 2022.3186318
Google Scholar

36. Padmanaban, N., Ruban, T., Sitzmann, V., Norcia, A.M. and Wetzstein, G., Towards a machine-learning approach for sickness prediction in 360 stereoscopic videos. IEEE Transactions on Visualization and Computer Graphics, 24(4), 1594-1603, 2018.
Google Scholar

37. Parker, E. and Saker, M., Art museums and the incorporation of virtual reality: Examining the impact of VR on spatial and social norms. Convergence, 26(5-6), 1159-1173, 2020.
Google Scholar

38. Połap, D., Kęsik, K., Winnicka, A. and Woźniak, M., Strengthening the perception of the virtual worlds in a virtual reality environment. ISA Transactions, 102, 397-406, 2020. https://doi.org/https://doi.org/10.1016/j.isatra.2020.02.023
Google Scholar

39. Porcino, T., Rodrigues, E.O., Bernardini, F., Trevisan, D. and Clua, E., Identifying cybersickness causes in virtual reality games using symbolic machine learning algorithms. Entertainment Computing, 41, 100473, 2022. https://doi.org/https://doi.org/10.1016/ j.entcom.2021.100473
Google Scholar

40. Rosa-Pujazon, A., Barbancho, I., Tardon, L.J. and Barbancho, A.M., Fast-gesture recognition and classification using Kinect: an application for a virtual reality drumkit. Multimedia Tools and Applications, 75(14), 8137-8164, 2016. https://doi.org/10.1007/ s11042-015-2729-8
Google Scholar

41. Salimi, Z. and Ferguson-Pell, M.W., Motion sickness and sense of presence in a virtual reality environment developed for manual wheelchair users, with three different approaches. PloS One, 16(8), e0255898, 2021.
Google Scholar

42. Schwebel, D.C., McClure, L.A. and Severson, J., Usability and feasibility of an internet-based virtual pedestrian environment to teach children to cross streets safely. Virtual Reality, 18(1), 5-11, 2014.
Google Scholar

43. Senno, B. and Barcha, P., Customizing user experience with adaptive virtual reality. Proceedings of the 23rd International Conference on Intelligent User Interfaces Companion, 2018.
Google Scholar

44. Stranick, T. and Lopez, C., Adaptive Virtual Reality Exergame: Promoting Physical Activity Among Workers. Journal of Computing and Information Science in Engineering, 22(3), 031002, 2022. https://doi.org/10.1115/1.4053002
Google Scholar

45. Thomsen, A.S.S., Bach-Holm, D., Kjærbo, H., Højgaard-Olsen, K., Subhi, Y., Saleh, G.M., Park, Y.S., La Cour, M. and Konge, L., Operating room performance improves after proficiency-based virtual reality cataract surgery training. Ophthalmology, 124(4), 524-531, 2017.

46. Thomson, J.A., Tolmie, A.K., Foot, H.C., Whelan, K.M., Sarvary, P. and Morrison, S., Influence of virtual reality training on the roadside crossing judgments of child pedestrians. Journal of Experimental Psychology: Applied, 11(3), 175, 2005.
Google Scholar

47. Thüring, M. and Mahlke, S., Usability, aesthetics and emotions in human-technology interaction. International Journal of Psychology, 42(4), 253-264, 2007.
Google Scholar

48. Yan, Y., Zhang, L. and Chen, M., AGRMTS: A virtual aircraft maintenance training system using gesture recognition based on PSO-BPNN model [https://doi.org/10.1002/cav.2031]. Computer Animation and Virtual Worlds, 33(1), e2031, 2022. https:// doi.org/https://doi.org/10.1002/cav.2031
Google Scholar

49. Yuly, A.R., Adila, R.N., Nugrahani, F., Waluyo, Y.S. and Hammad, J.A., Working Space Virtual Office Prototype in Pandemic Era. 2020 3rd International Conference on Computer and Informatics Engineering (IC2IE), 2020.
Google Scholar

50. Zhao, P., Zhang, Y.T., Guan, H.W., Deng, X.T. and Chen, H.D., Design of a Single-Degree-of-Freedom Immersive Rehabilitation Device for Clustered Upper-Limb Motion. Journal of Mechanisms and Robotics, 13(3), 031006, 2021. https://doi.org/10.1115/ 1.4050150
Google Scholar

51. Zhou, Y., Feng, T., Shuai, S., Li, X., Sun, L. and Duh, H.B.L., EDVAM: a 3D eye-tracking dataset for visual attention modeling in a virtual museum. Frontiers of Information Technology & Electronic Engineering, 23(1), 101-112, 2022.
Google Scholar

PIDS App ServiceClick here!

Download this article

Full text file: PDF
Citations
XML Download

Submit your research

Jump to: