본문바로가기

Effects of Multisensory Stimulation on Simulator Motion Sickness and Presence in a Simulator-based VR Environment

Song Pyo Hong , Kyungdoh Kim
10.5143/JESK.2024.43.4.273 Epub 2024 September 08

0
Cited By

Abstract

Objective: This study aimed to investigate (1) how multi-sensory stimuli affect simulator sickness and presence compared to visual stimuli and audiovisual stimuli, (2) to examine the differences in simulator sickness and presence between multi-sensory stimuli and conventional stimuli around the 10-minute, which is a critical point for significant changes in simulator sickness levels, and (3) to compare synchronized multi-sensory stimuli with asynchronized multi-sensory stimuli to determine any differences in simulator sickness and presence.

Background: VR has the advantage of providing a significant sense of presence compared to other visualization methods. However, one of the major drawbacks of VR is simulator sickness, and many studies have shown that multisensory stimuli can solve this problem. However, some studies have found that multisensory stimulation did not significantly affect simulator motion sickness, and it has been observed that the level of simulator sickness can vary significantly over time.

Method: This study was conducted into two parts, Study 1 and Study 2. In Study 1, a total of 18 participants were asked to experience 3 sensory types (visual stimuli, audiovisual stimuli, multisensory stimuli), and then Simulator Sickness Questionnaire (SSQ) and Presence Questionnaire (PQ) were conducted. In Study 2, SSQ and PQ were conducted after a total of 18 participants were asked to experience 2 sensory types (synchronous multisensory stimuli, asynchronous multisensory stimuli).

Results: In Study 1, no significant differences in simulator sickness were found among the three sensory modalities. Multisensory stimuli showed a higher sense of presence compared to visual stimuli, but no significant difference was observed compared to audiovisual stimuli. In Study 2, it was confirmed that the difference between simulator sickness and presence was not significant in multisensory stimuli depending on whether it was synchronized. Furthermore, the analysis of the simulator sickness and presence scores around the 10-minute mark revealed that there were no significant differences in simulator sickness and presence based on the type of stimuli.

Conclusion: It was confirmed that multisensory stimuli had no significant difference in simulator motion sickness compared to visual stimuli and audiovisual stimuli, and although it had a higher presence than visual stimuli, it had a similar level of presence to audiovisual stimuli.

Application: The results of this study are believed to be applicable to the development of VR-based automotive simulator content.



Keywords



VR HMD Simulator sickness Presence Multisensory stimuli



1. Introduction

가상현실(VR)의 기본 아이디어는 인간의 두뇌가 가상 환경이 실제로 존재한다고 믿도록 유도하는 것이다. 따라서 VR은 물체 간의 상호작용을 보여주고 물리학의 운동 법칙을 따르는 등 실제 환경을 기반으로 설계되었으며, 현실에서의 동일한 환경에 대한 사용자의 경험을 만족시키려고 한다. 지난 10년 동안 VR은 주로 의학, 교육 분야에서 사용되었지만, 요즘에는 엔터테인먼트 목적으로도 점점 많이 사용되고 있다. 오늘날 VR이라는 용어는 헤드마운트디스플레이(HMD)를 지칭하는 데 주로 사용된다. HMD는 사용자에게 몰입형 경험을 제공하여 기존의 시각화 수단에 비해 현장감을 높일 수 있다. 그러나 VR을 효과적으로 구현하고 수용성을 높이기 위한 몇 가지 문제가 아직 해결되지 않았으며, VR의 가장 두드러진 한계 중 하나는 시뮬레이터 멀미(SS)이다.

1.1 Simulator Sickness

시뮬레이터 멀미에 대해 논의하기 전, 모든 학자들이 이러한 현상을 설명하기 위해 시뮬레이터 멀미(SS)라는 용어를 사용하지 않았다는 점에 유의해야 한다(Stanney et al., 1997). 사이버 멀미(CS), 시각적으로 유발되는 멀미(VISM) (예: Sawada et al., 2020)라는 용어 또한 사용되고 있지만, 모호성을 줄이기 위해 최근 여러 논문(Grassini et al., 2021; Saredakis et al., 2020)에 맞추어 '시뮬레이터 멀미'라는 용어를 사용하기로 결정하였다. 시뮬레이터 멀미는 시뮬레이터 사용 도중 사용자에게 발생하는 멀미를 의미한다. 시뮬레이터 멀미의 증상은 메스꺼움, 현기증, 두통, 식은땀, 졸음, 침 분비 증가 및 전반적인 불편함을 포함한다(Dużmańska et al., 2018). 또한 시뮬레이터 멀미는 몇 시간 또는 며칠 동안 지속되는 후유증을 유발하여 참가자의 일상생활 활동에 부정적인 영향을 줄 수 있다(Stanney et al., 1998). 시뮬레이터 멀미는 시뮬레이션 작업, 시뮬레이터의 기능, 사용자의 나이, 성별 등의 특성 등 다양한 요인에 따라 다르다. 이에 따라 사용자가 겪는 시뮬레이터 멀미의 원인을 파악하기 위한 다양한 이론들이 발전하였다. 하지만 아직 시뮬레이터 멀미의 원인에 대해서는 합의에 도달하지 못했으며, 시뮬레이터 멀미를 줄이기 위해 현재 제안된 기술 중 일부(예: 시야 축소)는 VR 경험을 저하할 수 있거나 효과 크기가 신뢰할 수 없는 수준의 결과를 보여주었다(Fernandes and Feiner, 2016). 현재 시뮬레이터 멀미의 메커니즘을 설명하는 가장 영향력 있는 이론은 감각 갈등 이론이다.

 1.1.1 Sensory conflict

감각 갈등 이론은 시뮬레이터 멀미의 원인을 설명하는 가장 대표적인 이론으로, 감각 충돌은 시각, 전정 또는 체성 감각 등 다양한 감각에 의해 전달된 정보가 서로 일치하지 않거나 이전 경험을 기반으로 예상되는 정보와 일치하지 않을 때 발생한다(Reason and Brand, 1975; Bos and Bles, 1998; Oman, 1990; Bles et al., 1998). 고정 기반 시뮬레이터에서 시각 자극은 실제 움직임을 보여주지만 체성 자극은 현 현실에서의 경험과 일치하지 않기 때문에 시뮬레이터 멀미가 흔히 발생한다. 감각 갈등 이론에서는 예상되는 감각 통합이 발생하거나 다감각 통합이 성공적으로 해결되면 시뮬레이터 멀미가 발생하지 않을 것이라고 주장한다. 모터사이클 시뮬레이터 경험 중, 시각적 흐름 속도와 동기화된 소리와 진동 자극을 제시했을 경우, 시뮬레이터 멀미가 많이 감소함이 밝혀졌다(Sawada et al., 2020). 진동 자극이 시뮬레이터 멀미에 영향을 주지 않는다는 연구 결과가 존재하지만(D'Amour et al., 2017) 이러한 결과는 실험에서 제시된 진동 자극이 시각 자극 및 청각 자극과의 결합이 부족했기 때문이라고 설명할 수 있다.

1.1.2 Simulator sickness and time

시간에 따른 시뮬레이터 멀미, 현존감에 대해 연구한 논문들이 있다. 그래픽 시뮬레이터에서 일정한 속도로 60분 동안 자동차를 운전하는 조건에서 5분마다 시뮬레이터 멀미를 주관적 평가와 생리적인 신호를 모두 사용하여 측정 분석한 결과, 실험 시작 10분 후에 유의미한 시뮬레이터 멀미 차이가 있었고, 시간이 지남에 따라 그 차이의 정도는 선형적으로 증가하는 것으로 나타났다(Min et al., 2004). 이처럼 시청각 자극의 경우 경험 시간에 따라 사용자가 겪는 시뮬레이터 멀미의 수준이 크게 달라짐을 알 수 있으며, 이러한 연구들은 VR 경험 시간에 따라 사용자의 VR 만족도가 달라질 수 있음을 시사한다. 이를 통해 본 연구는 시뮬레이터 멀미 수준이 크게 증가하는 시점인 10분 전후를 기준으로 다감각자극과 일반적인 자극의 시뮬레이터 멀미 및 현존감을 측정하여 각 시점에 따른 시뮬레이터 멀미 및 현존감의 차이를 비교해 보고자 한다. 하지만 모션 자극이 포함된 다감각자극에서의 경우 시간에 따라 시뮬레이터 멀미, 현존감이 어떠한 차이를 보이는지에 대한 연구는 아직 불분명하다.

1.2 Presence

VR 사용자들은 VR 경험 도중 다른 장소에 있는 듯한 느낌을 받기도 한다. 이러한 느낌은 현존감이라고 한다. 현존감은 일반적으로 VR 경험의 중요한 측면으로 간주하며, 높은 현존감을 이끌어내는 것은 기존 시뮬레이션과 비교하여 VR의 장점 중 하나로 간주할 수 있다. 높은 현존감은 가상 세계에서 수행되는 작업에서 개인의 성과를 향상시킬 수 있다고 알려져 있다(Nash et al., 2000). 예를 들어, 헤드마운트디스플레이를 이용한 시각화를 통해 학생이 해부학적 구조에 대해 학습하는 것이 용의하다는 연구 결과가 있으며(Jang et al., 2024), 가상 환경에 대한 VR 중재 교육의 효과성 향상과 관련 있다고 알려져 있다(Grassini et al., 2020). 일반적으로 다감각자극의 영향은 사용자의 현존감을 향상시키는 것으로 알려져 있다. 실제로 공중 소방 훈련에서 다감각자극을 준 결과, 이전 시스템보다 더 높은 현존감을 경험했으며, 높은 수준의 상황 인식과 낮은 작업 부하를 경험했음이 밝혀졌으며(Rory et al., 2020), 시각 자극, 청각 자극과 동기화된 진동 자극이 주어진 경우 더 높은 현존감을 경험할 수 있음이 밝혀졌다(Dinh et al., 1999).

1.3 Factors affecting simulator sickness

다양한 선행연구를 통해 시뮬레이터 멀미와 관련된 다양한 요인이 입증되었다. Draper et al. (2001)은 헤드마운트디스플레이(HMD)에서 48ms 이상의 디스플레이 지연이 시뮬레이터 멀미 발생을 급격하게 증가시킨다는 것을 보여주어 Oculus와 같은 HMD 개발사의 지침에 영향을 미쳤다. 또한 (Keshavarz and Hecht, 2012)는 시뮬레이터 멀미가 2차원에서의 시각적 자극보다 3차원에서의 시각적 자극이 주어졌을 때 발생할 가능성이 더 높음을 밝혀냈다. Draper et al. (2001)와 Kolasinski (1995)에 의해 디스플레이 해상도, 시야 및 시각적 자극의 각속도 또한 시뮬레이터 멀미와 관련되어 있음이 밝혀졌다. 다감각자극이 VR 기반 시뮬레이션 환경에서 시뮬레이터 멀미 및 현존감에 미치는 영향은 다양한 연구를 통해 연구된 바 있다. 시각 시스템과 신체 움직임을 동기화하면 시뮬레이터 멀미 증상을 줄이는 데 효과적인 것으로 확인되었다(Koch et al., 2018). 또한 여러 연구에 따르면 다감각자극을 통해 시뮬레이터 멀미를 줄일 수 있는 것으로 나타났다(Cevette et al., 2012; Reed-Jones et al., 2007). 한편, D'Amour et al. (2017)와 Grassini et al. (2021)의 연구에서는 다감각자극이 시뮬레이터 멀미를 감소시키지 않았음을 확인할 수 있었다. Sawada et al. (2020)의 연구를 통해 다감각자극이 시뮬레이터 멀미를 감소시킨다는 결론의 연구의 대다수가 다감각자극과 시뮬레이터 환경이 동기화되어 있음을 확인할 수 있었다.

1.4 Research objectives

선행연구를 통하여 대다수의 다감각자극이 시뮬레이터 멀미를 감소시킨다는 결론의 논문들이 다감각자극과 시뮬레이터 환경을 동기화하였음을 확인할 수 있었다. 시뮬레이터 기반 VR 환경에서 다감각자극이 시뮬레이터 멀미 및 현존감에 미치는 영향을 확인하고, 다감각자극과 시뮬레이터 환경을 동기화하는 것이 시뮬레이터 멀미 및 현존감에 영향을 주는지 확인하기 위해 본 연구는 시뮬레이터 기반 VR 환경에서 시각 자극, 시청각 자극, 다감각자극을 비교하는 Study 1, 동기화된 다감각자극과 비동기화된 다감각자극을 비교하는 Study 2로 나누어서 진행하였다. 본 연구의 차별점은 시뮬레이터 멀미가 가장 크게 증가하는 시점인 10분을 전후로 시뮬레이터 멀미 및 현존감을 분석하여 시간이 지남으로 인한 시뮬레이터 멀미 및 현존감의 변화로 인해 다양한 자극들 사이의 시뮬레이터 멀미 및 현존감의 차이의 변화가 생기는지, 비동기화된 다감각자극과 동기화된 다감각자극 사이의 시뮬레이터 멀미 및 현존감을 확인해 보는 점에 있다.

본 연구의 목표는 다음과 같다. (1) 다감각자극이 시각 자극 및 시청각 자극과 비교했을 때 시뮬레이터 멀미와 현존감에 어떠한 영향을 주는지 확인한다. (2) 시뮬레이터 멀미 수준이 크게 달라지는 시점인 10분 전후를 기준으로 다감각자극과 일반적인 자극의 시뮬레이터 멀미, 현존감의 차이를 확인한다. (3) 비동기화된 다감각자극이 동기화된 다감각자극과 비교하여 시뮬레이터 멀미 및 현존감에서 어떠한 차이를 보이는지 확인한다. 본 연구는 목표(1)을 Study 1, 목표(3)을 Study 2, 목표(2)는 Study 1, Study 2 모두에서 확인하려고 한다.

2. Method

2.1 Participants

18명의 참가자가 실험에 참여하였다. 참가자는 남성 7명, 여성 11명으로 연령 범위는 19~30세, 평균연령은 22.22세이다. 모든 참가자에게는 실험 전 간단한 연구 설명이 제공되었으며, 사전 동의서를 읽고 서명하도록 요청하였다.

2.2 Experimental design and materials

참가자들은 총 3개 타입의 자극 유형을 경험하였다. 시각(Type 1), 시각-청각(Type 2), 다감각자극(Type 3), 비동기화된 다감각자극(Type 4)이 참가자들에게 제공되었다. 학습효과로 인한 오차를 최소화하기 위해 Within-Subject Design을 통해 순서를 다르게 하여 모든 자극 유형을 참가자가 경험하도록 하였다. 성별에 따른 효과를 통제하기 위해 그룹당 성 균형을 이루었다. Oculus 사의 Quest2, Grid Space 사의 GDS-SEDAN-2022 모델을 사용하여 참여자가 운전 시뮬레이터를 경험하도록 하였으며, 소프트웨어는 실제 운전면허 연습 시 사용되는 Driving Zone 프로그램을 사용하였다(Figure 1). GDS-SEDAN-2022 모델의 기본값을 사용하여 실험을 진행하였다. 모션 자극은 운전 시뮬레이터의 기능을 활용하여 사용자의 조작과 동기화된 모션 자극이 제공되도록 하였다. 다감각자극(Type 3)은 운전 시뮬레이터의 기능을 활용하여 모션 자극을 통해 참여자가 동기화된 다감각자극을 느낄 수 있도록 하였다. 비동기화된 다감각자극(Type 4)은 의자가 불규칙하게 진동하도록 하여 참가자들이 시청각 자극과 비동기화된 진동 자극을 느낄 수 있게 하였다.

Figure 1. Experimental setting and simulator screen

참가자는 2일간 실험을 진행하였으며, 하루에 2가지 자극 유형을 경험하였다. 하나의 자극 유형당 총 16분을 경험하였으며, 1차시기에 8분을 경험한 후 시뮬레이터 멀미 설문지 및 현존감 설문지를 작성하고 2차시기에 마저 8분을 경험한 후, 다시 설문지를 작성하였다. 하나의 자극 유형 경험을 마친 후에는 누적 멀미로 인한 영향을 줄이기 위해 5분의 쉬는 시간이 주어졌다. 시뮬레이터 경험 도중 참가자들은 지정된 경로를 통해 운전하였으며 속도 차이로 인한 시뮬레이터 멀미 및 현존감의 차이를 줄이기 위해 시뮬레이터에서 제한하고 있는 규정 속도를 초과하지 않도록 지시하였다.

참가자들이 경험한 시뮬레이터 멀미를 조사하기 위해 시뮬레이터 질병 설문지(SSQ, Kennedy et al., 1993)을 사용하였다. 7개의 척도를 사용해 시뮬레이터 멀미의 수준을 평가하였다.

참가자들의 현존감 정도를 조사하기 위해 현존감 설문지(PQ, Witmer and Singer, 1998)을 사용하였다. 모든 실험 조건에서 소리가 제안되지 않았기 때문에 청각이 포함된 3문항(환경의 청각적 측면이 얼마나 관여했나요?, 소리를 얼마나 잘 식별할 수 있나요?, 소리의 위치를 얼마나 잘 파악할 수 있었나요?)을 제외하고 설문을 진행하였다. 7개의 척도를 사용하여 현존감의 수준을 평가하였으며 두 설문지는 모두 VR 경험 직후에 실시되었다. 참가자들은 실험이 모두 끝난 후 인터뷰를 통해 현존감, 시뮬레이터 멀미를 높게 느낀 순서대로 나열하도록 하였다.

3. Study 1

3.1 Data analysis and statistics

통계 분석은 Python을 사용하여 진행하였다. 각 타입 사이의 시뮬레이터 멀미, 현존감의 차이 및 교호작용을 분석하기 위해 이원 분산분석(Two-Way ANOVA)을 사용하여 결과를 분석하였다. 시뮬레이터 멀미 및 현존감은 각각 SSQ, PQ의 총점을 이용해 분석하였다. 독립변수는 자극 타입(타입 1, 타입 2, 타입 3), 측정 시간(1회차, 2회차)이며, 종속변수는 시뮬레이터 멀미와 현존감으로 설정하였다. ANOVA의 값이 유의미하게 나온 모든 데이터는 사후 FISHER'S HSD 검증을 수행하여 ANOVA에 의해 밝혀진 상호작용 효과를 더 자세히 조사하였다. 모든 통계 분석은 p<.05에 대해 유의미한 것으로 간주하였다. 설문 내용을 제대로 답하지 않은 1명의 참가자는 데이터 분석에서 제외하였다.

3.2 Results

3.2.1 Data analysis

시뮬레이터 멀미의 분산 분석의 결과는 1, 2차 시기에서 세 가지 감각 타입의 시뮬레이터 멀미에 있어 유의한 차이를 보여주지 못했다(F = 0.54, p = 0.5836; F = 0.39, p = 0.6814). 또한, 두 측정 시간에 대한 시뮬레이터 멀미 수준에서도 유의한 차이를 보여주지 못했다(F = 0.89, p = 0.3474). 감각 타입과 측정 시간 사이에서 유의한 교호작용은 존재하지 않았다(F = 0.10, p = 0.9023).

현존감의 분산 분석의 결과는 1, 2차 시기에서 세 가지 감각 타입의 현존감에 있어 유의한 차이를 확인할 수 있었다(F = 5.54, p = 0.0068; F = 6.37, p = 0.0035). 또한, 두 가지 측정 시간에 대한 현존감에서도 유의한 차이를 보여주지 못했다(F = 0.50, p = 0.4813). 감각 타입과 측정 시간 사이에서 유의한 교호작용은 존재하지 않았다(F = 0.01, p = 9911).

결과가 통계적으로 유의하지는 않았지만, 타입 2이 타입 3에 비해 시뮬레이터 멀미가 높은 경향이 있음이 관찰되었다. Figure 2Table 1은 시뮬레이터 멀미와 현존감에 대한 세 가지 감각 타입에 대한 평균과 실험 결과에 대한 값을 보여준다.

Figure 2. Study 1 results

 

Simulator sickness

 

Time 1

Mean

SD

df

Error term

F

Pr>F

Type 1

41.7

19.66

2.0

17763.4

0.54

0.5836

Type 2

38.1

11.87

 

 

 

 

Type 3

44.9

18.65

 

 

 

 

Time 2

Mean

SD

df

Error term

F

Pr>F

Type 1

43.1

21.10

2.0

22785.2

0.39

0.6814

Type 2

43.9

20.49

 

 

 

 

Type 3

49.2

23.64

 

 

 

 

 

Presence

 

Time 1

Mean

SD

df

Error term

F

Pr>F

Type 1

73.1

17.56

2.0

9478.7

5.54

0.0068

Type 2

86.3

10.61

 

 

 

 

Type 3

87.5

13.10

 

 

 

 

Time 2

Mean

SD

df

Error term

F

Pr>F

Type 1

74.9

15.62

2.0

8236.8

6.37

0.0035

Type 2

88.6

11.09

 

 

 

 

Type 3

89.0

12.16

 

 

 

 

Table 1. Summary of study 1

ANOVA를 통해 유의한 차이가 나온 감각 타입에 대한 현존감의 수준에 대해 Tukey's의 HSD를 사용하여 사후분석을 진행하였다. 사후분석 결과 타입 1과 타입 2(p = 0.0059), 타입 1과 타입 3(p = 0.0062) 사이에서 현존감의 차이가 유의미함을 확인할 수 있었지만 타입 2와 타입 3 사이에서는 현존감의 차이가 유의미하지 않음을 확인할 수 있었다(p = 0.9). 타입 1이 다른 타입들에 비해 현존감이 떨어지는 것을 확인할 수 있었다.

3.2.2 Interview

시뮬레이터 멀미에 대해 약 50%의 참가자들이 타입 3에서 시뮬레이터 멀미가 가장 높다 답하였으며 타입 1, 타입 2에 대해서는 타입 2가 타입 1보다 좀 더 강한 시뮬레이터 멀미를 경험하였다고 대답하였다. 현존감에 대해 참여자의 약 60%가 타입 3이 현존감이 가장 높다 답하였으며 약 90%의 참가자가 타입 1에서 현존감이 가장 낮았다고 대답하였다. Type 1이 현존감이 가장 낮은 이유에 대해 다수의 참가자가 시각만 있어서 집중이 덜 돼서 그런 거 같다고 답하였다. 시뮬레이터 멀미가 타입 3에서 가장 많은 이유에 대해 모션 자극이 추가되면서 화면이 흔들려 피로를 더 많이 느낀 거 같다고 답하였다.

4. Study 2

4.1 Data analysis and statistics

Study 1과 동일하게 Python을 사용하여 이원 분산 분석을 진행하였다. 독립변수는 자극의 타입(타입 3, 타입 4)와 시간(1회차, 2회차)이며, 종속변수는 시뮬레이터 멀미와 현존감으로 설정하여 분석을 진행하였다. 시뮬레이터 멀미 및 현존감은 각각 SSQ, PQ의 총점을 이용해 분석하였다. 모든 통계 분석은 p<.05에 대해 유의미한 것으로 간주하였다. ANOVA의 값이 유의미하게 나온 모든 데이터는 사후 FISHER'S HSD 검증을 수행하여 ANOVA에 의해 밝혀진 상호작용 효과를 더 자세히 조사하였다. 설문 내용을 제대로 답하지 않은 1명의 참가자는 데이터 분석에서 제외하였다.

4.2 Results

4.2.1 Data analysis

시뮬레이터 멀미의 분산 분석의 결과는 1, 2차 시기에서 두 가지 감각 타입의 시뮬레이터 멀미에 있어 유의한 차이를 보여주지 못했다(F = 0.62, p = 0.0.4346; F = 0.81, p = 0.3740). 또한, 두 가지 측정 시간에 대한 시뮬레이터 멀미 수준에서도 유의한 차이를 보여주지 못했다(F = 0.56, p = 0.4554). 감각 타입과 측정 시간 사이에서 유의한 교호작용은 존재하지 않았다(F = 0.01, p = 9040).

현존감의 분산 분석의 결과는 1, 2차 시기에서 두 가지 감각 타입의 현존감에 있어 유의한 차이를 보여주지 못했다(F = 0.00, p = 1.0000; F = 0.05, p = 0.8221). 또한, 두 가지 측정 시간에 대한 현존감에서도 유의한 차이를 보여주지 못했다(F = 0.40, p = 0.5278). 감각 타입과 측정 시간 사이에서 유의한 교호작용은 존재하지 않았다(F = 0.02, p = 8782).

결과가 통계적으로 유의하지는 않았지만, 타입 3이 타입 4에 비해 시뮬레이터 멀미가 높은 경향이 있음을 확인하였다. 또한 실험을 진행하는 동안 시뮬레이터 멀미가 비슷한 수준으로 증가하는 것을 확인할 수 있었다. Figure 3Table 2는 시뮬레이터 멀미와 현존감에 대한 두 가지 감각 타입에 대한 평균과 실험 결과에 대한 값을 보여준다.

Figure 3. Study 2 results

 

Simulator sickness

 

Time 1

Mean

SD

df

Error term

F

Pr>F

Type 3

44.9

21.38

1.0

11908.5

0.62

0.4346

Type 4

39.7

16.94

 

 

 

 

Time 2

Mean

SD

df

Error term

F

Pr>F

Type 3

49.2

23.64

1.0

32

0.81

0.3740

Type 4

42.8

17.34

 

41330.0

 

 

 

Presence

 

Time 1

Mean

SD

df

Error term

F

Pr>F

Type 3

87.5

13.10

1.0

5482.5

0.00

1.0000

Type 4

87.5

13.08

 

 

 

 

Time 2

Mean

SD

df

Error term

F

Pr>F

Type 3

89.0

12.16

1.0

4688.9

0.05

0.8221

Type 4

89.9

12.05

 

 

 

 

Table 2. Summary of study 2

4.2.2 Interview

시뮬레이터 멀미에 대해 약 60%의 참가자가 타입 3이 타입 4에 비해 시뮬레이터 멀미가 높다고 대답하였다. 현존감에 대해 약 70%의 참가자가 타입 3이 타입 4에 비해 현존감이 높다고 대답하였다. 타입 4가 타입 3보다 현존감이 낮은 이유에 대해 몇몇 참가자들은 타입 4에서 제공된 불규칙한 진동 자극이 자동차 엔진의 진동처럼 느껴져 더 자연스럽게 느껴졌다고 답하였다. 또한 몇몇 참가자들은 타입 3의 동기화된 모션 자극이 실제 자동차의 움직임과 다르게 느껴져 멀미가 더 심하게 느껴졌고, 현존감이 낮게 느껴졌다고 답하였다.

5. Discussion

본 연구의 목적은 (1) 다감각자극이 시각 자극 및 시청각 자극과 비교했을 때 시뮬레이터 멀미와 현존감에 어떠한 영향을 주는지 확인한다. (2) 시뮬레이터 멀미 수준이 크게 달라지는 시점인 10분 전후를 기준으로 다감각자극과 일반적인 자극의 시뮬레이터 멀미, 현존감의 차이를 확인한다. (3) 비동기화된 다감각자극이 동기화된 다감각자극과 비교하여 시뮬레이터 멀미 및 현존감에서 어떠한 차이를 보이는지 확인하는 것이었다.

감각 충돌에 의해 영향을 받는 시스템에서 다감각자극이 어떻게 시뮬레이터 멀미를 줄일 수 있는지에 대해 Reason and Brand (1975)는 다감각자극이 시뮬레이터 멀미를 줄이는 데 도움이 될 수 있다는 가능성을 제시하였다. 또한 Welch et al. (1996)은 다감각자극으로 인해 시뮬레이션의 현실성이 높아지면 사용자의 현존감도 높아질 수 있음을 확인하였다.

본 연구의 주요 결과는 다감각자극이 시뮬레이터 멀미의 수준을 감소시키지 않았다는 것이다. 본 연구의 인터뷰에서 참가자들은 다감각자극 환경에서 시뮬레이터 멀미, 현존감이 가장 높았다고 보고하였다. 또한 데이터 분석 결과를 통해 다감각자극의 시뮬레이터 멀미가 시각 자극, 시청각 자극과 비교했을 때, 유의미한 차이가 나타나지 않았다.

본 연구의 결과는 다감각자극이 시뮬레이터 멀미 감소에 도움을 주지 않는다는 Grassini et al. (2021), Keshavarz et al. (2018), D'Amour et al. (2017) 등의 연구 결과와는 일치하는 면이 있다. 중요한 점은 D'Amour et al. (2017)에서는 시뮬레이션된 환경과 일관되지 않은 진동 자극을 제공하였으며 이러한 실험 설계는 가상 현실의 현실성에 영향을 미쳐 다감각자극의 효과를 손상시켰을 수 있다. Sawada et al. (2020)의 연구에서는 이에 대해 엔진 속도와 항상 결합되고 비례하는 엔진 소리와 진동의 동기화된 제시는 시뮬레이터 멀미를 감소시키는 것이 가능하지만 단순히 다감각자극을 제시하면 감각 통합에 충돌이 발생하여 시뮬레이터 멀미가 감소시킬 수 없다고 제시하였다. 또한 자동차 운전 시뮬레이터에서 속도, 엔진 소리, 동작 신호 및 시각적 흐름 간의 긴밀한 결합이 부족하면 다감각자극이 제시되더라도 시뮬레이터 멀미를 감소시킬 수 없다고 설명하였다. 실제로 Sawada et al. (2020), Vinayagamoorthy et al. (2004), Welch et al. (1996) 등, 다감각자극이 시뮬레이터 멀미 또는 현존감에 긍정적인 영향을 미친 다수의 연구들에서 제시된 다감각자극이 시뮬레이션된 환경과 일관된 것을 확인할 수 있었다.

현존감은 다감각자극과 시각 자극 사이에서 유의미한 차이를 보였지만 시청각 자극과는 유의미한 차이를 보이지 않았다. 또한 동기화된 다감각자극과 비동기화된 다감각자극 사이에는 시뮬레이터 멀미 및 현존감에서 어떠한 유의미한 차이를 확인할 수 없었다. 이는 다감각자극이 감각 충돌을 줄여 시뮬레이터 멀미를 감소시키고 현존감을 향상시킨다는 일반적인 이론과 다르며, 비동기화 될수록 현존감이 감소하고 비동기화된 다감각자극은 시뮬레이터 멀미 감소에 효과가 없다는 기존 연구의 결과와 다르다.

동기화된 다감각자극을 사용자에게 제공했음에도 시뮬레이터 멀미가 기존의 시청각 자극과 유의미한 차이가 나지 않았고 Study 2에서 비동기화된 다감각자극과 동기화된 다감각자극 사이의 시뮬레이터 멀미 및 존재감이 유의미한 차이가 없었던 이유에 대해 참가자들이 인터뷰를 통해 동기화된 다감각자극이 현실에서의 자극과 다르게 느껴진다고 답했다는 점과 비동기화된 다감각자극이 엔진의 진동처럼 느껴져 현실감 있게 느껴진다고 답했다는 점을 통해 다감각자극의 동기화 빛 비동기화가 확실히 되지 않아 실험을 방해했을 수 있다고 결론지었다. 하지만 이는 단순한 경향을 뿐이며, 향후 추가 분석을 통해 다감각자극이 실제로 시뮬레이터 멀미와 현존감에 영향을 미치는지 확인할 필요가 있다.

현재 연구에서 시뮬레이터 멀미를 다감각지극이 감소시키지 못한 것에 대한 설명은 다감각자극을 전달하는 방법과 관련이 있을 수 있다. 시뮬레이터 멀미를 감소시키기 위해서는 더 강렬한 자극이 필요할 수 있다. Weech et al. (2018)의 연구에서는 진동 장치를 귀 뒤의 유양골에 위치시키면 시뮬레이터 멀미가 크게 감소한다는 것을 발견하였으며, 진동 의자를 사용하는 것보다 더 강렬한 자극을 줄 수 있고 시뮬레이터 멀미 감소에 더 큰 효과를 줄 수 있다고 보고하였다.

참가자 별 1, 2차 시뮬레이터 멀미 및 현존감 점수의 차이를 분석하였다. 선행연구에 따르면 그래픽 시뮬레이터에서 일정한 속도로 60분 동안 자동차를 운전하는 조건에서 5분마다 시뮬레이터 멀미를 주관적 평가와 생리적인 신호를 모두 사용하여 측정 분석한 결과, 실험 시작 후 10분 후에 유의미한 시뮬레이터 멀미 차이가 있었고, 시간이 지남에 따라 그 차이의 정도는 선형적으로 증가하는 것으로 나타났다(Min et al., 2004). 이를 통해 본 연구는 시뮬레이터 멀미 수준이 크게 증가하는 시점인 10분 전후를 기준으로 다감각자극과 일반적인 자극의 시뮬레이터 멀미 및 현존감을 측정하여 분석한 결과, Type 간의 시뮬레이터 멀미 및 현존감 점수의 차이가 유의미하지 않음을 알아낼 수 있었다. 이는 다감각자극이 시각 자극, 시청각 자극과 비교했을 때, 시뮬레이터 멀미 및 현존감에 차이가 있을 수 있어도 시간에 따른 증가 폭은 서로 유의미한 차이가 없을 수 있음을 시사한다.

이 논문의 결과는 모든 유형의 VR 시뮬레이터에 일반화될 수 없다. 사용된 VR 시뮬레이션(자동차)은 시뮬레이터 멀미를 촉진할 수 있으며, 모션 자극은 이를 줄이기에 충분하지 않을 수 있다. 참여자들의 자동차 운전 경험 여부, 2일에 걸친 실험으로 인한 당일의 컨디션 차이 등 통제되지 않은 변수가 도입되었을 가능성이 있다.

향후 연구에서는 참가자들이 휴식을 취하는 동안 시뮬레이터 멀미가 얼마나 급격하게 해소되는지, HMD 매개 시뮬레이션에서 모션 자극을 얼마나 비동기화 시킬 경우 시뮬레이터 멀미 및 현존감에서 유의미한 차이를 확인할 수 있는지 연구할 계획이다.

6. Conclusion

본 연구에서는 HMD 기반 시뮬레이션 경험 중 다감각자극이 시뮬레이터 멀미 및 현존감에 미치는 영향 및 동기화 여부에 따른 다감각자극의 시뮬레이터 멀미와 현존감의 차이를 알아보았다. 다감각자극이 시각 자극에 비해 현존감이 높게 나타나지만, 시청각 자극과는 차이가 없었으며 비동기화된 다감각자극과 동기화된 다감각자극 사이에는 시뮬레이터 멀미 및 현존감에 유의미한 차이가 나타나지 않았다. 참가자의 인터뷰를 통해 다감각자극이 시각 자극 및 시청각 자극에 비해 시뮬레이터 멀미와 현존감이 높고, 비동기화된 다감각자극보다 동기화된 다감각자극에서 시뮬레이터 멀미가 낮고 현존감이 높음을 확인할 수 있었다. 또한 유형에 따른 10분 전후의 시뮬레이터 멀미 및 현존감의 차이가 유의미한 차이가 없음을 확인할 수 있었다.



References


1. Bles, W., Bos, J.E., De Graaf, B., Groen, E. and Wertheim, A.H., Motion sickness: only one provocative conflict?. Brain Research Bulletin, 47(5), 481-487, 1998.
Google Scholar 

2. Bos, J.E. and Bles, W., Modelling motion sickness and subjective vertical mismatch detailed for vertical motions. Brain Research Bulletin, 47(5), 537-542, 1998.
Google Scholar 

3. Cevette, M.J., Stepanek, J., Cocco, D., Galea, A.M., Pradhan, G.N., Wagner, L.S., Oakley, S.R., Smith, B.E., Zapala, D.A. and Brookler, K.H., Oculo-vestibular recoupling using galvanic vestibular stimulation to mitigate simulator sickness, Aviation, Space, and Environmental Medicine, 83(6), 549-555, 2012.
Google Scholar 

4. D'Amour, S., Bos, J.E. and Keshavarz, B., The efficacy of airflow and seat vibration on reducing visually induced motion sickness. Experimental Brain Research, 235, 2811-2820, 2017.
Google Scholar 

5. Dinh, H.Q., Walker, N., Hodges, L.F., Song, C. and Kobayashi, A., Evaluating the importance of multi-sensory input on memory and the sense of presence in virtual environments. In Proceeding IEEE Virtual Reality (Cat. NO.99CB36316) (pp. 222-228). IEEE, 1999.
Google Scholar 

6. Draper, M.H., Viirre, E.S., Furness, T.A. and Gawron, V.J., Effects of image scale and system time delay on simulator sickness within head-coupled virtual environments. Human Factors, 43(1), 129-146, 2001.
Google Scholar 

7. Dużmańska, N., Strojny, P. and Strojny, A., Can simulator sickness be avoided? A review on temporal aspects of simulator sickness. Frontiers in Psychology, 9, 2132, 2018.


8. Fernandes, A.S. and Feiner, S.K., Combating VR sickness through subtle dynamic field-of-view modification. In 2016 IEEE Symposium on 3D User Interfaces (3DUI) (pp. 201-210). IEEE, 2016.
Google Scholar 

9. Grassini, S., Laumann, K. and Rasmussen Skogstad, M., The use of virtual reality alone does not promote training performance (but sense of presence does). Frontiers in Psychology, 11, 1743, 2020.
Google Scholar 

10. Grassini, S., Laumann, K., de Martin Topranin, V. and Thorp, S., Evaluating the effect of multi-sensory stimulations on simulator sickness and sense of presence during HMD-mediated VR experience. Ergonomics, 64(12), 1532-1542, 2021.
Google Scholar 

11. Jang, T., Kong, H.J., Baek, C., Kim, J., Choo, M.S. and Oh, S.J., Effect of Self-Training Using Virtual Reality Head-Mounted Display Simulator on the Acquisition of Holmium Laser Enucleation of the Prostate Surgical Skills. International Neurourology Journal, 28(2), 138, 2024.
Google Scholar 

12. Kennedy, R.S., Lane, N.E., Berbaum, K.S. and Lilienthal, M.G., Simulator sickness questionnaire: An enhanced method for quantifying simulator sickness. The International Journal of Aviation Psychology, 3(3), 203-220, 1993.
Google Scholar 

13. Keshavarz, B. and Hecht, H., Stereoscopic viewing enhances visually induced motion sickness but sound does not. Presence, 21(2), 213-228, 2012.
Google Scholar 

14. Keshavarz, B., Ramkhalawansingh, R., Haycock, B., Shahab, S. and Campos, J.L., Comparing simulator sickness in younger and older adults during simulated driving under different multisensory conditions. Transportation Research Part F: Traffic Psychology and Behaviour, 54, 47-62, 2018.
Google Scholar 

15. Koch, A., Cascorbi, I., Westhofen, M., Dafotakis, M., Klapa, S. and Kuhtz-Buschbeck, J.P., The neurophysiology and treatment of motion sickness. Deutsches Ärzteblatt International, 115(41), 687, 2018.
Google Scholar 

16. Kolasinski, E.M., Simulator sickness in virtual environments, 1995.
Google Scholar 

17. Min, B.C., Chung, S.C., Min, Y.K. and Sakamoto, K., Psychophysiological evaluation of simulator sickness evoked by a graphic simulator. Applied Ergonomics, 35(6), 549-556, 2004.
Google Scholar 

18. Nash, E.B., Edwards, G.W., Thompson, J.A. and Barfield, W., A review of presence and performance in virtual environments. International Journal of human-computer Interaction, 12(1), 1-41, 2000.
Google Scholar 

19. Oman, C.M., Motion sickness: a synthesis and evaluation of the sensory conflict theory. Canadian Journal of Physiology and Pharmacology, 68(2), 294-303, 1990.
Google Scholar 

20. Reason, J.T. and Brand, J.J., Motion sickness. Academic press., 1975.
Google Scholar 

21. Reed-Jones, R.J., Reed-Jones, B.H., Trick, L.M. and Vallis, L.A., Can galvanic vestibular stimulation reduce simulator adaptation syndrome?. In Driving Assessment Conference (Vol. 4, No. 2007). University of Iowa, 2007.
Google Scholar 

22. Saredakis, D., Szpak, A., Birckhead, B., Keage, H.A., Rizzo, A. and Loetscher, T., Factors associated with virtual reality sickness in head-mounted displays: a systematic review and meta-analysis. Frontiers in Human Neuroscience, 14, 96, 2020.
Google Scholar 

23. Sawada, Y., Itaguchi, Y., Hayashi, M., Aigo, K., Miyagi, T., Miki, M., Kimura, T. and Miyazaki, M., Effects of synchronised engine sound and vibration presentation on visually induced motion sickness. Scientific Reports, 10(1), 7553, 2020.
Google Scholar 

24. Stanney, K.M., Kennedy, R.S. and Drexler, J.M., Cybersickness is not simulator sickness. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 41, No. 2, pp. 1138-1142). Sage CA: Los Angeles, CA: SAGE Publications, 1997.
Google Scholar 

25. Stanney, K.M., Mourant, R.R. and Kennedy, R.S., Human factors issues in virtual environments: A review of the literature. Presence, 7(4), 327-351, 1998.
Google Scholar 

26. Vinayagamoorthy, V., Brogni, A., Gillies, M., Slater, M. and Steed, A., An investigation of presence response across variations in visual realism. In The 7th Annual International Presence Workshop (pp. 148-155), 2004.
Google Scholar 

27. Weech, S., Varghese, J.P. and Barnett-Cowan, M., Estimating the sensorimotor components of cybersickness. Journal of Neurophysiology, 120(5), 2201-2217, 2018.
Google Scholar 

28. Welch, R.B., Blackmon, T.T., Liu, A., Mellers, B.A. and Stark, L.W., The effects of pictorial realism, delay of visual feedback, and observer interactivity on the subjective sense of presence. Presence: Teleoperators & Virtual Environments, 5(3), 263-273, 1996.
Google Scholar 

29. Witmer, B.G. and Singer, M.J., Measuring presence in virtual environments: A presence questionnaire. Presence, 7(3), 225-240, 1998.
Google Scholar 

PIDS App ServiceClick here!

Download this article