본문바로가기

A Study on Operational Effects of Air Force Pilot Flight Simulator With Virtual Reality Head Mounted Display

Young Do Park , Jungmok Ma
10.5143/JESK.2021.40.2.113 Epub 2021 May 05

0
Cited By

Abstract

Objective: The purpose of this study is to compare Visual Monitor (VM)-based and Virtual Reality Head Mounted Display (VR HMD)-based simulated flight training simulators in terms of flight training effects, user experience effects.

Background: VR HMD-based simulators can increase immersion and realism by providing more realistic virtual environments in comparison to VM-based simulators. Existing studies related to VR HMD-based simulators have been mainly focused on flight training effects of pilots rather than all the effects collectively.

Method: This study conducted a comparative experiment of VM-based and VR HMD-based simulators with 25 Republic of Korea Air Force F-15K fighter pilots. The survey measured 20 detailed evaluation items related to flight training effects and user experience effects using a 7-point scale for the two simulators.

Results: 5 out of 10 items on flight training effects, 8 out of 10 items on user experience effects were statistically significantly higher in VR HMD-based simulators than in VM-based simulators.

Conclusion: When VR HMD-based simulators are used to the flight training for Air Force pilots, practical operational effects can be improved in terms of flight training effects, user experience effects.

Application: The results of this study are expected to help us understand the system characteristics of VR HMD-based simulators.



Keywords



Flight training simulator Virtual reality Head mounted display Operational effects



1. Introduction

1. Introduction 효율적인 조종사 비행 훈련을 수행하기 위해 모의비행 훈련 시뮬레이터가 활용되고 있다(Hong and Lee, 1999). 시뮬레이터는 실제 상황과 유사한 환경을 모사하여 특정 목적 달성에 요구되는 작업을 수행할 수 있는 장비를 의미한다. 특히, 모의비행 훈련 시뮬레이터는 비행 환경을 모사하여 조종사 비행기량 향상이라는 목적에 부합하는 비행 훈련을 수행할 수 있도록 설계되고 있다. 실제 항공기를 활용한 비행 훈련은 많은 훈련 예산이 소요되고 비상 상황 대처와 같은 특수 훈련 수행이 제한된다는 단점이 있다. 그러나, 모의비행 훈련 시뮬레이터는 실제 항공기를 이용한 조종사 훈련에 비해 경제성, 효율성, 안전성을 도모하면서 일정 수준의 훈련 목표를 달성할 수 있는 것으로 알려져 있기 때문에(Ryu and Song, 2010), 조종사 비행 훈련을 위한 필수적인 수단 중 하나로 사용되고 있다.

최근 항공 산업의 발전에 따라 조종사 비행 훈련 시 Virtual Reality Head Mounted Display (VR HMD) 기반 시뮬레이터를 적용하려고 시도하고 있다. VR HMD 기반 시뮬레이터는 가상의 환경을 조종사가 현실로 인식할 수 있도록 360° 화면과 넓은 시야각을 제공해줌으로써 Visual Monitor (VM) 기반 시뮬레이터보다 실제와 유사한 가상의 환경을 구현하여 현실감과 몰입감을 높일 수 있다(Jeong et al., 2018). 한편, 대한민국 공군에서는 VR HMD 기반 시뮬레이터를 2019년부터 학생 조종사 모의비행 훈련에 시범 적용하고 있으나 숙련된 전투기 조종사 모의비행 훈련에는 아직 적용하고 있지 않다(Kim et al., 2020). 따라서, VR HMD 기반 시뮬레이터가 조종사 비행 훈련에 효과적으로 활용되기 위해서는 VR HMD 기반 시뮬레이터의 운용 효과를 하위 요인들까지 종합적으로 정의하고 평가하는 연구가 요구된다.

VR HMD 기반의 비행 시뮬레이터의 효과와 관련된 기존 연구들은 조종사들의 비행 훈련 효과 확인에만 초점을 맞추었다. 예를 들어, (Jeong et al., 2018)의 연구에서는 민간 조종사 6명을 대상으로 VR HMD 기반 모의 비행 훈련 장치를 활용하여 시계 비행(Visual Flight Rules) 및 계기 비행(Instrument Flight Rules)을 통해 조종사 비행 훈련 효과에 대해 분석하였다. 또한 Jeong et al. (2019)은 VR HMD 기반 비행 시뮬레이터를 활용하여 접근 및 착륙 시 조종사 시선 추적 특성을 파악하였다. 그러나, VR HMD 기반 시뮬레이터의 운용 효과를 비행 훈련 효과 뿐만 아니라 사용자 경험 효과 측면으로 세분화하여 이들을 종합적으로 파악하는 연구가 필요하다.

본 연구의 목적은 현재 공군에서 운용하고 있는 VM 기반 시뮬레이터와 비교하여 VR HMD 기반 시뮬레이터의 운용 효과를 검증하는 것이다. 본 연구는 시뮬레이터의 운용 효과를 파악하기 위해 Figure 1과 같이 하위 요인을 구분하였다. 또한 기존 연구에 비해 다수의 공군 전투기(F-15K) 조종사들을 대상으로 실험을 진행 후 데이터를 수집하였다.

Figure 1. Operational effects of flight training simulators
2. Method

2.1 Experimental participants

본 연구는 공군 전투기 조종사(주기종: F-15K) 남성 25명을 대상으로 실험을 진행하였다. 실험 참가자의 평균 나이는 30.8±2.6세이고, 평균 비행시간은 983.6±354.8시간이었으며, 평균 군 복무기간은 7.7±2.8년이었다. 실험 참가자의 계급은 소령 11명, 대위 14명으로 구성되었고, 비행 자격은 교관 조종사 11명, 4기를 지휘하는 편대 리더 조종사 11명, 2기를 지휘하는 편대 리더 조종사 3명으로 모두 숙련급 조종사인 것으로 나타났다.

2.2 Experimental equipment

본 연구는 Figure 2와 같이 현재 공군에서 사용하고 있는 VM 기반 시뮬레이터와 공군에서 시범 적용하고 있는 VR HMD 기반 시뮬레이터를 활용하였다. VM 기반 시뮬레이터는 2005년에 공군에 도입된 TECPT-01 장비(Boeing, USA)이며, F-15K 항공기 조종석과 동일한 시스템을 구현하였다. 한편, VR HMD 기반 시뮬레이터는 가상현실 비행 환경을 시현하는 Vive Pro VR HMD 장비(HTC Vive, USA)와 항공기 조종석을 모사하기 위한 Stick Controller, Throttle, Rudder Pedal로 구성하였다.

Figure 2. Left: VM based simulator (Seo, 2020) / Right: VR HMD based simulator (Kim, 2019)

2.3 Experimental environment

본 연구의 비행 실험 Profile 선정은 다음과 같다. 국제민간항공기구(International Civil Aviation Organization)의 집계를 보면 '마(魔)의 11분'(이륙 후 3분과 착륙 전 8분을 더한 Critical 11 minutes)에서 발생한 사고 비율이 70~80%에 이른다. 특히 한국 공군 비행사고 중 2010년 이후 발생한 순직사고 9건 中 7건이 이 · 착륙 및 출항 · 접근 훈련 시 발생 한 것에 착안하여 Figure 3과 같이 이륙, 출항, 접근, 착륙의 단계로 실험을 계획하여 진행하였다. 비행시간은 조종사 개인당 15~20분 소요되었으며 주간 비행 환경으로 실험을 진행하였다.

Figure 3. Flight experiment profile

2.4 Development of an evaluation questionnaire

본 연구는 VR HMD 기반 시뮬레이터의 운용 효과를 체계적으로 분석하기 위하여 Table 1과 같이 기존 문헌들을 참고하여 운용 효과의 하위 요인을 비행 훈련 효과와 사용자 경험 효과로 구분하여 평가 설문지를 제작하였다(Jung et al., 2016; Lee et al., 2017). 비행 훈련 효과는 공대공, 공대지 훈련과 같은 비행 과목 관련 5개 항목과 이륙 및 착륙, 공중 조작과 같은 비행 단계 관련 5개 항목의 총 10개 항목으로 구성하였다. 사용자 경험 효과는 사용성, 학습성과 같은 사용자 측면 5개 항목과 충실성, 신뢰성과 같은 시스템 측면 5개 항목의 총 10개 항목으로 세분화 하였다.

Operational effects

Details

Flight training
effects

Flight
phase

— Is it effective in Start-up and Ground Procedures?

— Is it effective in Take-off and landing long-haul flight?

— Is it effective in Emergency Training?

— Is it effective in Air mission?

— Is it effective in Instrument flight and night flight?

Flight
subject

— Is it effective in Short-range air-to-air mission?
*BFM (Basic fighter maneuvering), ACM (Air combat maneuvering)

— Is it effective in Long-range air-to-air mission?
*ACT (Air combat tactics), T (Tactical intercept)

— Is it effective in Air-to-ground attack?
*SA (Surface attack)

— Is it effective in Surface attack tactics?
*SAT (Surface attack tactics), PKG (Package)

— Is it effective in Special weapons and new weapons systems?

User experience

effects

User
perspective

— Usability: Can users use the training system easily?

— Learnability: Is it easy for users to learn the contents of flight training when using the training system?

— Presence: Does the user feel realistic enough?

— Safety: Are users free from motion sickness, fear, etc. when using the training system?

— Effectiveness: Can users fully acquire training effects when utilizing the training system?

System
perspective

— Fidelity: Does the training system fully implement the functions required for flight training?

— Adaptiveness: Is the training system easy to change or link with other training systems depending on the circumstances?

— Accessibility: Is the training system easy to use (move) time and space?

— Reliability: Does the training system provide key functions reliably and accurately without errors?

— Efficiency: Is the training system economical in terms of operational management?

Table 1. Evaluation questionnaire configuration

2.5 Experimental procedures

본 연구의 실험은 실험 준비, 예비 실험, 본 실험, 그리고 사후 설문의 네 단계로 구성하였다. 실험 준비 단계에서는 연구자들이 실험 참여자들에게 비행 절차에 대한 설명을 실시하였다. 예비 실험 단계에서는 실험 참여자들이 각 시뮬레이터 유형에 적응할 수 있도록 연습 비행을 실시하였다. 본 실험 단계에서는 각 비행 구간별 정해진 비행 제원에 따라 비행을 실시하였다. 사후 설문 단계에서는 각 시뮬레이터 유형의 운용효과에 대한 설문을 실시하였고, 실험 진행과 관련된 기타 의견을 수집하였다. 각 운용효과의 항목은 7점 Likert 척도(1점: 매우 그렇지 않다, 4점: 보통이다, 7점: 매우 그렇다)를 사용하여 평가하였다.

2.6 Statistical analysis

시뮬레이터 유형에 따른 운용 효과 차이 검정에는 점수 데이터가 정규분포를 따르는 것으로 나타나 유의수준 0.05에서 Paired t-test를 적용하였다. 통계 프로그램은 R (ver. 3.6.1)이 사용하였다.

3. Result

3.1 Flight training effects

비행 훈련 효과 측면에서는 Figure 4과 같이 VR HMD 기반 시뮬레이터가 VM 기반 시뮬레이터에 비해 10개 항목 중 5개 항목에서 통 계적으로 유의하게 높았으나, 2개 항목은 통계적으로 유의하게 낮았다. 한편, 계기 비행 및 야간 비행, 장거리 공대공 임무, 그리고 특수무기 또는 도입 신무기체계 항목에 대해서는 통계적으로 유의한 차이가 없었다. 세부 결과 값은 Table 2과 같다.

Flight training effects

VR HMD

Visual monitor

Error value

t

p

Flight

phase

Start-up and Ground Procedures

3.52±1.26

6.36±0.86

-2.84

8.48

<0.001

Take-off and landing long-haul flight

6.28±0.68

3.00±1.26

3.28

-10.46

<0.001

Emergency

4.20±1.73

6.00±0.82

-1.80

5.60

<0.001

Air mission

5.72±0.94

3.44±1.39

2.28

-6.20

<0.001

Instrument flight and night flight

5.52±1.12

5.08±1.08

0.44

-1.252

=0.223

Flight

subject

Short-range air-to-air mission

5.72±0.89

1.80±1.12

3.92

-13.60

<0.001

Long-range air-to-air mission

5.32±0.85

4.68±1.18

0.64

-2.027

=0.054

Air-to-ground attack

5.48±1.16

4.24±1.69

1.24

-2.86

=0.009

Surface attack tactics

4.36±1.19

3.16±1.55

1.20

-3.25

=0.004

Special and new weapons systems

4.40±1.29

4.88±1.05

-0.48

-1.541

=0.137

Table 2. Result of flight training effects

3.2 User experience effects

 사용자 경험 효과 측면에서는 Figure 5와 같이 VR HMD 기반 시뮬레이터가 VM 기반 시뮬레이터에 비해 10개 항목 중 8개 항목에서 통계적으로 유의하게 높았으나, 1개 항목은 통계적으로 유의하게 낮았다. 한편, 장비의 충실성 항목에 대해서는 통계적으로 유의한 차이가 없었다. 세부 결과 값은 Table 3과 같다.

Figure 5. Comparison of user experience effects

User experience effects

VR HMD

Visual monitor

Error value

t

p

User

Usability

5.88±0.97

4.32±1.22

1.56

-5.01

<0.001

Learnability

5.52±0.92

4.52±1.16

1.00

-4.08

<0.001

Presence

6.08±1.08

3.28±1.10

2.80

-8.19

<0.001

Safety

3.32±1.18

5.16±1.40

-1.84

5.26

<0.001

Effectiveness

5.44±1.00

4.24±1.20

1.20

-3.61

=0.002

System

Fidelity

5.12±1.17

4.44±0.96

0.68

-2.370

=0.027

Adaptiveness

5.28±1.10

3.44±1.39

1.84

-4.94

<0.001

Accessibility

6.12±0.78

2.48±1.42

3.64

-10.24

<0.001

Reliability

5.40±0.96

3.44±1.45

1.96

-5.03

<0.001

Efficiency

5.72±1.10

2.92±1.19

2.80

-8.85

<0.001

Table 3. Result of user experience effects
4. Discussion

본 연구는 기존의 VM 기반 시뮬레이터와 비교하여 VR HMD 기반 시뮬레이터의 운용효과를 확인하기 위하여 공군 F-15K 현역 전투기 조종사 25명을 대상으로 실험을 진행하였다. 비행 훈련 효과 및 사용자 경험 효과에 대해서 종합적으로 비교 검증하였고 20개 세부 항목 중에서 13개의 항목이 VR HMD 기반 시뮬레이터가 통계적으로 유의하게 높은 점수를 받았다. VR HMD 기반 시뮬레이터는 기존 연구들과 같이 조종사와의 높은 상호작용이 가능하고(Yoo et al., 2018) 경제적, 효율적, 시간적, 공간적 측면에서 상당한 이점을 가지고 있으며(Baek et al., 2020) 사실적이고 몰입감 높은 훈련 환경을 제공하여 조종사 비행 수행 능력을 향상 시키는데 도움을 줄 수 있어(Kim and Park, 2019) 비행 사고 예방에 직접적으로 크게 기여할 것으로 예상된다.

비행 훈련 효과 측면에서 이륙 및 착륙 훈련이나 단거리 공대공 임무 경우 VM 기반 시뮬레이터보다 VR HMD 기반 시뮬레이터가 높은 점수를 받았다. Jeong et al. (2019)의 연구와 같이 이 · 착륙 훈련 시 조종사가 직접 외부 지형 지물을 확인하는 경우가 많다. 그러나, 기존 VM 장비에서는 장비의 특수성으로 인하여 제한이 많았으나 이번에 실험한 VR HMD 기반 시뮬레이터에서는 조종사가 직접 고개를 돌려 육안 확인이 가능하기 때문에 높은 평가 점수를 받았다. 공중조작 부분에서 VR HMD 기반 시뮬레이터는 조종사가 훈련 도중 필요 시에 언제든지 고개를 돌려서 필요로 하는 정보를 즉시 획득 할 수 있어서 유의하게 높게 점수를 받았다고 생각된다. 그러나, 시동 및 지상 절차, 비상 절차 부분은 스위치나 버튼을 실제로 조작하는 부분이 많은데 VR HMD 기반 시뮬레이터로는 실제 스위치 접촉과 같은 부분에 한계가 있어서 VM 기반 시뮬레이터가 더 높은 점수를 받았다. 외부 참조보단 실제 Cockpit 내 장비에 의존하는 계기 비행 및 야간 비행, 장거리 공대공 임무, 그리고 특수무기 또는 도입 신무기체계 항목은 두 시스템이 통계적으로 유의한 차이가 없었는데, 이는 기존 연구와 일치하는 결과이다(Jeong et al., 2018).

사용자 경험 효과 중 사용자 측면에서는 안정성을 제외한 사용성, 학습성, 현실성, 효과성 4가지 항목 모두 VR HMD 기반 시뮬레이터가 더 높은 점수를 받았다. 특히, 단순 화면 정보 제공으로 몰입감이 적은 VM 기반 시뮬레이터보다 VR HMD 기반 시뮬레이터는 현실성 극대화를 통해 조종사 상황인식 능력을 향상 시킬 수 있기 때문에 현실성 측면에서 높은 점수를 받은 것으로 판단된다(Choi et al., 2017). 그러나, 안정성 측면에서 사이버 멀미(Cyber sickness)와 같은 어지러움 증상을 유발하거나(Jung et al., 2017) 새로운 장비에 대한 불안감 같은 심리적인 요인으로 인하여 VR HMD 기반 시뮬레이터가 낮은 점수를 받았다고 생각된다. 이러한 부분은 모션 플랫폼을 적용하여서 멀미와 같은 현상을 최소화하여 훈련 효과를 극대화 시킬 수 있을 것이다. 사용자 경험 효과 중 시스템 측면은 적응성, 접근성, 신뢰성, 효율성 측면에서 VM 기반 시뮬레이터보다 VR HMD 기반 시뮬레이터가 높은 점수를 받았다. VM 기반 시뮬레이터 운용에는 전문인력의 도움이 반드시 필요하나, VR HMD 기반 시뮬레이터는 개인이 스스로 운용 가능한 점에 효율성이 높은 점수를 받은 것으로 판단된다. 또한, VR HMD 기반 시뮬레이터는 설치를 위한 별도의 시설물이 필요 없다는 점과 기존 수입에 의존하던 VM 장비에 비해 쉽게 설치가 가능하기 때문에 접근성 부분에서 높은 점수를 받았다. 다양한 컨텐츠를 용이하게 변경 가능하고 조종사가 필요한 훈련을 실행 할 수 있어서 적응성 점수가 높았던 것으로 추측된다. 효율성 측면에서는 향후 시뮬레이터 기술은 고부가가치 항공 산업의 핵심이 될 것이고 기술 발전을 통해 수출 창출 및 경제적 이익을 기대할 수 있기 때문에 높은 점수를 받았다. 마지막으로, VR HMD 기반 시뮬레이터는 유지/보수 예산이 적게 소모되고 기존 장비의 업그레이드시 내 개발로 업그레이드가 용이할 것이다(Park and Roh, 2016).

본 연구의 한계점은 실험 참가자가 소령 및 대위 계급에 편중되는 등 표집 과정에서의 인구 통계학적 특성을 충분히 고려하지 못하였다는 점이다. F-15K라는 특정 기종 전투기 조종사 대상의 한정, 그리고 비행 군 비행 특수성(보안)으로 인해서 각 비행 단계별 비교 가능한 정량적인 데이터 수집에 제한이 있었다. 본 연구는 전투기에 한정된 실험이지만 공군 수송기, 훈련기, 민간 항공기, 헬리콥터 등 다양한 분야에 지속적인 실험과 연구가 필요하다. 또한 연구 결과의 타당성을 보다 확보하기 위해서 다량의 데이터를 수집하여 분석하는 것이 필요하며, 실증주의적 접근 방식의 반복 연구를 통한 확인 절차가 필요하다. 또한 최근 개발되고 있는 VR + Motion Chair의 결합된 장비를 활용한다면 실제 비행과 좀 더 유사한 환경에서 훈련 및 연구가 진행 될 것으로 사료된다. 이러한 제한사항은 추후 연구에서 고려되어 극복될 필요가 있으며, 이러한 연구들은 향후 실제 전투기와 VR HMD 기반 시뮬레이터의 연동을 통한 훈련 효과 증진을 도모하는 차세대 훈련체계 개발의 학술적 근거를 제공할 수 있을 것이다. 현재 우리나라를 비롯한 여러 군사 선진 강대국들이 앞다투어 VR과 인공지능 기술을 도입한 훈련을 실시 하고 있다. 또한 비대면과 안전이 중요한 이슈로 부상하는 현시점에 VR은 군 훈련체계의 필수 장비로 부상 중이고 활용 범위도 계속 넓어지고 있기에 추가적인 연구가 반드시 필요하다.



References


1. Baek, S.J., Kang, M.H., Choi, S.H., Kim, B.S. and Moon, Y.H., Development of Software for Fidelity Test of Flight Dynamic Model on Fixed Wing Aircraft. Journal of the Korean Society for Aeronautical & Space Sciences, 48(8), 631-640, 2020.
Google Scholar 

2. Choi, Y.H., Lee, D.H. and Jang, J.S., Ecological Interface Design for Improving Situation Awareness of Pilot, The Korean Society for Aeronautical & Space Sciences Conference, 1162-1163, 2017.


3. Hong, J.P. and Lee, D.H., A Study on the Pilot Aptitude Test & Evaluation Program by Simulator, Ergonomics Society of Korea, 173-176, 1999.


4. Jeong, G.M., Lee, Y., Kim, M.K. and Lee, J.W., Assessment of Pilot Training Effectiveness of VR HMD Based Flight Training Device. Journal of the Korean Society for Aviation and Aeronautics, 26(4), 129-141, 2018.
Google Scholar 

5. Jeong, G.M., Kwag, T.H., Lee, Y.J. and Lee, J.W., Research of Pilot Gaze Tracking During Approach and Landing with VR HMD based Flight simulator, at the conference of the Korea Aerospace Association, 562-563, 2019.


6. Jung, J.Y., Cho, K.S., Choi, J. and Choi, J., Causes of cyber sickness of VR contents: an experimental study on the viewpoint and movement. The Journal of the Korea Contents Association, 17(4), 200-208, 2017.
Google Scholar 

7. Jung, Y.S., An, K.S. and Lee, C.S., A Study on Selection for Training Subjects using Flight Training Device (FTD) in the First Flight Training (Private Pilot Courses). Korean Journal of Aerospace and Environmental Medicine, 26(1), 8-13, 2016.
Google Scholar 

8. Kim, H.J., Lee, W.J. and Lee, J.D., Customized Pilot Training Platform with Collaborative Deep Learning in VR/AR Environment. Journal of Korea Multimedia Society, 23(8), 1075-1087, 2020.
Google Scholar 

9. Kim, S.W., "You learn how to fly an airplane, by virtual reality.", https://newsis.com/view/?id=NISI20190730_0015454905 (retrieved July 30, 2019).


10. Kim, Y.B. and Park, B.H., VR/AR/MR Virtual Training System Technology Trends. Journal of the Korea Communications Association (Information and Communication), 36(10), 72-78, 2019.


11. Lee, J.H., Seo, M.H., Kye, B.K. and So, H.J., Effects of VR Content Types on Young Users Experiences in a Smartphone-based HMD Environment, The HCI Society of Korea, 437-440, 2017.


12. Park, J.C. and Roh, T.W., Spillover of Technological Development in Aircraft on Commercial Sector (A Case of KF-X). Korean Air Management Association, 2016.


13. Ryu, J.Y. and Song, B.G., Development status and development direction of simulator for flight training, Korea Institute of Defense Research Periodicals No. 1304 (pp. 10-16), 2010.


14. Seo, H.W., "It's like live" on board the simulator., The Korea Defense Daily, https://kookbang.dema.mil.kr/newsWeb/20200207/ 2/BBSMSTR_000000010071/view.do (retrieved February 6, 2020).


15. Yoo, M.H., Kim, J.H., Koo, Y. and Song, J.H., Meta-analysis on effects of VR, AR, MR-based learning in Korea. The Journal of Educational Information and Media, 24(3), 459-488, 2018.


PIDS App ServiceClick here!

Download this article