본문바로가기

Comparison of Eye Tracking Features between Expert and Novice Pilots during Landing

Won Jae Lee , Chung Hoon Kim , Sungho Kim
10.5143/JESK.2018.37.6.713 Epub 2019 January 02

1
Cited By

Abstract

Objective: The aim of this study is to compare expert and novice pilots' flight characteristics during landing phase using eye tracking data.

Background: Aircraft landing is a complex and challenging flight phase in which pilots are required to allocate attention efficiently to surrounding environment. A comprehensive understanding of pilots' flight attributes under visual flight rules condition is needed for successful landing.

Method: The experiments were carried out with 5 repetitive simulated landings for four expert and four novice pilots using eye tracking equipment. Three eye tracking features (Visit frequency, Dwell time ratio, Scan path entropy) were developed for reflecting pilots' flight information acquisition ability.

Results: Visit frequency of expert pilots was 138%, 47%, 85%, 67%, 117%, and 91% higher than novice pilots in RPM, VVI, altimeter, heading, airspeed, and attitude areas of interest (AOIs) respectively; while 50% and 33% lower in runway and outside AOIs respectively. Dwell time ratio of expert pilots was 38% and 42% higher than novice pilots in runway and outside AOIs respectively; while 62%, 62%, and 65% lower in altimeter, airspeed, and attitude AOIs respectively. Scan path entropy of expert pilots was 33% higher than novice pilots in outside AOI; while 29% lower in attitude AOI.

Conclusion: This study suggests that eye tracking features between expert and novice pilots may be different during landing.

Application: The results of this study can be used as objective data of strategy establishment or training feedback for novice pilots.



Keywords



Eye tracking Landing Vist frequency Dwell time ratio Scan path entropy



1. Introduction

조종사는 방향, 속도 등의 내부환경과 공중 위험요소, 기상 장애물 등의 외부환경을 복합적으로 고려하여 이륙, 수평, 선회, 착륙비행 등의 항공기 기동을 수행한다. 특히, 착륙(Landing)은 항공기 내 ∙ 외부 환경에 대한 조종사들의 효율적인 주의 분배가 요구되는 복잡하고 고난도의 비행 단계이다. 공군 항공안전단 통계자료(2017)에 따르면, 2000년대 이후 발생한 공군 항공사고 139건 중 착륙 단계에서 발생한 사고는 33건(23.7%)으로 상당한 비율을 차지하는 것으로 나타났다(Yoon, 2017). 또한, 공군사관학교 4학년 생도 139명을 대상으로 비행 시뮬레이터 훈련 중 가장 어려운 과목에 대한 설문 결과, 116명(83.5%)의 생도들이 착륙 과목이라고 답하였다(Hwang, 2017). 따라서, 조종사들은 착륙과 관련된 비행 특성을 파악하여 비행 기량을 향상시키는 전략 수립이 요구된다.

조종사들의 시각 정보 획득에 관한 비행 특성은 다양한 시선 추적 척도를 통해 정량적으로 파악될 수 있다. 주시(Fixation)는 특정 영역에 대해 최소 150ms 동안 1도 시각(Visual arc)보다 적은 안정화된 시선의 움직임인 반면, 방문(Visit)은 특정 영역에 대해 최초 시선이 머물었을 때부터 다른 영역으로 이동할 때까지의 시선의 움직임이다(Tobii Technology, 2018). 한편, 단속(Saccade)은 특정 Fixation에서 다음 Fixation으로 빠르게 도약하는 시선의 움직임이고, 체류시간(Dwell time)은 특정 영역 내에서 시선이 머문 시간이며, 시선 경로(Scan path)는 특정 영역에서 다른 영역으로의 시선의 전이다(Jacob and Karn, 2003). 예를 들어, Merwe et al. (2012)은 비행 시뮬레이터 환경 하에서 조종사들의 상황인식 지표로서 주시율(Fixation rate), 체류시간(Dwell time), 그리고 시선 경로 불확실성(Scanning entropy)의 척도들을 활용하였다. Ellis (2009)는 비행임무 중 조종사들의 인지부하 수준을 추정할 수 있는 주시, 단속, 시선 경로 등과 같은 시선 추적 척도들을 도출하였다. 시선 추적 척도를 활용하여 조종사들의 비행 특성을 객관적으로 측정하면, 기종, 비행경험 등을 기준으로 조종사들의 비행 전략을 비교 분석할 수 있다.

기존 연구들은 조종사들의 비행 특성을 파악하기 위해 주로 계기비행규칙(Instrument Flight Rules, IFR) 상황 하 저위험 기동 조건에서 시선 추적의 특성을 분석하였으나, 시계비행규칙(Visual Flight Rules, VFR) 상황 하 고위험 기동 조건에 속하는 착륙비행 측면에 대한 고려가 필요하다. 예를 들어, Bellenkes et al. (1997)은 IFR 상황 하 순항비행(Cruise flight) 조건에서 전문가와 초보자 수준의 조종사들의 시선 추적 특성을 비교하였다. Kramer et al. (1994)은 IFR 상황 하 상승, 하강, 선회 등과 같은 다양한 비행 조건에서 조종사들의 비행경험과 계기에 대한 시선 분배 전략간 상관관계를 규명하였다. 그러나, 착륙비행은 다른 비행 단계보다 정밀한 시각 정보 획득 기술이 요구되며 활주로 등과 같은 외부환경 확인이 중요하기 때문에 조종사들의 비행안전을 보장하기 위해서는 VFR 상황 하에서 착륙 시 비행 특성을 반영하는 시선 추적 척도들을 도출하고 조종사들의 전문지식 수준에 따른 비행 특성을 비교하는 연구가 중요하다.

본 연구는 VFR 상황 하 착륙 시 조종사의 비행 특성을 파악하기 위해 전문지식 수준에 따른 시선 추적의 특성을 비교하였다. 효과적인 비행 특성 비교를 위해 세 가지 시선 추적 정량화 척도가 활용되었고, 조종사의 전문지식 수준(학생 조종사, 기성 조종사)에 따른 시선 추적의 특성은 조종사들이 시선 추적 장비를 착용 후 비행 시뮬레이터로 착륙비행을 수행하면서 획득된 데이터를 분석하여 파악되었다.

2. Method

2.1 Participants

본 연구는 학생 조종사 4명(22.0 ± 1.7세) 및 기성 조종사 4명(34.0 ± 1.6세)이 참여하였다. 학생 조종사는 평균 22.8시간의 시뮬레이터 비행경험이 있는 공군사관생도 4명, 기성 조종사는 평균 1587.5시간의 비행경험이 있는 공군 전투기 조종사 4명이 각각 모집되었다. 또한, 원활한 실험 진행을 위해 실험참여자들은 교정시력 0.8 이상의 고도난시가 아닌 자로 선정하였다.

2.2 Apparatus

본 연구는 모의 착륙비행을 위해 Pilot Aptitude Research Equipment (PARE) 시뮬레이터(Dodaam Systems Ltd., Korea)를 활용하였다. PARE 시뮬레이터는 학생 조종사들의 조종적성 검사 및 연구, 비행 기량 숙달 훈련 등을 수행하기 위해 개발된 장비로, Stick Controller, Rudder, Throttle을 활용하여 항공기의 3축(Pitch, Roll, Yaw) 방향 조절 및 속도 조절이 가능하다. 한편, 조종사들의 시선 데이터 수집 및 분석은 Glass 형태의 시선 추적 장비인 Mobile Eye-5 (Applied Science Laboratories, USA)가 활용되었다. 조종사의 전문지식 수준 간 시선 추적 특성 비교를 위해 착륙 시 참조해야 하는 8가지의 Areas of interest (AOIs)를 설정하였다. VFR 상황을 고려하여 조종석 외부 AOI에는 활주로(Runway), 외부시야(Outside)의 2가지가, 내부 AOI에는 자세계(Attitude), 방향지시계(Heading), 속도계(Airspeed), 고도계(Altitude), 수직속도계(VVI), 그리고 분당 회전수계(RPM)의 6가지가 구성되었다.

2.3 Eye tracking measures

본 연구는 조종사의 전문지식 수준(학생 조종사, 기성 조종사)을 독립변수로, 각 AOI별 시선 추적의 정량화 척도(Visit frequency, Dwell time ratio, Scan path entropy)를 종속변수로 선정하였다(Allsop and Gray, 2014; Dijk et al., 2011). 먼저, Visit frequency는 식 (1)과 같이 AOI별 Dwell time 당 AOI별 방문 횟수로 산출되었다. 다음으로, Dwell time ratio는 식 (2)와 같이 총 Dwell time 대비 AOI별 Dwell time의 비율로 계산되었다. 마지막으로, Scan path entropy는 시선경로의 무작위성이나 복잡성을 나타내는 척도로써(Harris et al., 1986) 식 (3)과 같이 최대 Entropy 대비 평균 Entropy의 상대값으로 산출하였다(Shannon, 1948).

Visit frequency = Visit count per AOIs / Dwell time per AOIs (count/ms)                                         (1)

Dwell time ratio = (Dwell time per AOIs / Total dwell time) × 100 (%)                                             (2)

Scan path entropy = Havg / Hmax = ∑p × log2(1 / p) / log2(N - 1) (bit)                                              (3)

Where,

H = Observed entropy

P = Probability of transition between two AOIs

N = Number of AOIs

2.4 Experimental procedure

본 연구의 실험은 실험 준비, 예비 실험, 본 실험, 그리고 사후 설문의 네 단계로 진행되었다. 실험 준비 단계에서는 피실험자들에게 실험참여 동의를 구하고 Figure 1과 같이 착륙비행 절차 및 항공기 제원에 대해 설명하였다. 예비 실험 단계에서는 피실험자들이 안정적으로 착륙을 수행하도록 3회의 연습 기회를 제공하였다. 본 실험 단계에서는 VFR 상황 하 시선 추적 장비를 착용한 상태에서 착륙비행에 대해 총 5회 반복 실험을 실시하였고 실험 간 30초의 휴식시간을 가졌으며 안구 운동의 정확한 측정을 위해 매 실험 시작 전에 Calibration을 수행하였다. 마지막으로, 사후 설문 단계에서는 실험진행 시 이상 유무 및 실험 내용에 대한 의견을 확인하였다.

Figure 1. Landing procedure and aircraft basic data

2.5 Statistical analysis method

조종사의 전문지식 수준에 따른 시선 추적의 특성 차이 검정에는 유의수준 0.05에서 2-sample t-test가 적용되었다. 통계 분석에는 SPSS (ver. 21.0) 프로그램이 사용되었다.

3. Results

학생 조종사와 기성 조종사 간 AOI별 Visit frequency, Dwell time ratio, Scan path entropy 값은 Table 1과 같이 유의수준 0.05에서 유의한 차이가 있는 것으로 나타났다. Visit frequency는 모든 AOI에서, Dwell time ratio는 분당 회전수계, 수직속도계, 방향지시계를 제외한 모든 AOI에서, 그리고 Scan path entropy는 외부시야와 자세계 AOI에서만 통계적으로 유의하였다.

Eye tracking feature

AOI

Expert

Novice

t

Visit frequency

RPM

1.9±1.1

0.8±0.6

3.8*

Runway

0.1±0.5

0.2±0.1

3.6*

VVI

2.5±0.9

1.7±0.9

3.0*

Outside

0.4±0.1

0.6±0.3

2.5*

Altitude

2.4±0.7

1.3±0.3

6.5*

Heading

2.0±1.0

1.2±0.8

2.7*

Airspeed

2.6±0.8

1.2±0.6

6.6*

Attitude

2.1±0.7

1.1±0.2

5.8*

Dwell time ratio

RPM

2.1±1.4

2.2±2.1

0.3

Runway

35.2±5.6

25.6±6.2

5.1*

VVI

1.4±1.1

2.6±2.5

1.8

Outside

47.1±7.8

33.1±11.9

4.4*

Altitude

3.8±1.7

10.0±6.3

4.3*

Heading

3.1±2.6

5.9±5.6

2.1

Airspeed

1.3±0.9

3.4±2.5

3.5*

Attitude

6.0±3.2

17.3±7.1

6.5*

Scan path entropy

RPM

0.3±0.3

0.3±0.3

0.4

Runway

0.3±0.3

0.3±0.2

0.3

VVI

0.3±0.2

0.4±0.3

1.1

Outside

0.8±0.1

0.6±0.1

4.6*

Altitude

0.6±0.2

0.7±0.1

0.6

Heading

0.4±0.3

0.4±0.3

0.1

Airspeed

0.3±0.3

0.3±0.3

0.1

Attitude

0.5±0.2

0.7±0.2

2.8*

Table 1. Comparison of eye tracking features between expert and novice using 2-sample t-test (N = 8) M ± SD, *p<.05

기성 조종사와 학생 조종사의 Visit frequency는 모든 AOI에서 통계적으로 유의한 차이가 있는 것으로 나타났다. 기성 조종사는 학생 조종사에 비해 분당 회전수계, 수직속도계, 고도계, 방향지시계, 속도계, 자세계의 Visit frequency 측면에서 138%, 47%, 85%, 67%, 117%, 91% 정도 각각 유의하게 높은 것으로 나타났다. 한편, 기성 조종사는 학생 조종사에 비해 활주로와 외부시야의 Visit frequency 측면에서 50%와 33% 정도 각각 유의하게 낮은 것으로 나타났다. Figure 2는 AOI별 Visit frequency를 Bubble chart로 시각화하여 보여준다.

Figure 2. Comparison of visit frequency between expert and novice pilots using bubble chart

기성 조종사와 학생 조종사의 Dwell time ratio는 분당 회전수계, 수직속도계, 방향지시계를 제외한 모든 AOI에서 통계적으로 유의한 차이가 있는 것으로 나타났다. 기성 조종사는 학생 조종사에 비해 활주로와 외부시야의 Dwell time ratio 측면에서 38%와 42% 정도 각각 유의하게 높은 것으로 나타났다. 한편, 기성 조종사는 학생 조종사에 비해 고도계, 속도계, 자세계의 Dwell time ratio 측면에서 62%, 62%, 65% 정도 각각 유의하게 낮은 것으로 나타났다. Figure 3은 AOI별 Dwell time ratio를 Heatmap으로 시각화하여 보여준다.

Figure 3. Comparison of dwell time ratio between expert and novice pilots using heatmap

기성 조종사와 학생 조종사의 Scan path entropy는 외부시야와 자세계의 AOI에서 통계적으로 유의한 차이가 있는 것으로 나타났다. 기성 조종사는 학생 조종사에 비해 외부시야의 Scan path entropy 측면에서 33% 정도 유의하게 높은 것으로 나타났다. 한편, 기성 조종사는 학생 조종사에 비해 자세계의 Scan path entropy 측면에서 29% 정도 유의하게 낮은 것으로 나타났다. Figure 4는 AOI별 Scan path entropy를 Arrow plot으로 시각화하여 보여준다.

Figure 4. Comparison of scan path entropy between expert and novice pilots using arrow plot
4. Conclusion

본 연구는 조종사들의 비행 특성을 나타내는 시선 추적의 정량화 척도(Visit frequency, Dwell time ratio, Scan path entropy)를 활용하여 착륙 시 학생 조종사와 기성 조종사의 시선 추적 특성을 비교하였다. 먼저, Visit frequency는 특정 AOI에서 다른 AOI로 시선이 이동하지 않고 계속 머무르면 시간에 따라 증가하는 Fixation과 달리 증가하지 않는 Visit의 개념을 적용하여 각 AOI별 시각적 주의 할당에 의한 시각 정보를 확인하는 수준을 식별할 수 있었다. 다음으로, Dwell time ratio는 각 AOI별 지각할 객체의 수가 유사한 수준이라는 가정 하에 전체 Dwell time 대비 각 AOI별 Dwell time의 비율을 활용하여 각 AOI별 시각 정보를 해석하는데 필요한 상대적인 시간을 파악할 수 있었다. 마지막으로, Scan path entropy는 각 AOI별 시선경로의 복잡성을 산출하여 특정 AOI에서 다른 AOI로 무작위적으로 시선이 이동하는 정도를 통해 어떤 AOI를 중심으로 상황판단을 하고 있는지를 확인할 수 있었다. 한편, 기성 조종사는 일반적으로 학생 조종사보다 상황인식 상태가 높아 착륙 기량이 더 높은 것으로 알려져 있어(Kasarskis et al., 2001) 시선 추적 장비를 활용하여 기성 조종사와 학생 조종사의 시선 추적 특성을 비교하면 학생 조종사의 착륙 훈련 시 전략을 수립하고 훈련 피드백을 제공하는데 객관적인 자료로 활용될 수 있다. 이는 기성 조종사들의 비행 패턴을 특징화하여 학생 조종사들이 참조할 수 있도록 하여 훈련의 효율성을 증대시키고 사고발생 위험성을 감소시키는데 기여할 수 있다.

본 연구의 실험 결과, 기성 조종사와 학생 조종사의 Visit frequency, Dwell time ratio, 그리고 Scan path entropy는 VFR 상황에 따른 조종석 외부 AOI와 내부 AOI를 기준으로 통계적으로 유의한 차이가 있는 것으로 나타났다. 기성 조종사의 Visit frequency는 조종석 내부 AOI(분당 회전수계, 수직속도계, 고도계, 방향지시계, 속도계, 자세계)에서 학생 조종사보다 유의하게 높았고, Dwell time ratio는 조종석 외부 AOI(활주로, 외부시야)에서 학생 조종사보다 유의하게 높은 것으로 나타났다. 이는 기성 조종사가 계기 정보를 단시간 내에 자주 방문하여 효율적으로 정보를 인지 및 이해하는 것으로 판단된다. 반면, 학생 조종사는 계기 정보를 장시간 동안 주시하되 방문 횟수는 적어 특정 정보를 해석하는 데 많은 시간과 노력을 소비하는 것으로 판단된다. 또한, 기성 조종사의 Scan path entropy는 외부시야 AOI에서 학생 조종사보다 유의하게 높은 것으로 나타났는데, 이는 기성 조종사가 착륙 시 시계환경을 중심으로 비행환경의 변화를 예측하여 전략을 수립하는 것으로 판단된다. 반면, 학생 조종사의 Scan path entropy는 자세계 AOI에서 기성 조종사보다 유의하게 높은 것으로 나타났는데, 이는 학생 조종사가 착륙 시 계기환경을 중심으로 비행환경의 변화를 예측하여 전략을 수립하는 것으로 판단된다. 한편, 기성 조종사의 사후 설문에 따르면, 성공적인 착륙은 조종사가 항공기 동체 침하율을 외부환경과 대비하여 판단 후 항공기 제원을 조절함으로써 달성된다고 답하였다. 이는 조종사들이 조종석 외부를 중심으로 시선을 주시하고 계기 정보 확인은 최소화한 상태에서 착륙 절차에 따라 항공기 제원을 능숙하게 조절할 수 있어야 하는 것으로 해석되며, 본 연구의 학생 조종사와 기성 조종사 간 시선 추적의 특성 비교 결과와 일치하는 것으로 파악되었다.

본 연구는 추후 성별, 나이, 기종, 비행자격 등을 고려한 다수의 조종사들을 대상으로 실험을 수행하고, 다양한 접근방식을 포괄하여 비행 특성을 정량적으로 측정하는 연구가 필요하다. 본 연구는 비행시간에 따른 전문지식 수준이 상이한 학생 및 기성 조종사 8명을 대상으로 실험을 수행하였으나, 실험 결과의 신뢰성을 향상시키기 위해서는 보다 많은 인원의 조종사를 대상으로 실험을 수행하는 것이 요구된다. 또한, 본 연구는 시선 추적 장비를 활용해 비행 특성을 파악하였으나, 비행 특성을 보다 정확히 반영하기 위해서는 비행수행도, 생체신호, 주관적 평가 등의 기법에 대한 종합적인 고려가 요구된다. 이는 향후 조종사의 비행안전 향상을 위한 비행 특성 분석 체계를 정립하는데 기여할 수 있다.



References


1. Allsop, J. and Gray, R., Flying under Pressure: Effects of Anxiety on Attention and Gaze Behavior in Aviation, Journal of Applied Research in Memory and Cognition, 3(2), 63-71, 2014.
Crossref  Google Scholar 

2. Bellenkes, A.H., Wickens, C.D. and Kramer, A.F., Visual Scanning and Pilot Expertise: Their Role of Attentional Flexibility and Mental Model Development, Aviation, Space, and Environmental Medicine, 68(7), 569-579, 1997.
Crossref  Google Scholar 

3. Dijk, H.V., Merwe, K.V.D. and Zon, R., A Coherent Impression of the Pilots' Situation Awareness: Studying Relevant Human Factors Tools, International Journal of Aviation Psychology, 21(4), 343-356, 2011.
Crossref  Google Scholar 

4. Ellis, K.K.E., Eye Tracking Metrics for Workload Estimation in Flight Deck Operations, Unpublished Master's thesis, [Iowa City, USA]: The University of Iowa, 2009.
Crossref  Google Scholar 

5. Harris, R.L., Glover, B.J. and Spady, A.A., Analytical techniques of pilot scanning behavior and their application, NASA-TP-2525, Hampton, USA, National Aeronautics and Space Administration Langley Research Center, 1986.
Crossref  Google Scholar 

6. Hwang, S.J., R.O.K. Air Force Academy, 2017 Pilot Aptitude Research Equipment (PARE) Simulator Training Results, 2017.
Crossref 

7. Jacob, R.J.K. and Karn, K.S., Eye Tracking in Human-Computer Interaction and Usability Research: Ready to Deliver the Promises, The Mind's Eye: Cognitive and Applied Aspects of Eye Movement Research, Commentary on Section 4, 573-605, 2003.
Crossref  Google Scholar 

8. Kasarskis, P., Stehwien, J., Hickox, J., Aretz, A. and Wickens, C.D., "Comparison of Expert and Novice Scan Behaviors During VFR Flight", Proceedings of the 11th International Symposium on Aviation Psychology, (pp. 1-6), Daton, USA, 2001.
Crossref  Google Scholar 

9. Kramer, A., Tham, M., Konrad, C., Wickens, C., Lintern, G., Marsh, R., Fox, J. and Merwin, D., "Instrument scan and pilot expertise", Proceedings of the Human Factors and Ergonomics Society 38th Annual Meeting, (pp. 36-40), Nashville, USA, 1994.
Crossref  Google Scholar 

10. Merwe, K.V.D., Dijk, H.V. and Zon, R., Eye Movements as an Indicator of Situation Awareness in a Flight Simulator Experiment, International Journal of Aviation Psychology, 22(1), 78-95, 2012.
Crossref  Google Scholar 

11. Shannon, C.E., A mathematical theory of communication, The Bell System Technical Journal, 27(4), 623-656, 1948.
Crossref  Google Scholar 

12. Tobii Technology Home page, https://www.tobiipro.com/ko/learn-and-support/learn/steps-in-an-eye-tracking-study/interpret/eye¬tracking-metrics/ (retrieved November 21, 2018).
Crossref 

13. Yoon, I.C., R.O.K. Air Force Aviation Safety Agency, Korea Air Force Aircraft Accident Statistics ('50~'16), 2017.
Crossref 

PIDS App ServiceClick here!

Download this article