현대의 자동화 시스템은 다양한 전문영역에서 많은 이점을 주고 있다. 특히, 복잡한 비행 환경에서 자동화 시스템은 작업 부하 및 피로 감소, 비행 정밀도 향상, 안전성 증대 등 많은 장점을 제공한다(Sarter et al., 1997; Parasuraman and Manzey, 2010). 조종석 자동화 시스템의 진보는 항공사고의 약 60~80%를 차지하는 Human error에 대한 해결책으로 제시되어, 증가하는 항공 교통량에도 불구하고 낮은 사고율을 유지할 수 있게 한다(Lounis et al., 2019). 회전익 항공기인 헬리콥터는 고정익 항공기보다 안정성이 떨어지기 때문에, 높은 작업 부하를 경험하는 조종사를 위해 회전익 항공기 고유의 환경을 고려한 자동화 시스템을 개발하기 위해 노력해 왔고(Milner et al., 2020), 자동조종시스템 장착에 대한 찬성 여론 또한 강하다(Newman, 2007).

대한민국 육군 항공에 전력화 된 KUH-1(수리온)은 자동비행 조종시스템을 탑재한 항공기이다. 자동비행 조종시스템의 상위 모드는 조종사의 제어에 따라 지시속도, 기수, 고도, 수직속도 등을 유지 및 변경할 수 있으며, 조종사의 추가 설정이 없더라도 안전한 비행 범위 내로 항공기를 통제한다. 비행 중 조종사의 작업은 조종, 항법, 통신, 시스템 관리 그리고 주어진 임무에 따라 다른 작업을 추가로 수행해야 하는 다중작업(multitasking)이다(Wickens and Dehais, 2019). 시스템이 항공기 조종을 대신 수행하게 된다면 조종사의 작업 부하를 감소시킬 수 있고, 일정하고 높은 수준의 비행능력을 보여줄 수 있다. 특히, 치명적인 사고의 약 15~26%를 차지하는 공간정위상실(spatial disorientation)이 발생하였을 때, 시스템의 적절한 작동은 안전한 상태에서 조종사의 잘못된 감각을 극복할 수 있도록 도와줄 수 있다(Newman, 2007).

하지만 자동화 시스템은 설계자의 의도나 예상과는 다른 방식으로 운영자의 과제를 변화시킨다(Parasuraman and Manzey, 2010). 시스템의 고장이나 오작동을 감시해야 하는 요구는 오히려 증가하기 때문이다(Chamber and Nagel, 1985; Parasuraman et al., 1993). 조종사가 자동화 시스템에 과도하게 의존하여 외부 환경과 시스템을 적절히 감시하지 않는다면 위험한 상황에 처할 수 있다(Bahner et al., 2008). 1972년 12월 이스턴 항공 401편 추락사고는 처음으로 조종사와 자동조종시스템과의 상호작용을 조사한 사고로(Bigelow, 2021), 조종사들은 기내 문제를 해결하기 위해 자동조종시스템을 작동시킨 후 약 4분간 계기와 외부를 관찰하지 않았고, 고도강하를 인지하지 못해 추락하였다(NTSB, 1973). 2009년 11월 노스웨스트 항공 188편의 조종사는 자동조종시스템을 작동시켜 놓고 다른 과제에 집중하여 약 1시간 동안 목적지를 지나쳤다는 것을 인지하지 못하였다(Bigelow, 2021). 위 사례에서 알 수 있듯이, 자동비행 조종시스템의 예상되는 이익은 부적절한 사용과 과도한 의존에 따른 비용으로 상쇄될 수 있다(Parasuraman and Manzey, 2010).

현 연구는 헬기조종사들이 자동비행 조종시스템을 활용 시 경험할 수 있는 complacency 문제에 대해 실험적 증거를 제시하고, 기내 자동화 시스템 사용에 대한 지침이 마련되지 않은 육군 항공에서 complacency 예방 방안에 대한 기반을 제공하기 위해 수행되었다.

2.1 Automation induced complacency

Wickens et al. (2013)의 "Engineering Psychology and Human Performance"를 한국어로 번역한 "공학심리와 인간수행"에서 complacency는 "안심감"으로 번역되었지만, 현재 공식적인 용어로 통용되고 있지 않아 혼란이 발생할 수 있기 때문에 원어 그대로 complacency를 사용하였다.

항공산업에서는 오랫동안 complacency를 항공사고의 주요 요인으로 언급해왔다(Wiener, 1981). Complacency라는 용어는 조종사 및 항공교통 관제사 등 운영자가 시스템 상태에 대한 충분한 점검을 하지 않고 양호하다고 가정한 항공사고 또는 준사고에 대한 언급에서 유래되었다(Parasuraman and Manzey, 2010). Wiener (1981)는 complacency를 "의심 지수가 낮은 심리상태"로 정의하였으며, 미국 항공우주국 항공안전 보고시스템(ARAS)에서는 "만족스러운 시스템 상태에 대한 정당하지 않은 가정에 근거하여 경계하지 않는 결과를 초래하는 자기만족"으로 정의하였고(Billings et al., 1976), 사고조사 항목에 complacency를 포함하고 있다(Parasuraman and Manzey, 2010).

자동화가 도입된 항공기가 출현한 이후 complacency는 조종사와 자동화 시스템의 상호작용에 의해 유발될 수 있는 위험성을 대표하는 중요한 개념이 되었다(Parasuraman et al., 1993). Complacency 용어 사용에 대한 합의된 정의는 없으나(Parasuraman et al., 2008), 공통적인 특징은 자동화 시스템에 대한 인간 사용자의 모니터링과 관련이 있고, 모니터링의 빈도가 표준이나 최적보다 낮으며(Moray and Inagaki, 2000), 표준 이하의 모니터링의 결과로 시스템 수행도에 직접 관찰 가능한 영향을 미친다는 것이다(Parasuraman and Manzey, 2010).

높은 신뢰성을 가진 자동화 시스템의 활용은 낮은 빈도의 모니터링을 유도하며 시스템 오작동을 인지하지 못하고, 적시 적절하게 대응하지 못하는 complacency 문제를 발생시킬 수 있다(Stanton and Marsden, 1996; Parasuraman and Manzey, 2010). 회전익 항공기인 헬리콥터는 주로 시각 비행을 수행하기 때문에 항공기 외부를 관찰하고 장애물을 회피할 소요가 많고, 저고도에서 운용되므로 주의력 배분 실패에 대한 위험성이 더 크다. 즉, complacency의 문제는 장기간에 걸쳐 지속적인 주의를 요하는 고정익 항공기보다 적게 발생할 수는 있지만 그 위험성은 더 치명적일 수 있다.

2.2 Trust in automation and complacency

Automation induced complacency를 유도하는 많은 요인들이 있지만, 자동화 신뢰는 complacency를 발생시키는 중요한 변수이다(Bailey and Scerbo, 2007). 자동화 신뢰는 시스템 사용에 영향을 미치는 태도로써(Lee and See, 2004; Azevedo-Sa et al., 2020), 사용자가 시스템을 신뢰하지 않는다면, 수많은 장점에도 불구하고 사용하지 않게 될 것이고, 반대로 시스템을 과도하게 신뢰한다면, 시스템을 덜 감시하게 되어 모니터링 수행도 저하를 초래할 수 있다(Muir and Moray, 1996; Parasuraman and Riley, 1997; Körber et al., 2018). 즉, 자동화 시스템에 대한 과도한 신뢰는 과도한 의존을 초래할 수 있기 때문에, 높은 수준의 자동화 신뢰는 시스템 모니터링 및 수행도가 감소하는 complacency 발생 가능성을 나타낸다(Parasuraman and Manzey, 2010; Mahlfeld et al., 2011). Bailey and Scerbo (2007)의 연구에서는 신뢰에 따른 모니터링 수행도를 조사했고, 신뢰가 클수록 시스템 오류 탐지율이 감소하고, 응답 지연시간이 증가하는 결과를 통해 complacency가 신뢰의 영향을 받는다는 주장을 뒷받침하였다.

2.3 Expertise, trust and complacency

자동화 신뢰를 전문성의 측면에서 보았을 때, 전문가는 초보자보다 자동화를 덜 신뢰하고 덜 의존했다(Fan et al., 2008; Sanchez et al., 2014). 전문성은 폭넓은 경험을 통해 형성되어 자신감으로 이어지며(Hoff and Bashir, 2015), 자동화에 대한 신뢰보다 자신의 수동 기술에 대한 자신감이 더 큰 경우 자동화를 덜 활용하게 되기 때문이다(Lee and Moray, 1994). 하지만, 자동화 시스템과의 상호작용을 통한 경험이나 지식은 신뢰에 전혀 다른 영향을 미친다(Hoff and Bashir, 2015). 자동화 시스템에 대한 긍정적인 사용 경험은 시스템을 더 신뢰하고 의존하게 하며, 부정적인 경험은 시스템을 덜 신뢰하고 사용하지 않게 한다(Lee and Moray, 1994; Yuviler-Gavish and Gopher, 2011; Manzey et al., 2012). 즉, 자동화 시스템에 대한 경험과 전문지식은 높은 신뢰를 형성하게 한다는 것이다.

시스템 경험의 증가에 따라 모니터링 수행도가 저하되었다는 연구 결과(Molloy and Parasuraman, 1996)에 따라 경험이 complacency에 영향을 미치는 요인임을 알 수 있다. 그리고 조종사 및 비조종사 대상으로 수행한 연구에서 조종사가 더 많은 자동화 고장을 감지하였지만, 두 그룹 모두 complacency가 나타났고(Singh et al., 1998), 조종사들이 수동으로 비행할 때보다 엔진계기 및 승무원 경고 시스템(EICAS, Engine Indicator and Crew Alerting System)을 사용했을 때 엔진 오작동을 더 적게 감지하는 모습을 보였다(Galster and Parasuraman, 2001). 따라서, 시스템 경험 증가는 complacency 가능성을 증가시키며, 초보자와 전문가 모두 complacency가 발생할 수 있다는 것이다.

또한, 자동화 시스템에 대한 충분하지 않은 모니터링은 잠재적인 complacency를 의미하기 때문에(Parasuraman and Manzey, 2010; Mahlfeld et al., 2011), 모니터링 행동을 통해 complacency를 추론할 수 있다(Rodriguez et al., 2020). 따라서, 모니터링 행동 측면에서 보면 전문가는 자동화 시스템을 더 신뢰함에도 불구하고 시스템 모니터링은 더 오래, 자주 수행하는 모습을 보였으며(Jin et al., 2020), 전문조종사와 초보조종사는 비행 시 모니터링 행동에서 뚜렷한 차이가 발생하였다(Bellenkes et al., 1997; Kasarskis et al., 2001; Xiong et al., 2016).

전문성은 폭넓은 경험을 통해 형성되며, 조종사의 경우 대체로 전문성과 경험이 비례하기 때문에, 현 연구에서는 전문성과 경험을 포함한 개념으로 조종사 자격을 활용하였다. 위 연구들에 의하면 자동화 신뢰와 complacency, 그리고 complacency를 추론할 수 있는 모니터링 행동은 전문성과 경험의 영향을 받는 변수이며, 수행도는 전문가가 초보자보다 더 높을 수 있지만, complacency는 누구에게나 발생할 수 있다는 것을 알 수 있었다.

3.1 Hypotheses

Complacency는 표준이나 최적보다 낮은 모니터링으로 인해 발생한다(Parasuraman and Manzey, 2010). 자동비행 조종시스템을 활용한 비행 시 표준이나 최적의 모니터링에 대한 기준은 없으며, 자동화 시스템에 대한 충분하지 않은 모니터링은 잠재적인 complacency를 의미하기 때문에(Parasuraman and Manzey, 2010; Mahlfeld et al., 2011), 본 연구에서는 낮은 수준의 모니터링이 complacency에 대한 통찰력을 제공할 수 있을 것이라 판단하여 모니터링 행동을 통해 complacency를 추론할 것이다(Rodriguez et al., 2020).

높은 신뢰성의 자동비행 조종시스템에 대한 긍정적인 사용 경험과 전문지식에 따라 전문조종사는 초보조종사보다 높은 신뢰를 형성할 것이다. 높은 신뢰는 낮은 빈도의 모니터링으로 이어지지만, 전문성에 따라 모니터링 행동에서 차이가 발생할 수 있다. 따라서, 전문가와 초보자를 포함한 전체 표본에서 자동비행 조종시스템에 대한 신뢰가 클수록 비행관련 관심 구역의 모니터링을 더 짧은 시간 수행하는 결과가 나타나지는 않을 것이다. 따라서 첫 번째 가설을 제시한다: 자동비행 조종시스템에 대한 신뢰는 비행관련 관심 구역의 모니터링 시간에 유의미한 영향을 미치지 못할 것이다.

다음으로, 모니터링 행동이 실제 비행 수행도에 미치는 영향을 확인하여, 모니터링 행동이 complacency를 추론할 수 있는 변수라는 증거를 제공하고 complacency의 발생을 실증적으로 확인하고자 하였다. 낮은 비행 수행도를 보인 조종사의 모니터링 행동을 통해 complacency를 예방할 수 있는 시선 행동을 확인할 수 있을 것이다. 따라서, 두 번째 가설은 다음과 같다: 비행관련 관심 구역의 모니터링을 더 짧은 시간 수행한 조종사는 낮은 비행 수행도를 보일 것이다.

3.2 Experimental plan

3.2.1 Participants

실험 참가자는 총 19명으로 육군항공학교에서 교관으로 근무 중인 KUH-1 교관조종사 11명, 조종사 양성과정 중인 학생조종사 8명으로 구성되었다. 교관조종사의 나이는 37~54세(평균 45.27세, 표준편차 5.623), 근속연수는 14~33년(평균 24.182년 표준편차 6.46), 총 비행시간은 880~7,800시간(평균 3861.8시간, 표준편차 2469.096), KUH-1 비행시간은 500~3,300시간(평균 1481.82시간, 표준편차 926.18)이며, 성별은 모두 남성이다.

학생조종사의 나이는 24~32세(평균 26.8세, 표준편차 2.85), 근속연수는 0.5~3년(평균 2.13년, 표준편차 1.09)이다. 총 비행시간은 40~ 87시간(평균 55.5시간, 표준편차 20.5), KUH-1 비행시간은 15~57시간(평균 28시간, 표준편차 18.03)이며, 성별은 남성 7명, 여성 1명이다.

3.2.2 Apparatus

한국항공우주산업(KAI)에서 제작한 육군항공학교 수리온 훈련센터의 KUH-1 모의비행 훈련장치(시뮬레이터)가 실험에 사용되었다. 이 장비는 국토교통부에서 3등급 회전익 항공기 모의비행장치로 지정한 장비로써 실제 KUH-1 항공기를 높은 수준으로 복제한 기기이다. 실험 간 조종사의 안구 데이터는 Pupil labs의 Pupil core eye tracker로 측정하였다.

3.2.3 Task

비행 중 조종사는 다중작업을 수행해야 하며(Wickens and Dehais, 2019), 다중작업 상황에서 complacency가 발생하기 때문에(Parasuraman et al., 1993) 과제는 비행과제와 2차 과제를 부여하였다.

1차 과제는 비행이다. 비행은 항공기 조종, 항법, 시스템 감시를 모두 포함한다. 실험은 비행장 활주로에 착륙상태에서 시작하여, Figure 1과 같이 비행장 상공의 지정된 경로인 장주비행 경로를 따라 정해진 속도, 고도를 맞추어 2회 비행하였다. 항로를 유지하고 속도, 고도를 맞추기 위해서는 조종사가 수동으로 조종간을 제어하거나, 자동비행 조종시스템을 활용하여 조종을 대신하게 할 수 있다. 첫 번째 비행에서는 이륙부터 활주로 착륙까지 수행하도록 하였고, 두 번째 비행에서는 베이스 레그(Base leg)에서 자동비행 조종시스템 고장 상황을 부여하였다. 고장 발생 시 계기 패널에 주의등이 점등되고 청각적으로 주의 알림이 발생하며, 조종사는 수동 조작으로 전환하여 항공기를 직접 조종하였다.

2차 과제는 비행 정보 간행물에서 정보를 탐색하여 해결하는 과제이다. 문제는 '00 비행장의 활주로 길이와 폭은 무엇인가?', '00 비행장의 FM 주파수는 무엇인가?'와 같이 육군 비행 정보 간행물에서 찾아서 해결할 수 있는 단순한 문제로 구성하였다. 이를 위해 육군 비행 정보 간행물, 질문지, 펜이 제공되었다. 자동비행 조종시스템이 조종을 대신하고 있을 때, 조종사는 2차 과제를 수행하였다. 비행 방식의 전환 및 과제 간 전환은 조종사가 자율적으로 판단하였다.

Figure 1. Traffic pattern and experiment design

Modify Delete

3.2.4 Procedure

조종사는 실험 전 실험동의서에 서명하고, 인구통계학적 설문지를 작성하였다. 이후 실험 진행에 관해 소개를 받고 조종석에 탑승하여 eye tracker를 보정했다. 조종사는 우측 조종석에 1명씩 탑승하였다. 자동비행 조종시스템 경험이 없는 학생조종사는 사용방법 설명을 듣고 약 5분의 장비 작동 연습시간을 부여하였다. 조종사들은 장주비행을 2회 수행하고, 비행 종료 후 자동화 신뢰 설문지를 작성하였다. 개인당 총 30분의 시간이 소요되었다.

3.2.5 Measurements

Trust in automation

자동화 신뢰를 측정하기 위해 Körber (2018)의 자동화 신뢰 설문지를 토대로 설문지를 구성하였으며, 항공 분야 특성을 고려하여 항공기의 자동 지면 충돌방지체계(Automatic Ground Collision Avoidance System)에 대한 신뢰를 연구한 Lyons et al. (2016)의 설문 항목을 참고하여 설문지 세부내용을 일부 수정하였다. 설문지는 Appendix 1에 첨부하였다.

전체 설문지는 일반적인 자동화 시스템에 대한 신뢰 경향 3항목, 친숙성 2항목, 이해 및 예측 가능성 3항목, 신뢰성 및 능력 6항목, 도입 목적에 대한 이해 2항목으로 총 16개 항목으로 구성하였다. 설문지는 5점 리커트 척도를 활용하였고, 모든 결과를 합한 신뢰 점수가 자동화 신뢰변수가 되었다.

Monitoring behavior

2차 과제에 대한 시각적 주의를 측정하여 비행과제를 얼마나 모니터링 하지 않는지를 정량화 하였다. 모의비행 훈련장치와 시스템 사용 경험이 부족한 학생조종사와 능숙한 교관조종사 간의 교란 요인(confounding factor)을 최대한 제거하기 위해 안구 추적 자료는 다운윈드 레그(downwind leg)의 순항비행 구간에서만 추출하였다.

모니터링 행동을 정량화 하기 위해 두 개의 매개변수를 활용하였다. 먼저, 2차 과제에 대한 총 체류 시간의 비율(Proportion of total dwell time)은 2차 과제에 체류한 시간을 모두 합하고, 피실험자 별 실험 시간이 차이로 인해 전체 실험 시간으로 나누어 정규화 한 값이다(Holmqvist et al., 2011). 다음으로 2차 과제 평균 체류 시간(Average dwell time)은 한번 2차 과제를 수행할 때 평균적으로 체류하는 시간을 의미하며, 총 체류 시간을 체류 횟수로 나누어 계산하였다(Zeeb et al., 2015; Brams et al., 2020). 이때, 체류(dwell)는 관심 구역에 진입부터 이탈까지 한 번의 방문으로 정의된다(Holmqvist et al., 2011).

Flight performance

비행 수행도는 두 가지로 측정하였다. 먼저, 자동비행 조종시스템을 활용하여 비행 시 항로이탈여부를 통해 기본비행 수행도를 판단하였다. 항로이탈은 장주비행 패턴을 정확히 지키지 못한 것이 아니라, 완전히 벗어나서 현재 위치를 인지하지 못한 경우에만 이탈로 간주되었다.

다음으로, 자동비행 조종시스템 고장 발생 시 조치시간으로 측정하였다. 자동비행 조종시스템 고장 상황은 속도를 감속하고 고도를 강하하는 베이스 레그에서 상황을 부여하였다. 시스템이 꺼지면 항공기를 통제하기 위한 수동 조작이 필요하다. 결과는 조종사가 의도하지 않은 속도, 고도, 방향, 자세의 변동없이 항공기가 안전하게 통제되기까지 회복하는 소요시간으로 측정하였다.

3.2.6 Data analysis

첫 번째 가설을 확인하기 위해 자동화 신뢰를 독립변수로, 모니터링 행동인 2차 과제에 대한 총 체류 시간의 비율과 평균 체류 시간을 종속변수로 하여 선형회귀분석을 수행하였다. 그리고 결과에 대한 사후 분석을 위해 일변량 일반선형모형(GLM)을 활용하여 조종사 자격과 신뢰의 상호작용 효과를 확인하고, 다음으로 표본을 교관조종사와 학생조종사로 나누어 자동화 신뢰를 독립변수로, 모니터링 행동을 종속변수로 하여 선형회귀분석을 수행하였다.

두 번째 가설을 확인하기 위해 두 가지의 비행 수행도를 나누어 분석하였다. 먼저 항로이탈여부를 집단변수로 t-test를 수행하여 항로를 이탈한 조종사와 항로를 유지한 조종사의 2차 과제에 대한 총 체류 시간의 비율과 평균 체류 시간의 평균 비교를 수행하였다. 추가로 자격이 비행 수행도에 영향이 있을 수 있기 때문에, 조종사의 자격과 항로이탈여부의 관련성을 확인하기 위해 교차분석, 즉 카이제곱 검정을 수행하였다. 그리고 2차 과제에 대한 총 체류 시간의 비율과 평균 체류 시간을 독립변수로 자동비행 조종시스템 고장 발생 시 조치시간을 종속변수로 하여 선형회귀분석을 수행하였으며, 고장 발생 시 조치시간에는 전문성의 영향이 있을 수 있기에 조종사의 KUH-1 비행시간을 독립변수로 추가하여 다중회귀분석을 진행하였다.

이때, 자동비행 조종시스템 사용을 하지 못하여 비행 중 2차 과제를 수행하지 못한 학생조종사 1명의 표본은 모니터링 행동 분석에서 제외하였으며, 자동비행 조종시스템 고장 발생 시 조치시간 분석을 위해 시뮬레이터 자체 고장이라고 판단하여 조치하지 않은 교관조종사 2명과 항공기 조종에 실패하여 항공기를 추락시킨 학생조종사 2명은 표본에서 제외하였다.

16개의 항목으로 구성된 자동비행 조종시스템에 대한 자동화 설문지의 크론바흐 알파 계수 값이 0.862로 설문지 문항의 신뢰성이 충분히 높았으며, 설문지의 문항이 자동화 신뢰를 일관성 있게 측정하고 있다고 평가할 수 있다. 조종사 자격을 교관과 학생으로 구분하여 신뢰를 확인하기 위해 t-test를 수행하였다. Figure 2와 같이 t(17) = 3.697, p-value = 0.002로 교관조종사와 학생조종사의 신뢰는 유의미한 차이가 있었다.

Figure 2. Trust in automation based on expertise (IP: Instructor pilot, SP: Student pilot)

Modify Delete

첫 번째 가설을 확인하기 위해 자동화 신뢰를 독립변수로, 두 가지의 모니터링 행동을 종속변수로 선형회귀분석을 수행하였다. 비행 중 2차 과제를 수행하지 못한 학생조종사 1명의 표본은 모니터링 행동 분석에서 제외하고 교관조종사 11명, 학생조종사 7명의 표본을 분석 자료로 활용하였다. 그 결과 2차 과제에 대한 총 체류 시간의 비율에 대해 F(1, 16) = 2.011, p-value = 0.175, 2차 과제 평균 체류 시간에 대해 F(1, 16) = 1.512, p-value = 0.237로 신뢰가 모니터링 행동에 유의미한 영향을 미치지 못했다.

첫 번째 가설에 대한 사후 분석을 위해 일반선형모형(GLM)을 통해 모니터링에 대한 신뢰와 자격의 상호작용 효과를 확인하였다. Figure 3과 같이 2차 과제에 대한 총 체류 시간의 비율에 대하여 자격과 신뢰는 F(1, 14) = 8.514, p-value = 0.011로 상호작용 효과가 있었으며, 2차 과제 평균 체류 시간에 대하여 자격과 신뢰는 F(1, 14) = 13.635, p-value = 0.002로 상호작용 효과가 있음을 알 수 있었다.

Figure 3. Interaction plots between trust in automation and monitoring behavior

Modify Delete

신뢰와 자격이 상호작용 효과가 있기 때문에, 교관과 학생의 표본을 나누어 추가로 분석을 수행하였다. 교관조종사의 신뢰는 2차 과제에 대한 총 체류 시간의 비율에 대해 선형회귀분석결과 F(1, 9) = 14.971, p-value = 0.004, β = 1.162, R-squared = 0.625로 유의미한 영향을 미쳤으나, 2차 과제 평균 체류 시간에 대해서는 F(1, 9) = 0.061, p-value = 0.811로 유의미하지 않았다. 반대로, 학생조종사의 신뢰는 총 체류 시간의 비율에 대해 F(1, 5) = 0.083, p-value = 0.785로 유의미한 영향이 없었으나, 평균 체류 시간에 대해서는 F(1, 5) = 34.239, p-value = 0.002, β = 1.502, R-squared = 0.873로 유의미했다.

두 번째 가설을 증명하기 위해 먼저 항로이탈여부를 확인하였다. 최초 2차 과제를 수행하지 못한 학생조종사 1명을 제외하고 항로를 이탈한 조종사는 6명, 항로를 유지한 조종사는 12명이었다. 항로를 이탈한 조종사와 유지한 조종사의 모니터링 행동을 비교하기 위해 t-test를 수행하였다. Figure 4와 같이, 2차 과제 평균 체류 시간에서 t(16) = -2.250, p-value = 0.039로 유의미한 차이를 보였다. 항로를 이탈한 조종사는 평균적으로 한번 2차 과제를 수행할 때 평균 27.87초 체류한 반면, 항로를 유지한 조종사는 평균 17.29초 체류하였다. 반면, 2차 과제에 대한 총 체류 시간의 비율에서는 t(16) = 1.492, p-value = 0.155로 항로이탈여부에 따른 유의미한 평균의 차이는 보이지 않았다.

Figure 4. The boxplots of average dwell time between on course and off course

Modify Delete

추가로 비행 수행도에는 조종사의 전문성과 경험이 반영될 수 있기 때문에, 조종사의 자격과 항로이탈여부에 대해 교차분석을 수행하였다. Table 1과 같이 교관조종사의 18.2%(11명 중 2명)와 학생조종사의 42.9%(7명 중 3명)는 장주비행 중 항로를 이탈하였으며, 카이제곱 검정 결과 p-value = 0.087로 조종사 자격과 항로이탈여부는 관계가 없었다.

다음으로 자동비행 조종시스템 고장 발생 시 조치시간에 대한 모니터링 행동의 영향을 확인하기 위해 모니터링 행동을 독립변수로, 조치시간을 종속변수로 하여 선형회귀분석을 실시하였다. 자동비행 조종시스템 고장 상황 부여 시 시뮬레이터 자체 고장이라고 판단하여 조치하지 않은 교관조종사 2명과 항공기 조종에 실패하여 항공기를 추락시킨 학생조종사 2명은 표본에서 제외하여 교관조종사 9명, 학생조종사 5명의 표본을 분석 자료로 활용하였다. 그 결과는 Figure 5와 같이 2차 과제에 대한 총 체류 시간의 비율은 시스템 고장 발생 시 조치시간에 대해 F(1, 12) = 4.024, p-value = 0.068, β = 0.771로 대체로 유의미한 영향이 있었다. 반면, 2차 과제 평균 체류 시간은 시스템 고장 발생 시 조치시간에 대해 F(1, 12) = 0.136, p-value = 0.719로 유의미한 영향을 미치지 않았다.

Figure 5. The scatter plot of proportion of total dwell time and action time in AFCS failure

Modify Delete

마지막으로, 자동비행 조종시스템 고장 발생 시 조치시간에 대해 이전 결과에서 대체로 유의미한 영향을 미쳤던 2차 과제에 대한 총 체류 시간의 비율과 조종사의 KUH-1 비행시간을 포함하여 다중회귀분석을 수행하였다. Table 2와 같이 두 변수를 포함한 모델은 p-value = 0.012, R-squared = 0.552로 종속변수에 대해 유의미한 예측을 하고 있으며, 2차 과제에 대한 총 체류 시간의 비율은 β = 0.861, p-value = 0.019, KUH-1 비행시간은 β = -0.005, p-value = 0.020으로 시스템 고장 발생 시 조치시간에 유의미한 영향을 미치는 것을 확인할 수 있었다. 이때, 독립변수의 VIF는 1.011로 두 변수 간 다중공선성은 없었다.

본 연구는 complacency가 인간과 자동화 시스템의 상호작용에서 중요한 문제가 될 수 있다는 증거를 제공한다. 다중작업 상황에서 자동비행 조종시스템으로 비행 시 전체 조종사의 31.6%가 항로를 이탈하였고, 두 명의 학생조종사는 활주로 착륙에 실패했으며, 시스템 고장 발생 시 두 명의 학생조종사는 추락, 한 교관조종사는 항공기 안정성을 회복하는데 30초의 시간이 소요되었다. 이 결과만으로도 항공기 자동화 시스템 사용 시 유발될 수 있는 문제에 대해 경각심을 가져야 하는 중대한 상황임을 알 수 있었다.

교관조종사는 학생조종사보다 자동비행 조종시스템에 대한 신뢰가 유의미하게 더 컸다. 특히, 자동화 신뢰 설문에서 시스템 도입 목적에 대한 이해와 신뢰성 및 능력 항목에서 교관조종사와 학생조종사의 유의미한 차이가 있었다(도입 목적에 대한 이해 t(17) = 3.047, p-value =0.007, 신뢰성 및 능력 t(17) = 4.109, p-value = 0.001). 교관조종사가 학생조종사보다 자동비행 조종시스템의 도입 목적에 대해 더 잘 이해하고 있으며, 시스템과의 많은 긍정적인 상호작용 경험을 통해 자동비행 조종시스템의 신뢰성을 높게 인식하고 있다는 것이다. 이 결과는 자동화 시스템에 대한 경험과 전문지식이 자동화 신뢰를 증가시킨다는 연구 결과를 뒷받침한다(Lee and Moray, 1994; Hoff and Bashir, 2015).

자동비행 조종시스템에 대한 신뢰는 비행관련 관심 구역의 모니터링 시간에 유의미한 영향을 미치지 못할 것이라는 첫 번째 가설이 검증되었다. 그 이유는 2차 과제에 대한 총 체류 시간의 비율과 평균 체류 시간에 대한 자격과 신뢰의 상호작용 효과의 발생으로 알 수 있듯이, 조종사의 전문성과 경험이 조종사의 신뢰에 영향을 미쳤기 때문이다. 또한, 교관조종사는 신뢰가 클수록 2차 과제에 대한 총 체류 시간의 비율이 증가하였고, 학생조종사는 신뢰가 클수록 2차 과제 평균 체류 시간이 증가하는 결과를 보여 전문성에 따라 신뢰가 다른 모니터링 행동을 유도한다는 것을 알 수 있었다.

대부분의 학생조종사는 자동비행 조종시스템을 아직 잘 다루지 못하기 때문에, 시스템에 대해 높은 신뢰가 형성되었다고 해도 시스템을 다루는 데 오랜 시간이 소요될 수 있다. 따라서 시스템을 다루는 개개인의 능력이 반영되어 신뢰가 2차 과제에 대한 총 체류 시간의 비율에는 유의미한 영향을 미치지 못한 것으로 판단할 수 있다. 하지만 한번 시스템을 설정해 놓은 이후 신뢰가 높은 학생조종사는 2차 과제를 한 번에 더 오래 집중하여 수행하는 모습을 보였기 때문에 높은 신뢰가 모니터링 빈도를 감소시킨다는 Muir and Moray (1996)의 연구를 뒷받침하였다.

반면, 교관조종사는 신뢰가 클수록 2차 과제를 더 많이 수행하여 높은 신뢰가 비행관련 관심 구역의 모니터링 시간을 감소시켰다는 것을 알 수 있었다. 하지만 교관조종사는 신뢰가 높다고 할지라도 비행 중 2차 과제에 평균적으로 한 번에 더 오래 집중하지는 않았다. 교관조종사는 학생조종사보다 대체로 비행과제와 2차 과제 간 더 많은 시선의 전환을 하였기 때문이다(교관과 학생의 관심 구역 전환율 평균 비교 t(16) = 1.782, p-value = 0.094). 이 결과는 전문가가 자율주행 차량에 대한 신뢰가 더 컸음에도 계기판과 도로에 대한 모니터링 빈도는 더 많았고(Jin et al., 2020), 비행시간이 더 많은 조종사가 외부와 지도 간 시선의 전환이 더 많았다는 연구(Sullivan et al., 2011)와 같이 모니터링 행동에 전문성과 경험이 영향을 미쳤다는 것을 의미한다. 비행상태 모니터링과 같은 안전에 중요한 과제를 희생하여 다른 과제를 수행할 때, 과제 간 충분한 빈도로 시선을 전환하는 것은 인지터널링을 피하고 상황인식을 유지할 수 있는 방법이다(Wickens and Dehais, 2019). 교관조종사는 시스템에 대한 더 높은 신뢰에도 불구하고 2차 과제에 고착되지 않고 충분한 시선의 전환을 하며 비행에 대한 상황인식을 유지하고자 하였다는 점에서 교관조종사가 학생조종사보다 시각 전략의 유연성이 더 뛰어났다는 Bellenkes et al. (1997)의 연구 결과를 확인할 수 있었다.

첫 번째 가설 검정에서 조종사의 자격에 따라 표본을 나누어 분석하였을 때, 자동비행 조종시스템에 대한 신뢰가 클수록 비행관련 관심 구역의 모니터링 시간을 감소시키는 결과를 통해, 높은 신뢰가 complacency를 유도한다는 것을 알 수 있었다(Bailey and Scerbo, 2007). 하지만 전문성에 따라 신뢰는 다른 모니터링 행동을 발생시켰다. 따라서, 전문영역에서 실제 사용자를 대상으로 자동화 신뢰와 complacency에 대한 정확한 연구를 위해서는 다양한 경력의 표본을 대상으로 실험을 수행하고 전문성의 영향을 확인해야 할 것이다.

항로를 이탈한 조종사들은 2차 과제에 한 번에 더 오래 체류하였고, 2차 과제를 더 많은 비율로 수행한 조종사는 자동비행 조종시스템 고장 발생 시 항공기 안정성을 회복하는 데 더 오랜 시간이 소요되었다. 따라서, 비행관련 모니터링 시간이 짧을수록 낮은 비행 수행도를 보일 것이라는 두 번째 가설이 검증되었다. 이 결과는 모니터링 행동이 complacency를 추론할 수 있는 유의미한 변수라는 증거를 제공한다. 자동항법장치를 사용한 조종사보다 수동 조종을 하는 조종사가 역학 변화를 더 잘 감지하고, 시스템 이상 발생 시 빠르게 회복하였다는 연구와(Wickens et al., 2013; Merat et al., 2019), 자율주행 차량 관련 연구에서 도로를 적게 관찰하고, 2차 과제에 대한 체류 시간의 비율이 높은 운전자가 갑작스러운 차량 수동 인수가 필요한 상황에서 더 느리고 부정확하게 반응한다는 연구를 뒷받침했다(Zeeb et al., 2015).

이때, 항로이탈여부에서 2차 과제 평균 체류 시간은 차이가 있으나, 2차 과제에 대한 총 체류 시간의 비율의 차이는 나타나지 않았다. 2차 과제를 한 번에 오래 수행한 조종사들은 비행과제와 2차 과제를 충분히 전환하지 않아 항로이탈 상태를 식별하지 못한 것이고, 비행 중 2차 과제를 많이 수행하였을 지라도 비행과제와의 충분한 전환을 수행한 조종사는 항로를 유지할 수 있었기 때문이다. 그리고, 항로이탈여부가 조종사 자격과 관련이 없다는 결과에 따라 조종사의 전문지식이나 경험과는 관계없이 발생할 수 있다는 것을 알 수 있었다.

또한, 2차 과제를 한 번에 더 오래 수행하는 운전자가 수동 운전 인수 시 낮은 수행도를 보였다는 Zeeb et al. (2015)의 연구와 달리 현 연구에서는 2차 과제 평균 체류 시간이 자동비행 조종시스템 고장 발생 시 조치시간에는 영향을 미치지 못했다. 그 이유는 안구 추적 자료가 다운윈드 레그에서 추출되고 자동비행 조종시스템 고장은 베이스 레그에서 발생하였기 때문에, 다운윈드 레그에서 2차 과제 평균 체류 시간을 더 오래 수행한 조종사들이 베이스 레그로 선회할 때, 충분히 상황인식을 회복하였을 수 있기 때문이다. 예를 들면, 2차 과제 평균 체류 시간이 27초인 한 학생조종사는 베이스 레그로 선회하기 위해 65초 동안 비행과제에만 집중하였고, 자동비행 조종시스템 고장 발생 시 11초 만에 조치를 완료할 수 있었다. 반면, 2차 과제 평균 체류 시간이 12.8초인 한 교관조종사는 베이스 레그로 선회할 때 지속적으로 2차 과제를 동시에 수행하며 비행과제에 체류한 최대 시간은 6초에 불과하였고, 고장 발생 시 조치시간은 30초가 소요되었다. 따라서, 자동비행 조종시스템을 활용한 장거리 비행 환경에서 평균 체류 시간이 자동비행 조종시스템 고장 발생 시 조치시간에 영향을 미치는지 여부에 대해서는 추가적인 연구가 필요하다.

마지막으로 자동비행 조종시스템 고장 발생 조치시간에는 2차 과제에 대한 총 체류 시간의 비율과 함께 조종사의 KUH-1 항공기 비행시간이 유의미한 영향을 미쳤다. 비행과제에 더 집중하고 비행 경험이 많을수록 자동 모드에서 수동 제어로 전환되었을 때 더 빠르고 정확하게 항공기를 통제할 수 있었다는 것이다. 전문지식과 경험이 더 많은 전문가는 초보자보다 자동화 모드에서 수동 모드로 전환할 때 더 빠르게 상황인식을 회복한다는 연구 결과와 일치한다(Wright et al., 2016). 실험 결과에 의하면, 2차 과제에 대한 총 체류 시간 비율의 10% 감소는 시스템 고장 발생 시 조치시간을 8.6초 줄일 수 있고, 1,000시간의 비행 경험이 5초의 시간을 줄일 수 있다는 것을 의미한다. 주의력 할당과 비행 경력 모두 중요한 요인이지만, 비행 중 계기와 외부 환경에 대한 모니터링이 수동 제어 회복 시간에 더 결정적인 영향을 미친다는 것이다. 따라서, 전문지식과 경험이 부족한 조종사일수록 비행과제에 더 많은 주의력 분포가 필요하지만, 경력이 많은 조종사라도 모니터링을 제대로 하지 않는 경우 수행도 저하가 발생할 수 있다.

조종사의 주요 작업은 조종, 항법, 통신, 시스템 관리로 계층적이며, 작업이 충돌할 때 우선순위를 준수해야 한다(Wickens and Dehais, 2019). 하지만, 두 번째 가설 검정을 통해 확인한 바와 같이 비행관련 모니터링을 적게 하여 낮은 비행 수행도를 보였다는 것은 항공기 조종을 최우선순위에 두지 않은 우선성 역전(priority reversal) 현상이 발생한 것으로 볼 수 있다(Wickens et al., 2013).

교관조종사는 자동비행 조종시스템에 대한 더 높은 신뢰에도 불구하고 2차 과제에 고착되지 않고 충분한 시선의 전환을 하며 비행에 대한 상황인식을 유지하고자 하였다. 그럼에도 불구하고 항로이탈은 조종사 자격과 관련이 없었고 이때, 교관조종사 2명은 자동비행 조종시스템을 활용한 장주비행 중 항로를 이탈했다. 또한, 일부 교관조종사는 학생조종사보다 항공기 안정성 회복 시간에 더 오랜 시간이 필요했다. 이 결과는 complacency에 따른 수행도 저하는 전문성에 관계없이 누구에게나 발생할 수 있다는 것을 다시 한번 상기시켜 주었다(Singh et al., 1998; Parasuraman and Manzey, 2010).

현 연구는 실제 2명의 조종사가 비행하는 것과는 달리 조종석에 1명의 조종사만 앉아서 비행하도록 하였기 때문에, 자동비행 조종시스템 활용 시 낮은 비행 수행도 결과가 극대화되었다. 차후 2명의 조종사를 대상으로 한 시선 행동과 조종사 간, 조종사와 자동화 시스템 간의 신뢰와 수행도를 통합 분석한다면 더욱 정확한 연구가 될 수 있을 것이다. 그리고 자동화 사용으로 인한 문제는 complacency 뿐만 아니라, 자동화 시스템이 인간의 과제를 대신하면서 낮아진 작업 부하로 인해 수행도 저하를 유발할 수 있는 지루함이나 공상(mind-wandering)도 있다(Brown, 2016; Gouraud et al., 2017). 자동비행 조종시스템 사용에 따라 발생할 수 있는 문제에 대처하기 위해서는 이 주제에 관한 추가 연구도 필요하다.

본 연구를 통해 자동비행 조종시스템을 안전하고 효과적으로 운용하기 위해서는 수동비행 기술과 전문지식을 갖추고, 시스템에 대한 적절한 신뢰를 형성하도록 해야 하며, 시선 행동 측면에서는 가장 높은 우선순위 과제인 항공기 조종에 가장 많은 주의를 기울이고, 다른 과제를 동시에 수행해야 할 때는 충분한 시선의 전환을 통해 상황인식을 유지하도록 해야 한다는 것을 알 수 있었다.

위 연구 결과를 반영하여 complacency를 예방하고 대응하기 위해 수행해야 할 조치를 아래와 같이 도출하였다. 먼저, 항공기 자동화 시스템 활용 시 조종사가 경험할 수 있는 탐지능력의 저하, 상황인식 상실, 수동비행 기술의 상실과 같은 외부 루프 비친숙성 신드롬(Bahner et al., 2008; Wickens et al., 2013)과 자동화 시스템에 대한 과도한 의존으로 발생한 사고 사례에 대한 주기적인 안전교육이 필요하다. 둘째, 자동화 실패의 경험으로 신뢰를 적절하게 보정할 수 있으므로(Bahner et al., 2008), 자동화 시스템 고장 상황에 따라 발생할 수 있는 다양한 시나리오의 훈련을 수행하고, 우발 상황에서 대처할 수 있는 수행능력을 갖추어야 한다. 마지막으로, 민간 항공사의 비행 운영 교범의 기내 자동화 시스템 사용에 대한 지침을 참조하여 회전익 및 군 특성에 맞는 기내 자동화 시스템 운용 지침을 만들고 적용할 필요가 있다.

현 연구는 앞으로 도입될 육군항공 회전익 항공기의 자동화 시스템과 조종사와의 상호작용을 연구하기 위한 초기 연구로써 활용될 수 있을 것이다. 자동비행 조종시스템을 활용하여 실제 조종사들의 Automation induced complacency에 대한 실증적 연구를 수행함으로써 조종석 자동화 시스템을 안전하게 운용하기 위한 기초 연구가 되었다는 의의가 있다.