3차원 공간에서 비행하기 위해 요구되는 조종사의 기술은 항공기가 공중에 떠 있게 하는 것(Stability Control)과 항로를 순항(Navigation)하게 하는 것 등을 의미하며, 이런 기술의 발휘를 일반적으로 조종사 수행도(Performance)라 하지만, 조종사의 수행도에 영향을 미치는 비행 환경요소가 상당히 많기 때문에 수행도를 정의하는 것은 사실 쉽지 않다(David, 1984). 예를 들어 개인의 성격 · 성향, 연령, 신체적성, 식생활 습관 등 조종사 내적요인과 고 · 저기압, High-G, 저 산소, 고 · 저온 등 외적 환경요인, 그리고 시스템과의 상호관계에 따라서 조종사 수행도는 다르게 나타난다. 또한 정서적 스트레스와 음주, 흡연, 질병과 약물 등과 같은 요인들에 의해서도 조종사 수행도가 현저하게 떨어지며, 이러한 현상은 사고와 연관된다. 그렇기 때문에, 조종사가 비행 중에 취하는 행동과 역할에 대한 기술적 정의는 반드시 필요한데, 이는 조종사 수행도의 결정과 수행도를 극대화 하려는 것이 항공안전을 위한 노력의 핵심이기 때문이다. 현재까지 정의된 조종사 수행도는 단순히 비행기술만을 지칭하지 않고 비행기술과 커뮤니케이션, 의사결정 및 리더십과 관련된 비기술적 요소 모두를 의미한다(Wise et al., 2010).

현존하는 모든 시스템에는 인간이 수행해야 할 감각 입력처리, 판단과 의사결정과 같은 정보처리, 그리고 출력처리와 같은 기능적 기술들이 있다. 이때 인간의 수행도가 시스템 상에서 미리 정의된 허용한계를 벗어나게 되거나 인간과 시스템간의 상호작용의 부조화가 나타나면 인적오류(Human Error)로 정의하게 된다(Park, 1987). 인적오류의 주된 원인 중 하나로 고유한 인간의 변화성(Variability)을 들 수 있다. 변화성은 수행도 측면에서 어떤 일을 할 때 항상 같은 방법으로 반복하지 않는 특성을 의미하며, 이때 순수한 변화성은 수행도의 우발적인 기복을 초래하여 시스템에서 오류를 일으킨다. 이러한 현상은 학습(learning)에 의해서 계속해서 수행도를 향상시키고 시스템에 적응(Adaption)되는 것이다(Hollnagel, 2012). 실제적으로 항공사고 대부분은(3건 중 2건 이상) 조종사 인적오류에 의한 것으로 나타난다(Kim, 2011). 이와 같은 사실에 의하면 항공시스템에서 시스템과 인적요인(Human Factors)간과 인적요인간의 상호 부작용을 제거함으로써 인적오류를 예방하는 대응방법으로 비행안전 향상을 달성 할 수 있다(ICAO, Doc 9859, 2013). 그렇기 때문에 조종사 수행도 측면에서 인적오류에 대응하는 항공안전프로그램 현황에 대한 고찰이 필요하다. 따라서, 본 논문에서는 조종사의 수행도와 측정기술을 항공안전 측면에서 최근 항공분야에서 개발 적용된 사례를 통해 논하고자 한다.

조종사 수행도를 측정하는 목적은 조종사의 지식, 기술, 의사결정 등을 분석하고 해당 기종에서의 적합성을 분석하여 안전하게 비행하는 것이다. 과거 항공분야 초기단계(항공기가 개발된 직후)에서는 조종사의 수행도를 간단하고 직접적으로 판단하여, 잘 날아다니고 비행임무에서 살아남은 사람들이 적절한 조종사로 여겨졌다. 즉, 수행도는 잘 날아다니는 능력으로 결정하였다. 그러나, 항공시스템이 발전되고 복잡해지면서, 조종사 수행도를 정의하거나 평가하는 방법 및 과정이 상당히 어려워지고 있다. 한 예로 조종사의 의사결정과 같은 내부의 복잡한 프로세스에 의해 생성되는 행동은 명확하게 관찰하거나 분석하기가 어렵다. 그러한 제한이 있기 때문에 현재까지는 항공기 사고 및 사례조사 보고서 분석을 통한 방법이 조종사 수행도의 절차적 정보를 분석하고 교정 대책을 정의하기 위한 제한된 도구로서 활용된다. 현재까지는, 이러한 사전정보를 바탕으로 보편적으로 정의되는 조종사 수행도와 그것의 측정은 기술능력의 주관적 평가(Subjective evaluation of technical skills), 기술능력의 객관적 평가(Objective Evaluation of technical skills), 그리고 비기술능력의 평가(Evaluation of Nontechnical skills)에 의한 것으로 정의할 수 있다(John et al., 2010).

2.1 Subjective evaluation of technical skills

조종사 기술능력의 측정은 주로 비행교관에 의한 주관적 평가에 의한 것이다. 'Up-check'이라는 주관적 평가방법은 제2차 세계대전의 군용항공기 훈련프로그램으로 사용되었던 방법으로서, 발전을 거듭하여 현재까지 적용되고 있다. 대표적으로 군과 운송용 사업항공기를 제외한 일반항공(General Aviation)분야 조종면허의 경우, FAA에서 인증된 시험관(교관)의 주관적 판단에 의해서 면허를 획득하게 된다. 주관적인 평가방법의 구현이 상대적으로 용이하지만, 이 접근법은 평가자인 교관의 숙련도와 기술에 의존하므로 신뢰도 문제에 있어서 취약하다. 그런 단점을 보완하기 위한 방법으로 만들어진 표준 체크리스트는 조종사 수행도를 측정하는 아주 유효하게 사용되는 도구이다(Rantanen and Talleur, 2001). 최근 항공안전분야에서 활발하게 사용되고 있는 주관적 평가법은 일종의 관찰법으로서 ICAO (International Civil Aviation Organization)의 추천 하에 Texas 대학에서 개발된 LOSA (Line Operation Safety Audit)로서, LOSA는 조종사 수행도를 측정하여 사전예방적으로 안전 관리하는 도구이다(ICAO, Doc 9803, 2002; Klinect, 2002). 현재 LOSA 프로그램은 미 공군을 포함하여 80여개의 항공사 및 항공기관이 실시하고 있으며, ICAO와 IATA (International Air Transport Association)는 사고예방과 비행안전을 위해 LOSA 프로그램을 각 국의 민간 항공분야에 이행토록 권고하고 있다(IATA, 2017). LOSA는 정상비행(Normal Flight/Operation)에서 인적오류를 분석하는 비행안전 프로그램이다. LOSA 프로그램 진행은 정상비행 중 LOSA 훈련을 이수한 숙련된 교관급 관찰자(Observer)가 조종사들의 비행임무를 최대한 방해하지 않는 범위 내에서 조용하게 관찰하고 이에 대한 자료를 수집하게 된다. 또한 LOSA는 조종사의 자발적 참여와 회사와 노조단체의 공동 보증에 의해 이행되며, 수집 분석된 자료는 익명성과 비밀을 보장한다. 그리고 안전과 관련된 자료만을 활용, 조종사 수행도 측면에서 안전상의 강 · 약점을 분석하여 안전증진 활동으로 환류(Feedback)하게 된다.

2.2 Objective evaluation of technical skills

조종사 기술능력의 객관적인 평가는 항공기 시뮬레이터 개발로부터 시작되었다. 항공기 시뮬레이터는 조종사 교육훈련 효과를 증대시켰을 뿐 아니라, 조종사 수행도를 수치적인 수준으로 측정 가능하게 하였다. Johnson and Rantanen (2005)는 조종사 수행도와 관련된 19개 비행 파라메타(Parameter)와 17개 수학적 수치적 매트릭스(Matrix)를 발견해 내었다(Table 1). 이런 평가방법은 Air speed, Angle of attack, Roll angel, Altitude, and G-load 등의 비행과 관련된 기술능력 변수를 확률로 평가하는 통계적 방법론이 기반되어 조종사 수행도를 다양한 비행 파라메타로 적용하고(Hitchcock and Morway, 1968), 비행 시나리오 난이도에 대한 민감도를 평가하기 위한 연구로 확장되었다(Bortolussi and Vidulich, 1991). 현재, 조종사 모의비행 평가 시에 활용되는 평가요소를 비행단계별로 구분하여 보자면, 이륙상승 단계에서는 배압(Back Pressure) 속도, 이륙상승 정도(Take-off Climb Pitch), 속도 · 방향 유지, 수평비행(Level off) 고도, 플랩상승(Flap up)고도 등이며, 운항 단계에서는 기재취급에 관한 부분이며, 접근 및 착륙 단계에서는 활주로 접근 Heading과 축선 유지에 대한 내용이다. 실제 평가요소는 Time, Altitude, Heading, Speed, Position (X, Y), Pitch, Roll, Range, Bearing, Flap, Landing Gear의 지면도착(Ground Contact)의 상태 값 등이 된다.

FOQA (Flight Operation Quality Assurance) 프로그램은 실제 운항 환경에서 조종사 및 비행 상태를 모니터링하여 분석 및 평가하는 도구로써 비행안전을 위한 객관적 평가도구이다. FAA (Federal Aviation Administration)와 CAA (Civil Aviation Authority) 등 국제적 항공기구는 FOQA 프로그램을 조종사 인적오류 중 기술관련(Skill-based) 오류를 줄일 수 있는 좋은 도구로 인식하고 있다(FAA, AC 120-82, 2004; CAA, CAP 739, 2003). FOQA 데이터는 사고 · 사례 분석결과 데이터 정보(Reactive)와는 달리 평상시 조종사의 잠재되어 있는 위험요소와 오류에 대한 예방 가능한(Proactive/Predictive) 정보이기 때문에 상당히 안전개선 효과가 높다. ICAO의 경우 관련 규정을 정하고 있으며(ICAO, Annex 6), FAA의 경우에도 규정으로 관련 프로그램을 정하고 있어(FAA, FAR part 13), 대부분의 항공조직은 FOQA를 운영하고 있다. FAA의 경우 FOQA 이벤트(Event)를 표준화하여 채택하고 있으며(Table 2), 안전조직은 표준 이벤트 중 적용조직의 특성에 맞추어서 이벤트를 개발하여 추가하는 경향도 있다(FAA, AC 120-82, 2004).

2.3 Evaluation of nontechnical skills

비행분야의 인적오류로 나타나는 세부요소는 주로 의사소통, 의사결정, 리더십과 관련된 비기술능력 요소이다. 이러한 요소들은 조종사 비행기술에 직 · 간접적으로 관련이 있으며, 관리되어야 할 요소이다. 그렇기 때문에 조종사 수행도 관점에서도 새로운 조종사 훈련프로그램에서 조종실내에서 자원을 최대한 활용하여 인적오류를 줄이는 방법으로 CRM (Crew Resource Management)을 채택하고 있다(Helmreich and Wilhelm, 1991). 1990년초 FAA는 조종사 AQP (Advanced Qualification Program)를 소개하였고 AQP에서 요구되는 기술로서 비행기술뿐 만 아니라 팀워크(Team work) 기술 또한 요구된다고 하였다(FAA, CFR 14 part 121 and part 135). AQP의 핵심은 시나리오기반 훈련과 CRM, 그리고 실제 운항환경 하의 SMS (Safety Management System) 운영으로 정의할 수 있다(Kwon, 2017). 실제적으로 시뮬레이션은 Crew/Line/Scenario를 기반으로 개발되어 조종사를 훈련하고, 조종사의 기술능력과 비기술적 능력(CRM/TEM)이 현행 운영중인 SMS 운영도구인 FOQA 그리고 안전감독에 의해 조정되고 개선되는 것이다. 비기술능력은 비행시스템의 제어와 관리에 직접적인 관계가 없지만 조종사(승무원)의 인지적 사회적 기술이 포함되어 있다. 현재 조종사의 에러관리를 담당하는 도구로서 CRM은 6세대를 거쳐 TEM (Threat Error Management)으로 발전하였다. 이 접근법은 조종사 오류를 방지하기 위한 행동전략으로, 초기 오류를 잡아내고, 오류로 인한 결과의 심각성을 완화하는데 사용되는 프로그램이다. 이러한 비기술능력 평가도구는 Helmreich의 CRM 측정 체크리스트에 의한 조종사 수행도 Maker (Team management & Crew communication, Automation management, Situational awareness & Decision making, Technical proficiency 등)가 있으며, CAA (Civil Aviation Authority)의 비기술능력 평가방법인 NOTECHS가 있다(Flin et al., 2003).

사례 분석은 조종사 수행도 측면에서 기술능력 주관적 평가, 기술능력 객관적 평가, 그리고 비기술능력 평가의 대표적인 항공안전프로그램인 LOSA, FOQA, CRM/TEM을 기준으로 분석한다.

3.1 LOSA case study

ICAO에서는 LOSA 적용으로 나타나는 효과를 Figure 1과 같이 나타내었다(ICAO, Doc 9803, 2002). 운항승무원들의 오류 탐지율이 1996년 15%에서 1998년 55%로 증가하였고, 체크리스트 수행 오류가 25%에서 15%로 감소하는 등 효과를 보였다고 보고하고 있다. 대표적인 민간항공사인 콘티넨탈 항공사는 LOSA 적용으로 불안정 접근이 70% 감소하는 등 안전이 향상된 결과를 얻었다.

Figure 1. LOSA crew error-trapping rate & checklist errors (ICAO, Doc 9803)

Modify Delete

우리나라에서 적용한 A 항공사의 경우를 살펴보면, 1기(2004년), 2기(2011년)에 걸쳐 2회 LOSA를 실시하였는데 많은 안전개선이 있었다. 주요 개선사항으로 1기 LOSA에서는 체크리스트 사용과 교차점검, 차트 사용, 수평항법이탈, 수직이탈, 속도이탈, Flap 사용 등에 있어서 개선사항이 식별되어 조치되었다. 무엇보다도 LOSA 적용은 오류관리에 대한 인식을 향상시켰으며, 긍정적인 조종실 안전문화 형성에 기여하였다. 2기 LOSA 적용의 발전적 내용은 LOSA 운영기법에 대하여 국내 · 외 전문가에 의한 자문을 통해 개선작업을 실시하여, 조직내부 조종사 및 승무원들의 신뢰를 얻은 것에 있다. LOSA 프로그램 신뢰성 확보를 위해 관찰자 훈련 고도화로 LOSA 결과의 품질을 제고하였으며, LOSA 결과로부터 비처벌 및 면책프로그램을 적용하였다. LOSA 적용은 위협(Threat)(사전공지 없이 이루어지는갑작스런 활주로 변경, 조류충돌, 화재, 복행 등의 예상하지 못한 상황 등)에 대한 실질적인 TEM 훈련이 가능하게 하였다고 보고되고 있다(Choi et al., 2017). 현재 A 항공사는 3기 LOSA를 운영준비 중이며, 대형 국적 항공사뿐 만 아니라 소규모 저비용 항공사까지 LOSA 프로그램을 적용할 준비 중이다.

군용 항공분야는 미 공군(항공기동사령부, AMC: Air Mobility Command)에서 적극적으로 도입, 적용하고 있는데, 사건사고 등급이 Class E급 이상의 사건이 되지 않도록 사전에 관리하도록 하고 있다(US AF, 2006). LOSA를 실시하는 범위는 미 공군예비사령부(Air Force Reserve Command; AFRC), 주방위공군(Air National Guard), 태평양공군(Pacific Air Forces), U.S. 유럽공군(Air Forces in Europe), 아프리카공군(Air Forces Africa), 미 공군 중부사령부(Air Forces Central Command) 작전책임구역(Area of Responsibility)이다. 적용대상 기종은 KC-135, KC-10, C-5, C-17, C-130, C-27 등이다. 한국 공군의 경우, ICAO Doc 9803과 FAA 120-90에 기초하여, 민간항공 운영 LOSA 코드와 미 공군 코드를 한국공군 특성에 맞추어 개발 구성하였다(Choi, 2017). 해당 코드는 위협(11개 유형 52개 코드), 절차 오류(7개 유형 125개 코드), 의사소통 오류(7개 유형 125개 코드), 항공기 조작 오류(5개 유형 119개 코드), 불안전한 항공기 상태(3개 유형 26개 코드)이다. 개발된 결과는 국내외 LOSA 전문그룹에 의해 기술적 타당성을 검증하였다.

3.2 FOQA case study

FOQA의 경우, FAA, FAR part 13에 의해서 관련프로그램을 규정하고 있으며, 대부분 항공조직이 Figure 2와 같은 상용 FOQA 시스템을 운영하고 있다. 우리나라 D 항공사 경우, 1992년부터 안전조직에서 FOQA 시스템 운영 중에 있다. FOQA의 안전 이벤트 발생시 분석결과를 토대로 담당 분석자(조종사)가 이벤트를 만든 조종사에게 질의서를 보내 최종 원인을 파악하고(조사내용은 일체 비밀로 관리), 개선활동을 실시한다. 또한 보다 심도 있는 결과 분석을 위해서 일정기간 조사결과에 대해서 경향 분석하는 등의 안전관리를 하고 있다. FOQA 도입으로 D 항공사의 주요 개선사항은, 불안전한 접근 감소 및 저고도(Low level) 유지, 초과속도 회복절차(Over speed recovery procedure), 공항소음 규제지역 소음절차 수립 등의 운항절차 개선 등이다(Park, 2010). FOQA 프로그램은 데이터 통신의 발전과 더불어 현재는 전자통신 기술(Wifi, LTE 등)을 통하여 실시간으로 분석되고 있다.

군용 항공분야는 미 공군에서 2000년부터 C-17, F/A-18 기종부터 FOQA 프로그램을 적용하였으며, 2005년 DoD (Department of Defense)의 정책적 결정을 통해 현재는 훈련기, 수송기 등으로 확대하고 있다(US AF, 2017). 캐나다 공군의 경우도 미 공군의 F-15, F-16, T-38 항공기를 통해 수행했던 결과를 토대로 도입 추진 중이다(Antonio, 2011). FOQA를 위한 주요 하드웨어는 비행데이터 기록장치(FDR: Flight Data Recorder), 조종실 음성 기록장치(CVR: Cockpit Voice Recorder), 신속접근 기록장치(QAR: Quick Access Recorder), 비행영상 데이터 기록장치(FDVR: Flight Video Data Recorder) 등이 있다. 군용 항공분야에서의 FOQA 적용은 임무준비태세와 비행안전의 향상 및 운영 비용절감 등의 효과를 가져왔다. 미 해군 사례를 살펴보면, FQOA 도입 이후 예산 절감액이 연간 $40,000,000가 넘을 것으로 추정하고 있다(US NAVY, 2003). 한국 공군의 경우, 전투기나 훈련기에서 FOQA라는 개념으로 운영하지는 않지만, FDR, CVR, FDVR을 이용하여, 비행자료를 안전측면에서 관리한다. 실제로 매 비행시 비행 전 과정이 녹음되도록 하며, 주요결함, 비행규정 위반 및 사고 · 사례 발생시 관련 정보를 분석한다. 비행 후에 임무분석을 위해서 CVR, FDVR 등을 활용하며, 조종사의 비행능력, 규정절차 준수 상태를 점검한다. 민간항공기와 동일한 일부 공중기동기에서는 FOQA 시스템을 운영하고 있다.

Figure 2. FOQA experience of airline

Modify Delete

3.3 CRM/TEM case study

거의 대부분 민간항공사에서는 CRM/TEM 훈련을 정규 교육훈련으로 운영하고 있다. 예를 들어 D 항공사의 경우, CRM/TEM 훈련을 기본과정, 정기/숙달과정, 보강과정으로 운영하고 있다. 기본과정은 신입 운항승무원을 대상으로 한 Initial 과정, 기장 등 승격자를 대상으로한 Refresher 과정이 포함되고, 정기/숙달과정은 LOFT (Line Oriented Flight Training) 교육과정과 CRM 세부기술에 관한 교육과정, 그리고 객실 승무원과의 Joint-CRM 등이 있다. 보강과정은 기장임무 및 승격과 관련한 Advanced 과정, 리더십 과정을 포함한다(Yonsei University, 2011).

군용 항공분야로 미 공군 CRM 교육훈련 현황을 살펴보면, 미 공군 전투사령부(ACC), 공군 예비군 사령부(ARC)를 대상으로 전문교육기관(CTI, Crew Training International)에 의해 운영된다. 해당 CRM 훈련과정(Curriculum)은 미 공군은 CRM 훈련지침에 의거 교육실시하며, CRM 기초 훈련과정(CRM Initial Training Course), 고등 CRM 연계 훈련과정(Advanced CRM Continuation Training Course), 교관 조종사CRM 훈련과정(Flight Instructor CRM Training Course)을 운영한다. 전 조종사는 2년 주기로 CRM 훈련 실시하며, 이수하지 않을 시에는 비행중지를 하는 등 엄격하게 교육하고 있다(US AF AFI 11-290, 2017). 한국공군의 경우, CRM 브리핑은 토론식으로 임무 중 TEM 요인에 대한 사전 점검 및 상황별 업무분담을 하며, 브리핑 및 디브리핑 시 편조/전 · 후방석간 운영하며, 공군 지침서를 통해서 운영한다(ROKAF, Safety Guide 6-7-3, 2016). 해당부대 및 기종에 맞는 CRM 절차를 수립하여 연 1회 이상 검토 및 보완을 하며, CRM 교육은 항공안전단을 통해 비행대대 교육에서 조직단위로 매년 실시하고 있다.

조종사 수행도와 항공시스템에서의 적합성은 비행기술의 절차적 정보를 분석할 수 있게 하고 교정 대책을 정의할 수 있도록 하는 안전운항의 기본적인 자료이며, 이러한 조종사 수행도의 관리는 비행안전에 있어서의 초석이다. 본 논문에서는 현재 항공분야에서 정의하는 조종사 수행도 측정에 대한 내용을 기술능력의 주관적 평가, 기술능력의 객관적 평가, 그리고 비기술능력의 평가로 나누어서 정의하고 그 적용사례를 안전프로그램 위주로 분석 고찰하였다. 각 측정도구는 항공안전프로그램으로 자리잡고 있으며(Kim, 2017), 항공분야 SMS의 큰 틀 안에서 운영되고 있기 때문에, 항공안전프로그램 운영 시 유의점에 대해 논의하도록 하겠다.

첫째, LOSA의 경우, 통제 관리목적으로 평가하게 된다면, 평상시 비행보다 LOSA 관찰비행에서 조작을 잘 하려는 거짓된 행동을 할 수 있기 때문에, LOSA의 항공안전상 목적을 의심하지 않게 홍보하고 비행안전을 위한 데이터 확보 차원에서 구성원간 신뢰를 쌓아가는것이 중요하다. 그런 측면에서 ICAO에서 제시하는 LOSA 성공요소는 다음과 같다(ICAO, Doc 9803, 2002). LOSA의 효과성을 위해서는 조종사들의 적극적 참여를 유도해야 한다. 이러한 적극적 참여를 위해서는 관찰비행이 개인 처벌에 사용되지 않도록 하는 비 처벌주의와 정보보호에 의해 가능하다. LOSA 프로그램의 신뢰성을 높이는 방안은 제3의 중립적이며 믿을만한 기관이나 전문가를 활용하여 LOSA를 감독하거나 자문하도록 하여 객관화 하는 방안이 있다. 그리고 믿을 만한 관찰자 선발과 조종사를 방해하지 않고 관찰하는 관찰자 교육 커리큘럼 정착이 필요하다. 실제 안전개선을 위해서는 결과를 적시에 조종사에게 발표하고 의사소통을 하며, 데이터를 활용하여 주요 개선목표를 설정하고, 안전위원회 등을 구성하는 등의 방안이 요구된다.

둘째, 비행데이터를 기반으로 한 객관적 측정은 조종사 수행도 측정에 대한 대체 또는 보완적 접근 방법이다. 그러나, 비행은 복잡한 작업이며 방대한 측정값을 산출할 수 있기 때문에 단일 비행매개 변수로 조종사 성능에 대한 완전한 그림을 제공하지 못할 수 있다. 왜냐하면 비행단계에서 측정해야 할 요소, 각 측정방법 및 변수의 상대적인 중요성, 주어진 상황에서의 다른 측정요소와의 상호작용 등과 같은 조종사 성능에 대한 이론적 토대가 마련되지 않았다는 이슈가 있기 때문이다(Johnson and Rantanen, 2005). 그럼에도 불구하고 FOQA와 같은 비행데이터 기반 안전프로그램은 조종사 수행도에 대한 일부 객관적 측정과 그를 통한 안전증진 효과를 가져오고 있기 때문에, 관련 프로그램에 대해 적극적인 활용이 필요하다(CAA, CAP739, 2003).

셋째, CRM/TEM 기술 평가는 정기 LOFT 훈련과 시뮬레이터 훈련시 디브리핑(Debriefing) 시스템을 활용하여 불만족자 수정 교육을 실시하고 있다. NOTECHS는 CRM/TEM을 평가하는 대표적인 도구(Tool)로써 CAA에 의해서 개발되었다. NOTECHS 구성요소는 사회적기술(상호협력, 리더십)과 인지적 기술(상황인식, 의사결정)이다. 이 구성요소는 잘 훈련된 숙련급 조종사(교관급)에 의해서 수행될 것으로 예상되는 행동이며, 또한 이러한 기술들은 하위요소를 포함하게 된다. 예를 들어 상호협력(Cooperation)은 팀구성과 유지(Team building & maintaining), 다른 사람의 고려, 다른 사람들의 지지, 갈등관리 등이 포함되어 구조적으로 구성되어 있다. NOTECHS 실효성은 NOTECHS를 적용 중인 항공조직의 비행훈련 교관들에 의해서 검증되었고, CRM/TEM 적용시 나타나는 최대의 문제요소인 다국적 승무원(Crew)간 문화적 차이요소가 NOTECHS 평가결과에 영향을 미치지 않는 것으로 나타났다. 또한 NOTECHS는 팀 워크과 수행도를 측정하는데 유용하다고 판단하고 있다(Flin et al., 2003). 그렇지만 평가에 대한 구성원의 거부감 때문에 항공조직에서 CRM/TEM 평가를 적용하기엔 제약이 있어 안전향상을 위한 목적으로만 활용하는 경향이다. CRM/TEM은 다른 항공안전 프로그램과 통합적으로 운영되고 있는데, 대표적으로 FOQA 운영과 CRM/TEM의 통합적 운영 사례를 들 수 있다. FOQA 시스템 운영시 안전 이벤트 분석결과, CRM/TEM의 불완전한 요소가 나타날 경우, 이벤트를 발생시킨 조종사에 대하여 해당 불완전한 요소의 교정을 위해 CRM/TEM 교육훈련을 이수하게 하는 방안을 적용하고 있다.

이상으로, 조종사 수행도 측면에서 항공안전문제에 대응하는 항공분야의 적용노력과 현황을 항공안전프로그램 사례 중심으로 논의해 보았다. 본문에서 논의하였듯이 현재까지 조종사 수행도를 면밀하게 측정하고 관리하는 방안 마련은 쉽지 않으며, 여전히 제약이 존재하기 때문에 관련연구와 프로그램 개발 및 개발 프로그램의 검증 등의 필요성이 요구된다. 본 논문에서 논의한 항공분야 현황은 항공분야 이외의 영역(분야)에서도 참고 할 수 있을 것으로 판단되며, 예방안전을 위한 안전프로그램으로써 활용될 수 있기를 기대한다.