본문바로가기

Investigating the Roles of Team Decision Making Performance Factors through Analyzing Accidents in Complex Socio-Technical Systems

Won-Jun Jung , Dong-Han Ham
10.5143/JESK.2019.38.4.291 Epub 2019 August 30

1
Cited By

Abstract

Objective: The purpose of this study is to identify and organize team decision making (TDM) performance factors and apply them to the investigation of previous accidents in complex systems.

Background: Team work, particularly TDM, is increasingly important to the safe and efficient operation of complex socio-technical systems such as nuclear power plants (NPPs). For this reason, identification and organization of TDM performance factors has recently been an important issue.

Method: This study established a model for identifying and organizing TDM influencing factors and then identified 34 TDM influencing factors based on the model through a comprehensive literature review and accident analysis. In order to understand how the 34 factors can be reasonably used as causal factors of accidents and to examine how each of them significantly affects TDM process, we examined 558 accidents in three domains (NPPs, aviation, and railway).

Results: The 34 factors were useful for investigating accidents in which TDM process was critical and they have different significance in affecting the performance of TDM.

Conclusion: The proposed model and the 34 factors would be useful for examining accidents in which TDM performance is problematic.

Application: The proposed model and the 34 factors would be effectively used for modeling and analyzing accidents in complex systems and would be a theoretical basis for probabilistic safety assessment (PSA) in severe accident situations.



Keywords



Team decision making Team performance Teamwork Performance shaping factors Accident analysis Risk assessment



1. Introduction

원자력발전소나 항공관제시스템과 같은 복잡한 사회-기술적 시스템(Complex Socio-Technical Systems)에서의 개인 및 조직의 잘못된 의사결정은 대형 사고로 이어질 가능성이 매우 높으며 그 위험성은 단순히 개인이나 집단을 넘어 국가적 재난으로 이어질 수 있다(Kontogiannis and Malakis, 2018). 이러한 사고의 대표적인 예가 일본의 후쿠시마 원자력발전소 사고라 할 수 있다. 후쿠시마 사고는 지진 및 해일 등의 자연재해가 직접적인 원인이지만 자연재해로 인해 만들어진 여러가지 문제들을 해결하는 과정에서 발생한 잘못된 의사결정이 더 큰 피해를 초래했다고 할 수 있다. 그 외 다양한 대형 시스템에서 발생한 안전사고의 사례들로부터 개인 및 조직의 의사결정이 사고의 직접적 원인이 되기도 하고 다른 원인으로부터 발생한 사고를 대처하고 관리하는 과정에서 여러 형태로 직간접적인 영향을 준다는 것을 알 수 있다(Jung and Ham, 2018; Park et al., 2018).

현재 우리가 실생활에서 직간접적으로 이용하는 항공, 헬스케어, 원자력발전소 등과 같은 복잡한 사회-기술적 시스템의 많은 부분이 자동화되어 있다. 그럼에도 불구하고 인간은 여전히 그러한 시스템의 모니터링, 감시 및 제어와 같은 인지적 작업에 있어 중요한 역할을 할뿐만 아니라 중대한 문제에 대한 최종적인 의사결정의 책임을 지는 시스템 안전의 최후의 보류라 할 수 있다. 그러나 시스템이 대규모화, 복잡화 및 지능화가 진전되면서 시스템의 생산성 및 안전과 관련된 많은 인지적 작업들은 작업자 개인이 수행하기에는 점점 더 어려워 지고 있다(Salas et al., 2009). 이러한 이유로 점점 시스템 내에서의 팀 기반의 작업 및 작업수행도가 중요해지고 있다. 예를 들어 원자력발전소의 주제어실의 경우 발전팀장을 중심으로 5명이 하나의 팀을 구성하고 있으며, 철도의 경우 안전한 철도의 운행을 위해 기관사와 함께 관제사, 신호원 등이 협업이 필수적으로 요구된다. 팀 단위의 작업이 개인적인 작업보다 작업의 효율성 및 수행도 등의 측면에서 장점이 있고 시스템에서 발생하는 문제에 대해 보다 혁신적이고 포괄적인 해결책을 제공할 수 있다는 점은 여러 연구 결과를 통해 알려져 있다(Dinh and Salas, 2017). 팀 단위의 업무수행이나 활동은 팀 구성원에게 주어지는 다양한 인지활동(상황인식 및 판단, 의사결정, 조작행위 등)을 기반으로 이루어진다. 그런데 팀 인지활동을 이해하기 위해 팀 구성원의 개별적 인지활동의 분석도 중요하지만 팀 단위의 인지활동이나 팀 의사결정(TDM: Team Decision Making)이 이루어지는 맥락에 대한 체계적인 이해도 중요하다(Cooke et al., 2013; Keus, 2002). 또한 팀 인지활동은 단순히 개인의 인지활동의 합으로는 이해할 수 없는 시스템적 특성을 지닌다(Salas and Fiore, 2004). 따라서 팀 단위의 인지활동과 의사결정을 인지시스템적 관점에서 과학적으로 분석하고 이러한 활동의 수행도를 향상시킬 수 있는 연구들이 인지시스템공학 분야의 새로운 연구 주제로 부각되고 있다(Kontogiannis and Malakis, 2018; Palmqvist et al., 2012).

인지시스템공학 관점에서의 팀의 정의는 공통된 목표를 달성하기 위해 공유된 인지적 능력을 가지면서 상호의존적인 구성원들의 의사결정 집합체라고 말한다(Cooke, 2015). 현재까지 팀의 작업수행도(특히 인지적 작업수행도)에 관한 다양한 형태의 연구가 이루어져 왔다(Brannick et al., 1997; Paris et al., 2000; Salas et al., 2008; Salas et al., 2012; Salas et al., 2015; Salas et al., 2017). 다양한 형태의 연구 중에서도 팀의 인지적 작업수행도에 영향을 줄 수 있는데 다양한 요소들의 파악은 대부분의 팀 인지활동 관련 연구의 기본이라 할 수 있다(Salas et al., 2008). 그런데 팀의 세부적인 인지활동들이 궁극적으로는 팀의 의사결정을 위해 이루어진다는 점을 고려할 때 팀 의사결정 수행도 영향요소의 분석이 가장 기본적인 연구 주제 중의 하나라고 할 수 있다(Dinh and Salas, 2017).

팀 의사결정에 영향을 미치는 요소들에 대한 지금까지의 연구들은 다양한 요소들을 도출해왔고 이러한 요소들을 시스템 및 작업의 개선에 활용할 수 있는 연구들을 다양한 관점에서 진행해왔다(Salas et al., 2017). 하지만 대부분의 연구들은 인지심리학 및 행동과학 분야에서 제안된 이론 및 모형을 바탕으로 연역적 혹은 하향식 방식으로 팀 의사결정 영향요소를 도출하고 그 요소의 타당성을 실험을 통해 검증하는 방식의 연구방법을 주로 활용했었다(Salas et al., 2008). 따라서 팀 의사결정이 중요했던 실제 사례의 분석에 기반한 상향식의 팀 의사결정 도출연구는 극히 드물고, 팀 의사결정이 더 중요할 것으로 판단되는 시스템의 긴급상황이나 극한상황에서의 연구가 상대적으로 부족하다는 점에서 이를 보완할 연구가 필요하다(Kohda et al., 1996; Vessey and Landon, 2017). 더불어 팀 의사결정 영향요소는 위험성 평가(Risk Assessment)와 인간신뢰도분석(HRA: Human Reliability Analysis) 분야에서 점점 중요해지고 있는 팀 수준의 신뢰도분석 연구에 중요한 기초자료를 제공해줄 것으로 판단된다(Kohda et al., 1996; Park et al., 2016). 하지만 이러한 상황에서의 팀 의사결정 영향요소를 모의실험이나 관측을 통해 도출하는 것에 대한 현실적인 제약에 따라 다른 방법을 모색할 필요가 있다.

이러한 문제의식을 갖고 본 연구의 선행연구(Blank for Blind Review)에서는 문헌분석 및 대형시스템에서 발생한 팀 단위의 사고보고서의 분석을 바탕으로 팀 의사결정 영향요소를 파악하였다. 하지만 팀 의사결정 영향요소의 의미 있는 분류 및 요소 간 관련성 파악을 도와줄 수 있는 팀 의사결정 영향요소의 모형이 개발된다면 팀 의사결정 영향요소를 더 체계적으로 이해하는데 도움이 될 것이다. 또한 기존의 연구에서 도출된 영향요소들이 팀 의사결정에 미치는 상대적 중요도를 파악할 필요도 있다. 따라서 본 연구에서는 팀 의사결정 영향요소의 하향식 도출에 도움이 되고 상향식 도출의 이론적 틀을 제공해 줄 수 있는 팀 의사결정 영향요소 모형을 제안하고, 이 모형에 기반해 기존 연구 및 문헌분석 결과를 종합해서 34개의 팀 의사결정 영향요소를 제안한다. 아울러 세 개의 영역(원자력, 항공, 철도)에서 발생한 국내외 558개의 사고분석을 통해 34개의 팀 의사결정 영향요소가 각 사고에 어느 정도 관련 있었는가를 분석함으로써 각 요소의 상대적 중요성을 판단하는데 기초자료를 제공한다.

2. Research Backgrounds

2.1 Review of studies on teamwork and Team Decision Making (TDM)

팀에 대한 정의는 논문의 저자 혹은 목적에 따라 약간의 차이가 있으나 기본적으로 팀이란 공통된 목표를 달성하기 위해 함께 일하는 두 명 이상의 구성원으로 정의되며, 작업별 역량 및 특수 작업 역할을 가지고 공유된 자원을 함께 사용, 변화에 대한 적용 및 적응을 위해 의사소통하는 집단이라 말한다(Dyer, 1984).

그룹과 팀은 혼용되어 사용되지만 다음과 같은 차이점을 보인다. 그룹은 특정 관계에 있거나 특정 정도의 유사성을 가진 사람 또는 사물을 뜻하는데 팀은 그룹이지만 모든 그룹은 팀이 아니다. 핵심적인 차이는 구성원들이 공통으로 추구하는 공통된 목표를 공유하는지 여부에 달려있다. 그룹 구성원은 공통된 기능을 공유할 수 있지만 반드시 공통 목포를 공유하지 않으며 서로 경쟁할 수 있는 반면 팀은 협력할 뿐만 아니라 성공 또는 실패에 대한 이익과 비용을 공유한다(Annett and Stanton, 2000).

현재 팀은 항공, 의료, 국방, 금융 등 다양한 산업에서 그 중요성이 높아지고 있으며 이러한 산업에서 발생하는 복잡하고 어려운 과업에 직면할 때 팀 기반의 작업은 중요한 의미를 지니고 있다. 작업시스템의 복잡성이 커질수록 조직은 팀에 더 의존하게 될 가능성이 있다. 팀은 보통 계층적으로 구성되며 때로는 지리적으로 분산되고 있고, 정보를 통합, 종합, 공유해야 하며 변화되는 작업요구에 따라 조정하고 협력할 필요가 있다(Salas et al., 2008). 그리고 팀 단위의 업무수행을 위해서는 팀 구성원들 간의 상호작용과 업무수행 과정, 팀 인지 및 수행도를 함께 고려해야 한다. 또한 팀은 팀 작업이 요구하는 것보다 더 넓은 시스템 상황과 업무환경을 고려해야 하는데 이는 팀 의사결정에 영향을 주는 요소들이 단순히 팀 내부영역뿐만 아니라 조직, 환경 등과 같은 다양한 영역에서도 나타날 수 있다는 것을 의미한다(Kozlowski and Ilgen, 2006).

팀의 직무수행(Team Performance)은 팀원 개인의 개별직무 수행(Taskwork)과 팀 워크(Teamwork) 모두에 의해 영향을 받는다. 팀원 개인의 개별직무 수행은 다른 팀원과의 상호작용을 요구하지 않는다. 반면에 팀 워크는 다수 팀원들의 직무수행을 효과적으로 조정하는데 필요한 팀 직무수행의 상호의존적인 구성요소로 정의할 수 있다. 팀 직무수행은 팀 구성원이 개인과 팀 차원의 직무수행(Taskwork)과 팀 워크(Teamwork) 프로세스를 수행하면서 발생하는 발생하는 다단계 프로세스로 개념화할 수 있다(Kozlowski and Klein, 2000). 개념적으로 팀 워크는 팀 직무수행의 하부 개념이며 팀 직무수행의 동적인 프로세스에 기여하는 상호 연관된 인지, 태도, 행위의 집합체라 할 수 있다. 팀 인지(Team Cognition)는 팀 수준에서의 인지활동에 관한 것이며 공유된 팀 인지는 팀 직무수행에 있어 중요한 원동력이라고 할 수 있다(Salas and Fiore, 2004). 팀 인지에 대한 올바른 이해는 팀의 올바른 모델과 시뮬레이션을 가능하게 만들어 인지적으로 그럴듯하게 팀 행동을 예측할 수 있게 해준다(Cooke et al., 2013). 또한 공유된 팀 인지는 팀이 다양한 업무 조건 하에서 어떻게 프로세스를 적응시키고 환경 단서를 해석하고 의사결정을 내리며 조정하는가를 이해하도록 만드는 이론적 근거이다(Entin and Serfaty, 1999). 팀 효과성(Team Effectiveness)은 팀의 직무수행 결과에 대한 특정 기준 관점에서의 평가라 정의할 수 있다. 그러나 많은 연구에서 팀의 직무수행도와 팀 효과성을 동일한 개념으로 사용하고 있어 본 연구에서도 혼용해 사용한다.

본 연구의 선행연구(Blank for Blind Review)에서는 항공, 의료, 국방 등 다양한 영역에서의 팀 의사결정 수행도와 관련된 연구(예: 팀 워크, 팀 인지, 팀 의사결정, 긴급상황, 팀 직무수행, CRM (Crew Resource Management), TEM (Threat and Error Management))의 문헌분석을 통해 팀 의사결정 수행도에 영향을 미치는 요소들을 조사하였다. 연구의 범위나 분석대상 및 조건에 따라 팀 의사결정 수행도에 영향을 미치는 요소들이 다르며 동일한 용어의 요소라 할지라도 그 의미가 연구별로 조금씩 다르다는 것을 확인할 수 있었다. 예를 들어 Andersson et al. (2017)은 의사소통을 언어적 소통에 초점을 두어 명확/효과적이라는 요소 특성으로 나누어 설명하고 있는데 반해 Salas et al. (2015)는 의사소통을 단순히 언어적인 소통 뿐만 아니라 정보를 주고받는 행위 등을 포함하는 요소로 정의하고 있다. 그런데 Rothrock et al. (2009), Keus (2002), Kim and Jung (2003)은 정보 요인과 의사소통을 각각 개별적인 요소로 정의하고 있다. 또한 영향요소를 바라보는 관점에 따라 요소들 간의 수준(계층)이 것을 확인할 수 있었다. 예로 Cooke (2015)은 팀 인지에 영향을 미치는 세부적이고 구체적인 요소들을 팀 의사결정 영향요소로 파악하였다. 그러나 Salas et al. (2015)의 연구에서 팀 인지는 팀 워크 내지는 팀 의사결정에 영향을 미치는 요소들 가운데 하나로 구분된다. 반면에 Andersson et al. (2017)은 팀 워크를 팀 의사결정 수행도에 영향을 미치는 요소 중 하나로 정의한다. 이러한 점을 고려하고 관련 분야의 전문가들의 의견을 참고해서 기존 연구에서 언급한 팀 의사결정 영향요소들을 Table 1과 같이 분류할 수 있었다.

Factors

Previous studies

Culture

Salas et al. (2015), Kim and Jung (2003), Helmreich and Schaefer (2009), Jung and Ham (2018), Park (2017), Nam and Thomas (2006)

Cognition

Salas et al. (2015), Manser (2009), Cooke et al. (2004), Keus (2002), Kim and Jung (2003), Reinerman-Jones et al. (2015), Heo and Byun (2013), Jung and Ham (2018), Palmqvist et al. (2012), Xiao et al. (2013), Smith and Dowell (2000), Adelman et al. (1986)

Communication

Salas et al. (2015), Manser (2009), Cooke (2015), Keus (2002), Rothrock et al. (2009), Andersson et al. (2017), Kim and Jung (2003), Hoegl and Proserpio (2004), Reinerman-Jones et al. (2015), Helmreich and Schaefer (2009), Heo and Byun (2013), Jung and Ham (2018), Annett and Stanton (2000), Xiao
et al. (2013), Oh and Lee (2011), Park (2017), Adelman et al. (1986)

Composition

Salas et al. (2015), Cooke et al. (2004), Keus (2002), Reinerman-Jones et al. (2015), Helmreich and Schaefer (2009), Jung and Ham (2018), Annett et al. (2000), Adelman et al. (1986)

Conflict

Salas et al. (2015), Helmreich and Schaefer (2009), Smith and Dowell (2000)

Cooperation

Salas et al. (2015), Manser (2009), Flin et al. (2003), Hoegl and Proserpio (2004), Reinerman-Jones et al. (2015), Helmreich and Schaefer (2009), Heo and Byun (2013), Jung and Ham (2018), Xiao et al. (2013), Adelman et al. (1986)

Coordination

Salas et al. (2015), Manser (2009), Cooke (2015), Keus (2002), Andersson et al. (2017), Flin et al. (2003), ICAO (2005), Hoegl and Proserpio (2004), Helmreich and Schaefer (2009), Jung and Ham (2018), Annett and Stanton (2000), Xiao et al. (2013), Adelman et al. (1986)

Information factors

Keus (2002), Oser et al. (1999), Rothrock et al. (2009), Kim and Jung (2003), Jung and Ham (2018), Palmqvist et al. (2012)

Leadership

Salas et al. (2015), Manser (2009), Cooke (2015), Rothrock et al. (2009), Flin et al. (2003), ICAO (2005), Reinerman-Jones et al. (2015), Helmreich and Schaefer (2009), Heo and Byun (2013), Jung and Ham (2018), Xiao et al. (2013), Adelman et al. (1986)

Procedure

Keus (2002), Kim and Jung (2003), Jung and Ham (2018), Palmqvist et al. (2012)

Support behavior

Rothrock et al. (2009), Hoegl and Proserpio (2004), Reinerman-Jones et al. (2015), Jung and Ham (2018), Xiao et al. (2013)

Adaptability

Keus (2002), Oser et al. (1999), Reinerman-Jones et al. (2015), Heo and Byun (2013), Jung and Ham (2018)

Knowledge

Cooke (2015), Cooke et al. (2004), Keus (2002), Oser et al. (1999), Helmreich and Schaefer (2009), Jung and Ham (2018), Annett and Stanton (2000), Xiao et al. (2013), Adelman et al. (1986)

Monitoring

Cooke et al. (2004), Oser et al. (1999), Flin et al. (2003), ICAO (2005), Reinerman-Jones et al. (2015), Jung and Ham (2018), Xiao et al. (2013)

Training

Keus (2002), Oser et al. (1999), Helmreich and Schaefer (2009), Jung and Ham (2018), Annett and Stanton (2000), Xiao et al. (2013)

Context

Salas et al. (2015), Keus (2002), Kim and Jung (2003), Jung and Ham (2018), Adelman et al. (1986)

Time constraints

Keus (2002), Kim and Jung (2003), Jung and Ham (2018), Palmqvist et al. (2012), Adelman et al. (1986)

Attention

Jung and Ham (2018), Palmqvist et al. (2012)

Contribution

Hoegl and Proserpio (2004)

Cohesion

Hoegl and Proserpio (2004), Annett and Stanton (2000)

Table 1. Summary of previous studies on team decision making

2.2 Identification and organization of TDM performance factors

팀 의사결정 영향요소를 보다 체계적으로 도출하고 조직화하기 위해서는 이러한 과정을 가이드해줄 수 있는 분류체계 내지는 모형이나 프레임워크를 요구한다. 현재까지 이러한 분류체계, 모형, 프레임워크의 개발을 목적으로 진행된 연구들 대부분이 팀 의사결정이 중요한 의미를 가졌던 사례를 기반으로 하지는 않았다는 단점은 있지만 팀 의사결정 영향요소의 모형 내지는 프레임워크를 개발하는데 유용한 개념적 단초를 제공해준다. 팀 의사결정 영향요소의 분류체계, 모형, 프레임워크와 관련된 대표적인 연구들을 정리하면 다음과 같다.

Salas et al. (2015)는 팀워크에 영향을 주는 9가지 요인을 핵심 프로세스 요소(협력, 의사소통, 갈등, 코칭, 조정, 인지)와 영향요소(맥락, 구성, 문화)라는 두 개의 그룹으로 분류하였다. 핵심 프로세스 요소는 목표 달성을 촉진하는 상호의존적 활동 및 팀의 동적 특성에 관련된 것이며 영향요소는 핵심 프로세스 요소의 상태에 영향을 미치는 요소로 정의된다.

Paris et al. (2000)은 팀 수행도 요소의 특징을 다음과 같이 5개로 분류하였다: (1)환경적 요소(문화, 교육/훈련 시스템, 보상시스템, 정보시스템), (2)구조적 요소(물리적 환경, 조직의 배치, 기술적 시스템), (3)팀 설계요소(업무 설계, 직무 간 상호관련성, 팀 규모/구성, 리더십), (4)프로세스 요소(팀 직무범위의 관리, 직무 간 응집성, 작업수행 규범, 의사소통, 팀 구성원 간 상호작용), (5)부수적 요소(자원의 이용가능성, 절차상 요구사항, 운영 및 의사결정 규칙).

Jung and Ham (2018)은 실제 발생한 사고에 대한 분석과 팀 의사결정 및 수행도 등에 관한 문헌분석을 통해 도출된 17가지의 팀 의사결정 영향요소를 조직적 요소(문화), 팀 요소(인지, 의사소통, 구성, 갈등, 협력, 조정, 정보 요인, 리더십, 절차, 지원행위), 개인적 요소(적응력, 지식, 모니터링, 훈련), 외부적 요소(맥락, 시간제약)의 4가지의 범주로 분류하였다.

Adelman et al. (1986)은 입력(개인 수준의 요소들, 그룹 수준의 요소들, 프로세스 통제, 환경 수준의 요인들), 그룹 상호작용 프로세스, 출력(수행도 결과, 기타 결과)이라는 3가지 변수로 이루어진 개념적 프레임워크를 제안하였다. 제안된 프레임워크는 입력 변수가 결과에 미치는 영향이 그룹 상호작용 프로세스를 통해 중재된다는 가정을 갖고 있으며, 출력 변수는 개인 및 그룹 수준의 프로세스와 수행도의 질, 구성원의 사기, 대인 관계로 나타난다.

Helmreich and Schaefer (2009)는 병원 수술실에서의 팀 수행도에 관한 연구를 통해 입력, 프로세스, 결과라는 3가지 주요 요인으로 구성된 모델을 제안하고 있다. 이 모델은 조직적 요인, 환경적 요인, 팀 요인, 개인적 요인으로 구성되어 있는 입력 요인들이 다양한 결과를 초래하는 팀 의사결정 프로세스에서 고유의 역할을 한다는 점을 강조하고 있다.

Kozlowski and Ilgen (2006)이 개발한 모델은 입력 요인에 해당하는 팀의 직무 및 상황적 요구사항, 프로세스 요인에 해당하는 팀 프로세스 및 발현적 상태, 결과 요인에 해당하는 팀 효과성으로 구성되어 있다. 팀 직무를 수행함에 있어 팀 구성원은 팀 업무의 어려움, 복잡성 및 작업속도를 높이는 보다 광범위한 조직 시스템 및 작업 환경에 놓이게 되는데 이러한 조직 시스템 및 작업 환경의 변화는 예상하지 못하게 바뀔 수 있으며 팀은 변화하는 요구에 적응해야 한다. 이 모델은 개인의 의사결정은 팀에 의해 영향을 받고 팀 의사결정은 조직에 의해 영향을 받는다는 계층적인 조직구조의 특성이 팀 의사결정 영향요소 파악과정에서 충분히 고려가 되어야 한다는 점을 강조한다.

3. Method

3.1 Development of a model of TDM performance factors

본 연구에서는 팀 의사결정 영향요소 분류체계 및 모형에 관련된 기존 연구의 분석결과 및 선행연구에서의 경험을 종합해서 팀 의사결정 영향요소를 의미 있게 파악하고 조직화하는데 도움이 될 수 있는 모형을 개발하였다(Figure 1). 이 모형은 팀 의사결정 영향요소를 크게 다섯 개의 그룹으로 분류하고 조직화할 것을 제안한다. Figure 1은 5개 그룹 간의 관련성도 함께 보여주고 있다. 또한 본 연구에서는 문헌분석 결과 및 선행연구에서 도출한 17가지의 팀 의사결정 영향요소를 기반으로 5개 그룹에 해당되는 대표적인 팀 의사결정 영향요소 34개를 도출하였다(Table 2).

Figure 1. Conceptual model for organizing team decision-making performance factors

팀 의사결정에 영향을 미치는 요소들은 (1)개인(팀 구성원) 수준의 의사결정 관련 요소, (2)팀 수준 의사결정 관련 요소, (3)조직 수준 의사결정 관련 요소, (4)의사결정 문제 관련 요소, (5)맥락 관련 요소라는 다섯 가지의 그룹으로 구성되며 각각의 그룹은 몇 가지의 팀 의사결정에 영향을 미치는 세부적 요소들로 구성된다. 다섯 가지 그룹 가운데 맥락 관련 요소와 의사결정 문제 관련 요소는 입력 요인으로 간주될 수 있으며, 다른 세 요소 그룹은 고려된 그룹 의사결정의 프로세스 요인으로 볼 수 있다. 각 그룹은 다음과 같이 정의될 수 있다.

- 개인 수준 요소 : 팀 구성원들의 개인적인 특징, 역량, 한계 등과 관계된 개인 수준의 요인들

- 팀(그룹) 수준 요소 : 의사결정 목표를 달성하기 위해 개인 수준의 요인들과 그룹 의사결정 문제를 조정하는 그룹 수준의 요인들

- 조직 수준 요소 : 그룹이 조직 계층 구조에 있어 상위 수준에서 결정을 내리는 방식에 영향을 주는 조직 수준의 요인들

- 의사결정 요소 : 복잡한 사회-기술 시스템의 시간이 중요한 상황에서 자연적 의사결정(Naturalistic Decision-Making) 맥락을 반영한 팀 의사결정 자체의 특성에서 비롯되는 의사결정 요인들

- 상황적 요소 : 팀 의사결정 수행도에 영향을 미치는 맥락 및 기술적 요소를 나타내는 상황적 요인들

Category

Factors

Explanation and guidelines

Individual-level
factors

Degree of expertise

Average expertise of team members (Average years of members' working)

Experience of same or similar
decisions

Whether or not a team experienced same or similar DM situations previously

Mental states

Mental states of team members (fatigue, attention, etc.)

Physical states

Physical states of team members (lack of sleeping, light disease, etc.)

Awareness of roles

Degree of awareness of other members' roles in a team

Team-level factors

The number of decision makers (teamworkers)

The number of team members

The difference of teamworkers'
expertise level

Average difference of team members' expertise level

Clarity of teamworkers' roles

Degree to which team members' roles are clearly specified

Degree of team cooperation

Degree to which team members' attitude for cooperating each other

Degree of DM conflict

Whether or not Decision-Making (DM) conflicts occur between team members

Degree of DM coordination

Degree to which team members' attitude(readiness) for coordinating their different opinions

Amount of communication

Amount of communication between team members

Quality of communication

Quality of communicated messages (Degree to which the communicated messages actually influence DM)

Degree of leadership

Whether or not leadership exhibited

Delegation of authority

Whether or not DM authority can be delegated

Organization-level
factors

Existence of organizational goals or norms (to follow)

Existence of organizational goals or norms that a team follow when they make a decision

Degree of just culture

Degree to which team members can make their DM without worrying about the unreasonable punishment against poor DM outputs or errors

Decision-making
factors

Clarity of DM goals

How well can DM goals be clearly articulated?

The number of decisions
(to be done simultaneously)

The number of decisions to be made simultaneously

Number of data to be observed

The number of data to be observed for team DM

Number of data to be derived

The number of data to be derived through reasoning from the data observed

The number of decision alternatives

The number of alternatives when a team considered for making a final decision

The number of (DM) goals or criteria

The number of decision criteria when a team considered for making a final decision

Degree of uncertainty (Degree of difficulty judging the state of external situation)

Degree of uncertainty of variables observed (particularly for identifying system states) for team DM

Degree of dynamics (Degree of how external situation changes dynamically)

Degree of how quickly a system and its environment change

Criticality of decision outputs to Safety

Degree to which DM outputs influence to system safety

The level of work domain abstraction
(to be considered)

The abstraction level of work domain areas to be considered for DM in terms of abstraction hierarchy

Situational factors

Availability and quality of procedures

Availability of task procedures supporting DM and the quality of procedure contents

Availability and quality of information displays (for supporting TDM)

Availability of information displays supporting DM and the quality of information contents of displays

Influence of (salient) alarms or
indicators

Whether or not DM are influenced by the attractive alarms or indicators

Easiness of data (to be needed) acquisition

Does a team easily obtain data to be needed for DM directly or indirectly through several steps?

Delay of action feedback

The time needed to obtain action feedback

Time limitation (Time stress)

Time limitation within a decision need to be made

Distribution of team workplace

Whether or not team members work in different workplaces

Table 2. Factors influencing team decision-making performance

3.2 Collection and analysis of accidents

3.1절에서 기술한 팀 의사결정 영향요소 모형 및 함께 도출된 34개 영향요소의 유용성을 조사하기 위해 기존에 발생한 안전사고 중에서 팀 의사결정이 관련되어 있는 사고를 선별해서 조사 분석하였다. 이 조사를 통해 본 연구에서는 34개 영향요소가 기존에 발생한 사고들의 원인요소(Causal Factors)로서 이용될 수 있는지의 여부와 각 요소가 팀 의사결정이 중요했던 기존의 사고에 상대적으로 어느 정도 관련되어 있는가를 알아보고자 하였다. 구체적으로 대표적인 사회-기술 시스템이라 할 수 있는 항공, 철도, 원자력산업에서 발생한 국내외 사고에 대한 사고보고서를 활용하였다.

원자력산업의 경우 원자력안전정보센터와 원자력안전운영정보시스템(OPIS)에서 사고보고서를 수집하였으나 중복된 자료로 인해 OPIS를 중심으로 분석을 진행하였다. 항공철도조사위원회의 사고보고서를 통해 철도와 국내 항공사고자료를 수집하였고 해외 항공사고자료의 경우 미항공우주국(NASA)의 ASRS (Aviation Safety Reporting System)에서 사고보고서를 수집하였다. 수집된 총 2,489개(원자력안전정보센터 제외)의 사고보고서 가운데 864개의 인적오류와 관련된 사고를 일차적으로 선별하였고 이를 중심으로 분석을 진행하였다(Table 3).

864개의 인적오류와 관련된 사고 가운데 팀 의사결정과 관계없는 사고 및 사고보고서의 내용이 불확실 또는 불충분한 경우는 제외하고, 하나의 사고에 대해 중복된 보고서를 추가적으로 제외해서 총 558개의 사고를 대상으로 34개의 팀 의사결정 요소의 역할 및 영향유무를 확인하였다.

Work domain

Source

Number of
accidents

Number of accidents
related to human
factors

Number of
accident related
TDM

Nuclear power plants

Korea Institute of Nuclear Safety

696

135

87

Operational Performance Information Systems for Nuclear Power Plant

726

Railway

Aviation and Railway Accident Investigation Board

87

37

32

Aviation

176

86

60

Aviation Safety Reporting System

1,500

606

379

Table 3. Gathering and analyzing accident reports

3.3 Analysis of accidents in terms of TDM performance factors

도출 및 조직화된 34가지의 팀 의사결정에 영향요소들이 실제 사고에 영향을 미쳤는지를 파악하기 위해 수집 및 선별된 558개의 사고보고서를 기반으로 분석을 진행하였다. 예를 들어 항공기 착륙과정에서 발생한 사고에 있어 착륙지연 또는 연료 고갈 등의 이유로 해당 항공기의 비행을 빠르게 마쳐야 하는 상황이었다면 '시간압박'은 사고에 영향을 미치는 요소라고 할 수 있다. 반면에 파일럿의 건강에 전혀 문제가 없는 상황이라면 육체적 상태와는 영향이 없다라고 할 수 있다. 다만 분석보고서에 기재되어 있지 않거나 사고상황에 대한 추론으로도 판단할 수 없는 경우에는 '판단불가'로 표기하였다. 이와 같은 과정을 통해 558건의 사고를 분석한 결과는 Table 4와 같다.

Category

Factors

Number of events
affected by
the factor

Number of events
not affected by
the factor

Number of events
that cannot be judged

Individual-level
factors

Degree of expertise

109

62

387

Experience of same or similar decisions

159

8

391

Mental states

152

9

397

Physical states

60

74

424

Awareness of roles

46

8

504

Group-level factors

The number of decision makers (teamworkers)

8

20

530

The difference of teamworkers' expertise level

29

8

521

Clarity of teamworkers' roles

11

8

539

Degree of team cooperation

65

25

468

Degree of DM conflict

19

5

534

Degree of DM coordination

187

60

311

Amount of communication

105

106

347

Quality of communication

179

60

319

Degree of leadership

38

0

520

Delegation of authority

6

0

552

Organization-level
factors

Existence of organizational
goals or norms (to follow)

95

0

463

Degree of just culture

42

1

515

Decision-making (DM)
factors

Clarity of DM goals

6

10

542

The number of decisions
(to be done simultaneously)

4

3

551

Number of data to be observed

476

0

82

Number of data to be derived

360

0

198

The number of decision alternatives

15

3

540

The number of (DM) goals or criteria

133

0

425

Degree of uncertainty
(Degree of difficulty judging
the state of external situation)

173

8

377

Degree of dynamics
(Degree of how external
situation changes dynamically)

56

29

473

Criticality of decision outputs
to Safety

225

1

332

The level of work domain abstraction (to be considered)

128

2

428

Situational factors

Availability and Quality of procedures

81

4

473

Availability and Quality of information displays
(for supporting TDM)

59

1

498

Influence of (salient) alarms or indicators

464

4

90

Easiness of data (to be needed) acquisition

183

5

370

Delay of action feedback

12

0

546

Time limitation (Time stress)

45

1

512

Distribution of team workplace

44

14

500

Table 4. Result of analyzing accident reports

3.4 Examining the influence of TDM performance factors

분석결과를 살펴보면 '관측되어야 하는 정보의 양', '경보 및 지시자의 영향 정도', '추론해야 하는 정보의 양' 등의 순으로 팀 의사결정에 영향을 미쳤다고 할 수 있다. 이는 복잡한 시스템의 특성상 관측 및 추론해야 하는 정보의 양이 상당히 많고 인적 한계로 인해 이러한 정보를 획득하는데 도움을 주는 경보 및 지시자의 역할이 팀 의사결정에 있어 중요하다는 것을 의미한다. 하지만 많은 수의 팀 의사결정 영향요소들이 사고에 영향을 미쳤는지 판단할 수 없다는 것을 확인할 수 있다. 이러한 결과는 판단할 수 없는 영향요소들이 불필요한 요소임을 뜻하는 것이 아니라 사고의 유형이나 시스템의 특성상 표면으로 드러나지 않았기 때문에 확인하기 어려운 것이지 요소 자체가 무의미하다고 할 수 없다. 또한 많은 사고보고서가 사고의 경위 및 원인 파악에 대한 매우 상세하고 충분한 정보를 제공하지 않았다는 점도 판단불가의 경우수가 많아지게 된 이유이기도 하다. 사고보고서의 조사를 통해 알 수 있었던 점은 하나의 사고에 대해 34개의 모든 의사결정 영향요소들이 항상 관련 있는 것이 아니라 시스템의 특성이나 주어진 여러 상황적 특성에 의해 해당 사고에 영향을 주는 요소들이 달라질 수 있다는 점이었다. Table 5는 사고조사의 대상 영역별로 가장 영향이 있었던 것으로 분석된 상위 7개(상위 20퍼센트에 해당) 영향요소를 순위대로 정리한 것이다. 각 요소 옆에 괄호 안의 숫자가 사고조사에서 해당요소가 영향이 있다고 판단된 사고의 수를 의미한다. 이를 통해 각 영역별로 중요한 영향요소가 다름을 확인할 수 있다. 또한 사고보고서의 분석 수준이나 정도에 따라 보고서에 기재되는 정보의 양이 달라지기 때문에 판단할 수 있는 영향요소들이 차이가 날 수 있음은 인지할 필요가 있다.

Rank

Aviation

Nuclear power plants

Railway

1

Number of data to be
observed (386)

Number of data to be
observed (70)

Influence of (salient) alarms or indicators (30)

2

Influence of (salient) alarms or indicators (366)

Influence of (salient) alarms or indicators (68)

Existence of organizational goals or norms (to follow) (29)

3

Number of data to be
derived (286)

Number of data to be
derived (65)

Number of data to be observed (20);

Quality of communication (20)

4

Criticality of decision outputs
to safety (194)

Experience of same or similar decisions (46)

5

Easiness of data (to be needed) acquisition (161)

Availability and Quality of procedures (36)

Amount of communication (17)

6

Degree of DM coordination (155)

Degree of expertise (33)

Degree of uncertainty
(Degree of difficulty judging the state of external situation) (15)

7

Degree of uncertainty
(Degree of difficulty judging the state of external situation) (152)

The level of work domain abstraction (to be considered) (31)

Degree of team cooperation (15)

Table 5. Top 7 impact factors in each work domain
4. Discussion

본 연구에서 제안된 모형은 팀 의사결정 모형이 아닌 팀 의사결정 영향요소를 연역적으로 도출하고 조직화하는데 도움을 줄 수 있는 개념적 모형이다. 팀 의사결정 영향요소에 대한 기존의 연구들로부터 팀 의사결정 영향요소가 갖추어야 할 여섯 가지의 요건을 아래와 같이 정리할 수 있다. 본 연구에서 제안한 팀 의사결정 영향요소의 모형이 이러한 요건을 어떻게 만족하는가도 함께 아래에 기술하였다.

(1) 팀원 각각의 개인적 의사결정 영향요소가 포함되어야 함: 제안된 모형에서 개인적 요소그룹에 속한 영향요소뿐만 아니라 의사결정 요소그룹 및 상황적 요소그룹에 속하는 많은 영향요소들이 개인적 의사결정에도 영향을 주는 요소라 할 수 있다.

(2) 팀 의사결정을 프로세스 관점으로 기술 가능해야 함: 제안된 모형에서 의사결정 요소그룹 및 상황적 요소그룹에 속하는 요소들은 팀 의사결정에 주어진 입력요소의 역할을 한다고 볼 수 있고, 개인 수준, 팀 수준, 조직적 수준요소 그룹에 속하는 요소들은 프로세스적 요소의 역할을 한다고 볼 수 있다. 모형에는 표현되지 않았지만 팀 의사결정의 결과는 출력요소로 간주할 수 있다.

(3) 팀 의사결정 과정에 관련된 요소 및 팀 의사결정에 영향을 주는 요소가 모두 포함될 필요가 있음: (2)번에서 기술된 바와 같은 팀 의사결정 영향요소 모형에 프로세스 관점이 반영되어 있고 제안된 모형 자체가 팀 의사결정 영향요소의 도출 및 조직화에 도움을 주기 위한 모형이다.

(4) 개인-팀-조직의 수직적 계층구조가 반영될 필요가 있음: 제안된 모형은 이러한 수직적 계층구조 및 상호 관계를 반영하고 있다.

(5) 팀 의사결정에 영향을 주는 요소를 구조적 관점에서 기술하기 위해 HTO (Human-Technology-Organization) 관점에서의 요소가 포함되어야 함: 인적인 부분과 조직적인 부분은 (4)번에서 기술한 것처럼 반영이 되어 있고, 기술적인 요소들은 상황적 요소그룹에서 반영되었다고 할 수 있다.

(6) 팀 의사결정이 인지적 과정이므로 인지적 요소가 다수 포함되어야 함: 의사결정 요소그룹에 속하는 세부적 영향요소들 다수가 인지적 요소를 반영한다고 할 수 있다.

현재까지 제안된 팀 의사결정 영향요소 분류체계 및 모형들 중에서 위에서 기술한 팀 의사결정 영향요소가 갖추어야 하는 요건을 모두 잘 반영한 연구는 드물다. 그러나 위에 기술한 바와 같이 본 연구에서 제안된 모형은 모형 수립의 요건들을 모두 적절하게 반영했다는 점에서 나름대로 차별성을 보인다고 할 수 있다. 또한 모형과 함께 제공한 34개의 영향요소가 완전성(Completeness)을 만족하지 못할 가능성은 높지만 기존의 안전사고의 사고보고서의 조사를 통해 팀 의사결정이 관련된 안전사고의 사고 요인으로 활용하기에 크게 부족함이 없다는 점을 확인할 수 있었다. 기존의 팀 의사결정 영향요소에 대한 연구들 대부분이 복잡한 대규모의 사회-기술적 시스템에서 나타날 수 있는 특성(예: 시간압박, 의사결정에서의 조직의 영향, 다수의 의사결정 목표 존재, 높은 불확실성, 동적인 시스템 변화 등)과는 거리가 다소 있는 시스템에서의 영향요소에 대한 연구들이다. 그러나 본 연구에서는 위와 같은 특성을 잘 보여주는 영역에서의 기존의 사고분석을 통해 팀 의사결정 영향요소의 의미 및 역할을 파악했다. 이런 점도 본 연구에서 제안한 모형 및 영향요소의 차별성을 말해줄 수 있는 부분이라고 할 수 있다.

제안된 34개의 영향요소는 발생한 사고의 분석(Retrospective Analysis)뿐만 아니라 발생 가능한 사고의 예측(Prospective Analysis)과정에서 유용하게 활용될 수 있을 것으로 판단한다. 우선 34개의 영향요소는 본 논문에서도 설명되었듯이 기존에 발생한 사고의 원인을 파악하는 과정에서 유용하게 활용될 수 있을 것이다. 그러나 본 연구에서 제안된 모형이나 요소는 사고분석 방법이나 사고모형과는 거리가 있다. 대부분의 사고분석 방법은 특정 사고모형을 가정하고 그에 맞는 잠정적인 원인요소의 집합을 제공함으로써 사고분석 프로세스의 효율성을 높여준다. 예를 들어 대표적인 사고분석기법 중 하나인 HFACS (Human Factors Analysis and Classification System)의 경우 스위스 치즈모델과 같은 다계층(조직의 영향, 불안전한 감독, 불안전한 행동의 전제조건, 불안전한 행동)의 방벽을 갖는 사고 및 안전모형을 가정하고 이에 맞는 다양한 잠정적 원인요소(예: 조직의 영향 계층의 경우 자원관리, 조직문화, 조직 내 절차 등)를 제공하고 있다. 그러나 본 연구에서 제안된 34개 영향요소의 경우 이 영향요소를 사고분석 과정에서 효율적으로 활용할 수 있게 도와줄 수 있는 사고모형이나 사고분석 프로세스가 제공되지 않기 때문에 안전사고의 원인분석 과정에서 활용함에 있어 분명한 한계점이 있다. 또한 34개의 영향요소가 팀 의사결정 수행도에 영향을 줄 수 있는 요소로 제안된 것이지 안전사고의 잠재적 원인요소로 제안된 것이 아님으로 다른 의미 있는 원인요소가 충분히 있을 수 있음도 인지할 필요가 있다. 그럼에도 불구하고 본 연구의 사고보고서를 통한 조사에서 알 수 있듯이 팀 의사결정이 관련된 안전사고를 분석하고 원인요소를 파악하는데 있어 34개의 영향요소의 활용은 유용하다고 할 수 있을 것이다. 본 연구에서는 포함되지 않았지만 사고조사의 대상 영역이었던 분야(원자력, 항공, 철도)의 관련 전문가 집단의 폭넓은 의견과 검토 결과를 추후 반영한다면 34개 영향요소의 타당성을 확보하고 유용성을 높이는데 도움이 될 것으로 판단한다.

시스템 안전성을 높이기 위해 회고적 사고분석과 함께 중요한 활동이 발생 가능한 사고를 예측하고 그 사고의 발생확률을 정량적으로 예측하는 위험도 평가라 할 수 있다. 인간신뢰도분석(HRA: Human Reliability Analysis)도 이러한 위험도 평가를 위한 기법으로 해석될 수 있다. 인간신뢰도분석은 작업자가 미리 정의된 직무를 수행함에 있어서 성공적으로 작업을 종료하지 못하는 작업실패 확률을 정량적으로 분석하는 방법이다. 인적오류는 시스템 안전에 중대한 영향을 미치는 핵심요소 중 하나인데 다양한 HRA 기법을 활용해 인적오류확률(HEP: Human Error Probabilities)을 추정할 수 있다(Kim and Jung, 2001; Kim and Jung, 2003). 인적오류확률을 추정하는 과정에서 핵심적인 부분이 특정 직무를 수행하는데 영향을 줄 수 있는 수행도 형성 인자(PSF: Performance Shaping Factors)의 파악과 이 인자의 인적오류확률에 대한 영향력의 반영이다. 그런데 시스템이 복잡해지고 대규모화 되어가면서 개인 수준의 신뢰도분석 못지 않게 팀 수준에서의 신뢰도분석이 중요해지면서 팀 직무수행도에 영향을 줄 수 있는 요소에 대한 연구도 점점 중요해지고 있다. 본 연구에서 제안된 34개 영향요소가 팀 수준의 신뢰도분석에서의 수행도 형성 인자를 도출하고 그 영향력을 분석하는데 기초자료로 활용될 수 있을 것이다(Park et al., 2018). 그러나 본 연구에서는 34개 영향요소의 558건의 사고와의 관련성만 파악하였기에 각 요소의 수준별 영향력(예: 팀원의 전문지식 차이-높음/중간/낮음; 팀원의 수-3인 이하/4-5인/6인 이상)에 대한 기초자료는 제공하지 못하고 있다. 이는 추후에 더 정밀한 조사를 통해 연구될 필요가 있다.

5. Conclusion

본 연구는 복잡하고 대규모의 사회-기술적 시스템에서의 팀 의사결정에 영향을 줄 수 있는 요소들을 도출하고 조직화하는데 활용될 수 있는 개념적 모형을 제안하였다. 이 모형은 팀 의사결정 영향요소들이 다섯 개의 요소그룹으로 분류될 수 있음을 명시하고 이 요소그룹들 간의 상호작용을 함께 설명하고 있다. 또한 본 연구에서는 이 모형에 기반해서 34개의 팀 의사결정 영향요소도 함께 제안하였다. 34개 영향요소가 팀 의사결정이 중요한 의미를 지녔던 기존의 사고를 분석하는 과정에서 유용하게 활용될 수 있는지의 여부를 조사하고 각 영향요소가 기존의 사고에 얼마나 관련되어 있었는가를 파악하였다. 이러한 조사는 3개 영역(항공, 철도, 원자력)의 국내외 558개의 안전사고의 사고보고서를 활용해 이루어졌다. 이를 통해 34개 영향요소가 기존 사고분석에서 팀 의사결정이 어떻게 사고 발생에 영향을 주었는가를 이해하는데 유용하게 활용될 수 있음을 파악할 수 있었다. 또한 기존 사고분석을 통해 조사대상이었던 558개 사고에서 다른 요소들에 비해 상대적으로 더 많이 관련되어 있었던 영향요소를 파악할 수 있었다. 34개 요소 중에서 100개 이상의 사고에서 영향이 있었다고 분석된 요소는 다음의 9개다: '관측되어야 하는 정보의 양', '경보 및 지시자의 영향 정도', '추론해야 하는 정보의 양', '(의사결정 결과가)시스템 안전성에 주는 영향도', '팀 의견조율 정도', '자료획득의 용이성', '팀 의사소통의 질', '정보 불확실성', '동일/유사 상황 경험 여부'. 또한 작업영역별로 사고에 영향을 주었다고 분석된 팀 의사결정 요소가 다르고 그 영향력도 다름을 확인할 수 있었다. 본 연구에서 제안한 34개의 영향요소는 한계점은 갖고 있지만 다양한 영역에서의 사고분석 및 위험성 평가 등에서 기초자료로 활용될 가능성이 충분히 있다고 판단된다.

본 연구에서 조사한 사고는 세 개의 영역에 걸쳐 수집된 것들인데 향후 국방, 선박해양, 제조업, 화학발전 등 다른 산업영역에서 팀 의사결정이 관련되었던 사고들을 추가 수집 분석해서 팀 의사결정 영향요소의 역할을 보다 광범위하게 연구할 필요가 있다. 또한 4절에서 기술했듯이 34개 영향요소의 세부 수준별 영향력을 신뢰성 있게 파악하기 위해서라도 다양한 분야에서의 광범위한 사고자료를 활용할 필요가 있다. 이와 관련해 각 영향요소가 사고에 어느 정도 영향을 주었는가를 정량적으로 파악하기 위해 통계적 모형을 활용한 연구도 향후 필요할 것으로 판단한다. 그런데 본 연구에서도 어려운 부분이었듯이 기존의 사고보고서에 기술된 정보가 구체성 및 완전성 측면에서 많은 약점을 보이고 있는데 이 부분을 어떻게 다룰 것인가에 대해서도 심도 있는 연구가 필요할 것이다.



References


1. Adelman, L., Zirk, D.A., Lehner, P.E., Moffett, R.J. and Hall, R., Distributed tactical decisionmaking: Conceptual framework and empirical results, IEEE Transactions on Systems, Man, and Cybernetics, 16(6), 794-805, 1986.
Google Scholar 

2. Andersson, D., Rankin, A. and Diptee, D., Approaches to team performance assessment: a comparison of self-assessment reports and behavioral observer scales, Cognition, Technology & Work, 19(2-3), 517-528, 2017.
Google Scholar 

3. Annett, J. and Stanton, N.A., Team work: a problem for ergonomics? Ergonomics, 43(8), 1045-1051, 2000.
Crossref  Google Scholar  PubMed 

4. Brannick, M.T., Salas, E. and Prince, C. (Ed), Team Performance Assessment and Measurement, Lawrence Erlbaum Associates, 1997.
Crossref  Google Scholar 

5. Cooke, N.J., Team cognition as interaction, Current Directions in Psychological Science, 24(6), 415-419, 2015.
Google Scholar 

6. Cooke, N.J., DeJoode, J.A., Pedersen, H.K., Gorman, J.C. and Connor, O.O., The role of individual and team cognition in uninhabited air vehicle command-and-control, ARIZONA STATE UNIV EAST MESA AZ, 2004.
Crossref  Google Scholar 

7. Cooke, N.J., Gorman, J.C., Myers, C.W. and Duran, J.L., Interactive team cognition, Cognitive Science, 37, 255-285, 2013.
Google Scholar 

8. Dinh, J.V. and Salas, E., Factors that Influence Teamwork. In E. Salas, R. Rico and J. Passmore (Ed), The Wiley Blackwell Handbook of the Psychology of Team Working and Collaboration Process, 15-41, 2017.
Crossref  Google Scholar 

9. Dyer, J.L., Team research and team training: A state-of-the-art review, Human Factors Review, 26, 285-323, 1984.


10. Entin, E.E. and Serfaty, D., Adaptive team coordination, Human Factors, 41(2), 312-325, 1999.
Crossref  Google Scholar 

11. Flin, R., Martin, L., Goeters, K.M., Hörmann, H.J., Amalberti, R., Valot, C. and Nijhuis, H., Development of the NOTECHS (non-technical skills) system for assessing pilots' CRM skills, Human Factors and Aerospace Safety, 3(2), 95-117, 2003.
Google Scholar 

12. Helmreich, R.L. and Schaefer, H.G., Team performance in the operating room, In M.S. Bogner (Ed), Human Error in Medicine, CRC Pres, 225-253, 2009.
Crossref  Google Scholar 

13. Heo, E.M. and Byun, S.N., A Preliminary Study on the Communication Effect on Team Performance in Main Control Room of SMART, Journal of the Ergonomics Society of Korea, 32(1), 97-106, 2013.
Google Scholar 

14. Hoegl, M. and Proserpio, L., Team member proximity and teamwork in innovative projects, Research policy, 33(8), 1153-1165, 2004.
Crossref  Google Scholar 

15. ICAO, Threat and Error Management (TEM) in Air Traffic Control, International Civil Aviation Organization, ICAO Preliminary Unedited Version, 2005.


16. Jung, W.J. and Ham, D.H., Identification and Organization of Factors Influencing Team Decision Making by Analyzing Accidents in Complex Systems, Journal of the Ergonomics Society of Korea, 37(3), 387-401, 2018.
Google Scholar 

17. Keus, H.E., "A Framework for Analysis of Decision Processes in Teams", CCRP Symposium 2002, Monterey, CA, 2002.
Crossref  Google Scholar 

18. Kim, J.W. and Jung, W., A taxonomy of performance influencing factors for human reliability analysis of emergency tasks, Journal of Loss Prevention in the Process Industries, 16(6), 479-495, 2003.
Google Scholar 

19. Kim, J.W. and Jung, W., Selection of Influencing Factors for Human Reliability Analysis of Accident Management Task in Nuclear Power Plants, Journal of the Ergonomics Society of Korea, 20(2), 1-28, 2001.
Google Scholar 

20. Kohda, T., Tanaka, T., Nojiri, Y. and Inoue, K., Reliability Analysis of Operating Procedure in Team Performance. In P.C. Cacciabue and I.A. Papazoglou (Ed), Probabilistic Safety Assessment and Management, 517-522, 1996.
Google Scholar 

21. Kontogiannis, T. and Malakis, S., Cognitive Engineering and Safety Organization in Air Traffic Management, CRC Press, 2018.
Crossref  Google Scholar 

22. Kozlowski, S.W. and Ilgen, D.R., Enhancing the effectiveness of work groups and teams, Psychological Science in the Public Interest, 7(3), 77-124, 2006.
Crossref  Google Scholar 

23. Kozlowski, S.W. and Klein, K.J., A Multilevel Approach to Theory and Research in Organizations: Contextual, Temporal, and Emergent processes. In K.J. Klein and S.W.J. Kozlowski (Ed), Multilevel Theory, Research, and Methods in Organizations: Foundations, Extensions, and New Directions, 3-90, 2000.
Google Scholar 

24. Manser, T., Teamwork and patient safety in dynamic domains of healthcare: a review of the literature, Acta Anaesthesiologica Sc-andinavica, 53(2), 143-151, 2009.
Google Scholar 

25. Nam, C.S. and Thomas, K., Effects of Cultural Difference and Task complexity on Team Interaction Process, Journal of the Ergonomics Society of Korea, 25(3), 7-16, 2006.
Google Scholar 

26. Oh, Y.J. and Lee, Y., Communication for the Effective Team-Work of MCR Operator in Nuclear Power Plants, Proceedings of the Conference of the Ergonomics Society of Korea, 196-201, 2011.


27. Oser, R.L., Gualtieri, J.W., Cannon-Bowers, J.A. and Salas, E., Training team problem solving skills: an event-based approach, Computers in Human Behavior, 15, 441-462, 1999.
Crossref  Google Scholar 

28. Palmqvist, H., Bergström, J. and Henriqson, E., How to assess team performance in terms of control: a protocol based on cognitive systems engineering, Cognition, Technology & Work, 14(4), 337-353, 2012.
Google Scholar 

29. Paris, C.R., Salas, E. and Cannon-Bowers, J.A., Teamwork in multi-person systems; a review and analysis, Ergonomics, 43(8), 1052 -1075, 2000.
Crossref  Google Scholar 

30. Park, J., Kim, Y. and Jung, W., Application of the HuREX Framework for Calculating Empirical Human Error Probabilities from the Operation Experience of Domestic Nuclear Power Plants-Preliminary Results (KAERI/TR-6474/2016), Korea Atomic Energy Research Institute, 2016.


31. Park, J., Ham, D.H., Kim, J. and Jung, W.J., Characterizing decision-making tasks included in SAMGs, WGRISK, 2018.
Crossref 

32. Park, T., Communication and Cultural Factors Influencing Human Performance and Errors in Ship Navigation, Journal of the Ergonomics Society ofll Korea, 36(6), 729-740, 2017.
Google Scholar 

33. Reinerman-Jones, L., Guznov, S., Tyson, J., D'Agostino, A. and Hughes, N., Workload, Situation Awareness, and Teamwork, NUREG/ CR-7190, Washington, D.C, U.S. Nuclear Regulatory Commission, 2015.
Crossref 

34. Rothrock, L., Cohen, A., Yin, J., Thiruvengada, H. and Nahum-Shani, I., Analyses of team performance in a dynamic task environment, Applied Ergonomics, 40(4), 699-706, 2009.
Crossref  Google Scholar  PubMed 

35. Salas, E., Cooke, N.J. and Rosen, M.A., On teams, teamwork, and team performance: discoveries and developments, Human Factors, 50(3), 540-547, 2008.
Google Scholar 

36. Salas, E. and Fiore, S.M. (Ed), Team Cognition: Understanding the Factors that Drive Process and Performance. American Psychological Association, 2004.
Crossref  Google Scholar 

37. Salas, E., Goodwin, G.F. and Burke, C.S. (Ed), Team Effectiveness in Complex Organizations: Cross-Disciplinary Perspectives and Approaches, Routledge, 2009.
Crossref  Google Scholar 

38. Salas, E., Fiore, S.M. and Letsky, M.P. (Ed), Theories of Team Cognition: Cross-Disciplinary Perspectives, Routledge, 2012.
Crossref  Google Scholar 

39. Salas, E., Rico, R. and Passmore, J. (Ed), The Wiley-Blackwell Handbook of the Psychology of Team Working and Collaborative Process, John Wiley & Sons, 2017.
Crossref  Google Scholar 

40. Salas, E., Shuffler, M.L., Thayer, A.L., Bedwell, W.L. and Lazzara, E.H., Understanding and improving teamwork in organizations: A scientifically based practical guide, Human Resource Management, 54(4), 599-622, 2015.
Google Scholar 

41. Smith, W. and Dowell, J., A case study of co-ordinative decision-making in disaster management. Ergonomics, 43(8), 1153-1166, 2000.
Google Scholar 

42. Vessey, W.B. and Landon, L.B., Team Performance in Extreme Environments. In E. Salas, R. Rico and J. Passmore (Ed), The Wiley Blackwell Handbook of the Psychology of Team Working and Collaboration Process, 531-553, 2017.
Crossref  Google Scholar 

43. Xiao, Y., Parker, S.H. and Manser, T., Teamwork and collaboration, Reviews of Human Factors and Ergonomics, 8(1), 55-102, 2013.
Crossref  Google Scholar 

PIDS App ServiceClick here!

Download this article