본문바로가기

Difficulty of Non-Driving Related Task on Driver's Gaze Fixation and Takeover Performance

Abstract

Objective: The aim of this study is to investigate driver's gaze fixation and takeover performance according to difficulty of a non-driving related task (NDRT).

Background: NDRT has significant effect on driver's behavior in an automated vehicle. When NDRT is being performed, it is impossible for drivers to react immediately to takeover request. The more driver is engaged on NDRT, the less takeover performance will be. Therefore, it is necessary to identify which factors cause drivers to shift their gaze to NDRT. There might be many factors that attract driver's gaze, but in this paper, we will identify driver's gaze fixation and takeover performance with NDRT difficulty.

Method: To investigate effects of NDRT difficulty on driver's gaze fixation and takeover performance, experiment was conducted through a driving simulator. NDRT difficulty was classified by 5 levels. The participants performed five trials depending on difficulty levels. During the experiments, fixation duration and eyes-on time was measured by eye-tracker and takeover time was recorded through driving simulator.

Results: First, NDRT difficult has a significant effect on driver's fixation during autonomous driving. As considering %fixation duration, driver's gaze was fixated longer in the first and fifth level of difficulty than others. Also, there was a significant effect on takeover time. In the fifth level of difficulty, takeover time was longer than other levels of difficulty. However, eyes-on-time was constant depending on NDRT difficulty.

Conclusion: NDRT difficult has a significant effect on driver's gaze fixation and takeover performance. %fixation duration and takeover time represented a u-shape depending on NDRT difficulty.

Application: The results of the study could be utilized in in-vehicle infotainment of automated vehicles. This results make interaction between humans and automated vehicles much better.



Keywords



Autonomous driving Non-Driving related tasks Difficulty Eye-Tracking Gaze fixation Takeover performance



1. Introduction

자율 주행 기술이 발전할수록 운전자의 역할이 점차 수동적으로 변화할 것이다(Diels and Bos, 2016; Merat et al., 2012). 따라서 운전자들은 차량 내에서 운전 이외의 다른 작업(Non-driving related task; 이하 NDRT)을 더 많이 하게 될 것이며(De Winter et al., 2014) 실제로 운전자들은 자율 주행 차량에서 스마트폰 사용, 독서, 영화 시청 등의 NDRT 수행을 기대하고 있다(Pfleging et al., 2016). 특히 SAE 3단계에서 운전자는 운전 상황에 대한 모니터링 의무가 없기 때문에 차에 탑승하고 있는 대부분의 시간 동안 NDRT를 수행하게 될 것이다(Marinik et al., 2014; SAE International, 2016).

이처럼, 자율 주행 차량에서 운전자의 시선은 운전 상황보다는 NDRT로 향하게 될 것이다(Carsten et al., 2012). 하지만 완전 자율 주행이 개발되기 전까지 운전자는 자율 주행 시스템이 제어권 전환을 요청했을 때 신속하게 반응하여 수동 운전으로 전환해야 한다. NDRT를 수행하고 있는 경우에 운전자가 제어권 전환 요청에 바로 반응하는 것은 불가능에 가까우며, 주의가 NDRT로 집중되는 시간이 길어질수록 제어권 전환 수행도는 감소할 것이다(Janssen et al., 2019; Rauffet et al., 2020; Vogelpohl et al., 2018; Zeeb et al., 2015). 따라서, 어떤 요인들이 운전자들의 시선을 NDRT로 이동하게 만드는지 확인하는 것이 필요하다.

NDRT에 집중하게 만드는 요인을 알아보기 위해 먼저, 다중 작업에 대한 문헌 연구를 수행했다. 기존 다중 작업 연구에서는 작업 전환을 일으키는 요인들에 대한 연구가 다수 진행되었다. 작업 전환을 발생시키는 요인을 파악한다면, 반대로 수행 중인 작업을 계속 진행하게 만드는 요인을 확인할 수 있기 때문이다. Adler and Benbunan-Fich (2013)에서는 작업 난이도, 작업자의 능력과 작업에 몰입하는 정도에 대한 연관성을 연구하였다. 이 연구에 따르면, 작업자의 능력에 맞는 난이도의 작업을 수행하였을 때, 작업자들이 작업에 더 몰입한다는 결과를 도출하였다. 또한 Wickens et al. (2015)에서는 작업의 난이도(difficulty), 우선순위(priority), 흥미(interest), 현저성(salience) 등의 작업 특성에 따라 현재 수행 중인 작업을 계속 수행할지 다른 작업으로 전환할지 결정하는 STOM (Strategic Task Overload Management) 모델을 개발하였다. STOM 모델에 따르면 수행 중인 작업의 우선순위와 난이도가 높을수록 그 작업에 몰두하게 된다고 하였다(Wickens and Gutzwiller, 2017). 이와 같이 다중 작업에 관한 연구에서는 작업 특성에 따른 주의 집중에 대한 연구가 많이 진행되었으며, 이를 제어권 전환 상황에 적용한다면 운전자의 NDRT에 대한 집중 및 제어권 전환 수행도 연구에 큰 도움이 될 것이다.

제어권 전환 문헌에서도 작업 특성을 고려한 실험들이 다소 존재하였다. 여러 문헌에서 NDRT의 모달리티(Wandtner et al., 2018), 작업 부하(Bueno et al., 2016; Wandtner et al., 2018; Zeeb et al., 2015) 등의 작업 특성을 변화시키며 제어권 전환 수행도가 어떻게 변화하는지 확인했다. 이러한 논문들은 제어권 전환 시간이나 예상 충돌 시간(time to collision)과 같은 변수들을 통해 제어권 전환 수행도를 확인했다. 특히 Wandtner et al. (2018)에서는 NDRT에 대한 몰입이 제어권 전환 수행도에 미치는 영향을 측정하였다. 하지만 실제 운전자가 NDRT를 얼마나 수행하고 있었는지 확인하지는 않았다. 본 논문에서는 아이트래킹 데이터를 통해 운전자의 시선이 NDRT에 얼마나 머무르고 있는지 측정할 것이다. NDRT의 작업 특성에 따라 운전자의 시선이 NDRT에 얼마나 고정되어 있는지 확인할 것이며, 이에 따라 제어권 전환 수행도가 어떻게 변화하는지 알아볼 것이다.

아이트래킹은 수행 중인 작업에 얼마나 집중하고 있는지 측정하기 위해 사용되는 대표적인 방법이다. 아이트래킹을 통해 작업자의 시선 움직임을 측정하고 이를 통해 작업에 얼마나 집중하고 있는지를 측정할 수 있다. 일반적으로 시선 움직임은 시선 고정(fixation)과 시선 고정 사이의 단속적 움직임(saccade)로 이루어진다(Salvucci and Goldberg, 2000). 특히 시선 고정의 경우 인간의 주의력 및 집중력의 정도를 나타내는데 사용된다(Khan and Lee, 2019). 제어권 전환에 대한 여러 연구에서도 시선 고정 시간을 측정하였다(Chen et al., 2018; Radwin et al., 2017).

본 논문에서는 작업 특성이 NDRT에 대한 집중과 제어권 전환 수행도에 미치는 영향을 확인하는 실험을 진행할 것이다. 실험에서는 여러 작업 특성 중 난이도를 독립 변수로 설정하여 NDRT에 대한 시선 고정 시간과 제어권 전환 수행도를 비교하여 난이도가 NDRT에 대한 집중과 제어권 전환 수행도에 어떠한 영향을 미치는지 연구할 것이다.

2. Method

2.1 Participants

고려대학교 학생 10명(남자 6명, 여자 4명)을 대상으로 실험을 실시하였다. 참가자들의 평균 연령은 29.4세였으며, 표준편차는 2.7세였다. 실험 참가자들은 모두 운전 면허를 소지하고 있었으며, 정상적인 시력 혹은 교정시력을 가지고 있었다. 실험 참가자들은 실험에 대한 자세한 설명을 듣고 실험 참가 동의서를 작성한 후 실험을 시작하였다.

2.2 Apparatus

OpenDS 4.5 운전 시뮬레이터를 통해 실험을 진행하였다. 참가자들은 Logitech G25 핸들 및 페달을 통해 운전하였으며, iPad pro를 통해 운전 외 과제를 수행하였다. 또한 Pupil Core Eye Tracker를 통해 실험 중 운전자의 시선 움직임을 측정하였다.

2.3 Experimental design

NDRT의 난이도에 따른 운전자의 시선 움직임과 제어권 전환 수행도를 확인하기 위한 실험을 설계하였다. NDRT의 난이도는 총 5개로 구분하여 실험하였다. 난이도에 따라 NDRT를 수행하는 동안 실험 참가자의 시선이 NDRT와 운전 상황 사이에서 어떻게 움직이는지를 확인하였으며, 이에 따라 제어권 전환 수행도가 어떻게 변화하는지 측정하였다.

먼저, 운전 시나리오는 3차선 고속도로 상황을 가정하고 설계되었다. 실험은 3차선에서 자율 주행모드로 시작되며, 운전 상황은 (Figure 1.a)와 같다. 자율 주행 시스템이 활성화되어 있는 동안에 실험 차량은 앞 차와 거리를 유지하며, 시속 80km로 주행한다. 자율 주행 중 시스템이 대처할 수 없는 상황이 발생하였을 경우 시스템은 운전자에게 제어권 전환을 요청하며, 본 실험에서는 주행 차로에 장애물이 나타났을 경우 제어권 전환을 요청한다. 제어권 전환 요청이 발생할 경우 운전자는 수동 운전으로 전환하여 장애물을 피하는 과제를 수행한다. 실험 참가자들은 이와 같은 실험을 NDRT의 난이도에 따라 총 5번을 진행하며, 실험 순서는 무작위로 진행된다.

SAE 3단계 상황을 가정하기 위해 실험 참가자들은 자율 주행이 활성화된 상태에서 NDRT를 수행하였다. 본 실험에서는 (Figure 1.b)와 같이 iPad 화면에 나오는 공을 오름차순으로 터치하는 과제를 NDRT로 선정하였다. 선정된 NDRT는 시각적 · 인지적 · 육체적 자원을 모두 사용하는 과제이다. 본 실험에서는 세 가지 자원 중 인지적 자원의 정도를 조절하여 과제의 난이도를 (Table 1)과 같이 구분하였다.

Figure 1. Experiment (a) Driving Scene and (b) Non-driving related task

화면에 나오는 기호가 익숙할수록 더 빠르게 순서를 찾아 과제를 해결할 수 있다. 반면, 자주 접하지 않는 기호가 화면에 나온다면, 이를 인출하는 시간 및 자원이 많이 요구될 것이다. 따라서 자주 접할 수 있는 한자리 수 숫자를 1단계, 한자리 수 덧셈을 2단계, 로마 숫자의 비교를 3단계, 알파벳을 4단계, 마지막으로 한자리 수의 곱셈을 5단계 난이도로 설정하였다. 실험 후 각 단계 별 NDRT의 수행도를 비교하여 난이도 설정이 적절한지 확인하였다.

Difficulty

1

2

3

4

5

Symbols

Numbers (0~9)

Addition/Subtraction

Roman numerals

Alphabets

Multiplication

Quantity

4

4

5

5

5

Table 1. Difficulty of non-driving related task

2.4 Dependent variables

먼저, 시선 고정을 통해 운전자가 NDRT에 얼마나 집중하고 있는지를 알아볼 것이다. 아이트래킹 데이터에서 시선 고정은 시선의 분산 정도(dispersion)와 시선 고정의 최소 기간에 대한 기준이 필요하다. 본 논문에서는 기존 문헌들을 바탕으로 3°의 시선 분산과 200ms의 최소 기간을 통해 시선 고정을 분류하였으며(Goncalves et al., 2020; Khan and Lee, 2019; Louw et al., 2017; Salvucci and Goldberg, 2000; Vlakveld et al., 2018), 시선 고정을 확인하기 위한 변수로는 %시선 고정 시간(%fixation duration)을 사용하였다. %시선 고정 시간이란 전체 가용 시간 중 시선 고정을 얼마나 하였는지를 나타내며 다음 식 1과 같이 계산할 수 있다. NDRT에 대한 %시선 고정 시간은 NDRT에 시선을 고정한 시간을 모두 합하여 계산할 수 있다.

%시선 고정 시간 = 100 *∑(시선 고정 시간i) / 전체 시간(%) (1)

다음으로 제어권 전환 시간은 제어권 전환 요청 이후 운전 상황에 처음으로 시선을 이동하는 시간(Eyes-on-time)과 자율 주행 시스템을 비활성화 시키는 시간(deactivation time)을 통해 측정하였다. 시선 이동 시간은 아이트래커를 통해 확인할 수 있었다. 또한 자율 주행 시스템은 핸들을 돌리거나 페달을 밟을 경우 비활성화되기 때문에 비활성화 시간은 운전자가 핸들이나 페달에 입력 값이 발생하는 시간을 통해 비활성화 시간을 확인할 수 있다.

2.5 Procedure

본격적인 실험에 앞서, 실험 참가자들은 실험에 대한 설명서를 읽고 실험 동의서를 작성하였으며, 추가적인 질문을 통해 실험을 충분히 이해할 수 있도록 하였다. 이후, 아이트래커를 착용하고 정확한 측정을 위해 장비를 교정하는 작업을 진행하였다.

장비 교정이 끝난 후에 참가자들은 운전 시뮬레이터에 적응하는 시간을 가졌다. 실험 참가자들은 연습 주행을 통해 실험에 사용되는 장비의 조작 방법 및 감도를 익혔다. 연습 주행이 끝난 후, 훈련 시나리오를 통해 훈련 세션을 진행하였다. 훈련 세션에서는 자율 주행 시나리오와 NDRT에 대한 설명을 진행했다. 훈련 세션이 끝난 후, 참가자들은 NDRT 난이도에 따라 총 5번의 주행을 진행했으며, 실험 중 NDRT의 난이도는 무작위 순서로 설정하였다. 각 주행 사이에는 5분의 휴식이 주어졌다.

3. Results

3.1 NDRT difficulty

NDRT를 수행하는 동안 실험 참가자의 수행도에 따라 맞추면 3점, 틀리면 10점 감점하여 점수를 부여하였다. 이후, 실험 전 구분한 NDRT의 난이도와 실험 참가자들의 점수가 일치하는지 확인하였다. 점수는 아래(Figure 2)과 같으며, 점수는 미리 정해 놓은 난이도와 일치하는 분포를 가지고 있었다. 점수가 난이도에 따라 유의미하게 차이 나는지 비교하기 위해 분산 분석을 실시하였으며 그 결과 난이도가 NDRT 점수에 유의미한 차이가 있음을 알 수 있었다(F(4,45) = 32.59, p-value <0.0001). 이후 t-test를 통해 각 난이도 간 차이를 확인한 결과, (난이도 1) ∙ (난이도 2) ∙ (난이도 3, 4) ∙ (난이도 4, 5)로 그룹이 분류되었다.

Figure 2. NDRT score based on difficulty

3.2 Fixation

정해진 난이도에 따라 실험 참가자들의 NDRT 수행 능력이 달라짐을 확인할 수 있었으므로, 이에 따른 시선 데이터를 비교 분석하였다. 시선 데이터는 '%시선 고정 시간'을 통해 분석되었다. %시선 고정 시간은 실험이 시작한 이후 제어권 전환 요청이 발생할 때까지의 기간 동안 측정되었다. NDRT의 난이도에 따른 %시선 고정 시간은 (Figure 3)과 같다. 분산 분석 결과 %시선 고정 시간은 NDRT의 난이도에 따라 유의미하게 차이가 났다(F(4,45) = 3.612, p-value = 0.012).

난이도 1과 난이도 5에서 실험 참가자들의 시선이 NDRT에 더 많은 시간 동안 고정되었음을 알 수 있었다. 이후, t-검정을 통해 각 난이도 사이의 차이를 확인한 결과, 난이도 1단계인 경우 난이도가 2 · 3단계일 때보다 %시선 고정 시간이 유의미하게 증가하였으며(p-value 각각 0.03, 0.01), 난이도가 5단계인 경우에도 난이도가 2 · 3단계일 때보다 %시선 고정 시간이 유의미하게 증가했다(p-value 각각 0.004, 0.00003). 반면 난이도 1단계, 4단계 5단계 사이에는 유의미한 차이가 없었다.

Figure 3. %Fixation duration results

3.3 Takeover performance

운전자가 제어권 전환 요청에 얼마나 빨리 반응하는지를 통해 제어권 전환 수행도를 측정하였다. 이는 운전자가 제어권 전환 요청이 발생하고 운전 상황으로 시선을 처음으로 이동하는 시간과 수동 운전으로 전환하는 시간을 통해 측정하였으며 결과는 (Figure 4)에 나타냈다.

먼저, 시선 이동 시간 그래프를 보면(Figure 4.a) 중간 난이도에서 가장 높은 값을 가진다. 하지만 분산 분석을 통해 알아본 결과 NDRT의 난이도에 따른 시선 이동 시간의 차이는 유의미하지 않았다(F(4,45) = 1.163, p-value = 0.3394).

반면, 제어권 전환 시간의 경우 NDRT의 난이도에 따라 유의미한 차이가 있었다(F(4,45) = 3.062, p-value = 0.0258). t-검정을 통해 난이도간 차이를 비교한 결과 난이도가 5단계인 경우 난이도가 2 · 3 · 4단계에 비해 제어권 전환 시간이 유의미하게 오래 걸렸다(p-value 각 0.05, 0.001, 0.0232). 반면 나머지 난이도에 대해서는 제어권 전환 시간에 유의미한 차이가 없었다.

Figure 4. Takeover performance. (a) Eyes-on time, (b) Takeover time
4. Discussion

본 논문에서는 NDRT의 난이도에 따라 NDRT로 시선이 고정 되는 시간이 어떻게 변화하는지 그리고 제어권 전환 수행도가 어떻게 변화하는지 실험을 통해 확인했다. 실험 결과 NDRT 난이도에 따라 운전자의 시선이 NDRT로 집중되는 시간과 제어권 전환 시간이 변화하였다. 난이도가 낮거나 높은 경우에 운전자의 시선이 NDRT로 더 많이 이동하였으며, 제어권 전환 시간도 가장 오래 걸리는 것을 알 수 있었다. 이는 선행 논문에서 NDRT에 집중하는 시간이 오래될수록 제어권 전환 수행도가 저하된다는 결과와 일치하였다(Janssen et al., 2019; Rauffet et al., 2020; Vogelpohl et al., 2018; Zeeb et al., 2015).

먼저, 운전자의 %시선 고정 시간은 NDRT의 난이도가 1단계 · 5단계일 때, 가장 높은 값을 가졌다. Adler and Benbunan-Fich (2013)에서는 몰입 이론를 제시하며, 작업자의 능력과 작업의 난이도에 따라 작업에 대한 몰입의 정도가 바뀐다고 언급하였다. 작업의 난이도가 작업자의 능력에 비해 너무 쉽거나 어려우면 작업에 대한 몰입이 떨어져 자가 개입(self-interruption)이 발생한다. 본 실험에서는 난이도 1단계와 5단계가 몰입 상태에 가까운 상태일 것이며, 이에 따라 시선 이동의 정도가 변화했을 것이다. 하지만 이는 몰입 이론에서 작업자의 능력에 맞는 난이도에서 몰입이 잘 될 것이라는 말과 반대되는 결과였다. 추후 연구에서는 실험 참가자를 나이, 직업, 운전 경력 등을 고려하여 다양하게 모집해야 할 것이며, 참가자들의 인지적 능력을 측정하여 더 철저한 검증이 필요할 것이다.

다음으로, 난이도에 따른 운전 상황으로의 시선 이동 시간에는 유의미한 차이가 없었다. Zeeb et al. (2015)에 따르면, 제어권 전환 요청이 발생한 이후 운전자의 초기 반응은 청각적 알림에 대한 반사적인 반응이라고 언급하였다. 본 실험에서 시선 이동 시간에 유의미한 차이가 없는 것도 알림에 대한 반사적인 행동이기 때문일 것이다.

마지막으로, 제어권 전환 시간은 NDRT의 난이도에 따라 유의미한 차이가 있음을 알 수 있었다. 난이도 5단계에서는 NDRT에 시선이 많이 집중되었으며, 이에 따라 제어권 전환 시간도 가장 길었다. 하지만 난이도 1단계에서는 운전자의 시선은 NDRT에 가장 오래 머물렀지만 제어권 전환 시간은 다른 난이도와 비교했을 때, 유의미한 차이가 없었다. 이러한 결과의 원인은 먼저 실험 참가자의 한계로 인한 것일 수 있다. 본 실험은 10명의 대학생을 대상을 진행되었다. 따라서 참가자의 인적 특성이 다양하지 못하였으며 참가자의 수도 부족하였다. 추후 연구에서는 다양한 참가자들에 대하여 더 많은 실험을 통해 가설을 검증할 필요가 있다. 다음으로는, NDRT의 난이도를 구분하는 기준을 인지적 자원으로 설정하였기 때문이다. Janssen et al. (2019)에 따르면 제어권 전환 시 운전자의 머리 속에는 이전 NDRT 수행에 대한 기억이 남아있으며, 이러한 기억이 제어권 전환 수행도에 영향을 준다고 하였다. 본 실험에서 난이도 1단계는 단순히 숫자를 확인하는 작업인 반면, 난이도 5단계는 곱셈을 통해 계산된 값을 확인해야 한다. 난이도에 따라 실험자들은 더 많은 정보들을 인출 해야 하며, 계산하는 과정이 추가되므로 더 많은 인지적 자원을 사용하게 된다. 따라서 난이도 1보다 난이도 5일 때, 제어권 전환 수행도에 미치는 영향이 더 클 수 있다.

5. Conclusion

자율 주행 기술이 발전할수록 운전자들은 운전 이외의 작업을 수행하게 될 것이며, 작업에 얼마나 집중하는지에 따라 제어권 전환 수행도가 크게 달라질 것이다. 자율 주행 중 수행하는 NDRT의 특성에 따라 집중하는 정도가 변화할 것이며, 제어권 전환 수행도도 달라질 것이다. NDRT에 너무 몰입하게 된다면 제어권 전환 요청이 들어왔을 때 반응 시간이 늦어질 것이며, 상황에 대한 파악을 제대로 하지 못하여 안전에 악영향을 미칠 수 있다. 따라서 본 연구에서는 NDRT의 난이도에 따라 운전자의 시선 움직임과 제어권 전환 시간이 어떻게 변화하는지를 알아보았다. NDRT의 난이도가 높을 경우에 운전자의 시선은 NDRT에 더 오랜 시간동안 고정이 되었으며, 그 결과 제어권 전환 시간이 증가하게 되었다. 본 연구 결과를 통해 NDRT의 난이도가 제어권 전환 상황에서 운전자의 행동에 주요한 영향을 미치는 것을 알 수 있었으며, 이를 통해 차량 내부 인터페이스 디자인 등에 활용할 수 있을 것이다.



References


1. Adler, R.F. and Benbunan-Fich, R., Self-interruptions in discretionary multitasking. Computers in Human Behavior, 29(4), 1441-1449, 2013.
Google Scholar 

2. Bueno, M., Dogan, E., Selem, F.H., Monacelli, E., Boverie, S. and Guillaume, A., How different mental workload levels affect the take-over control after automated driving. In 2016 IEEE 19th International Conference on Intelligent Transportation Systems (ITSC) (pp. 2040-2045). IEEE. 2016.
Google Scholar 

3. Carsten, O., Lai, F.C., Barnard, Y., Jamson, A.H. and Merat, N., Control task substitution in semiautomated driving: Does it matter what aspects are automated? Human Factors, 54(5), 747-761, 2012.
Google Scholar 

4. Chen, H.Y.W., Hoekstra-Atwood, L. and Donmez, B., Voluntary-and involuntary-distraction engagement: an exploratory study of individual differences. Human Factors, 60(4), 575-588, 2018.
Google Scholar 

5. De Winter, J.C., Happee, R., Martens, M.H. and Stanton, N.A., Effects of adaptive cruise control and highly automated driving on workload and situation awareness: A review of the empirical evidence. Transportation Research Part F: Traffic Psychology and Behaviour, 27, 196-217, 2014.
Google Scholar 

6. Diels, C. and Bos, J.E., Self-driving carsickness. Applied Ergonomics, 53, 374-382, 2016.
Google Scholar 

7. Goncalves, R.C., Louw, T.L., Quaresma, M., Madigan, R. and Merat, N., The effect of motor control requirements on drivers' eye-gaze pattern during automated driving. Accident Analysis & Prevention, 148, 105788, 2020.
Google Scholar 

8. Janssen, C.P., Iqbal, S.T., Kun, A.L. and Donker, S.F., Interrupted by my car? Implications of interruption and interleaving research for automated vehicles. International Journal of Human-Computer Studies, 130, 221-233, 2019.
Google Scholar 

9. Khan, M.Q. and Lee, S., Gaze and Eye Tracking: Techniques and Applications in ADAS. Sensors, 19(24), 5540, 2019.
Google Scholar 

10. Louw, T., Madigan, R., Carsten, O. and Merat, N., Were they in the loop during automated driving? Links between visual attention and crash potential. Injury Prevention, 23(4), 281-286, 2017.
Google Scholar 

11. Marinik, A., Bishop, R., Fitchett, V., Morgan, J., Trimble, T. and Blanco, M., Human factors evaluation of level 2 and level 3 automated driving concepts. National Highway Traffic Safety Administration, Washington, DC. 2014.
Google Scholar 

12. Merat, N., Jamson, A.H., Lai, F.C. and Carsten, O., Highly automated driving, secondary task performance, and driver state. Human Factors, 54(5), 762-771, 2012.
Google Scholar 

13. Pfleging, B., Rang, M. and Broy, N., Investigating user needs for non-driving-related activities during automated driving. In Proceedings of the 15th International Conference on Mobile and Ubiquitous Multimedia (pp. 91-99), 2016.
Google Scholar 

14. Radwin, R.G., Lee, J.D. and Akkas, O., Driver movement patterns indicate distraction and engagement. Human Factors, 59(5), 844-860, 2017.
Google Scholar 

15. Rauffet, P., Botzer, A., Chauvin, C., Saïd, F. and Tordet, C., The relationship between level of engagement in a non-driving task and driver response time when taking control of an automated vehicle. Cognition, Technology & Work, 22(4), 721-731, 2020.
Google Scholar 

16. SAE International. Taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles. (J3016_201609). Warrendale, PA: Author 2016.


17. Salvucci, D.D. and Goldberg, J.H., Identifying fixations and saccades in eye-tracking protocols. In Proceedings of the 2000 Symposium on Eye Tracking Research & Applications (pp. 71-78), 2000.
Google Scholar 

18. Vlakveld, W., van Nes, N., de Bruin, J., Vissers, L. and van der Kroft, M., Situation awareness increases when drivers have more time to take over the wheel in a Level 3 automated car: A simulator study. Transportation Research Part F: Traffic Psychology and Behaviour, 58, 917-929, 2018.
Google Scholar 

19. Vogelpohl, T., Kühn, M., Hummel, T., Gehlert, T. and Vollrath, M., Transitioning to manual driving requires additional time after automation deactivation. Transportation Research Part F: Traffic Psychology and Behaviour, 55, 464-482, 2018.
Google Scholar 

20. Wandtner, B., Schmidt, G., Schoemig, N. and Kunde, W., Non-driving related tasks in highly automated driving-Effects of task modalities and cognitive workload on take-over performance. In AmE 2018-Automotive meets Electronics; 9th GMM-Symposium (pp. 1-6). VDE. 2018.
Google Scholar 

21. Wandtner, B., Schömig, N. and Schmidt, G., Effects of non-driving related task modalities on takeover performance in highly automated driving. Human Factors, 60(6), 870-881, 2018.
Google Scholar 

22. Wickens, C.D. and Gutzwiller, R.S., The status of the strategic task overload model (STOM) for predicting multi-task management. In Proceedings of the human Factors and Ergonomics Society Annual Meeting (Vol. 61, No. 1, pp. 757-761). Sage CA: Los Angeles, CA: SAGE Publications. 2017.
Google Scholar 

23. Wickens, C.D., Gutzwiller, R.S. and Santamaria, A., Discrete task switching in overload: A meta-analyses and a model. International Journal of Human-Computer Studies, 79, 79-84, 2015.
Google Scholar 

24. Zeeb, K., Buchner, A. and Schrauf, M., What determines the take-over time? An integrated model approach of driver take-over after automated driving. Accident Analysis & Prevention, 78, 212-221, 2015.
Google Scholar 

PIDS App ServiceClick here!

Download this article