본문바로가기

Drivers' Visual Search Strategies in Level 3 Autonomous Driving Depended on Takeover Performance and Takeover Request Lead Time

HyunJin Jeon , Rohae Myung
10.5143/JESK.2020.39.3.243 Epub 2020 July 05

0
Cited By

Abstract

Objective: The purpose of this study is to analyze visual search strategies depended on takeover performance and takeover request lead time (TORlt) in Level 3 autonomous driving and derive eye movements for safe takeover.

Background: Driver distraction while driving is a major accident factor. If their eye movements are dispersed or fixed at one point, this hinders information acquisition and proper decision-making, which leads to fatal accidents. Especially in Level 3 autonomous driving, as the driver is not obliged to monitor the driving scene, to ensure safe and successful takeover, drivers need to collect meaningful information during TORlt. Hence the study of the driver's eye movements and attention allocation in TORlt is essential.

Method: Eye movement data were collected using a glasses-type eye tracker in an autonomous driving simulator experiment, and classified into high- and low-performance groups. The static aspects (number of fixation, fixation duration) as well as dynamic aspects (visual entropy) of eye movement were statistically analyzed through two-way ANOVA.

Results: Results showed significant differences in both aspects of takeover performance and TORlt. Significant differences were observed in the destination lane and the side mirror located in the destination lane by the takeover performance. Moreover, there were significant differences in the forward area, non-driving related task (NDRT) and a sum of fixation duration by TORlt. Regarding the dynamic aspects, the visual entropy values became significantly higher as TORlt increased and as the takeover was performed better.

Conclusion: The study quantitatively revealed meaningful areas of interest and eye movements for successful takeovers.

Application: The results can be applied in designing in-vehicle systems and in the further analysis of dynamic eye movements in takeover situations.



Keywords



Autonomous driving Takeover Request (TOR) Takeover Request lead time (TORlt) Visual search strategy Visual entropy



1. Introduction

자율주행 기술은 주행 안전을 보장하고 운전자의 편리함을 증진시키기 위해 발전되었다. 이는 운전자의 산만한 주행으로 인한 오류를 줄임으로써 교통 효율성과 주행 안전을 향상시킬 수 있고, 가스 배출 및 연료 소비를 줄일 수 있다는 장점들로 인해 사회적으로 많은 관심을 받고 있다(Gold et al., 2015; Payre et al., 2014).

국제자동차기술자협회(Society of Automotive Engineers, SAE)는 자율주행 정도와 주행의 주체에 따라 자율주행 자동차를 레벨 0에서 5까지 총 6단계로 구분하였다. 레벨 0은 비자율주행, 레벨 5는 완전한 자율주행을 의미해 단계가 올라갈수록 완전한 자율주행에 가깝고, 이 중 레벨 3인 조건부 자율주행부터는 시스템이 주행의 주체가 된다. 따라서 운전자는 주행 시 모니터링에 대한 의무가 없다. 그러나 조건부 자율주행은 불완전한 자율주행으로 기상악화, 갑작스러운 사고 등의 예기치 못한 위험 상황에서 일시적으로 운전자의 개입을 필요로 한다(SAE International, 2016). 이렇듯 운전자와 자율주행 시스템 사이에 제어권 주체가 상호 이양되는 것을 제어권 전환(Takeover)이라고 한다.

제어권 전환이 주행 도중 발생함에 따라 운전자와 시스템 사이의 원활한 상호작용은 필수적이다. 따라서 시스템은 제어권 전환 요청(Takeover Request, TOR)을 통해 운전자에게 제어권 이양을 권고한다. 권고된 요청에 따라 운전자는 주변 환경을 인지하여 위험을 판단하고, 적절한 의사결정을 내려 행동하는 일련의 인지 과정을 수행한다(Endsley and Kiris 1995; Wickens et al., 2015). 이는 위험 상황에 도달하기까지의 시간인 TORlt (Takeover Request Lead-time) 동안 수행된다.

제어권 전환 상황에 알맞은 의사결정을 위해 운전자는 TORlt 동안 필요한 정보를 지각하고 처리해야 한다. 특히 주행은 정보의 변동이 실시간으로 일어나는 매우 역동적인 상황으로, 효율적인 주의 할당이 요구되는 복잡한 과제이다(Bao and Boyle, 2009; Jeong et al., 2019; Robinson et al., 1972). 따라서 주의 할당이 제대로 이루어지지 않아 정보수집에 있어 손실이 발생할 경우, 치명적인 사고로 직결될 수 있다(Yang et al., 2019). 그러므로 제어권 전환 상황에서 유의미한 정보는 무엇인지, 어느 정도의 정보가 필요한지, 운전자가 정보를 어떠한 순서로 어떻게 획득하는지 같은 정보수집과 관련한 연구는 필수적이다.

이러한 연구는 운전자의 시선 움직임 분석으로 확인할 수 있다. 운전자가 응시하는 정보는 곧 운전자가 처리하고 있는 정보를 반영하기 때문이다(Crundall and Underwood, 2011). 그뿐만 아니라 시각은 대부분의 정보를 받아들이는 감각기관으로, 사람이 시스템을 사용할 때의 정보처리 과정을 나타낼 수 있어 인간공학과 HCI (Human Computer Interaction) 분야에서 연구되어 왔다(Halverson and Hornof, 2011; Holmqvist et al., 2011). 특히 주행에서는 정보의 약 90%가 시각을 통해 획득되고(Robinson et al., 1972), 주행 중 인포테인먼트 시스템이나 HUD (Head Up Display)같은 IVIS (In-Vehicle Information System)를 사용할 때 시스템과의 상호작용이 필요하다. 이러한 이유로 주행과제에서 운전자의 시선 움직임에 대한 연구가 다수 진행되어 오고 있다(Bao and Boyle, 2009; Jeong et al., 2019; Rosner et al., 2019).

시선 움직임을 분석하는 방법으로는 시선 움직임 특성을 고려해 크게 정적, 동적인 방법이 있다(Holmqvist et al., 2011). 정적인 분석법은 AOI (Area of Interest, 관심 구역)에 시선고정하는 횟수(number of fixation)와 지속시간(fixation duration)을 분석하는 것으로, 피실험자가 주의집중 하는 특정 영역을 조사하는 데 유용하다. 그리고 동적인 분석법은 정적인 분석법으로 분석하기 어려운 전이, 시선 방향, 속도 등의 연속적인 특성을 분석하는 방법으로, 피실험자의 정신적 과정을 나타내는데 용이하다(Hatfield et al., 2019; Holmqvist et al., 2011). 즉, 시선 움직임을 세부적으로 분석하기 위해서는 정적, 동적인 분석 방법을 모두 사용하는 것이 바람직하다.

시각적 엔트로피(visual entropy)는 앞서 설명한 동적인 분석 방법 중 하나로, 각 AOI 사이를 움직이는 전이 데이터를 수량화하여 시각적 탐색 전략(visual search strategy)의 복잡성과 인간이 받아들이는 정보량을 나타낸다(Gilland, 2008; Holmqvist et al., 2011; Shannon, 1948). 선행 연구마다 전이 엔트로피, 시각적 엔트로피 등 명명법에 차이가 있어 본 연구에서는 Gilland (2008)의 연구에 따라 시각적 엔트로피라고 명명하고자 한다. 시각적 엔트로피는 정량화된 전반적인 시선 패턴과 주행산만도 및 수집되는 정보량을 의미하기 때문에, 정신적 작업부하를 고려하는 디바이스나 교통 시설물 설계에 활용될 수 있다(Bao and Boyle, 2009; Han et al., 2020; Wang et al., 2017). 그뿐만 아니라 마코브 체인(Markov chain) 식으로 활용될 경우 운전자 개개인의 시각적 탐색 경로나 유기적인 AOI 관계 등의 구체적인 시선 움직임 연구를 가능하게 한다(Gilland, 2008; Jeong et al., 2019; Krejtz et al., 2015). 이렇듯 전이 데이터를 활용하는 방법은 동적인 분석 방법의 기초가 되어 매우 중요하다. 이에 따라 수동운전에서는 시각적 엔트로피를 활용한 연구가 다수 진행되었다. Jeong et al. (2019)는 곡선이 있는 경우 직선 도로에 비해 엔트로피가 낮음을 밝혀냈고 Bao and Boyle (2009)는 고연령일수록 주행 상황을 지엽적으로 응시하는 경향이 있어 젊은 연령대에 비해 엔트로피값이 낮음을 나타냈다. Wang et al. (2017)은 휴대전화를 사용할 경우 운전자의 시선 움직임이 산만해져 엔트로피값이 증가한다고 주장했다. 그러나 자율주행에서의 연구는 자동화 정도에 따라 엔트로피를 비교하는 선에 미치는 실정이다(Gonçalves et al., 2019).

제어권 전환에서는 운전자의 시선 움직임이 제어권 전환에 대한 운전자의 준비도와 상황인식 회복 방법 등을 나타낼 수 있어 중요하다. 따라서 Zeeb et al. (2015)는 제어권 전환에서 운전자가 위험한 운전 성향을 띌 경우 주행과 관련된 AOI를 자주 응시하지 않는 반면, 안전한 주행 성향일 경우 주행과 관련된 AOI를 자주 응시한다는 결과를 도출해냈고, Merat et al. (2014)와 Louw et al. (2017)은 도로 중심 응시 시간(Percent road centre, PRC)을 사용해 운전자가 제어권 전환 후 주행에 몰입한 여부를 판단하였다. Yang et al. (2019)는 조건부 자율주행에서 도로를 응시하지 않는 시간이 운전자의 주의 산만을 나타내는 방법임을 주장하였고, Hayashi et al. (2019)는 제어권 전환 수행도가 높은 그룹의 시각적 탐색 전략을 도출해 이를 바탕으로 차량 내 인터페이스를 디자인했다. 하지만 앞서 언급했듯이 제어권 전환에서 대다수의 연구는 AOI를 응시하는 빈도와 지속시간을 분석하거나, PRC로 상황인식을 간접적으로 측정하는 정적인 분석 방법에 그치고 있다.

요약하면, 제어권 전환에서 운전자는 TORlt 동안 정보를 획득한다. 제한된 시간 동안 정보를 처리하는 만큼 올바른 의사결정을 내리기 위해 운전자가 어떠한 시각정보를 지각하고 처리하는지에 대한 깊은 이해가 필요하다. 이는 정보수집 연구뿐만 아니라 안정적인 제어권 전환, 나아가 더 안전한 자율주행을 위해 필수로 연구되어야 한다. 특히 주행은 정보가 역동적으로 변하는 상황이기 때문에 동적인 시선 움직임이 필수적으로 수반된다는 특징이 있어, 주의 할당에 대한 깊은 이해를 위해 동적인 부분은 반드시 분석되어야 한다. 따라서 본 연구에서는 안전한 제어권 전환을 위해 어떠한 시각정보를 유의미하게 지각하고 처리하는지 그 전략을 정적, 동적인 시선 움직임 분석 방법을 동원하여 자세하게 분석하고자 한다. 이때 제어권 전환 수행도가 높은 그룹과 낮은 그룹으로 분류, 비교하여 안전한 제어권 전환을 위한 시각적 탐색 전략을 도출하고 통계적으로 증명할 것이다.

2. Method

2.1 Participants

고려대학교 학생 10명(남자 8명, 여자 2명, 평균 연령 만 25.2세, 표준편차 2.7세)을 모집하여 실험을 진행했다. 모든 참가자는 유효한 운전면허를 소지했다. 시선 추적 장비(eye tracker) 사용을 위해 시력 또는 교정시력이 정상인 피실험자를 모집했으며 교정시력의 경우 렌즈를 착용하도록 안내했다. 실험 종료 후 각 참여자에게 실험 수당으로 소정의 수고비를 지급하였다.

2.2 Equipment

본 연구에서는 Java 언어를 기반으로 한 오픈소스인 OpenDS 4.5를 사용하여 주행 시뮬레이터 실험 환경을 설계하고 45인치 크기의 모니터를 통해 나타냈다. 피실험자들은 Logitech G25 핸들, 페달, 컨트롤러를 통해 운전과제를 수행했다. 운전과 동시에 iPad pro를 통해 오름차순으로 번호가 매겨진 4개의 공을 터치하는 NDRT (Non-Driving Related Task)를 수행하였다. NDRT는 자율주행이 가능해짐에 따라 운전자가 행할 수 있는 운전 외의 부수적인 활동을 의미하여(Gold et al., 2015) 본 연구에서는 게임 형식으로 진행하였다. 또한, 피실험자가 NDRT에 몰입할 수 있도록 피실험자가 직접 NDRT의 난이도를 설정하게 하였다. 실험을 수행하는 동안 운전자의 안구 데이터는 Pupil labs의 Pupil Core Eye Tracker로 측정되었다(Figure 1).

Figure 1. Experimental equipment and data collection example

2.3 Driving scenario

교통 흐름이 있는 고속도로 상황을 반영하기 위해 실험 시나리오상에서 피실험자가 주행하고 있는 옆 차선에는 3대의 차량이 주행하도록 했다. 그중 한대는 피실험자의 차량보다 뒤편에 위치하도록 하고, 반대 차선에는 4대의 차량이 주행하도록 설정했다. 피실험자는 2차선에서 자율주행 모드, 시속 100km로 모든 실험을 시작하며, TOR이 울리기까지 약 30초간 NDRT를 수행한다. 이후 장애물을 인지한 시스템이 소리 형태로 TOR을 울리면 주행 차선에 검은색 장애물이 나타난다. 운전자는 상황을 모니터링하고 제어권 전환 버튼을 눌러 제어권을 이양받는다. 이후 장애물을 피해 차선이동을 완료하고 주행이 안정되었다고 판단될 경우, 버튼을 눌러 자율주행 시스템에게 제어권을 넘기는 것을 끝으로 실험은 마무리된다.

2.4 Independent variable

본 연구에서는 TORlt를 7초, 15초, 45초로 설정하였다. 그리고 안전한 제어권 전환을 위한 시각적 탐색 전략을 도출하기 위해, 실험이 마무리 된 후 결과 분석과정에서 실험 데이터를 제어권 전환 수행도가 높은 그룹과 낮은 그룹으로 분류하였다(Table 1).

수동운전에서 주행 수행도는 운전자의 의사결정으로 인한 결과물로, 운전자가 주행 상황을 모니터링하는 전략을 판단할 수 있다(Bao and Boyle, 2009; Beal and Gerdes, 2013). 이는 제어권 전환에서도 동일하게 적용되는 사항으로, 제어권 전환 수행도가 높은 데이터의 안구 데이터를 분석할 경우 안전한 제어권 전환을 위한 시각적 탐색 전략을 도출할 수 있다(Hayashi et al., 2019). 따라서 본 연구에서는 한국교통안전공단과 선행 연구를 바탕으로 제어권 전환 수행도를 분류하였다(Hayashi et al., 2019; TS, 2013).

한국교통안전공단 자료에 따르면 위험운전행동은 과속, 급가속, 급감속, 급진로변경, 급회전유형으로 분류된다(TS, 2013). 본 실험 시나리오상에서 피실험자 차량 앞에 주행중인 차량이 존재하기 때문에 급감속을 제외한 나머지 유형은 앞 차량이나 장애물과의 사고로 이어진다. 따라서 본 연구에서는 급감속유형과 사고 발생을 낮은 제어권 전환 수행도로 채택하였고, 시속이 일정하고 사고가 발생하지 않은 데이터를 높은 제어권 전환 수행도로 분류하였다. 급감속유형은 브레이크를 사용하면서 1초당 7.5km/h 이상 감속해 속도가 0이 되는 것으로 기준으로 추출하였으며(TS, 2013), 낮은 수행도의 세부 분류는 Table 1의 하단에 기입하였다.

TORlt는 선행 연구를 바탕으로 7초, 15초, 45초 세 가지 수준으로 설정하였다. 7초는 안전한 주행을 위해 최소로 필요한 시간으로 기존 연구에서 밝혀진 바 있다(Gold et al., 2013). 15초는 자율주행 해지 후 운전자가 운전에 완전히 몰입되기까지 10초에 15초 정도의 시간이 필요하므로 TORlt로 설정하였으며(Merat et al., 2014), 45초는 TORlt가 길수록 효율적인 시선 움직임이 발생한다는 연구를 반영하고자 설정하였다(Pampel et al., 2019).

TORlt
Performance

7s

15s

45s

High

4

6

8

Low

6

4

2

Accident

2

3

1

Sudden stop

4

1

1

Table 1. The classification of data as takeover performance in each TORlt

2.5 Dependent variable

본 논문에서는 정보수집을 보다 자세하게 분석하기 위해 정적 및 동적인 시선 움직임 분석 방법을 모두 사용하였다. 분석 구간은 TOR 이후부터 제어권 전환이 발생한 상황을 해결 완료한 시점까지로, 실험 시나리오상에서는 검은색 장애물을 피하여 차선이동을 완료하는 시점까지로 설정하였다.

먼저 정적인 분석법으로는 각 AOI에 있어 시선고정하는 횟수와 지속시간을 측정했다(Gold et al., 2013; Underwood et al., 2003; Zeeb et al., 2015). 그리고 제어권 전환 수행도와 TORlt에 따라 시선고정 지속시간의 합을 측정했다. 이는 제어권 전환에서 정적인 분석법만으로 측정할 수 있는 운전자의 시선 움직임을 확인하기 위함이다. 본 실험에서는 피실험자 별로 시선고정하는 횟수와 제어권 전환으로 인한 차선이동 과제를 수행하는데 걸리는 시간이 각기 다르므로, 시선고정 횟수와 지속시간의 정규화를 위해 다음과 같이 Equation 1, Equation 2로 계산하였다.

Number of fixation = (Number of fixation on each AOI / Total number of fixation in takeover situation) × 100(%)      (1)

Fixation duration = (Fixation duration on each AOI / Required time for takeover situation) × 100(%)      (2)

정적인 분석법을 사용하기 위해 응시 지속시간(gaze duration)이 200ms인 것을 시선고정(fixation)으로 설정하였으며(Crundall et al., 1999; Salvucci and Goldberg, 2000), 고속도로 차선이동 과제를 사용한 문헌을 바탕으로 총 8개의 AOI를 설정하였다(Gold et al., 2013; Hergeth et al., 2016; Martin and Trivedi, 2017; Salvucci and Liu, 2002; Zeeb et al., 2015). AOI는 Figure 2와 같이 알파벳 순서대로 (A)전방주시, (B)우측 사이드미러, (C)좌측 사이드미러, (D)2차선, (E)1차선, (F)리어 뷰 미러, (G)NDRT, (H)이에 해당하지 않는 다른 구역으로 구성된다.

Figure 2. Classification of area of interests

동적인 분석법으로는 시각적 엔트로피를 사용하였다. 이는 샤넌의 엔트로피를 응용한 것으로 전반적인 시선 움직임을 정량화하는 데 사용된다. 엔트로피는 어떤 환경에서 일어날 수 있는 사건 발생 확률을 토대로 하여 시선 움직임의 복잡성과 정보량을 의미하고(Shannon, 1948), Equation 3과 같이 표현된다.

        (3)

       (4)

       (5)

Equation 3에서 p(x)는 사건의 발생확률이다. 이 확률이 낮을수록 정보량은 많고, 확률이 높을수록 정보량은 적다. 예를 들어 어떤 사건이 발생할 확률이 1일 경우, 이 사건이 발생한다는 사실은 확실한 정보이기 때문에 엔트로피값은 0이라는 최솟값을 가지게 된다. 엔트로피의 최솟값은 0으로 어떠한 상황에서도 동일하지만 최댓값은 사건의 수에 따라 달라지며 모든 사건이 동일한 확률값을 가질 때 결정된다.

샤넌의 엔트로피는 엔트로피의 기대치를 나타낸 것으로 Equation 4로 표현되며 시각적 엔트로피는 사건의 발생확률을 조건부 확률로 대체해 Equation 5로 계산된다(Gilland, 2008; Holmqvist et al., 2011). Equation 5에서 조건부 확률은 특정 AOI를 응시한 이후, 고정했던 AOI를 제외한 다른 AOI에 시선고정 할 확률을 의미해 전이 활동을 나타내며 n은 전체 AOI의 수를 나타낸다.

2.6 Procedure

실험 시작 전, 피실험자에게 구두 및 서면으로 실험에 대한 안내를 진행했다. 설명 시, 빠른 제어권 전환보다 정확하고 안전한 제어권 전환이 중요하며 실험 도중 시속 100km를 유지할 것을 안내했다. 또한, 피실험자에게 실험 시작 후 NDRT를 수행할 것을 안내했다. 모든 안내를 완료한 후, 시선 데이터 추출을 위해 피실험자에게 아이 트래커를 착용시켰으며 착용 후 기기 교정을 진행했다. 피실험자는 핸들, 페달, 제어권 전환 버튼 등을 통해 주행 시뮬레이터에 익숙해질 시간을 충분히 가졌다. 이후 실험과 관련 없는 시나리오에서 주행 상황을 조작할 수 있도록 연습했고, 그 후에 본 실험을 진행하였다. 실험은 TORlt의 길이에 따라 진행되어 총 3번 진행되었고 실험 시 TORlt는 랜덤하게 주어졌다. 실험시간은 실험 한 번에 약 1분 정도 소요되고 각 실험 사이에는 5분간 휴식시간이 주어져, 휴식시간을 합해 총 15분 정도 소요되었다.

3. Results

3.1 Number of fixation on each AOI

Figure 3, Figure 4는 각각 수행도, TORlt에 따른 각 AOI에 대한 시선고정 횟수를 그래프로 나타낸 것이다. X축은 앞서 서술하였던 8개의 AOI를 알파벳 순으로 나타낸 것이며 유의수준 0.05를 기준으로 유의미한 차이가 있는 AOI에 * 표기, 0.01 기준으로 유의미한 차이가 있는 경우 **로 표기하였다.

Figure 3과 4를 통해 전반적인 경향을 확인할 수 있다. 수행도가 높은 경우 1차선을 가장 많이 응시하고, 사이드미러와 리어 뷰 미러 등 전체 주행 상황을 한눈에 확인할 수 있는 AOI를 응시하는 경향이 있다. 반면에 수행도가 낮은 경우 전방주시와 2차선을 주로 응시하는 경향성을 띄고 있다(Figure 3). TORlt에 따라서는 7초에서 전방주시, 2차선, 1차선, NDRT에 비슷한 비율로 시선고정이 이루어졌고, 15초에서 전방주시에 가장 많이, 45초에서 NDRT에 가장 많은 시선고정을 보였다(Figure 4).

통계적으로 유의미한 결과를 도출하기 위해 이원분산분석(two-way ANOVA)을 진행했다. 이원분산분석 결과, 8개의 AOI 중 1차선과 NDRT에서 유의미한 결과가 발생했다. 수행도가 높은 그룹이 1차선을 유의미하게 많이 응시했고(F=11.879, p-value<.01), NDRT에 대해 TORlt의 주 효과는 유의하게 나타났으며(F=4.567, p-value<.05), SNK 사후분석결과 15 · 7초, 7 · 45초의 두 그룹으로 구분할 수 있었다. 그러나 모든 AOI에서 수행도와 TORlt의 교호작용 효과는 나타나지 않았다.

Figure 3. Number of fixation by takeover performance
Figure 4. Number of fixation by TORlt

3.2 Fixation duration on each AOI

Figure 5, Figure 6은 각각 수행도, TORlt에 따른 각 AOI에 대한 시선고정 지속시간과 실험 중 전체 시선고정 지속시간의 합을 그래프로 나타낸 것이다. Figure 3, Figure 4과 마찬가지로 그래프를 통해 전반적인 경향을 도출할 수 있었으며, X축에 앞서 서술하였던 8개의 AOI를 알파벳 순으로 나타냈고 유의수준 0.05를 기준으로 유의미한 차이가 있는 AOI에 * 표기하였다. 수행도에 따라 전반적으로 Figure 3과 비슷한 경향성이 나타났지만, 수행도가 높은 그룹이 NDRT를 더 오래 응시하는 경향이 있다는 점에서 차이가 있었으며 시선고정 지속시간의 합은 수행도가 높을수록 더 긴 경향이 있었다(Figure 5).

통계적으로 유의미한 결과를 도출하기 위해 이원분산분석을 실시한 결과, 수행도에 따라서 좌측 사이드미러를 응시하는 횟수는 유의미하지 않았던 반면, 지속시간에서는 유의미한 차이가 발생했고(F=4.308, p-value<.05), 1차선은 수행도에 유의미한 영향을 받는다는 사실이 동일했다(F=6.674, p-value<.05). TORlt에 따라서는 전방주시에 대한 응시 횟수에는 유의한 차이가 발생하지 않았던 반면, 지속시간에서는 유의미한 차이가 발생했고(F=4.093, p-value=<.05) SNK 사후분석결과 7 · 45초, 15초의 두 그룹으로 구분할 수 있었다. 그리고 실험 중 전체 시선고정 지속시간의 합에서 유의미한 차이가 발생했으며(F=4.465, p-value=<.05) SNK 사후분석결과 7 · 45초, 15초의 두 그룹으로 구분할 수 있었다. 마지막으로 모든 AOI에서 수행도와 TORlt의 교호작용 효과는 나타나지 않았다.

Figure 5. Fixation duration by takeover performance
Figure 6. Fixation duration by TORlt

3.3 Visual entropy

Figure 7, Figure 8은 각각 수행도, TORlt에 따른 시각적 엔트로피값을 나타낸다. 각 그래프에 유의수준 0.05를 기준으로 유의미한 차이가 있는 경우 * 표기, 0.01 기준으로 유의미한 차이가 있는 경우 **로 표기하였다. 실험 결과, 수행도가 높은 그룹은 2.383 bits로, 수행도가 낮은 그룹이 1.012 bits인 것에 비해 약 2.35배 높았으며 TORlt에 따라서는 7초 1.085 bits, 15초 1.776 bits, 45초 2.643 bits로 시간이 길어질수록 높았다.

시각적 엔트로피값에 대한 이원분산분석결과 수행도가 높은 그룹의 시각적 엔트로피값이 유의미하게 높았고(F=14.855, p-value<.01), TORlt가 길어짐에 따라 유의미하게 증가하였다(F=4.613, p-value<.05). SNK 사후분석결과 7초, 15초, 45초의 세 그룹으로 구분할 수 있었으며 두 변수 사이의 교호작용 효과는 나타나지 않았다.

Figure 7. Visual entropy by takeover performance
Figure 8. Visual entropy by TORlt
4. Discussion

본 연구의 목적은 제어권 전환 수행도와 TORlt 길이에 따라 어떠한 시각정보를 유의미하게 지각하고 처리하는지 정적, 동적인 측면에서 조사하는 것이다. 실험 결과, 제어권 전환 수행도에 따라 정적, 동적인 시선 움직임에서 유의미한 차이가 발생했다. 이를 통해 안전한 제어권 전환을 위해 필수로 획득해야 하는 정보를 도출할 수 있었으며 전반적인 시선 패턴을 정량화할 수 있었다.

정적인 분석 방법을 통해 수행도가 높은 그룹이 그렇지 않은 그룹보다 1차선을 더 많이 응시하고, 1차선과 좌측 사이드미러를 더 오래 응시한다는 사실을 확인했다. 본 연구에서 1차선과 좌측 사이드미러는 각각 목표로 하는 차선과 목표로 하는 차선의 사이드미러이다. 따라서 이는 비교적 수행도가 우수한 전문가 집단의 경우 거울을 보는 행동 즉, 상황을 미리 예측하기 위한 시각적 탐색 전략이 존재한다는 선행 연구와 맥락을 같이한다(Crundall and Underwood, 1998; Stahl et al., 2019; Underwood et al., 2003; Underwood, 2007). 또한, 제어권 전환에서 수행도가 높은 그룹이 거울을 더 응시한다는 연구와도 일관된 결과를 보인다(Hayashi et al., 2019). 본 연구는 사이드미러가 차선 변경 가능성을 보장하는 AOI인 만큼(Gold et al., 2013), 안전한 제어권 전환을 위해 운전자는 가까운 미래에 위치할 곳을 응시하며 그에 관련된 정보를 획득해야 한다는 결론을 도출하였으며 선행 연구 결과에 추가로 목표로 하는 차선에도 유의미한 차이가 있음을 밝혀냈다. 또한, 좌측 사이드미러에 시선고정하는 횟수에는 유의한 차이가 없었지만, 시선고정 지속시간에 유의한 차이가 있음을 알아냈다. 이는 자주 보는 것은 중요한 작업, 오래 응시하는 것은 비교적 어려운 작업이라는 선행 연구로 미루어 보아(Hatfield et al., 2019), 목표로 하는 차선의 사이드미러를 통해 받아들이는 정보가 비교적 어렵다는 것으로 해석할 수 있다. 추가로, 전체 시선고정 지속시간의 합 데이터를 계산하여 정적인 분석법만으로는 시선 움직임을 100% 나타낼 수 없다는 결과를 도출했고, 이를 통해 시선 움직임에 대한 연구에서 동적인 분석 방법을 고려해야 한다는 결론을 내릴 수 있었다.

동적인 분석 방법에서는 수행도가 높은 그룹의 시각적 엔트로피값이 수행도가 낮은 그룹에 비해 유의미하게 높아, 정보 획득 시 동일한 AOI만을 응시하지 않고 여러 AOI 사이를 번갈아 가며 응시하는 시각적 탐색 전략을 알 수 있었고 이를 수치화할 수 있었다. 이는 숙련자일수록 변화하는 주행 상황에 더 민감하게 정보를 수집하는 이유로 전이 빈도가 증가하고 초보자일수록 고정관념적으로 전방만 주시하는 경향이 있다는 기존 결과에 부합한다(Underwood et al., 2003). 또한, 일반적으로 수행도가 낮을 경우 주행과제 수행 시 인지부하가 상승하는데 이때 엔트로피값이 감소한다는 연구로도 설명 가능하다(Schieber and Gilland, 2008). 그러나 선행 연구 중에는 주행 중 핸드폰을 사용하여 사고가 발생할 경우 엔트로피값이 증가한다는 본 연구 결과와 상반되는 연구도 존재한다(Wang et al., 2017). 하지만 Wang et al. (2017)의 실험은 일반 주행 상황에서 핸드폰 사용을 자유롭게 사용할 수 있도록 하였고, 본 실험에서는 피실험자들이 제어권을 이양받고 나면 NDRT를 더 이상 수행하지 않았다는 점에서 상이하다. 즉, 엔트로피값이 높더라도 이를 구성하는 AOI 요소에 차이가 있어 발생한 현상으로, Wang et al. (2017)은 핸드폰 사용을 위한 움직임이, 본 연구에서는 차선이동을 위한 시선 움직임이 주를 이루고 있다는 점에서 차이가 있다. 이렇듯 같은 결과일지라도 상이한 해석이 가능하다는 사실은 실험의 목적에 부합하는 AOI 선정이 중요함을 뒷받침한다.

TORlt는 수행도와 마찬가지로 정적, 동적인 시선 움직임에서 유의미한 차이가 발생했다. 정적인 분석 방법을 사용했을 때 TORlt에 영향을 받는 AOI는 전방주시와 NDRT였고, TORlt에 따라 시선고정 지속시간의 합에 차이가 발생했다. 여기서 주목할 점은 TORlt가 길수록 NDRT를 더 수행할 것이라는 일반적인 예상과 다르게 TORlt 15초 7초 45초 순서로, 15초보다 7초에서 NDRT를 더 자주 응시했다는 사실이다. 또한, TORlt 7초, 45초, 15초 순서로 전방을 더 오래 응시했으며 15초에서 시선고정 지속시간의 합이 가장 길었다는 사실도 주목할만하다. 도출된 결과들을 요약하면 15초에서 가장 적게 NDRT를 응시하고, 전방을 오래 응시했으며 시선고정 지속시간의 합이 가장 길다는 결과를 도출할 수 있다. 앞서 언급했듯이 특정 AOI를 응시하는 횟수와 기간은 그 AOI에 대한 주의 자원의 할당을 나타낸다. 이러한 결과로 미루어 보아 최소 15초의 TORlt를 보장하는 것이 바람직하다고 할 수 있다. 이는 운전자가 운전에 완전히 몰입되기까지 10초에 15초 정도의 시간이 필요하다는 Merat et al. (2014)의 연구와 운전자가 편안하게 제어권 전환을 수행하기 위해서 TORlt로 10초가 필요하다는 Melcher et al. (2015) 연구 결과를 뒷받침하는 새로운 근거로 활용될 수 있다. 또한, 수행도와 마찬가지로 전체 시선고정 지속시간의 합 데이터를 통해 정적인 분석법만으로는 시선 움직임을 100% 나타내기 어렵다는 사실을 확인하였으며, 이에 따라 운전자의 시선 움직임을 연구할 때 동적인 분석법을 사용할 필요가 있다는 결론을 내릴 수 있었다.

동적인 분석 방법에서는 TORlt가 증가함에 따라 시각적 엔트로피값이 유의미하게 증가했다. 이는 차선이동 할 수 있는 가용시간이 늘어남에 따라, NDRT와 주행과 관련된 AOI 사이를 모니터링하는 빈도가 증가했고 이로 인해 변화한 전이 빈도가 엔트로피에 반영되었기 때문이다.

본 연구는 TORlt 동안 운전자가 어떤 정보를 어떻게 획득해야 안전한 제어권 전환이 가능한지를 조사하기 위해 운전자의 시선 움직임 데이터를 사용하여 의미 있는 AOI를 도출하고, 운전자의 시각적 탐색 전략을 정량화했다. 그 결과 목표로 하는 차선과 그 차선 방향의 사이드미러를 응시하는 것이 안전한 제어권 전환을 위해 필수적으로 요구되며 여러 AOI에 주의를 옮기며 정보를 수집하는 전략이 필요하다는 것을 통계적으로 확인했다. 또한, 동적 분석 방법을 사용함으로써 향후 제어권 전환 상황에서 운전자 개개인의 시각적 탐색 경로나 유기적인 AOI 관계 등의 구체적인 시선 움직임 연구가 가능할 수 있는 발판을 마련했다. 도출된 결과들은 운전자의 주의 자원 할당을 필요로 하는 차량 내 디바이스 설계에 이론적인 근거로 사용될 수 있다. 그러나 피실험자가 10명으로 다소 부족했으며 연령이 20대로 한정된 점에 한계점이 존재했다. 또한, 시나리오가 고속도로에 국한되어 있어 다양한 상황에 대한 연구가 부족했다. 따라서 추후 연구에서는 연령대를 넓혀 피실험자를 증원하고 다양한 시나리오상에서 측정하는 것이 필요할 것이다. 추가로, 본 연구에서 마련한 근간을 바탕으로 향후 마코브 체인을 사용하여 동적인 분석 방법을 사용한 연구의 범위를 확장할 수 있을 것이다.

5. Conclusion

제어권 전환 상황에서는 운전자와 자율주행 시스템 간의 원활한 상호작용이 필수적이다. 안전한 제어권 전환 수행을 위해 운전자는 TORlt 동안 제어권 전환에 필요한 정보를 빠르고 정확하게 지각하고 처리해야 한다. 따라서 주의 할당과 정보수집에 대한 연구는 필수적이다. 본 연구에서는 시선 움직임으로 이를 분석했으며 각 AOI를 응시하는 빈도와 시간을 측정하는 정적인 방법뿐만 아니라 각 AOI 사이의 전이를 측정하는 동적인 방법을 사용하여 시각적 탐색 전략을 평가했다. 실험 결과 안전한 제어권 전환을 위해 필수로 응시해야 하는 AOI와 각 AOI 사이의 전이를 정량적으로 나타낼 수 있었다. 도출된 결과는 자율주행 차량 내 인터페이스 설계 시 활용될 수 있으며, 제어권 전환 상황에서 동적인 시선 움직임 연구가 가능하도록 그 기초를 마련했다는 의의를 지닌다.



References


1. Bao, S. and Boyle, L.N., Age-related differences in visual scanning at median-divided highway intersections in rural areas. Accident Analysis & Prevention, 41(1), 146-152, 2009.
Crossref  Google Scholar 

2. Beal, C.E. and Gerdes, J.C., Model predictive control for vehicle stabilization at the limits of handling. IEEE Transactions on Control Systems Technology, 21(4), 1258-1269, 2013.
Google Scholar 

3. Crundall, D.E. and Underwood, G., Effects of experience and processing demands on visual information acquisition in drivers. Ergonomics, 41(4), 448-458, 1998.
Crossref  Google Scholar 

4. Crundall, D. and Underwood, G., Visual attention while driving: measures of eye movements used in driving research. In Handbook of Traffic Psychology (pp. 137-148). Academic Press, 2011.
Google Scholar 

5. Crundall, D., Underwood, G. and Chapman, P., Driving experience and the functional field of view. Perception, 28(9), 1075-1087, 1999.
Crossref  Google Scholar 

6. Endsley, M.R. and Kiris, E.O., The out-of-the-loop performance problem and level of control in automation. Human Factors, 37(2), 381-394, 1995.
Google Scholar 

7. Gilland, J., Driving, eye-tracking and visual entropy: Exploration of age and task effects. University of South Dakota, 2008.
Crossref  Google Scholar 

8. Gold, C., Berisha, I. and Bengler, K., Utilization of drivetime-performing non-driving related tasks while driving highly automated. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 59, No. 1, pp. 1666-1670). Sage CA: Los Angeles, CA: SAGE Publications, 2015.
Google Scholar 

9. Gold, C., Damböck, D., Lorenz, L. and Bengler, K., "Take over!" How long does it take to get the driver back into the loop?. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 57, No. 1, pp. 1938-1942). Sage CA: Los Angeles, CA: Sage Publications, 2013.
Google Scholar 

10. Gonçalves, R., Louw, T., Madigan, R. and Merat, N., Using Markov chains to understand the sequence of drivers' gaze transitions during lane-changes in automated driving. In Proceedings of the International Driving Symposium on human Factors in Driver Assessment, Training and Vehicle Design (Vol. 2019, pp. 217-223), 2019.
Google Scholar 

11. Halverson, T. and Hornof, A.J., A computational model of "active vision" for visual search in human-computer interaction. Human-Computer Interaction, 26(4), 285-314, 2011.
Google Scholar 

12. Han, X., Shao, Y., Yang, S. and Yu, P., Entropy-Based Effect Evaluation of Delineators in Tunnels on Drivers' Gaze Behavior. Entropy, 22(1), 113, 2020.
Google Scholar 

13. Hatfield, N., Yamani, Y., Palmer, D.B., Yahoodik, S., Vasquez, V., Horrey, W.J. and Samuel, S., Analysis of visual scanning patterns comparing drivers of simulated L2 and L0 systems. Transportation Research Record, 2673(10), 755-761, 2019.
Google Scholar 

14. Hayashi, H., Kamezaki, M., Manawadu, U.E., Kawano, T., Ema, T., Tomita, T. and Sugano, S., A Driver Situational Awareness Estimation System Based on Standard Glance Model for Unscheduled Takeover Situations. In 2019 IEEE Intelligent Vehicles Symposium (IV) (pp. 798-803). IEEE, 2019.
Google Scholar 

15. Hergeth, S., Lorenz, L., Vilimek, R. and Krems, J.F., Keep your scanners peeled: Gaze behavior as a measure of automation trust during highly automated driving. Human Factors, 58(3), 509-519, 2016.
Google Scholar  PubMed 

16. Holmqvist, K., Nyström, M., Andersson, R., Dewhurst, R., Jarodzka, H. and Van de Weijer, J., Eye tracking: A comprehensive guide to methods and measures. OUP Oxford, 2011.
Google Scholar 

17. Jeong, H., Kang, Z. and Liu, Y., Driver glance behaviors and scanning patterns: Applying static and dynamic glance measures to the analysis of curve driving with secondary tasks. Human Factors and Ergonomics in Manufacturing & Service Industries, 29(6), 437-446, 2019.
Google Scholar 

18. Krejtz, K., Duchowski, A., Szmidt, T., Krejtz, I., González Perilli, F., Pires, A., Vilaro, A. and Villalobos, N., Gaze transition entropy. ACM Transactions on Applied Perception (TAP), 13(1), 1-20, 2015.
Google Scholar 

19. Louw, T., Madigan, R., Carsten, O. and Merat, N., Were they in the loop during automated driving? Links between visual attention and crash potential. Injury Prevention, 23(4), 281-286, 2017.
Google Scholar  PubMed 

20. Martin, S. and Trivedi, M.M., Gaze fixations and dynamics for behavior modeling and prediction of on-road driving maneuvers. In 2017 IEEE Intelligent Vehicles Symposium (IV) (pp. 1541-1545). IEEE, 2017.
Google Scholar 

21. Melcher, V., Rauh, S., Diederichs, F., Widlroither, H. and Bauer, W., Take-over requests for automated driving. Procedia Manufacturing, 3, 2867-2873, 2015.
Google Scholar 

22. Merat, N., Jamson, A.H., Lai, F.C., Daly, M. and Carsten, O.M., Transition to manual: Driver behaviour when resuming control from a highly automated vehicle. Transportation Research Part F: traffic Psychology and Behaviour, 27, 274-282, 2014.
Google Scholar 

23. Pampel, S.M., Large, D.R., Burnett, G., Matthias, R., Thompson, S. and Skrypchuk, L., Getting the driver back into the loop: the quality of manual vehicle control following long and short non-critical transfer-of-control requests: TI: NS. Theoretical Issues in Ergonomics Science, 20(3), 265-283, 2019.
Google Scholar 

24. Payre, W., Cestac, J. and Delhomme, P., Intention to use a fully automated car: Attitudes and a priori acceptability. Transportation Research Part F: Traffic Psychology and Behaviour, 27, 252-263, 2014.
Google Scholar 

25. Robinson, G.H., Erickson, D.J., Thurston, G.L. and Clark, R.L., Visual search by automobile drivers. Human Factors, 14(4), 315-323, 1972.
Crossref  Google Scholar 

26. Rosner, A., Franke, T., Platten, F. and Attig, C., Eye Movements in Vehicle Control. In Eye Movement Research (pp. 929-969). Springer, Cham, 2019.
Crossref  Google Scholar 

27. SAE International. Taxonomy and definitions for terms related to driving automation systems for on-road motor vehicles. (J3016_201609). Warrendale, PA: Author, 2016.


28. Salvucci, D.D. and Goldberg, J.H., Identifying fixations and saccades in eye-tracking protocols. In Proceedings of the 2000 Symposium on Eye Tracking Research & Applications (pp. 71-78). ACM, 2000.
Google Scholar 

29. Salvucci, D.D. and Liu, A., The time course of a lane change: Driver control and eye-movement behavior. Transportation Research Part F: Traffic Psychology and Behaviour, 5(2), 123-132, 2002.
Google Scholar 

30. Schieber, F. and Gilland, J., Visual entropy metric reveals differences in drivers' eye gaze complexity across variations in age and subsidiary task load. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 52, No. 23, pp. 1883-1887). Sage CA: Los Angeles, CA: SAGE Publications, 2008.
Google Scholar 

31. Shannon, C.E., A mathematical theory of communication. Bell System Technical Journal, 27(3), 379-423, 1948.
Google Scholar 

32. Stahl, P., Donmez, B. and Jamieson, G.A., Eye glances towards conflict-relevant cues: the roles of anticipatory competence and driver experience. Accident Analysis & Prevention, 132, 105255, 2019.
Google Scholar 

33. TS. Operation Record Analysis System User Manual. 2013.


34. Underwood, G., Visual attention and the transition from novice to advanced driver. Ergonomics, 50(8), 1235-1249, 2007.
Google Scholar 

35. Underwood, G., Chapman, P., Brocklehurst, N., Underwood, J. and Crundall, D., Visual attention while driving: sequences of eye fixations made by experienced and novice drivers. Ergonomics, 46(6), 629-646, 2003.
Crossref  Google Scholar  PubMed 

36. Wang, Y., Bao, S., Du, W., Ye, Z. and Sayer, J.R., Examining drivers' eye glance patterns during distracted driving: Insights from scanning randomness and glance transition matrix. Journal of Safety Research, 63, 149-155, 2017.
Google Scholar 

37. Wickens, C.D., Hollands, J.G., Banbury, S. and Parasuraman, R., Engineering psychology and human performance. Psychology Press, 2015.
Google Scholar 

38. Yang, S., Kuo, J. and Lenné, M.G., Patterns of Sequential Off-Road Glances Indicate Levels of Distraction in Automated Driving. In Proceedings of the Human Factors and Ergonomics Society Annual Meeting (Vol. 63, No. 1, pp. 2056-2060). Sage CA: Los Angeles, CA: SAGE Publications, 2019.
Google Scholar 

39. Zeeb, K., Buchner, A. and Schrauf, M., What determines the take-over time? An integrated model approach of driver take-over after automated driving. Accident Analysis & Prevention, 78, 212-221, 2015.
Google Scholar  PubMed 

PIDS App ServiceClick here!

Download this article