eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
Jae Seung Mun
, Min Chul Cha
, Yong Gu Ji
, Hyochang Kim
10.5143/JESK.2024.43.6.549 Epub 2025 January 07
Abstract
Objective: To investigate how the blackout of natural driving visual information on the windshield in Level 5 autonomous driving impacts passengers' flow states during non-driving related tasks (NDRTs).
Background: As Level 5 autonomous driving technology progresses, passengers are no longer required to engage in driving, allowing full focus on NDRTs. Prior research has primarily focused on Level 3 autonomous driving, examining driver handover scenarios and the necessary visual information. However, in a fully autonomous setting where no driver intervention is required, understanding the influence of visual information on NDRT engagement is essential.
Method: This study employed a Level 5 autonomous driving simulator with 27 participants performing NDRTs, specifically video watching and gaming tasks, under both conditions: with and without windshield visual information. An ANOVA analysis was conducted to evaluate the effect of visual information control on NDRT flow states.
Results: The findings showed a significant decrease in NDRT flow states when windshield visual information was blocked. Notably, participants with driving licenses experienced a pronounced impact, while those without licenses showed no significant difference in flow states between conditions.
Conclusion: The blackout of windshield visual information affects NDRT flow states, particularly for participants with prior driving experience, highlighting the need to reconsider in-car interface design and information presentation in Level 5 autonomous vehicles.
Application: This study offers valuable insights for optimizing NDRT experiences in fully autonomous vehicles, informing strategies for visual information control and user interface design.
Keywords
Autonomous driving level 5 Non-Driving Related Task (NDRT) Wind shield Flow state
최근 글로벌 차량 제조사들은 자율주행 레벨3 기술을 상용화를 위한 준비를 하고 있으며, 나라 별 자율주행 차량의 안전 기준이 개정되는 대로 자율주행 레벨3의 차량을 만나 볼 수 있을 것이다. 자율주행 레벨3는 조건부 자동화 상태이며 특정 구간에서 자동화된 시스템에 의해 주행이 가능하며 시스템의 요청이 있는 경우 제어권을 운전자가 넘겨 받아야 한다. 자율주행에 관련 기존 연구들은 자율주행 레벨3 상황에서 운전자가 자율주행 시스템으로부터 특정 상황에서 차량의 운전 제어권을 받아오는 제어권 전환(Take over Request)에 대한 연구가 중심을 이루어져 왔다. 긴급한 제어권 전환 상황에서는 단순한 정보 전달 방식보다는 멀티모달 형태의 정보 전달이 가장 효과적이고, 긴급성이 낮은 경우에는 시각정보 기반의 제어권 전환 정보 전달이 선호되었다(Bazilinskyy et al., 2018). 안전한 제어권 전환을 위한 필요 시간에 대한 연구도 꾸준히 이루어졌는데, Gold et al. (2013) 연구에서는 비주행과업을 수행하는 상황에서 발생하는 제어권 전환은 7초 이상의 충분한 시간이 필요하다고 밝혔다. MIT의 연구에 따르면 테슬라의 오토파일럿 기능을 사용하는 운전자들의 경우 운전자의 시선이 도로를 벗어나는 경우가 많은 등 시각적, 행동적 변화가 있는 것이 확인되었다(Morando et al., 2021). 이미, 자율주행 차량 기술의 발전에 따라서 차량 내 탑승자들은 점점 주행을 위하여 모든 시간을 보내지 않고 자율주행 시스템이 주행을 담당하는 시간이 늘어나고 있다(Naujoks et al., 2017). 안전과 연결하여 다양한 비주행과업들이 자율주행 환경에서 과업 별 특성에 따라 탑승자들은 다른 인지 부하 수준을 갖는 것을 확인하였다(Kim et al., 2020). 자율주행 레벨이 올라 갈수록 운전자는 비주행과업에 참여할 가능성이 높아진다(De Winter et al., 2014). 하지만 현재까지 비주행과업은 자율주행 환경에서 제어권 전환을 가정하여, 비주행과업이 운전 행동에 어떤 영향을 미치는지를 확인하기 위하여 활용되었다(Zeeb et al., 2015; Naujoks et al., 2016).
자율주행 레벨3를 넘어서 더 높은 수준의 자율주행 기술이 적용된다면 사람의 직접 주행에 대한 필요성이 낮아질 것이며, 최종적으로 자율주행 레벨5가 되면 사람이 주행을 전혀 하지 않는 환경으로 차량의 특성이 변화할 것이다. 자율주행 레벨5에서는 차량 내 탑승자가 직접 운전을 할 필요가 없기 때문에 필수적으로 제공이 필요했던 주행 환경에 대한 시각정보가 더 이상 필수요소가 아니게 될 가능성이 있으며, 그 경우 차량 내에서 탑승자들이 경험하게 되는 환경은 주행 이동이 아닌 단순 탑승 이동으로 변화하게 될 것이다. Topliss (2023)의 연구에서는 이런 변화가 전통적인 차량의 물리적 변화를 불로 올 수 있을 것이며, 차량의 윈드실드가 디스플레이로 변화할 수 있는 가능성에 대하여 연구를 수행하였다. 또한, 윈드실드와 AR을 활용하여 전통적인 차량의 윈드실드를 디스플레이로 활용하거나 새로운 형태의 인포테인먼트를 제시하여 윈드실드의 새로운 활용성에 대해 사람들의 긍정인 반응을 확인하기도 하였다(von Sawitzky et al., 2023). 이처럼 자율주행 레벨5에서는 주행 환경 변화에 따라 물리적, 상황적으로 다양한 변화가 발생할 것이며, 이런 변화가 운전자에서 탑승자로 변화하는 사람들에게 어떤 영향을 미칠 수 있을 것인지 확인할 수 있는 선행 연구가 필요할 것이다.
따라서, 본 연구에서는 자율주행 레벨5의 환경에서 윈드쉴드 변화에 따라 발생할 수 있는 자연스러운 주행시각정보의 차단이 탑승자들의 비주행과업 몰입 수준에 어떤 영향을 미치는지 선행적으로 확인해 보고자 한다.
2.1 Participants
본 연구에서는 운전경험에 따른 차이를 확인하기 위하여, 운전경험에 따라 피험자를 나누어 모집하였다. 실험에 참가한 피험자는 총 32명으로 운전 면허를 보유한 피험자는 17명, 운전 면허를 아직 취득하지 않은, 미보유한 피험자는 15명이었다. 모든 피험자는 정상 범위의 시력을 가지고 있었으며, 운전 면허를 보유한 피험자의 경우 운전 면허를 취득한지 1년 이상, 자차 운전경험을 가지고 있었으며, 운전 면허를 미보유한 피험자의 경우 모두 운전 면허 시험의 응시 횟수가 없었다. 실험을 수행하는데 있어 시뮬레이터의 오류 발생이나 주행 중 프로젝터의 전원 문제로 인해 정상적으로 실험 결과가 취득되지 않은 5명의 피험자를 제외한 총 27명의 데이터를 수집하였다. 운전 면허를 보유한 피험자는 15명, 미보유한 피험자는 12명으로, 남자 15명, 여자 12명으로 구성되었으며 피험자의 평균 나이는 24.67이다(M = 24.67, SD = 3.99).
2.2 Apparatus
본 연구에서는 자율주행 주행 실험이 가능한 SCANeR (Ver 2021.2) 기반의 주행 시뮬레이터를 사용하였다. SCANeR 프로그램을 통해 자율주행 레벨 5의 주행 환경과 윈드실드를 통한 주행시각정보가 차단된 상황을 구현하였다. 따라서, 윈드실드를 통한 주행시각정보가 보여지는 자연스러운 주행 상황과 윈드실드를 통한 주행시각정보가 차단되고, 윈드실드를 제외한 룸미러, 백미러, 청각을 통한 주행시각정보와 청각정보는 그대로 제시되는 윈드실드 블랙아웃 상황 2가지로 주행상황을 설계하였다(Figure 1). 주행 시뮬레이터는 실제 차량과 동일한 형태로 이루어졌으며, 센터 콘솔의 센터페시아 부근에 태블릿 PC를 설치하였다.
본 연구는 Jaussein et al. (2021) 연구를 통해 다수의 자율주행 실험에서 많이 사용된 8가지의 비주행과업 중 가장 많은 자율주행 연구에서 활용된 2가지 과업인 영상 시청과 게임을 본 연구에서 사용할 과업으로 선정하였다. 영상의 종류는 특정 편향을 방지하고자 지식을 탐구하는 다큐멘터리로 선정하였으며, 게임의 경우 단순한 터치 인터랙션만 발생하는 '토킹톰 골드런(Talking Tom Gold Run)'을 선정하여 사용하였다.
2.3 Measurements
본 연구는 윈드실드를 통한 주행시각정보의 차단 여부가 탑승자의 비주행과업 몰입에 어떤 영향을 미치는지 확인하고자 하였다. 따라서, 윈드실드를 통한 주행시각정보의 차단 유무에 따른 비주행과업의 몰입 수준을 확인하기 위하여 몰입 설문을 수행하였다. 몰입(Flow) 상태는 어떤 과업을 수행하고자 하는 상태에서 달성해야 하는 목적에 부합하는 기술을 가지고 있으며 이를 바탕으로 목적을 달성하거나 성과에 연결되는 것을 뜻한다(Jackson and Marsh, 1996). Flow State Scale (FSS)은 육체적 활동에 따른 몰입으로 시작되었으나 이후 일반적인 다른 활동을 위한 몰입 연구를 위해 활용되고 있다. 총 9개의 카테고리 내 6가지 항목으로 이루어져 있는 초기 FSS 설문으로부터 그 중 의미 있는 4가지 항목을 대상으로 하는 총 36개 항목의 FSS 설문이 제시되었다. 본 연구에서는 Engeser and Rheinberg (2008)에서 제시한 10개 항목으로 구성되어 있는 Flow Short Scale (FKS) 설문을 기반으로 비주행과업에 대한 몰입을 평가하였다(Table 1). 사용된 몰입 설문의 각 항목은 리커트 7점 척도로 측정되었으며, 10개 항목의 평균값은 각 과업에 대한 몰입 수준을 나타낸다(1 = "전혀 그렇지 않다"; 4 = "어느 정도", 7 = "매우 그렇다").
|
Flow short scale |
1 |
나는 자율주행 중 게임을 하는/영상을
보는 행위가 적당히 할 만한 정도로 느꼈다. (I feel just the right
amount of challenge.) |
2 |
나는 자율주행 중 게임을 하는/영상을
보는 생각과 행동이 부드럽고 원활하게 이루어졌다. (My thoughts/activities
run fluidly and smoothly.) |
3 |
나는 시간 가는 줄 몰랐다. (I don’t notice time passing.) |
4 |
나는 집중하는데 있어서 어려움을 겪지 않았다. (I have no difficulty
concentrating.) |
5 |
내 정신은 맑은 상태였다. (My mind is completely
clear.) |
6 |
나는 내가 했던 행동에 완전히 몰두해 있었다. (I am totally absorbed in
what I am doing.) |
7 |
나는 자율주행 상황에서 게임을 하는/영상을
보는 동안 올바른 생각과 행동이 자연스럽게 일어났다. (The right
thoughts/movements occur of their own accord.) |
8 |
나는 게임을 하는/영상을
보는 도중에 따라 내가 무엇을 해야 하는지 알았다. (I know what I have to do
each step of the way.) |
9 |
나는 주변 상황이 잘 통제되고 있다고 느꼈다. (I feel that I have
everything under control.) |
10 |
나는 진행되는 상황 속에 빠져들어 있었다. (I am completely lost in
thought.) |
2.4 Procedures
피험자들은 실험에 앞서 간단한 운전경험 등이 기본 정보가 포함된 짧은 설문을 수행한 뒤, 연구 배경, 연구 목적, 실험의 절차가 담긴 안내 영상과 자율주행 차량에 대한 기본적인 이해를 돕기 위하여 완전 자율주행 차량에 대한 영상을 시청하였다. 피험자들은 실험을 시작 전 주행 시뮬레이터에 착석하여 운전 좌석을 본인에게 맞도록 조절하고, 주행 시뮬레이터 적응을 위하여 시뮬레이터를 통한 자율주행을 체험하였다. 본 실험이 시작되면, 피험자들은 주행 시뮬레이터를 통해 자율주행을 시작하게 되며, 영상 시청과 게임 수행 2가지 중 무작위 순서로 비주행과업을 수행하게 된다. 비주행과업 별로 윈드실드를 통한 주행시각정보가 차단된 블랙아웃 상태와 보통의 상태 총 2회의 자율주행을 수행하게 되며, 1회의 자율주행은 4분 30초간 지속된다. 자율주행이 마친 이후에는 몰입 설문 조사를 수행하여 피험자 별 총 4회의 몰입 설문을 수행하게 된다. 비주행과업와 윈드실드의 상태에 따라 총 4개의 주행 시나리오를 마치면, 실험에 대한 인터뷰를 진행한 뒤 실험을 종료하였다(Figure 2).
2.5 Data analysis
수집된 데이터는 IBM SPSS Statistics (ver. 29.0.2.0)을 통해 분석되었다. 참가자 간 변인은 탑승자의 운전경험(면허 있음, 면허 없음)이었고, 참가자 내 변인은 비주행과업의 종류(영상, 게임), 그리고 윈드실드를 통한 주행시각정보 차단 여부(시야 차단, 시야 제공)였다. 따라서 운전경험, 비주행과업 종류, 윈드실드 상태에 따른 몰입 수준을 확인하기 위하여 반복측정 분산분석(Repeated measures ANOVA)을 수행하였다. 각 조건에 대한 몰입 점수 평균의 기술통계값은 Table 2에 제시하였다.
Windshield status |
With blackout |
Without blackout |
||
NDRT |
Video |
Game |
Video |
Game |
Licensed |
2.16 (.19) |
2.91 (.35) |
3.67 (.45) |
4.31 (.28) |
Unlicensed |
3.76 (.52) |
4.45 (.23) |
3.91 (.51) |
4.25 (.48) |
3.1 Analysis of flow state by driving experience, windshield blackout, and NDRT
본 연구에서는 피험자들의 운전경험(면허 있음, 면허 없음)과 비주행과업 종류(영상, 게임), 윈드실드 상태(시야 차단, 시야 제공)에 따른 비주행과업 몰입 수준에 어떤 영향을 미치는지 확인하기 위하여 반복측정 분산분석을 수행하였다. 먼저 윈드실드 상태에 따른 주효과를 분석한 결과, 주행시각정보 차단 조건(M = 3.23, SD = .93)과 주행시각정보 제공 조건(M = 4.02, SD = .50) 간 통계적으로 유의한 차이가 있는 것으로 나타났다. F(1, 25) = 158.21, p < .001, = .86. 따라서 윈드실드를 통해 시각정보가 차단된 조건이 시각정보가 제공되는 조건보다 몰입이 낮은 것을 확인할 수 있었다(Figure 3 좌측). 다음으로 비주행과업에 따른 주효과를 분석한 결과, 영상을 시청한 집단과 게임을 실시한 집단 간에는 통계적으로 유의한 차이가 있는 것으로 나타났다. F(1, 25) = 67.70, p < .001, = .73. 구체적으로, 영상을 시청한 집단(M = 3.32, SD = .58) 보다 게임을 실시한 집단(M = 3.93, SD = .48)이 몰입 점수가 더 높은 것을 알 수 있었다(Figure 3 우측).
이어서 운전경험에 따른 몰입 수준의 주효과 분석 결과, 집단 간 통계적으로 유의한 차이가 있는 것으로 나타났다. F(1, 25) = 77.13, p < .001, = .76. 세부적으로 분석한 결과, 운전 면허를 취득하여 운전경험이 있는 피험자들의 몰입 수준(M = 3.25, SD = .25)이 운전 면허가 없는 피험자들의 몰입 수준(M = 4.11, SD = .25)보다 유의하게 낮은 것을 확인하였다(Figure 4 좌측).
다음으로 운전경험, 비주행과업 종류, 윈드실드 상태 간의 교호작용에 대해 분석하였다(Table 3). 먼저 세 독립변수 간 삼원 교호작용은 유의하지 않은 것으로 나타났다. F(1, 25) = 0.19, p = .663, = .01. 또한 비주행과업과 운전경험 수준 간 교호작용은 유의하지 않았으며, F(1, 25) = 0.64, p = .432, = .03, 비주행과업과 윈드실드 상태에 따른 교호작용 역시 통계적으로 유의하지 않았다. F(1 25) = 2.61, p = .119, = .09. 반면, 운전경험과 윈드실드 상태에 따른 몰입 수준의 교호작용은 유의한 것을 확인하였다. F(1, 25) = 156.37, p < .001, = .86. 교호작용에 대해 자세히 살펴보기 위하여 단순 주효과 분석(simple main effect)을 통해 각 운전경험 수준 내에서 윈드실드 상태 간 차이가 있는지 확인한 결과, 면허가 없는 조건에서는 시야 차단 조건(M = 4.11, SD = 34)과 시야 제공 조건(M = 4.11, SD = .23) 간의 차이가 없는 것으로 나타났다. F(1, 25) = .002, p = .961. 하지만 면허가 있는 조건에서는 시야 차단 조건(M = 2.53, SD = .21)과 시야 제공 조건(M = 3.96, SD = .36) 간 차이가 유의한 것을 확인할 수 있었다. F(1, 25) = 353.91, p < .001. 따라서, 면허가 없는 참가자들은 시야를 차단하거나 시야를 제공하는 것이 비주행과업의 몰입 수준에 영향을 미치지 않았지만 면허를 소지한 참가자들은 시야를 제공할 때보다 시야를 차단할 때 몰입 수준이 낮아지는 영향을 미쳤다(Figure 4 우측).
Source |
df |
Mean square |
F |
p |
h2 |
Driving license |
1 |
19.78 |
77.13 |
<.001 |
.76 |
NDRT |
1 |
9.75 |
67.70 |
<.001 |
.73 |
Windshield condition |
1 |
13.59 |
158.21 |
<.001 |
.86 |
Driving license * |
1 |
0.09 |
0.64 |
.432 |
.03 |
Driving license * |
1 |
13.43 |
156.37 |
<.001 |
.86 |
NDRT * Windshield condition |
1 |
0.35 |
2.61 |
.119 |
.09 |
Driving license * |
1 |
0.03 |
0.19 |
.663 |
.01 |
본 연구에서는 자율주행 레벨5 차량 환경을 대상으로 현재의 차량과 자율주행 레벨3 차량의 환경과 달라지는 물리적, 상황적 환경 변화에 따른 영향을 선행적으로 확인하고자, 자율주행 환경 변화에 따른 윈드실드를 통한 주행시각정보의 차단이 운전이 아닌 비주행과업 대한 몰입 수준에 어떤 영향을 미칠 것인지 관찰하고 평가하고자 하였다.
본 연구에서는 자율주행 레벨5 차량에서는 차량 내 탑승자가 직접 운전을 하지 않아도 된다는 점을 고려하여 윈드쉴드를 통해 제공되는 주행시각정보가 완전히 차단된 통제 시나리오를 설계하여 실험하였으며, 결과적으로 운전경험에 따라 주행시각정보의 차단 여부가 비주행과업 몰입 수준에 다른 영향을 미치는 것을 확인할 수 있었다. 운전경험이 있는 탑승자들은 윈드실드의 주행시각정보가 차단된 경우에 주행시각정보가 제공된 경우보다 비주행과업의 몰입 수준이 낮은 것으로 나타났다. 이는 기존에 차량을 직접 주행하는 경험의 누적으로 인해 학습된 행동이 영향을 미친 것으로 보이며, 기존 연구들 또한 인지적 요인과 함께 운전경험과 자율주행 기술에 대한 경험 여부는 하나의 큰 요인으로 제시되고 있다(Lee et al., 2024; Seppelt and Victor, 2016). 특히, 인간의 감지 및 상황 판단에 대한 멘탈 모델은 경험에 의하여 많은 영향을 받기 때문에 하나의 시스템으로서 자율주행 자동차를 고려해야 할 것이다(Wickens and Kessel, 1981).
반면 운전 면허를 보유하지 않은 피험자군에서는 윈드쉴드를 통한 주행시각정보의 차단 여부가 비주행과업의 몰입 수준에 큰 영향을 미치지 않았다. 자율주행 레벨5와 같은 완전 자율주행 환경이 갖춰질 경우에는 주행 과업이 사라짐에 따라 운전 면허의 보유 필요성이 급격히 낮아질 가능성이 높다. 이는 자율주행 차량을 탑승하는 탑승자들은 비행기, 기차, 지하철의 탑승자들과 유사하게 면허와 같은 자격 조건 없이 자유롭게 차량 내 별도의 인간 운전자 없이 탑승 가능하게 될 것이며, 본 연구 결과를 바탕으로 윈드쉴드 영역을 포함하여 차량 내 많은 인터페이스 및 시스템에 대한 재디자인이 가능할 것이다. 이는 윈드실드의 시야가 필수적으로 확보되어야 한다는 기존의 고정관념을 넘어, 완전 자율주행 차량에서는 윈드실드 영역이 다양한 형태로 활용될 수 있음을 시사한다. 현재 개발되고 있는 다양한 디스플레이 기술과 형태가 적용된다면 완전 자율주행 차량은 안전을 확보하면서도 이동 수단이 아닌 하나의 새로운 공간으로서, 역할을 할 수 있을 것이다. 다만, 본 연구에서는 성별에 따른 몰입 수준의 차이는 확인할 수 없었으나, 기존 자율주행 레벨3 환경에서 수행된 연구에서는 여성이 남성에 비해 시스템과의 상호작용을 더 잘하는 것을 확인할 수 있었다(Li et al., 2022). 따라서 이후 추가 연구를 통하여 성별과 연령에 따른 자율주행 레벨5 환경 내 사용자 경험에 차이가 존재하는지에 대한 더욱 많은 연구가 필요할 것이다.
본 연구는 자율주행 레벨5 차량 환경 내에서 비주행과업에 대한 탑승자의 몰입을 확인하고 영향을 분석하는 기초적인 연구가 될 수 있음이 분명하지만 비주행과업의 몰입 여부와 별개로 미래 자동차의 다른 여러 분야들의 연구들이 병행되어야 한다는 점은 분명하다. 특히 더 가까운 미래에 현실이 될 조건부 자율주행에 해당하는 자율주행 레벨3 뿐만 아니라 자율주행 레벨5에서도 안전을 위해 탑승자에게 어떤 형태로 상황인지를 전달하고 이해시킬 것인지에 대한 심층적인 연구는 필수적일 것이다. 본 연구에서 확인한 윈드실드 영역에 대한 안전을 확보할 수 있는 수준에서의 활용 가능 범위 등에 대해서도 추가 연구가 가능할 것이며, 비주행과업을 중심으로 하는 미래 자동차 내 사용자 경험에 대한 실험과 분석은 자동차 산업의 차량 디자인 영역 및 차량 내 탑승자의 인터랙션 디자인과 자동차 산업의 제도적인 측면에서도 더 빠른 변화를 이끌어낼 수 있을 것이다.
References
1. Bazilinskyy, P., Petermeijer, S.M., Petrovych, V., Dodou, D. and de Winter, J.C., Take-over requests in highly automated driving: A crowdsourcing survey on auditory, vibrotactile, and visual displays. Transportation Research Part F: Traffic Psychology and Behaviour, 56, 82-98, 2018.
Google Scholar
PIDS App ServiceClick here!