SAE J3016 (SAE: Society of Automotive Engineers, 미국자동차기술자협회)에서는 자율주행단계를 6단계(레벨 0: 수동~레벨 5: 완전자율주행)로 제시하였으며, 레벨 3까지는 운전자의 역할이 강조되고 레벨 4 이상에서는 운전자의 개입이 없어진다. 레벨 2와 레벨 3에서는 자율주행시스템이 자동으로 운전하거나 운전자에 의한 수동운전이 가능하므로 운전자는 언제든지 운전할 수 있는 준비가 되어 있어야 한다(SAE J3016, 2016).

레벨 3 차량에서는 자율주행시스템(ADS: Automated Driving System)과 운전자가 교대로 차량을 운전할 수 있는데, 운전자로부터 ADS로 제어권이 전환될 때는 안정적으로 진행되지만, 자율주행 실패나 수동운전이 필요할 시 ADS로부터 운전자에게 수동운전을 요구하는 제어권전환이 일어나는 과정에서는 운전자의 준비 상태에 따라 사고가 발생할 위험성이 존재한다.

Zeeb et al. (2015)의 연구에서는 제어권전환이 요구되는 시점에서 교통 혼잡도, 운전자 경험, 운전 이외의 태스크 수행 등의 조합에 의해 영향을 받을 가능성이 있는 것으로 나타났다. Gold and Bengler (2014)와 Louw et al. (2015) 연구에서는 운전자가 수동운전으로 다시 참여하는 시간을 관측하는 연구가 수행되었고, Merat et al. (2014) 연구에서는 수동운전 시작 후 운전 행동을 안정시키기 위해 시간이 더 필요함을 제시하고 있다.

ADS로부터 수동운전으로 제어권전환이 효율적이고 신속하게 이루어지기 위해서는 자율주행 중 운전자가 수행하는 이차과제가 수동운전 전환 시간에 어떤 영향을 주는지, 제어권전환 알림을 주기 전에 주의 전환을 미리할 수 있는 사전 정보 제공은 필요한지, 자율주행 상황에 대한 상황 정보와 제어권전환 요청까지 남은 거리 또는 시간 등의 정보 제공이 필요한지, 멀티 모달 인터랙션 장치 사용이 제어권전환 시간에 영향을 주는지, 운전준비도에 따른 영향도 고려해야 하는지 등 다양한 인적요인들을 고려한 연구는 부족한 상황이다. 따라서, 본 연구에서는 운전자가 수동운전에 다시 참여할 때의 품질과 타이밍에 영향을 주는 인적요인 특성을 비교해 볼 수 있는 실험을 수행하여 제어권전환 인지 및 행동 반응에 대한 차이를 살펴보고 레벨 3 자율주행차량에 대한 제어권전환 가이드라인에 활용가능한 결과를 제시하고자 하였다.

2.1 Experimental environment and measurement data

자율주행차량 운전자에 대한 인적요인 연구를 위해서는 자율주행이 가능한 실제 테스트 차량 또는 실내에서의 차량 시뮬레이터를 이용하여 제어권전환 시나리오를 만들고 자율주행 모드에서 제어권전환 요청(TOR: Take Over Request)을 하였을 때 운전자가 하는 행동을 영상 및 실험환경에 설치된 센서들로부터 수집하여 분석하는 방법이 필요하다.

본 연구에서는 Figure 1과 같이 실험을 위해 운전자, 차량 및 주행 환경에서 필요한 정보를 수집할 수 있는 DVE (Driver, Vehicle and Environment) 시스템을 구현하고 시뮬레이터 실험 환경을 구축했다(Kim et al., 2018). 운전자 제어 기능을 갖춘 현대 클릭 차량을 기반으로 구축된 고정형 차량 시뮬레이터를 사용하고, 135° 수평 시야를 얻기 위해 전방 도로 영상을 보기 위해 각각 45° 시야각을 가진 3개의 43인치 모니터를 사용하였다. 또한 윙 미러와 백미러는 각각 20° 및 25°의 수평 및 수직 FOV로 후방 도로 장면을 위해 장착하였다. 주행차도는 8차선 양방향 고속도로 환경으로 각 방향에 4차선이 있고, 테스트 차량은 4차선 중 3차선에 위치했으며, 전방 차량, 좌측 차선(2차선), 우측 차선(4차선)을 포함하여 1km 구간에 약 20대의 교통 밀도를 유지했다. 실험실의 온도와 습도는 일정하게 유지하였고, 시뮬레이터 차량을 기반으로 모든 운전자 제어 장치, 키넥트 모션 센서, 아이트래커가 작동되도록 연결하였다. 차량 및 환경 정보는 시뮬레이터를 통해 수집되며 운전자 정보는 별도로 부착된 센서 및 설문지 응답을 통해 수집하였다. 차량 시뮬레이터는 데이터 수집용 서버에 연결되어 있다.

Figure 1. Simulator experiment environment

Modify Delete

시뮬레이터 실험을 통해 수집 및 저장되는 데이터는 Table 1과 같이 운전자의 연령, 성별, 운전 경험 등의 인구학적 정보, 운전자의 머리, 상체 등의 움직임 정보, 제어권전환 요구 시 반응한 시간 정보, 주행 차량의 종방향/횡방향 정보, 워크로드, 스트레스 등의 설문 정보 등으로 구성된다. 독립변수는 연령, 성별 등의 인구학적 정보이고, 종속변수는 수동운전을 하기 위해 눈을 전방에 두고 수동운전 변환 버튼을 누르고 핸들에 손을 얹은 반응시간인Eye_ontime, Button_presstime, Hand_ontime이다.

2.2 Experimental design

본 연구에서는 레벨 3 자율주행 상황에서의 제어권전환 안전성 확보와 제어권전환 성능에 영향을 미치는 운전자의 인적요인 특성 실험을 아래와 같이 설계하고 수행하였다.

(1) 시각 및 인지적 부하에 따른 제어권전환 인적요인 특성 실험

(2) 프리큐(pre-cue) 제공에 따른 제어권전환 인적요인 특성 실험

(3) 주행상황정보 제공에 따른 제어권전환 인적요인 특성 실험

(4) 시각, 청각, 촉각 인터랙션 장치 사용에 따른 제어권전환 인적요인 특성 실험

(5) 운전준비도에 따른 제어권전환 인적요인 특성 실험

(6) 운전이 아닌 이차과제 유형에 따른 제어권전환 인적요인 특성 실험

2.2.1 Visual and cognitive load testing method

자율주행 중 운전자가 수행하는 이차과제인 NDRT (non-Driving Related Task)에 따라 운전자의 VACP(Visual, Auditory, Cognition, Psychomotor) 사용 상태는 달라질 수 있고, 이는 운전자가 다시 수동운전으로 전환할 때, TOR 반응시간에 영향을 미칠 수 있다.

이 실험에서는 시각적(Visual) 업무부하를 높이기 위해 Figure 2의 왼쪽과 같은 이미지를 차량 내의 단말기에 나타나도록 하여 실험자가 다른 그림을 찾아 클릭하게 하고, TOR이 발생하기 전까지 동일 작업을 반복해서 진행하도록 하였다. 인지적(Mental) 업무부하를 극대화하기 위해서는 Figure 2의 오른쪽에 보여지는 숫자를 이용하여 PASAT (Paced Auditory Serial Addition Test) 수행을 TOR이 발생하기 전까지 5초 간격으로 반복해서 진행하도록 하였다. PASAT는 n-back 테스트로써, 인지작용, 특히 청각 정보와 계산 능력을 평가하는 측정법으로 잘 알려져 있고, Daniel et al. (2009)의 운전부하연구에서도 운전자가 휴대전화를 사용할 때 나타날 수 있는 영향을 확인하기 위해 PASAT 과제를 사용하였다.

이 실험에서 TOR 정보 알림은 "띠띠띠띠" 소리의 청각과 왼쪽, 가운데, 오른쪽 3개 모니터에 "수동운전으로 전환하세요" 라고 시각 인터페이스로 동시에 제공하였다. 실험자들은 각 실험을 수행하고 설문지를 작성하였다. 이렇게 시각적/인지적 업무부하가 높은 NDRT를 수행하는 중에 제어권전환 요청이 오면 제어권전환 반응시간에 어떤 영향을 미치는지 분석하였다(Kim et al., 2018).

Figure 2. VT (Visually demanding secondary Task) and MT (Mentally demanding secondary Task) experiment

Modify Delete

2.2.2 The experimental method of providing pre-cue

프리큐는 Chawla et al. (1999) 연구에 의하면, 자극 발생 이전의 관련 기저 활성도(related baseline activity)를 증가시킨다. 기저 활성도의 증가는 이후 수행하는 작업의 성능과 효율을 높여준다. 한편, Fazekas and Naray (2017) 연구에 의하면, 프리큐는 사전 지각 프로세스(early perceptual processing)를 유도하여 인지적으로 준비된 상태를 가져온다. 또한, 프리큐는 주의 전환(attention shift)을 일으키고 주의 전환은 처리 효율을 높인다고 알려져 있다.

본 연구의 프리큐 실험에서는 TOR 4초 전에 시각 채널로 반복(VR, Visually Repeated Warning), 청각 채널로 단음 소리(AS, Auditory Simple Warning), 청각 채널로 반복된 소리(AR, Auditory Repeated Warning)의 3가지 종류를 제공하였다. VR 실험에서는 센터페시아 디스플레이에 붉은색으로 "주의" 라는 글자가 깜빡 깜빡하고 점멸하게 하고, AS 실험에서는 "삐삐" 라는 소리를 1회 제공, AR 실험에서는 "삐삐" 라는 소리를 4초간 반복해서 제공하였다. 자율주행 시 운전자는 스마트 폰으로 주어진 속담을 똑같이 정확하게 입력하는 이차과제를 수행하였다. 실험자들은 각 실험을 수행하고 설문지를 작성하였다. 이렇게 TOR 전에 프리큐를 제공함으로써 실험자의 TOR 성능 변화를 분석하여 제어권전환 반응시간에 미치는 영향을 분석하였다(Kim et al., 2020).

2.2.3 The experimental method of providing situation awareness information

제어권전환 시 상황정보 제공에 따른 운전자의 반응 변화와 TOR 성능 분석을 위한 실험이다. 자율주행 시 운전자는 스마트 폰으로 주어진 속담을 똑같이 입력하는 NDRT를 수행하도록 하였다. 자율주행 시 디스플레이에 운전모드 정보만 표시하고 상황정보 제공을 하지 않는 경우(NO_SA), 남은 시간과 남은 거리를 제공하는 경우(SA_1), 주행환경 정보를 추가로 더 제공하는 경우(SA_2), 전방의 사고 또는 공사 정보를 추가로 더 제공하는 경우(SA_3)로 Figure 3과 같이 구분하여 실험하였다. 각 실험을 수행하고 설문지를 작성하였다. 실험자들은 각 실험을 수행하고 설문지를 작성하였다. 이렇게 TOR 전에 상황 정보를 제공함으로써 실험자의 TOR 성능 변화를 분석하여 제어권전환 반응시간에 미치는 영향을 분석하였다(Kim et al., 2019a).

Figure 3. Situation awareness information provision experiment

Modify Delete

2.2.4 The experimental method of providing interaction modality

계획된 제어권전환 요청과 응급상황 발생과 같이 계획되지 않은 제어권전환 요청에 대한 운전자의 반응과 TOR 성능 변화를 분석하고 TOR을 제공하는 모달리티 채널별로 TOR 성능 변화를 분석하기 위한 실험이다. 청각(Auditory)과 시각(Visual) 채널을 통한 계획된 TOR 실험(AV), 청각과 촉각(Haptic) 채널을 통한 계획된 TOR 실험(AH), 청각/시각/촉각 채널을 통한 계획되지 않은 TOR 실험(AVH)을 수행하였다. 자율주행 시 운전자는 스마트 폰으로 주어진 속담을 똑같이 입력하는 NDRT를 수행하였다. 각 실험을 수행하고 설문지를 작성하였다(Kim et al., 2019).

2.2.5 Experimental method on the influence of driving readiness

운전준비도(Driver Readiness)는 자율주행 모드에서 수동운전 모드로 제어권이 전환될 때 운전자가 제어 권한을 다시 획득하여 차량을 수동으로 작동할 수 있는지 여부를 나타내는 운전자 상태이다(ISO/PDTR 21959). 예를 들어, 운전자가 저부하(underload) 상태이거나 NDRT에 몰입하면 운전준비도는 낮은 상태가 되어 운전자의 수동 주행이 위험할 수 있어 운전준비도를 측정하는 연구가 필요하다(Kim et al., 2018).

운전준비도에 따른 제어권전환 인적요인 특성과 성능을 확인하기 위해, 자율주행 중에 물을 마시는 실험(drinking), 스마트 폰으로 문자를 계속하는 실험(texting), 운전에 도움이 되는 전방을 주시하면서 주변차량을 계수하는 실험(driving related task)을 진행하였다. TOR 정보 알림은 청각, 시각, 촉각 인터페이스를 모두 사용하였다. 시각적으로는 아이패드에 "수동운전" 문구를 알리고, 청각적으로는 "수동운전으로 전환하세요" 음성 제공, 촉각은 운전자 시트에 진동이 있었다. 또한 센터페시아의 아이패드에 제어권전환까지 남은 시간, 남은 거리, 주변차량정보 등의 주행상황정보를 제공하였다. 각 실험을 수행하고 설문지를 작성하였다.

2.2.6 Experimental method for the effect of NDRT types

NDRT 종류에 따른 제어권전환 인적요인 특성과 성능을 확인하기 위해, 5종류의 NDRT를 선정하여 제어권전환 실험을 수행하였다. 자율주행 중 이차과제를 하지 않는 No NDRT 실험, 동승자와 대화하는 실험(conversation), 스마트 폰으로 문자를 입력하는 실험(texting), 물을 마시는 실험(drinking), 차량 내 설치된 단말기로 동영상을 시청하는 실험(movie)을 선정하고, 각 실험에서 자율주행에서 수동운전으로 제어권을 전환하는 요청에 따라 운전자가 반응하고 수동운전에 다시 참여하는 데 소요된 시간을 측정하였다. 이 실험에서는 TOR 발생 전에 "띠띠" 소리로 프리큐를 제공하고, TOR은 "수동운전해 주세요" 라는 음성으로 알렸다. 각 실험은 3회씩 반복 수행하고 설문지를 작성하였다(Kim et al., 2019b).

2.3 TOR perception and reaction time model

우리는 운전자 반응과 차량 거동 정보를 이용하여 자율주행에서 수동주행으로 제어권전환이 발생할 경우 운전자가 TOR을 인지하고 반사적으로 반응하며 수동운전을 시작하고 안정적으로 운전하는 과정에 따른 반응시간을 Figure 4와 같이 T1, T2, T3, Time Budget으로 구분하여 인적요인 특성을 분석하였다.

Figure 4. Recognition and behavioral response time for TOR (Kim et al., 2018)

Modify Delete

(1) T1: TOR 자극을 인지하고 반응하는 시간

(2) T2: TOR 정보를 분석하고 수동전환 할 때까지의 정보처리 시간

(3) T3: 운전자가 수동전환 후 운전이 안정화 될 때까지의 시간

(4) Time Budget (TB): T1 + T2 + T3 총 합

2.4 Participants and data preprocessing

본 연구에서는 면허취득 후 최소 1년 이상의 운전 경험을 가진 참가자를 소셜 네트워킹 사이트와 인터넷을 통해 모집하였다. 연령은 20대, 30대, 40대, 50대에 대해 유사한 비율이었고 연령대 별 남녀 비율도 비슷한 구성으로 모집했다. 실험완료 후 참가자에게 보상을 지급했다. 참가자들은 실험 전에 시뮬레이터 작동 방법, 제어권전환 방법에 대해 설명을 듣고 연습운전을 충분히 수행한 후 각 실험에 참여했다. 각 참가자는 각 실험이 끝날 때 NASA 작업부하 지수(NASA-TLX), 등급 척도 정신적 노력(Rating Scale Mental Effort) 및 시각 아날로그 척도(Visual Analog Scale) 설문지를 작성했다.

Table 2의 왼쪽은 각 실험에 참가한 연령대별 인원이고 오른쪽은 이상치(outlier)를 처리하고 모든 실험 결과가 있는 연령대별 인원이다. 데이터 전처리를 위해 실험별로 T1, T2, T3, Time_Budget 각각에 대해 평균 수치로부터 표준편차의 3배 보다 큰 값을 이상치로 판단하고 제거하였으며, 이후 대응 표본 t-test를 위해 모든 실험결과가 있는 실험자에 대해서만 분석에 활용하였다.

3.1 Analysis result of TOR response time

시각적 부하를 극대화한 경우와 인지적 부하를 극대화한 상황의 제어권전환 실험 데이터를 분석한 결과는 Table 3과 같다. 제어권전환을 인지한 시간(T1)이 시각적 부하를 크게 한 실험이 인지적 부하가 큰 실험보다 유의하게 느리게 나타났다(p<0.05). 수동운전안정화까지 고려한 실험 데이터는 인지적 부하가 클 때 Time budget이 더 필요한 것으로 나타났다. 이를 통해 자율주행 중에 운전자가 시선을 전방이 아닌 다른 곳에 두게 되면 제어권전환 시간에 영향을 주는 것을 알 수 있다.

프리큐를 제공하는 방법에 따른 인적요인 특성 실험 데이터를 분석한 결과는 Table 4와 같이 VR>AS>AR 순서로 제어권전환 인지 시간(T1)이 유의하게 느린 것으로 나타났다(p<0.05). 청각적인 프리큐 제공에서도 반복적인 소리로 운전자에게 알리는 경우 제어권전환 성능이 향상되는 것을 알 수 있었다. 이를 통해 이차과제를 하던 운전자의 주의를 수동운전 재참여로 전환시키는데 시각보다는 청각적인 프리큐를 제공하는 것이 더 효과가 있음을 알 수 있다.

주행상황정보를 제공한 제어권전환 실험 데이터를 분석한 결과 Table 5와 같이 상황 정보를 제공하지 않는 경우보다 주행상황정보를 제공하는 경우의 제어권전환 성능이 전반적으로 향상되는 것을 보였다(p<0.1). 운전자가 이차과제를 수행하더라도 차량에 탑재된 에이전트를 통해 제어권전환까지 남은 시간, 남은 거리 등의 정보를 확인할 경우 이를 운전자가 인지할 수 있기 때문에 제어권전환을 미리 준비하는데 도움을 줄 수 있음을 알 수 있다.

제어권전환 알림(TOR)을 제공하는 인터랙션 장치의 모달리티 특성 실험 데이터를 분석한 결과 Table 6과 같이 청각적인 알림에 추가적으로 시각보다는 촉각 장치를 통해 알림을 주는 경우 제어권전환 성능이 유의하게 향상되는 것으로 나타났다(p<0.05). 촉각 인터랙션 장치 사용이 운전자에게 효과적으로 정보를 전달하고 준비를 유도하는 것을 알 수 있었다.

운전준비도 영향을 고려한 제어권전환 실험 데이터를 분석한 결과 Table 7과 같이 손이 자유롭고 시선을 전방이나 차량 주변을 확인하도록 한 경우가 손과 시선을 다른 곳에 두는 이차과제를 수행하는 경우보다 제어권전환 성능이 향상되는 것으로 나타났다. 이를 통해 운전자의 운전 재참여를 위해서는 신체적 준비와 시각적 준비를 하고 있어야 언제라도 안전하고 신속한 제어권전환에 도움을 주는 것을 확인할 수 있었다.

운전이 아닌 이차과제 유형에 따른 제어권전환 인적요인 실험에서는 수동운전으로의 제어권전환은 시뮬레이터 차량의 패들 시프트를 작동시키면, 자율주행에서 수동운전으로 운전모드가 변경되도록 진행하여 다른 실험과 다르게 T1과 T2를 합쳐진 시간이 측정되도록 하였다. Table 8과 같이 물마시기, 문자하기, 동영상 시청 등 손을 이용하는 이차과제 또는 인지적 부하가 높은 이차과제의 경우가 유의하게 제어권전환 성능이 낮고 느린 것으로 나타났다(p<0.05). 이를 통해 자율주행차량에서는 운전자 준비도를 모니터링하고 일정한 준비 상태를 유지할 수 있는 에이전트 시스템이 필요한 것을 알 수 있었다.

본 연구에서는 레벨 3 자율주행차량에서 운전자의 효율적이고 신속한 수동운전 재참여와 안정적인 차량 제어 회복을 위해 운전자의 제어권전환 매카니즘에 대한 이해를 돕는 연구를 진행하였다. 이를 위해 제어권전환 시나리오를 구성하고 차량 시뮬레이터를 이용하여 다양한 조건으로 제어권전환 인적요인 실험을 수행하고 제어권전환 요청 반응시간 관점에서 성능을 분석하였다.

인적요인 실험 데이터를 분석한 결과 운전자가 자율주행 중에 수행할 수 있는 이차과제의 인지적 요구가 클수록 운전자가 느끼는 작업부하가 커지므로 운전자의 제어권전환을 인지하는 시간이 오려 걸려 제어권전환 성능이 낮음을 알 수 있었다. 이차과제의 시각적 요구, 청각적인 요구, 손을 이용한 신체적 요구가 클수록 운전자가 제어권전환 요청에 반응하는 시간이 길어짐을 알 수 있었다. 실험 결과를 통해 자율주행시스템의 운전자의 운전준비도를 항상 모니터링하고 임계치를 유지할 수 있는 기능이 포함될 필요가 있음을 알 수 있었다. 또한 계획된 제어권전환 시점에 대한 상황정보를 제공할 경우 인지 반응시간이 감소하는 것을 관찰할 수 있었다. 운전자는 제공되는 상황 정보를 이용하여 제어권전환 시점을 미리 예측할 수 있고, 주어진 제어권전환 요청에 더 빠르게 반응할 수 있다. 자율주행 중 이차과제를 수행하는 운전자에게 상황 정보를 제공함으로써 제어권전환 성능 향상에 긍정적인 영향을 미칠 수 있다.

실험 전반에 걸쳐서 공통적으로 분석되는 특성은 다음과 같이 요약될 수 있다.

(1) 인지적 요구(Cognitive)가 클수록 운전자가 느끼는 부하가 크다.

(2) 감각적 요구(Visual, Auditory)가 클수록 운전자가 TOR에 반응하는 시간이 길다.

(3) 신체적 요구(Psychomotor)가 클수록 운전자 TOR에 반응하는 시간이 길다.

(4) 장년층에 비하여 청년층의 제어권전환 시간이 빠르다.

(5) 제어권전환에 대한 경험이 많을수록 제어권전환 시간이 빠르고, 운전부하가 낮다.

향후 위와 같은 특성을 구별하기 위해서는 운전자의 시선 움직임, 차량 내 대화 여부, 손이나 자리 착석 정보, 신발의 착용 여부 등의 정보를 실시간으로 측정하는 시스템 개발에 대한 연구가 지속적으로 진행되어야 한다. 또한, 운전이 아닌 다른 이차과제를 수행하다가 수동운전으로 전환할 때의 운전자 부하, 제어권전환 시간을 직접적으로 측정 혹은 추정하기 위한 운전자 모니터링과 운전준비도 예측을 위한 기술 개발이 계속적으로 진행될 필요가 있다. 본 연구의 결과는 레벨 3 자율주행차량 개발 업체 및 관계기관이 참고하고 적용할 수 있는 가이드라인 및 상용화 정책 개발에 활용 될 수 있다.