최근 기술의 발달로 인해서 자율주행 자동차에 대한 관심이 높아지고 기존 자동차 업체를 포함한 여러 정보기술 기업에서도 2030년 까지 완전 자율주행 자동차를 상용화 하려는 목표를 가지고 기술 개발에 매진하고 있다. 자율주행 기술의 발달은 기존 운전자의 업무에도 크게 변화를 주게 되는데 현재 운전자의 주된 업무가 운전 행위라면 자율주행환경에서는 그 외 일반 사무 환경에나 가정 환경에서 하는 일을 수행 하는 것이 가능해진다. 자율주행은 과거 운전을 하지 못했던 사용자도 자동차를 이용할 수 있다는 점에서 새로운 가능성을 제시하고 있으나 긴급 상황에서는 제어권을 자동운전 시스템에서 운전자로 이양해야 하는 문제가 생기게 된다. 따라서 운전자가 상황인식(situation awareness)을 유지하는 것이 필요하고 운전자의 반응시간을 최소로 해야 할 지에 대한 문제가 대두되고 있다. 그러나, 운전자의 개입이 필요할 때 어떻게 인터페이스를 구성하는 것이 좋을지에 대해서는 아직 명확히 정해진 바가 없다.

기존 차량 인간공학 연구는 수동 운전 상황에서 자극 양상에 따른 반응속도 및 작업 부하를 분석한 내용이 주를 이룬다. 수동 운전 상황에서 연산 과제 및 단어 암기를 통해 인지적 주의 분산을 유도하고 이에 따른 운전자의 반응시간을 측정하여 사고 위험성을 분석하거나(Kim and Lee, 2012) 시각, 촉각, 청각, 다중감각 자극에 따른 반응속도, 만족도, 작업 부하를 측정하는 연구가 진행되었다. 특히 긴급 상황에서 정보를 정확히 효과적으로 전달하는 것이 중요하기 때문에 여러 정보 전달 경로 - 청각, 시각, 촉각에 따른 반응속도를 측정한 여러 연구가 있었다. 전체적으로 보았을 때 청각과 촉각, 그리고 동시에 자극을 주는 다중감각의 효과를 확인한 바 있다. 반응속도의 경우에는 다중감각, 촉각, 시각, 청각의 순으로 빨랐으며(Ho et al., 2005) 만족도는 다중감각이 제일 높고 촉각이 제일 낮았다. 작업 부하는 다중감각이 제일 낮고 청각, 촉각의 순서였다(Chang et al., 2011). 전달되는 정보의 내용 측면에서는 시각 자극과 진동 자극 사이에 공간 정보를 부여(Spatial Coding)할 때의 효율성(Tan et al., 2003)과 정보 전달 신호(Informative Signal)에 대한 연구(Ahtamad et al., 2015)가 있었다. 신호에 대한 예상이 없을 경우에는 진동 자극이 청각 자극보다 빠르지만, 차량 외부에서 발생한 사건에 대해서는 청각 자극이 촉각보다 전달 효율성이 높은 것으로 밝혀졌다. 연령이 높은 사람들이 젊은 사람들에 비해 시각 자극과 청각 자극에 대한 반응이 느렸지만, 다중 신호 자극에 대해서는 비슷하게 반응했다(Spence and Ho, 2008). 위험성에 따른 감각 신호 세기 조절에 대한 연구에서는 진동 신호가 다른 신호들에 비해 운전, 신뢰도, 호감도가 높다는 것을 밝혔다. 하지만 긴급도 부분에서는 세기 조절이 없는 청각 신호가 가장 신뢰할 수 있다는 결과가 나왔다(Lee et al., 2004; Eisert et al., 2015).

자율주행 상황에서의 신호 효율성에 대한 연구로는 Yoon et al. (2019)이 높은 수준의 자율주행 상황에서 시각, 청각, 촉각 및 복합 자극을 통해서 제어권을 이양할 때 운전 외의 과업을 수행하는 경우 반응시간의 차이를 비교한 연구가 있었다. 이 연구에서는 음성통화, 스마트폰, 비디오 시청의 세 가지 부가 과업 상태에서 주행제어권을 넘겨 받는 시간, 시각을 주행 상황으로 회복하는 시간, 운전대에 손을 다시 올리는 시간을 비교하여 시각 자극의 한계를 밝혀냈고, 부가 과업의 종류에 따라서도 응답시간이 달라짐을 밝혔다.

자율주행 상황에서는 수동운전 상황에 비해 자동차 내부 및 외부 환경에 대한 주의가 줄어들고, 주행이 아닌 다른 업무에 집중하기 때문에 주행 상황에서 발생하는 자극 신호에 대한 반응속도가 떨어질 가능성이 크다. 따라서 기존의 실험과는 다르게 새로운 실험을 진행해야 하며, 새로운 운전자 환경에 대한 이해가 필요하다(Lee et al., 2017). 이에 본 연구에서는, 운전 상황과 자극 양상에 따른 반응속도의 차이를 다음과 같이 확인하고자 하였다. 운전 환경을 세 단계(수동주행, 자율주행 1단계, 자율주행 4단계) 로 나누어 단계 별로 각각 다른 과업을 부여했다. 그리고 각 단계에서 자극에 대한 반응시간을 비교, 분석하여 각 상황에서 가장 효율적인 자극 양상을 도출했다.

선행 연구에 따르면 운전자가 직접 운전을 하는 상황에서 자극의 반응속도는 촉각, 시각, 청각의 순서로 빠르게 나타나는 것으로 알려져 있다. 따라서 본 실험에서는 자율주행 상황에서는 자극 경로에 따른 반응속도가 어떻게 나타나는지를 확인하고자 한다.

2.1 Methods

본 실험에는 총 17명(남자 14명, 여자 3명)의 피험자가 참가했다. 피험자의 평균 연령은 25.2세, 표준편차는 1.3이며, 범위는 22~27세 이다. 모두 운전면허를 가지고 있으며, 실제 운전 경력은 평균 1.9년(1개월~7년)으로 조사되었다. 본 실험에서는 세 가지의 주행 상황 - 수동주행환경(manual driving), 운전자의 관여도가 높은 자율주행환경(monitored driving), 운전자의 관여도가 낮은 자율주행환경(automated driving) - 을 상정하여 진행하였으며, 이를 구현하는데 '유로트럭 시뮬레이터2' 프로그램을 사용하였다. 시각, 청각, 촉각의 세 가지 신호 자극을 무작위로 제시한 후 반응속도를 측정하기 위해서 e-Prime 소프트웨어를 사용했다. 시각 신호 자극은 24인치 모니터에 1,920×1,080 해상도로 표시하였고, 청각 신호 자극은 스피커를 좌우에 한 개씩 배치하여 언어(verbal) 신호로 주어졌다. 보통 자동차 내부의 엔진 소음이 50db로 알려져 있으므로, 시뮬레이터 상의 소음을 50db로 설정하였고, 청각 신호의 크기는 내부 소음보다 충분히 큰 70db로 제시하였다. 촉각 신호 자극은 50Hz의 진동을 발생시키는 두 개의 진동 모터를 의자 바닥 면의 양 끝에 부착하여 제시되었다. 피실험자의 반응속도를 측정하기 위한 입력장치로는 빨간색, 녹색, 파란색 세 개의 버튼이 순서대로 부착되어 있는 스위치 박스가 사용되었다. 전체적인 실험 장치 구성은 Figure 1에서 보이는 것과 같다.

Figure 1. Experimental setting

Modify Delete

2.1.1 Experimental design

실험의 독립변수는 주행 환경과 신호 방식으로 3×3 피실험자 내 설계로 구성하였다. 수동주행환경에서 피험자는 주행 시뮬레이터를 통하여 직접 운전을 하면서 신호 자극을 받았다. 자동변속기로 운전을 하기 때문에 주행 중에 별도의 기어변속을 필요로 하지는 않았다. 왕복 4차선 도로에서 주행했으며 평균 속력은 시속 80km, 최대 속력은 90km로 제한하였고 시뮬레이터의 신호 체계는 실제 주행과 동일했다. 운전자의 관여도가 높은 자율주행환경에서 피실험자는 미리 녹화된 주행 시뮬레이션 영상을 보면서 주어지는 신호에 반응하도록 하였다. 현재 차량에 적용되는 자율주행은 고속도로 등 제한된 환경에서의 자율주행으로 운전자는 지속적으로 운전 상황을 파악하고 있어야 한다. 이를 고려하여 운전자의 관여도가 높은 자율주행환경에서 피험자들은 주행영상을 보면서 차선변경 횟수, 추월 횟수, 차선을 밟는 횟수, 추월 당한 횟수와 같은 운전 환경을 감시하고 기록하도록 했다. 특히 완전자율주행이 아닌 경우에 운전자가 제어권을 전달받아야 하는 상황이 빈번하게 발생하기 때문에 상황인식이 매우 중요하다고 할 수 있다. 따라서 상황인식을 유지하기 위하여 운전 환경을 지속적으로 확인하도록 과업을 부과하였다. 운전자의 관여도가 낮은 자율주행환경에서는 피험자는 동일한 주행 시뮬레이션 영상을 보면서 신호 자극을 받도록 하였고 실험 도중에 부가적인 업무를 수행하게 하여 피험자의 인지적 주의 분산을 유도했다.

완전 자율주행환경은 아직 실제로 존재하기 때문에 어떤 방식으로 운전과 다른 과업이 진행될 지에 대한 구체적인 상황에 대한 기존 연구는 없다고 볼 수 있다. 하지만 자율주행 상황에서 운전자가 수행하고 싶은 과업에 대한 설문 연구가 있었고, 이를 정리하면 대표적인 과업으로 업무 및 학습, 휴식 및 수면, 교제 활동, 취미 활동을 들 수 있다(Kwon and Ju, 2018). 이 가운데 본 연구에서는 운전자의 주의 분산을 유도하는 가장 큰 원인이 휴대전화 사용(Kim et al., 2016)이라는 기존 연구를 참고하여 휴대전화로 문자를 보내는 업무를 부가했다. 피험자는 휴대전화로 일부 오타가 있는 메시지를 실험자로부터 전송 받은 후, 받은 메시지에 있는 오타를 수정하여 다시 실험자에게 메시지를 전송하도록 했다. 여러 가지 다른 과업 중에서 문자 메시지 송수신을 선택한 것은 자율주행 상황이 아니고서는 수행하기 어려운 작업이기 때문이고 운전에 필요한 시각-운동 신경을 공유하는 과업으로 대표성을 가질 수 있을 것으로 판단했기 때문이다.

피험자는 주행 환경 별로 6회씩(시각, 촉각, 청각 좌우 1회씩) 3회 반복하여 총 18회의 신호 자극을 20~40초 사이의 간격으로 무작위로 받았다. 청각 신호는 차량 네비게이션과 같이 여성의 목소리로 언어 신호를 주었으며, 빨간색 버튼을 누르라는 명령에서는 'red'라는 신호를 왼쪽 스피커에서, 녹색 버튼을 누르라는 명령에서는 'green'이라는 신호를 오른쪽 스피커에서만 소리가 나도록 위치 정보를 일치시켰다. 촉각 신호는 두 개의 진동 모터를 의자 아래 양 끝에 부착하여 피실험자의 허벅지 아래쪽을 통해서 전달되었다. 시각 신호는 Figure 2처럼 주행화면 앞에 배치된 별도의 모니터에 제시되었다. 모든 신호 자극은 버튼과 공간적 자극 반응(spatial compatibility)을 일치시켰다(Ho et al., 2005). 피험자가 신호를 제시받은 후 반응을 측정하기 위해서는 스위치 박스를 사용했다. 스위치 박스는 왼쪽에 빨간색 버튼이, 오른쪽에 녹색 버튼이 부착되어 있었다. 또한 스위치 박스를 핸들 옆에 고정시켜 모든 피험자가 동일한 위치에서 신호를 입력할 수 있도록 했다. 실험의 종속변수는 신호에 대한 반응시간으로 자극이 제시되는 시점부터 스위치 박스의 버튼을 누를 때까지의 시간을 ms 단위로 측정했다. 스위치를 누르는 과업으로 반응시간을 측정하는 것은 긴급한 상황에서 주의(attention)를 운전 과업으로 되돌리는데 얼마나 시간이 걸리는 지 측정하기 위한 것이다. 다른 자율주행차에 대한 연구에서는 운전대에 손을 얹는 시간을 사용하기도 하였으나(Yoon et al., 2019), 자율주행 뿐 아니라 수동운전 상황에서도 주의의 전환이 얼마나 빠르게 이루어지는 지를 측정하기 위해서는 부가적인 과업을 측정하는 것이 필요하였으므로 이를 측정 지표로 사용하였다.

Figure 2. Visual cue display scheme

Modify Delete

2.1.2 Procedure

실험을 하기 전 피험자에게 실험의 목적과 방법에 대해서 설명을 하고 사전 동의를 받았다. 실험 환경에 익숙해지기 위해서 피험자는 10분간 '유로트럭 시뮬레이터2'를 연습하였고, 연습 후에는 피험자가 신호 자극을 명확히 인식하도록 세 가지 자극을 한 번씩 제시했다. 여기서는 별도 업무를 수행하지 않고 신호 자극에 대한 반응시간만을 측정하였고 이를 기준값으로 해서 각 운전 상황에 따라 변화된 차이 값을 분석하였다. 기본 반응시간 측정 후에 수동주행환경, 운전자의 관여도가 높은 자율주행환경, 운전자의 관여도가 낮은 자율주행환경을 무작위로 선택하여 실험을 진행했다. 수동주행환경의 경우 조작 미숙으로 운전하던 차량이 넘어져 더 이상 실행 진행할 수 없는 경우에는 실험을 처음부터 다시 시작했다. 각 주행 환경 별 실험시간은 5분에서 6분이 소요되었으며, 실험설명부터 주관적 만족도 조사까지 총 실험시간은 대략 50분이 소요되었다. 실험실에는 실험 진행자 1인과 피실험자 1인만이 들어가 외부 환경에서 받을 수 있는 영향을 최소화하였다. 각각의 주행 환경에 대한 실험이 끝난 후에는 5분 간의 휴식을 주어 이전의 상황이 영향을 미치는 것을 줄였고, 실험이 끝난 후에는 피험자의 주관적인 작업 부하를 NASA-TLX로 측정하였고, 자극에 대한 만족도를 3점 척도로 평가하는 설문을 실시했다.

2.2 Result

본 연구의 객관적 측정치인 반응시간은 17명의 피험자에게 3가지 주행 환경 별로 306개씩 총 918개의 데이터가 사용되었다. 수집된 데이터를 바탕으로 분산분석을 수행하였다.

2.2.1 Baseline experiment

세 가지의 주행 환경과 비교하기 위해 다른 어떠한 업무도 부여하지 않은 상태에서 시각, 촉각, 청각 신호에 대한 반응시간을 측정하였으며 일원배치 분산분석을 사용하여 분석했다. 기본 반응시간을 측정한 이유는 각 개인 별로 자극이 주어지는 감각에 따라서 차이가 있을 것으로 예상이 되었고 이를 정규화 하기 위함이었다. 또한, 실험 전에 자극에 대해서 익숙해지도록 하여 실험 순서에 따른 학습효과를 최소화 하고자 하는 측면도 있었다. 분석의 결과 자극의 종류에 유의한 차이가(F(2,303)=7.34, p<.001) 있었다. 반응시간은 시각 자극이 가장 짧았고 그 다음으로 촉각, 청각 자극 순이었다. 자극 간의 차이를 확인하기 위해 Tukey 검정을 실시한 결과 시각 자극은 촉각, 청각과 유의미한 차이를 보였지만 촉각과 청각 자극 사이에는 유의미한 차이를 보이지 않았다. 각 자극의 평균은 시각 자극이 755.5ms 촉각 자극이 840.1ms 청각 자극이 876.0ms로 나타났다(Figure 3).

Figure 3. Baseline response time according to the sensory cue

Modify Delete

2.2.2 Effect of modality & driving conditions

분석에 사용된 자료는 각 주행 환경에 따라서 기본 반응시간에 비해서 증가된 양이다. 전체 평균은 206.4ms, 표준편차는 420.70, 구간은 -1,200~5,280ms이다. 반응시간의 증가량에 대하여 주행 환경과 신호 자극에 따른 유의미한 차이를 밝히고 이들의 교호작용을 확인하기 위해 분산분석을 실시했다.

2.2.3 Driving conditions

Table 1에는 주행 환경 별 반응시간 변화량의 평균과 표준편차가 나타나있다. 수동주행환경에서의 평균은 104.17ms, 운전자 관여도가 높은 자율주행환경에서의 평균은 254.14ms, 운전자 관여도가 낮은 자율주행환경에서의 평균은 260.89ms였다. 분산분석 결과 주행 환경의 주효과(F(2,909)=8.41, p<0.001)가 존재했다. 결과의 우위를 확인하기 위해 Tukey HSD 검정을 실시했다. 수동주행환경의 반응시간 증가량이 관여도가 높은 자율주행환경보다 더 작았다(p<.001). 또한, 수동주행환경의 반응시간 증가량은 관여도가 낮은 자율주행환경의 반응시간 증가량보다 작았다(p<.001). 반면, 관여도가 높은 자율주행과 낮은 자율주행 사이에는 유의한 차이가 존재하지 않았다(p=0.97).

2.2.4 Modality

신호 방식에서 반응시간 변화량의 평균과 표준편차 역시 Table 1에 나타나 있다. 이원분산분석 결과 신호 방식의 주효과(F(2,909)=14.69, p<0.001)가 존재했고, Tukey HSD 사후 검정을 시행 결과 청각과 촉각은 서로 유의한 차이를 보이지 않았으나(p=0.45), 청각과 촉각 모두 시각보다는 짧은 반응시간을 보였다(청각-시각: p<.001, 촉각-시각: p<.001).

2.2.5 Interaction effect

신호 방식과 주행 환경의 교호작용효과(F(4,909)=4.64, p=0.001)가 존재했다. Figure 1에서 각각의 주행 환경 별로 신호 방식에 따른 반응시간 변화량의 경향을 보면 모든 주행 환경에서 '시각'의 반응시간이 가장 많이 증가했고, '촉각', '청각' 순으로 반응시간의 증가량이 점점 감소하는 경향을 보였다. 특히 '시각'의 경우 자율주행의 자동화 정도가 높아질수록 증가 폭이 매우 크게 나타났다. 주행 환경 별로 신호 방식의 증가량이 유의한 차이가 있는지 확인한 결과 수동주행환경에서 신호 방식에 따른 반응시간 변화량의 차이는 없는 것으로 나타났으며(F(2,303)=1.98, p=0.14), 운전자의 관여도가 높은 자율주행환경에서 신호 방식에 따른 효과(F(2,303)=14.42, p<0.001)와 운전자의 관여도가 낮은 자율주행환경에서 신호 방식에 따른 효과(F(2,303)=17.45, p<0.001)가 유의하였다. 두 가지의 자율주행환경 내에서 자극 간의 유의한 차이를 확인하기 위해 대응별 비교를 했다. 그 결과 운전자의 관여도가 높은 자율주행환경에서 반응시간은 '시각'이 '청각', '촉각'보다 유의하게 증가했다(시각-청각: p<0.001, 시각-촉각: p<0.001). 운전자의 관여도가 낮은 자율주행환경에서도 '시각'의 반응시간 변화량은 '청각', '촉각'보다 유의하게 증가했다(시각-청각: p<0.001, 시각-촉각: p<0.001) (Figure 4).

Figure 4. Interaction plot between automation level and modality

Modify Delete

2.2.6 Workload & modality satisfaction

Table 2에는 각 주행 환경 별 정신적 및 육체적 작업 부하의 평균이 나타나 있다. 주행 환경 별로 작업 부하의 차이가 있는 지 확인하기 위해 정신적 요구량과 신체적 요구량 각각에 대하여 분산분석을 시행했다. 정신적 요구량의 경우 운전 상황에 따른 유의한 차이를 보이지 않았으나(F(2,48)=0.225, p=0.80), 신체적 요구량에서는 주행 환경의 주효과(F(2,48)=4.249, p=0.02)가 존재했다. 사후 검정 결과 수동주행환경과 자율주행환경 사이에서 유의한 차이를 볼 수 있었다. 자극에 대한 전체적인 만족도를 묻는 질문에서 피험자는 각각의 자극에 대해 1점부터 3점까지 주관적인 만족도에 관한 점수를 매겼다. 청각이 3점이라고 답한 피험자가 10명으로 가장 많았고, 뒤이어 촉각이 가장 편하다고 말한 사람이 7명이었으며, 시각이 가장 편하다고 답한 피험자는 존재하지 않았다. 청각이 2점이라고 답한 사람은 7명, 촉각은 9명, 시각은 1명이었다. 청각이 1점이라고 답한 사람은 한 명도 없었으며, 촉각은 1명 시각은 16명이었다.

2.3 Discussion

이 실험의 결과로 먼저 수동운전환경의 반응시간 변화량이 다른 두 개의 자율주행환경의 변화량보다 작다는 결과가 나타났다. 피험자가 느끼는 주관적 업무 부하는 정신적 요구량은 큰 차이가 없었으며, 신체적 요구량의 경우 수동주행환경보다 운전자 관여도가 높은 자율주행환경이 오히려 유의하게 낮았다. 그럼에도 불구하고 수동주행환경의 반응시간 변화량이 가장 작은 이유는 주행 자동화가 높아질수록 피험자가 운전 상황에 대한 주의집중이 점점 감소하기 때문인 것으로 보인다. 자동화가 높아질수록 부가적인 업무에 대한 주의 집중이 높아지기 때문에 부가적 업무에서 운전 상황으로 사고를 전환하는데 필요한 시간만큼 반응시간이 점점 증가한 것이다.

모든 운전 상황에서 반응시간은 청각, 촉각, 시각의 순서로 나타났다. 기존 연구에서 수동운전 상황에서는 촉각, 시각, 청각의 순서로 빠른 반응을 보였던 것과 다른 결과를 얻었는데, 이는 시각과 청각 자극은 좌우 방향 차원과 색 차원의 두 가지를 이용하여 코딩을 한 것과 달리 진동은 좌우 방향만을 코딩한 것에 대항 영향이 있을 것으로 추정된다. 진동으로 전달할 수 있는 정보의 양이 다른 자극들에 비해서 상대적으로 적어서 운전자에게 혼란을 줄 가능성이 높아진 것이다. 물론, 자극의 세기나 주파수를 이용하여 이런 한계를 다른 차원을 추가할 수 있지만, 사용자에게 익숙하지 않은 자극이기에 여전히 한계가 존재할 것으로 예상된다. 또한 피험자들이 운전 경력이 많지 않은 것도 하나의 원인이 되는 것으로 보인다. 피험자들이 자동차 시트처럼 의자를 통해 전달되는 진동 자극에 익숙하지 않아 정보 처리에 시간이 오래 걸렸으며, 운전 경험 미숙으로 운전 상황에 몰입하여 주의를 집중하면서 시각에 대한 작업 부하가 크게 늘어나게 되어 인지 분산이 발생한 것으로 생각된다.

주행 환경에 따른 반응시간의 증가량은 자동화 수준이 높아질수록 시각이 청각과 진동보다 훨씬 더 큰 것으로 나타났다. 이는 수동주행환경에서 자율주행환경으로 바뀜에 따라서 운전자들이 행하는 업무의 대부분이 시각 능력에 의존하기 때문인 것으로 생각된다. 각각의 자율주행환경에서 핸드폰을 사용하거나 지속적인 감시를 하는 것은 대부분 시각을 사용하는 업무였기 때문에 시각에 대한 주의가 분산되어 시각신호를 잘 인지하지 못했던 것으로 생각된다. 이에 반해 촉각과 청각의 증가량은 매우 작았고 특히 청각에 대한 증가량은 각 주행 환경에 관계없이 거의 일정했다. 실제로 자율주행환경으로 변화하면 이와 유사한 상황이 발생할 것으로 예상된다. 운전에만 집중하지 않고 여러 가지 업무를 동시에 처리할 가능성이 높아지기 때문에 자율주행환경에서 운전자의 시각 자극 사용이 증가할 것이다.

실험 직후 실시한 인터뷰에서 촉각의 경우, 다른 감각에 비해 왼쪽과 오른쪽의 진동을 구별하는데 어려움을 느낀다고 답한 피실험자들이 많이 존재했다. 실험 결과, 자율주행 상황에서 촉각과 청각에 대한 유의한 차이는 존재하지 않았다. 하지만 피실험자들의 선호도 조사와 정확도를 고려하면 청각을 이용한 신호 전달 시스템을 설계하는 것이 가장 유리한 것으로 나타났다. 하지만 청각은 주변소음의 영향을 민감하게 때문에 실제 상황에 적용하는데 주의가 필요하다.

자율주행 시대로 이행하면 운전자는 운전 중에 여러 가지 업무를 처리하면서 다양한 감각기관을 활용하게 될 것이다. 따라서 운전 중 위험 상황을 운전자에서 신속하게 전달하기 위해서는 단일 신호 자극보다는 복합 신호 자극의 사용이 필요할 것으로 예상된다. 주행의 자동화가 높아질수록 시각 자극의 반응시간이 느려지는 것에 비추어 보아 시각이 포함되지 않은 청각+촉각 복합 자극의 반응시간이 가장 짧을 것이라 예상된다. Study II에서는 사용자에게 복합 자극을 제시한 후 반응시간을 측정하여 이를 통해 단일 자극과 복합 자극 간의 반응시간 증가량의 차이가 존재하는지를 확인하고 가장 효율적인 복합 신호 자극이 어떤 것인지 밝히고자 하였다.

3.1 Method

본 실험에는 남자 16명, 여자 9명으로 총 25명의 피험자가 참가했다. 피험자의 평균 연령은 25.2세, 표준편차는 2.3이며, 연령범위는 20~28이다. 모두 운전면허를 가지고 있고 실제 운전 경력은 평균 1.4, 범위는 1개월~6년으로 확인되었다. 실험에 참가한 피험자는 Study I에 참여하지 않은 사람들로 실험에 관한 어떤 정보도 제공받지 않은 채로 실험을 진행했다. 실험에 사용된 장비와 설계 및 방법은 독립변수 중 신호 방식을 제외하고는 모두 Study I과 동일하다. Study II에서는 청각+시각, 시각+촉각, 촉각+청각의 세 가지 복합 자극을 신호로 제시하였다. 신호 방식의 차이만 있을 뿐 그 외 자극을 제시하는 횟수와 시간은 모두 동일하다.

3.2 Result

본 연구의 객관적 측정치인 반응시간은 25명의 피험자에게 3가지 주행 환경 별로 450개씩 총 1350개의 데이터가 사용되었다. 수집된 데이터를 바탕으로 분산분석을 수행하였다.

3.2.1 Baseline experiment

반응시간의 기준값 측정을 위해 부가 과업 없이 청각+촉각, 촉각+시각, 시각+청각에 대한 반응시간을 측정하고 분산분석을 시행한 결과 주효과(F(2,447)=10.73, p<.001)가 존재했으며, 각 자극의 평균 반응시간은 청각+촉각이 816.6ms, 촉각+시각이 729.3ms, 시각+청각이 732.0ms였다. 자극 간의 우위를 확인하기 위해 사후 검정을 실시한 결과 청각+촉각 자극의 반응시간이 촉각+시각, 시각+청각 자극보다 유의하게 길었으며, 촉각+시각과 시각+청각 자극 사이에는 유의한 차이가 없었다(Figure 5).

Figure 5. Baseline response time per sensory route

Modify Delete

3.2.2 Effect of modality & driving conditions

분석에 사용된 자료는 각 주행 환경에 따라서 기본 반응시간에 비해서 증가된 양이다(Table 3). 전체 평균은 158.36ms, 표준편차는 251.30, range는 -1,030~2,170ms이다. 반응시간의 증가량에 대하여 주행 환경과 신호 자극에 따른 효과를 확인하기 위해 분산분석을 실시했다. 이원분산분석 결과 신호 방식과 주행 환경의 교호작용효과(F(4,1341)=2.76, p=0.02)가 존재했다. Figure 6에서 각각의 주행 환경 별로 신호 방식에 따른 반응시간 변화량의 경향을 보면 모든 주행 환경에서 청각+촉각의 반응시간이 가장 적게 증가했고, 시각+청각, 촉각+시각 순으로 반응시간의 증가량이 점점 늘어나는 경향을 보인다. 사후 검정을 통해 주행 환경 별로 신호 방식의 증가량이 유의한 차이가 있는지를 확인한 결과 수동주행환경에서 신호 방식에 따른 반응시간 변화량의 차이는 없음으로 나타났다(F(2,1071)=1.44, p=0.24). 운전자의 관여도가 높은 자율주행환경에서 신호 방식에 따른 효과(F(2,1341)=11.92, p<0.001)와 운전자의 관여도가 낮은 자율주행환경에서 신호 방식에 따른 효과(F(2,1341)=16.30, p<0.001)만이 유의했다. 두 가지의 자율주행환경 내에서 자극 간의 차이를 확인하기 위해 대응 별 비교를 했다. 그 결과 운전자의 관여도가 높은 자율주행환경에서 반응시간의 증가량은 청각+촉각은 촉각+시각보다 유의하게 작았다. 또한 시각+청각 역시 촉각+시각보다 유의하게 작았으며, 청각+촉각과 시각+청각 사이에는 유의한 차이가 존재하지 않았다(청각+촉각 - 촉각+시각: p<0.001, 시각+청각 - 촉각+시각: p=0.02). 운전자의 관여도가 낮은 자율주행환경에서 반응시간의 증가량은 세 가지 복합 자극에서 모두 유의한 차이를 보였다. 청각+촉각은 촉각+시각, 시각+청각보다 작았고, 시각+청각은 촉각+청각보다 유의하게 작았다(청각+촉각 - 촉각+시각: p<0.001, 청각+촉각 - 시각+청각: p=0.03, 시각+청각 - 촉각+시각: p=0.01).

Figure 6. Interaction plot of reaction time by automation level and sensory channel

Modify Delete

3.2.3 Workload & modality satisfaction

피험자 인터뷰를 통해 주관적으로 평가한 작업 부하의 평균 점수와 표준편차를 Table 4에서 확인할 수 있다. 각 항목 별로 주행 환경 간 작업 부하의 차이를 확인하고자 분산분석을 실행했다. 정신적 요구량에 대해서는 유의한 차이를 보이지 않은 반면 신체적인 요구량에 있어서는 유의한 차이를 보였다(F(2,72)=6.257, p<.01). 신체적 요구량에서 수동주행환경은 다른 두 개의 자율주행보다 더 많은 신체적 요구량을 필요로 했지만, 두 가지 자율주행환경 간의 유의한 차이는 존재하지 않았다(manual-monitored: p<0.05, manual-automated: p<0.05).

피험자는 세 가지 자극 채널에 대해서 1점부터 3점까지 주관적인 만족도에 관한 평가 점수는 Table 5와 같다.

3.3 Discussion

기존 연구에서 시각 신호를 제외한 채 촉각, 청각, 촉각+청각 복합 자극 간의 반응 간을 비교한 것과 달리 본 연구에서는 시각을 포함하여 청각+촉각, 촉각+시각, 시각+청각 세 종류의 복합 자극에 대한 반응시간을 비교했다. 그 결과 청각+촉각의 반응시간 증가량이 가작 작았으면 뒤이어 시각+청각, 촉각+시각의 순서임을 확인했다. 이와 같은 결과는 운전 환경에서 시각 업무의 사용이 많기 때문에 나온 것으로 생각된다. 수동운전환경에서는 시뮬레이션 화면을 지속적으로 봐야 했으며 자율주행환경에서는 핸드폰을 사용하거나 체크리스트 용지를 지속적으로 확인해야 했기 때문에 시각에 대한 주의가 분산되어 시각 신호가 포함된 복합 자극에 대한 반응시간이 점점 더 증가한 것으로 추정된다.

주행 환경 사이의 반응 간의 증가량을 비교한 결과 수동운전환경이 다른 두 개의 자율주행환경보다 유의하게 작았다. 하지만 피험자들은 NASA-TLX에서 관여도가 낮은 자율주행환경의 작업 부하 점수를 다른 주행 경에 비해 낮게 평가하는 경향을 보였다. 이는 피험자의 평균 연령이 낮고 운전 경험이 많지 않은 것에 관련이 있은 것으로 생각된다. 관여도가 낮은 자율주행에서 부가한 추가적 업무인 메시지 보내기가 젊은 피험자에게 익숙한 작업이었던 반면, 시뮬레이터로 운전을 하거나 운전 상황을 감시하는 것이 운전 경험이 적은 피험자들에게는 익숙하지 않았기 때문에 상대적으로 관여도가 낮은 자율주행환경에서의 실험이 더 편안하다고 느낀 것으로 추정된다. 하지만 실제로는 운전 상황 속에서 신호를 인지하고 판단하는 것은 하나의 맥락에서 이루어지지만 자동화가 높아질수록 운전과는 동떨어진 작업을 하게 되어 부가적인 업무에서 운전 상황으로 사고를 전환하는데 필요한 시간만큼 반응시간이 점점 증가했다. 또한 관여도가 높은 자율주행에서 피험자는 자신의 의지에 따른 주행이 아니기 때문에 움직임 예측에 높은 주의가 필요하다. 이에 따라 정신적, 시간적으로 작업 부하가 높은 것으로 평가되었고 반응시간 역시 증가했다.

단일 자극의 경우 주행의 자동화 단계가 높아지면서 부가적 업무로 인해 작업 부하가 증가하며 특히, 시각 자원을 많이 사용하게 되어 시각 자극에 대한 반응시간이 급격히 증가했다. 이는 기존 연구의 결과와 유사한 양상을 보이는 것으로 시각을 제외한 다른 감각 채널을 적극적으로 사용할 필요가 있음을 시사한다(Yoon et al., 2019). 또한 소음과 부가 업무와 같은 주변 환경으로 인해 단일 자극으로 신호를 제시할 경우 자극의 인지 자체가 늦어지는 경우가 발생하여 복합 자극으로 신호를 제시할 필요성을 확인하였다.

복합 자극으로 신호를 제시한 경우 단일 자극으로 신호를 제시한 것에 비해 반응시간이 감소했다. 다만 Study I과 달리 수동주행환경에서의 작업 부하가 가장 큰 것으로 나타났지만 반응시간은 오히려 가장 작은 것으로 나타났다. 복합 자극의 경우 청각+촉각이 시각+청각, 촉각+시각에 비해 반응시간이 짧은 것으로 나타나는데 이 역시 시각 업무가 주를 이루는 운전 환경 때문이라 생각된다.

Figure 7은 단일 자극과 복합 자극에서의 반응시간 증가량의 평균을 표시한 그래프이다. 먼저 청각+촉각 복합 자극의 경우 모든 운전 환경에서 반응시간의 증가량이 가작 작은 것을 확인할 수 있으며 청각, 촉각 단일 자극에 비해서도 더 작은 경향을 보인다. 촉각+시각의 복합 자극의 경우 수동 환경에서는 반응시간의 증가량이 가장 작지만 자율주행환경에서는 복합 자극이 촉각보다는 크고 시각보다는 작은 경향을 보인다. 진동 자극을 주는 경우에 자극이 좌석 하판을 통해서 전달되기 때문에 결국은 몸 전체로 진동을 느끼게 되므로 진동의 좌우 구분이 생각보다 쉽지 않다는 피험자의 의견이 있었다. 따라서, 촉각으로 신호를 인지한 후에 시각으로 방향 정보를 판단을 하는 경우가 많았기 때문으로 생각된다. 또한 청각과 시각은 색상과 방향의 두 가지 차원에서 정보가 제시되었지만 촉각은 전달할 수 있는 정보의 양이 다양하지 않은 특성으로 인해 방향 정보만이 제시되었다. 이 역시 진동의 방향 뿐 아니라 주파수를 달리하여 두 가지 차원으로 정보를 제시한다면 보완할 수 있을 것으로 보인다. 다만 청각과 시각은 사람들이 기본적으로 가지고 있는 색상과 언어를 사용하지만 촉각은 이처럼 이미 학습된 신호가 없기 때문에 추가 학습이 필요하다는 한계는 존재한다. 시각+청각 복합 자극의 경우 수동주행환경에서는 복합 자극이 가장 낮은 경향을 보이지만 자율주행환경에서는 청각 자극과 비슷한 경향을 보인다. 이는 시각적 주의집중이 많이 사용되는 자율주행환경에서 청각에 의존하기 때문인 것으로 판단된다.

Figure 7. Average reaction time for driving condition and sensory channel

Modify Delete

앞으로의 자율주행환경에서 사람들은 차량 안에서 지금보다 더 많은 업무를 동시에 처리해야 될 가능성이 높다. 그리고 이로 인해 운전자들의 작업 부하는 현재 수동운전환경보다 크게 증가할 것으로 예상되며, 특히 시각 업무가 주를 이룰 것으로 예상된다. 이러한 환경에서 위험 경보 신호는 시각 신호보다는 청각, 촉각 자극이 그리고 단일 자극보다는 복합 자극이 더 유리할 것으로 보이며 특히 청각+촉각 복합 자극은 경보 신호의 유리한 신호 방식으로 보인다.

본 연구에서는 자율주행자동차 단계에 따른 효율적인 자극 양상에 대해 연구했다. 자율주행의 발전에 따라 변화하는 주행 환경에 맞춰 새로운 신호 전달 시스템 설계를 위한 실험을 진행했다. 실험 결과 단일 자극에서는 청각이, 복합 자극에서는 청각+촉각이 가장 효율적인 신호 전달 체계였다. 또한 단일 자극보다 복합 자극의 신호 전달 효율성이 더 높은 것으로 판단된다. 이 결과는 향후 자율주행차량 설계 시 경보 신호를 위한 효율적인 신호 자극을 제시하는 것에 대한 기본 자료로 활용될 수 있을 것이다. 하지만 본 연구는 실제 운전 환경이 아닌 실험실 환경에서 이루어진 평가이므로 실제 차량에서 발생할 수 있는 소음과 진동으로 인해서 결과가 달라질 수도 있다는 한계점이 존재한다. 자율주행환경은 자동화 수준이 같다고 하더라도 세부적인 기능과 인터페이스를 어떻게 설계하는지에 따라서 반응속도나 업무 부하가 달라질 수 있다. 본 연구에서는 낮은 수준의 자율주행환경은 개발 초기 단계로 운전자가 자동 시스템에 대한 신뢰도가 높지 않은 상황을 가정하였고 완전 자율주행환경에서도 여러 과업을 부여할 수 있으나 문자메시지를 보내는 하나의 상황으로 제한하였다는 한계를 가진다. 앞으로의 연구에서는 좀 더 실제와 유사한 주행 환경의 구성과 다양한 자율주행환경 시나리오에 대한 연구가 수행되면 더 의미 있는 결과를 찾을 수 있을 것으로 기대한다.