본문바로가기

Design and Evaluation of Haptic Signals for Drowsy Driving Warning System

Abstract

Objective: This study is to design optimal haptic warning signal to secure awareness of drowsy driver and evaluate its alertness compared with the auditory signal.

Background: As drowsy driving is one of the causes of fatal traffic accidents, the vehicle needs an assistant system that can monitor the driver's drowsiness and give warnings to arouse in case of drowsy driving. It is important to design and utilize effective warning signals in a drowsy driving warning system (DDWS) for fast and clear response of the driver. Under certain circumstances like public transportations, haptic display is more appropriate for silent and private communication between the system and the driver.

Method: Experiments were conducted to evaluate alertness of warning signals in terms of response rate and time in a simulated driving environment. Subjects participated in the experiments for comparing the alertness for 3 haptic signals with 1 auditory signal. Different haptic signals modulated by its frequencies of 2, 5, and 8Hz were given in random order when a valid DDWS identified the subjects' drowsiness defined in two levels (light and heavy).

Results: The response rate of the haptic signals (90%) was significantly lower than that of the auditory signal (97%) under light drowsy condition, but haptic signal of 2Hz got fastest response time (1,390msec) among the signals. The difference in the response time was statistically significant among the haptic signals but it is not for auditory signal. The response time of 2Hz haptic signal was found as competitive in heavy drowsy condition.

Conclusion: It is found that haptic signals with different design parameters can make differences in alertness of drowsy driver and in case of this study the best option was of 2Hz.

Application: The Haptic signal is going to be implemented in a DDWS and tested for its alertness in real vehicle conditions.



Keywords



Driver drowsiness warning system Human-vehicle interface Haptic signal design Driver awareness Response analysis



1. Introduction

최근 국내에서 졸음운전으로 인한 대형 교통사고가 연이어 발생하면서 졸음운전의 위험에 대한 대중적 경각심이 더욱 높아지고 졸음운전 예방이 큰 사회적 화두가 되고 있다. 공공데이터포털에 명시된 2016년 졸음운전 교통사고 현황에 따르면, 졸음운전으로 인해 교통사고가 발생할 경우 사망율은 4.03%로 국가지표체계에 명시된 2016년 전체 교통사고 사망율 1.94%의 2배에 달할 정도로 대형사고로 귀결될 가능성이 높다(Data.go.kr, 2014; Index.go.kr). 이러한 이유로 졸음운전을 예방하기 위한 기술개발 연구들은 교통안전 시스템과 관련된 많은 개발자 및 연구자들의 공통적인 주제로 주목 받아오고 있다. 졸음운전을 예방하기 위해서는 운전자가 피로한 상태에서 직무를 수행하지 않을 수 있도록 적절한 휴식을 취하는 것이 가장 중요하겠으나, 운전자의 각성 상태를 파악하여 졸음 상태에 이를 가능성이 높거나 이미 이른 경우에 각성도를 회복시킬 수 있도록 필요한 조치를 취할 수 있는 시스템이 개발되고 보급될 필요가 있다.

운전자의 졸음 상태를 감지하기 위한 기술로는 심전도(ECG: Electrocardiography), 호흡, 심박수(PPG: Photoplethysmograph), 눈꺼풀 감김 정도(PERCLOS: PERcentage eye CLOSure), 피부전기저항(GSR: Galvanic skin response), 뇌파(EEG: Electroencephalography), 안전도(EOG: electrooculography) 등과 같은 생체신호 기반 기술들이 개발되어 왔으며, 국내외에서도 이런 신호들을 활용하여 운전자의 졸음 상태를 감지하기 위한 연구들이 함께 진행되어 왔다. 일부 연구에서는 컴퓨터 비전을 이용하여 얼굴의 정면 이미지로부터 눈 깜박임 시간과 하품 시간을 측정하여 실시간으로 졸음을 감지하고 졸음운전으로 판단되면 운전자를 각성시키기 위해 경보음과 페퍼민트향을 동시에 발생시키는 시스템을 개발하였으며, 시스템의 성능을 평가하기 위해 졸음 상태와 각성 상태인 운전자의 EEG, ECG, EOG를 측정하여 분석하였다(Kim et al., 1997). 카메라를 활용한 연구로는 다양한 조명 조건의 변화 속에서 단일 카메라를 이용하여 PERCLOS를 측정하고 졸음운전 여부를 판단하는 실시간 시스템을 제안하였다(Joo et al., 2008). 생체신호를 활용한 연구들에서는 운전자의 졸음여부를 판정하기 위해서 EEG와 심박수를 측정하여 분석하였으며, 각성 상태를 지속시키기 위한 방법으로 산소자극, 향 자극, 색 자극을 사용하는 방안을 제시하였고, 호흡 및 PPG 신호를 통해 운전자 졸음 판별 모델 개발 연구를 진행하였다(Lee et al., 2000; Kim et al., 2016). 그 밖에 교통안전공단(TS)에서는 대중교통 및 운수업용 차량의 운행 중에 발생하는 교통사고를 방지하기 위하여 '사업용운전자 위험상황 모니터링 시스템 실용화 기술 개발' 사업을 여러 연구기관과 함께 진행하였으며, 이 사업을 통해 운전자의 졸음운전이 감지될 경우 경보신호를 발생시킬 수 있는 장치를 개발하여 보급하고자 노력하고 있다.

해외에서는 Brain-Computer Interface (BCI) 기술을 접목하여 운전자의 졸음 감지를 위한 EEG 분석 어플을 개발하고 졸음 감지 정확도를 평가하기 위한 연구가 진행되었으며, 저비용의 졸음 감지 기술과 장치를 개발하기 위한 바이오 센서 기술을 통해 운전자 졸림의 초기 단계를 객관적으로 감지하는 연구도 진행되었다(Maradiaga and Meixner, 2017; Doudou and Bouabdallah, 2018). 또 다른 연구들에서는 핸들에 압력 센서를 부착하여 운전자의 졸음을 감지하고 운전을 중단하도록 경고하는 등의 시스템을 구현하였으며, 카메라를 통해 운전자의 안구 운동을 관측하여 졸음을 감지하고 소리 및 진동 신호를 통해 운전자를 각성시키는 시스템을 개발하고자 하였다(Lörincz et al., 2017; Umadevi and Karthikeyan, 2018). 미국의 도로교통안전국(NHTSA: National Highway Traffic Safety Administration)에서는 졸음운전 감지 시스템 개발을 위해 심도 있는 연구를 장기간에 걸쳐 진행하였고, 상업용 차량의 안전성 확보를 위한 연구를 주로 진행한 바 있으며 PERCLOS를 통해 졸음을 감지 및 판단하는 시스템을 개발하여 평가를 진행하였다(Rau, 2005).

이처럼 현재까지 진행되어온 연구들의 주된 목적은 졸음 상태 감지 기술의 정밀도, 정확도, 신뢰도, 효과성을 중점으로 졸음 판단 기술의 수준을 향상시키기 위한 것이지만, 운전자를 졸음으로부터 각성시키기 위한 효과적인 경고신호를 설계하는 연구는 상대적으로 미비한 실정이다. 현재까지 진행된 졸음상황에서의 각성 방법 관련 연구에서는 6개의 LED를 통한 시각신호, 3KHz의 소리신호와 보조신호인 박하향을 통해 각성을 유발하도록 하였고, 졸음 발생 시 스마트폰을 통해 햅틱신호 및 청각신호를 제시하여 그 각성효과를 비교하였다(Grace and Stewart, 2001; Maradiaga and Meixner, 2017). 이 밖의 연구에서는 졸음 단계를 3단계로 나누어 600Hz, 1.5KHz, 3KHz 음역대의 각성효과를 확인하였고, 85dB의 음압을 지닌 소리신호가 각성효과가 있음을 확인하였다(Go and Kim, 1997; Jeong et al., 1996). 일반적으로 운전자를 위한 경고신호는 청각과 시각 채널을 위주로 설계되지만, 졸음 상태에서는 운전자의 눈이 감겨있는 경우가 대부분이기에 시각에 의존한 경고신호는 효과적이지 못하며 청각에 의존한 경고신호 역시 일반적인 상황에 비해 운전자의 청각이 둔감해져 효율성이 떨어진다. 하지만, 촉각을 이용한 신호의 경우 운전자에게 직접적인 접촉을 통해 보다 직관적이고 물리적인 신호를 제공할 수 있다. 촉각 피드백은 오디오나 그래픽과 융합하여 사실적이고 직관적인 피드백 제공으로 유용성을 확보할 수 있으며, 이러한 장점으로 인해 사용자 경험을 차별화 할 수 있기 때문에 제품 경쟁력에도 도움이 되며 사용자 인터페이스의 진화 방향이 점차 인간의 오감을 자극하는 실감형 휴먼 인터페이스 기술로 가고 있으므로 향후 미래에 촉각 기술의 사용범위가 넓어질 것으로 예상된다(Park et al., 2012). 또한 햅틱 분야는 사용자에게 시청각 정보와 더불어 추가적인 촉감을 제공함으로써 보다 실감 있고 자연스러운 상호작용을 제공하는 장점을 가진 것에 비해 아직은 일반 사용자들에게 생소한 분야로 평가되며, 그 이유 중 하나로 촉감 상호작용이 가능한 콘텐츠의 부재를 들 수 있다(Cha et al., 2006). 진동신호 내에서 신호가 발생하는 시간인 자극시간(DOA: Duration Of Stimulus)과 신호와 신호 간의 간격인 자극시차(SOA: stimulus Onset Asynchrony)에 관한 연구가 진행되었으며, 연구 결과 일정한 비율의 JND (Just Noticeable Difference)에 의해 자극시간이 증가할수록 자극시차에 대한 지각능력이 높아지는 것으로 확인되었다(Kohli et al., 2006). 진동에 의해 파시니소체가 자극을 받게 되고 한 지점에서의 진동을 지각할 때에는 자극시차가 자극시간보다 작아야 하며 두 지점에서의 자극은 자극시차가 없다 하더라도 지각이 가능하다는 것 또한 증명되었다(Kirman, 1974).

차량정보 시스템에서 사용되는 경고신호는 전달하고자 하는 정보의 내용이나 졸음 정도와 같은 운전자의 상태에 따라서 다르게 설계될 필요가 있으며, 차량의 종류나 운행 형태에 따라서도 다르게 설계될 필요가 있다. 버스와 같은 대중교통의 경우 개인용 차량과는 달리 운전자와 인적 관계를 맺지 않은 불특정 다수의 승객이 차량에 함께 탑승한다. 따라서 운전자가 졸음 상태에 빠져서 청각이나 시각적인 경고신호가 제시될 경우에 이 상황을 인지한 다수의 승객이 굉장히 큰 불안감을 느낄 수 있어 더 큰 문제가 야기될 수도 있다. 또한 자신의 각성 정도와 관련된 정보를 승객들이 알게 되는 것을 꺼리는 운전자가 이런 시스템의 사용을 의도적으로 회피할 가능성도 있다. 따라서 승객의 불안감을 초래하지 않을 수 있도록 운전자에게만 직접적으로 전달되며 효율적으로 각성효과를 거둘 수 있는 촉각을 주 감각채널로 활용하는 경고신호의 설계 방안이 모색될 필요가 있다.

본 연구는 앞서 언급한 바 있는 교통안전공단의 사업용운전자 위험상황 모니터링 시스템 실용화 기술 개발 사업의 일부로 진행되었는데, 해당사업의 총괄적 목표는 대중교통을 포함하는 사업용 차량의 운행과정에서 운전자의 부주의나 졸음운전에 의해 발생하는 교통사고의 위험을 감소시키는 것이다. 이를 위해 운전자의 상태를 모니터링 하다가 위험상황이 발생한 경우 운전자가 각성도를 회복할 수 있도록 경고신호를 전달해주는 시스템을 개발하고자 하는 것이며, 본 연구에서는 이 시스템에서 활용할 수 있도록 효과적이고 효율적인 햅틱 경고신호를 설계하는 것이 목표이다. 따라서 본 연구를 통해 서로 다른 특성을 지닌 햅틱신호의 졸음에 대한 각성효과를 측정 분석하고 이를 청각 신호를 사용한 경우와 비교 평가하고자 한다.

2. Method

2.1 Apparatus

본 연구를 진행하기 위해서는 운전자의 졸음상황에서 햅틱신호를 전달하고 운전자의 반응을 측정할 수 있는 실험 장비가 필요하였으며, 이를 위해 차량 시뮬레이터, 운전자 상태 모니터링 시스템, 햅틱 경고 시스템과 운전자의 각성 반응을 측정하기 위한 기능을 갖춘 실험 환경을 구축하였다. 우선 차량 시뮬레이터는 전면에 설치된 3개의 디스플레이를 통해 도로 및 주변 차량 환경의 변화가 표시되며, 조향장치와 속도조절을 위한 조작장치들이 일반 차량의 운전석과 동일한 형태로 제공되도록 하였다. 도로 및 주변 차량의 흐름은 피실험자들이 쉽게 단조로움을 느낄 수 있도록 비교적 직선화된 도로구간과 한가한 주변 차량 여건에서 야간에 운전이 진행되는 상태가 되도록 구성하였다.

운전자 상태의 모니터링과 졸음 정도를 판별하기 위한 기능은 교통안전공단의 주관으로 진행된 연구수행과정에서 참여기관인 자동차부품연구원에 의해 개발된 모니터링 시스템을 활용하였다. 이 모니터링 시스템은 운전자의 PERCLOS 및 심박수, 호흡, 피부 온도, GSR과 같은 생체신호를 측정하기 위한 센서들과, 이들로부터 측정된 데이터를 통합하여 졸음 정도를 판단하는 알고리듬으로 구성되어 있다. 이 시스템에서는 운전자의 졸음 정도를 1~5단계로 구분하는데 1~3단계는 운전으로 인한 피로와 단조로움 등으로 운전자의 각성도가 점진적으로 떨어져 가는 수준이며, 4단계는 졸음이 막 시작된 수준이고 5단계는 4단계에 비해 졸음이 더 진행되어 위험수준이 크게 높아진 상태에 해당한다. 이 시스템의 졸음 판정의 기준과 그 민감도 및 시스템의 신뢰도는 개발을 담당한 연구진에 의해 별도로 검증되었으며, 이와 관련된 주제는 본 연구의 범위에 해당되지 않으므로 그 내용은 생략한다.

햅틱신호의 전달을 위해서는 운전자의 손목과 복부에 착용이 가능하도록 손목시계와 안전벨트 형태로 제작된 2개의 장치를 활용하였다(Figure 1). 이들 장치 역시 연구사업에 참여한 별도의 외부기관에서 제작하여 제공하였으며, 이들의 형태와 각 장치에 삽입된 회전형 진동자의 사양은 Figure 2Table 1에 정리한 바와 같다. 각 장치의 제작에 사용된 진동자의 기본적인 사양에 차이가 있었기 때문에 동일한 전압을 인가한 경우, 복부로 전달되는 진동신호의 크기가 손목으로 전달되는 것에 비해 훨씬 강하게 나타나는 것으로 확인되었다. 각 장치에서 햅틱신호를 발생시키기 위해 진동자에 서로 다른 패턴의 전압을 인가하고, 그에 따른 피실험자의 반응을 측정하기 위한 기능은 LabView 프로그램을 활용하여 작성한 별도의 소프트웨어와 인터페이스 장치가 사용되었다.

Figure 1. Experimental setup
Figure 2. Haptic warning displays for wrist (left) and abdomen (right)

Haptic device

Model name

Rated voltage

Rated current

Motor construction

Wrist

GE0308-BLW01

DC 3.0V

90 mA (Max)

Ø4 cylindrical DC coreless motor

Abdomen

MB-1805V (2EA)

DC 3.0V

100 mA (Max)

Ø18 coin type DC coreless motor

Table 1. Specifications of the haptic devices

2.2 Variables

2.2.1 Independent variables

본 연구의 목적인 졸음운전자의 각성도 회복에 가장 효과적인 햅틱신호의 조건을 확인하기 위하여, 그 특성을 변조하기 위한 독립변수와 그 수준을 다음과 같이 결정하였다. 전압이 인가되면 한쪽 방향으로만 회전하는 회전형 진동자의 특성을 감안하여 진동패턴의 차이를 구성하기 위한 독립변수로 자극시간과 자극시차를 고려하였다. 서론에서 언급한 바와 같이 자극시간과 자극시차를 햅틱신호의 설계변수로 사용할 경우 신호의 인지도에 차이가 있음은 기존 연구 결과를 통해 확인된 바 있다. 이들을 설계변수로 활용하기 위해 진동자에 인가하는 전압의 On-Off 시간과 간격을 조합하여 서로 다른 신호패턴을 설계하였다. 진동자에 전압이 인가된 On 상태를 조절하여 자극시간의 수준차를 구현하였고, Off 상태를 조절하여 자극시차의 수준차를 구현하였다. 패턴의 설계과정에서 자극시간(On)과 자극시차(Off)는 동일하게 설정하였는데, 이는 회전형 진동자의 특성상 전압공급이 중단되더라도 관성으로 인해 회전(진동)이 완전히 멈추는데 시간이 필요하기 때문에 자극시차가 너무 짧으면 On-Off 패턴이 확실히 형성되지 않았기 때문이다.

또한 신호가 직접 전달되는 신체 부위의 고유 진동수 특성을 감안하여, 팔과 손 부위에서 가장 민감하게 느껴질 것으로 예측되는 고유 진동수 범위인 5~50Hz와 복부에서 가장 민감하게 느껴질 것으로 예측되는 고유 진동수 범위인 4~8Hz 사이에서 다양한 주파수의 진동패턴을 대상으로 반복적인 비교를 통해 진동패턴 간의 변별이 비교적 명확히 이루어지는지 확인하였다. 이러한 과정을 통해 아래 Table 2에 정리한 바와 같이 변별력을 갖 춘3개의 신호패턴을 설정하였다.

Haptic patterns

Signal types (Unit: msec)

Pattern 1 (2Hz)

250on - 250off

Pattern 2 (5Hz)

100on - 100off

Pattern 3 (8Hz)

62.5on - 62.5off

Auditory

(1,500, 4,000Hz)

Beep (3,000on)

Table 2. The type of haptic signals

진동신호의 길이를 3초로 설정하였고 주파수는 1초 당 진동자의 On이 나타나는 회수로 조절하여 5Hz 진동패턴 경우 진동자는 3초 간 15번 On-Off되며 8Hz 진동패턴의 경우 진동자는 24번 On-Off된다.

한편, 졸음의 정도에 따라 전달되는 신호의 강도에 차이를 두기 위해 4단계와 5단계 졸음에 대해 햅틱신호가 인가되는 신체 부위에 차이를 두어 실험을 실시하였다. 즉 졸음 4단계에서는 손목 부위에 한 해 신호를 전달하고, 졸음 5단계가 발생하면 손목과 복부 부위 모두에 햅틱신호를 전달하도록 하였다.

햅틱신호의 각성효과와 비교할 목적으로 청각신호 역시 실험조건에 포함하였다. 소리신호로는 선행 연구에서 각성도가 확인된 85dB 음압수준에서 1.5KHz 음역대의 소리신호와 동일한 음압에서 인간의 가청영역 중 가장 높은 음역대인 4KHz 음역대의 소리신호를 졸음 4단계 및 5단계에 각각 적용하였다.

2.2.2 Dependent variables

운전자의 각성효과를 확인하기 위한 종속변수로는 반응률과 반응시간의 2개 변수를 설정하여 측정을 실시하였다. 졸음운전 상태에서 빠져나와 충분히 안전한 운전이 가능한 정도로 각성이 회복되었는지를 확인하기 위해서는 단순히 전달되는 자극에 물리적으로 반응하는 것으로는 충분치 않으며 상황에 대한 판단이 가능한 수준의 인지적 반응을 확인할 수 있어야 한다. 이러한 인지적 각성 상태를 확인하기 위하여 본 연구에서는 졸음 상태에서 각성을 위해 햅틱신호를 전달한 후 신호를 지각한 피실험자들이 시스템에서 지시하는 간단한 인지적 과업을 수행하도록 한 후 그 반응률과 반응시간을 측정하였다.

Response Rate

반응률은 운전자가 주행 중 4단계 또는 5단계의 졸음 상태에 빠졌다가 주어진 경보신호에 의해 각성도가 회복되어 주어진 인지적 과업을 정확히 수행한 비율로 정의하였다. 본 실험에서는 각성도가 충분히 회복되지 않은 상태에서 무의식적인 반응을 보이는 경우를 제외하기 위하여 경보신호와 함께 시뮬레이터의 화면에 팝업 형식으로 특정한 색상의 버튼을 누르라는 지시문을 무작위순으로 제시하였다. 피실험자가 화면에서 지시하는 내용에 따라 핸들에 부착되어 있는 색상이 다른 버튼을 정확히 골라서 누르게 되면 반응을 한 것으로 간주하였다. 경보신호에 대해 반응을 하더라도 주어진 과업을 정확히 수행하지 못하였거나, 반응에 소요된 시간이 3초를 초과하는 경우에는 반응하지 않은 것으로 간주하였다. 이는 실제 졸음운전 상황에서 인지적으로 충분히 각성되지 않거나 반응이 지나치게 지연될 경우 여전히 사고의 위험이 높기 때문에 경보 시스템으로서의 성능을 올바로 달성할 수 없기 때문이다.

Response Time

반응시간은 운전자가 주행 중 4단계 또는 5단계의 졸음 상태에 빠졌다가 주어진 경보신호에 의해 각성도가 회복되어 주어진 인지적 과업을 정확히 수행하는데 까지 경과된 시간으로 정의하였다. 반응시간의 산출에는 정확한 반응을 보인 경우의 측정 데이터만을 사용하였다.

2.3 Subjects and procedures

본 실험에는 운전면허를 소지한 남녀 각 10명으로 구성된 총 20명이 참여하였으며, 이들은 모두 20대의 대학생 또는 대학원생이었다. 실험 기간 동안에는 독립변수 이외의 영향요인을 통제하기 위하여 음주를 삼가하도록 하였고, 쉽게 졸음을 유도하기 위해 수면시간 감축 및 식후 포만감을 느끼는 상태에서 실험에 참여하도록 하였으며, 오후 7시 이후부터 다음날 새벽 5시까지 진행하였다.

실험 구성은 Within-Subject Design으로 모든 피실험자가 무작위순으로 발생하는 2Hz, 5Hz, 8Hz의 햅틱신호와 소리신호 총 네 가지 신호에 대해 각각 3회씩 노출이 될 때까지 진행하였다. 피실험자가 졸음 4단계에 도달하면 해당 단계에서 정의된 경고신호가 3초 간 전달되며, 신호가 전달된 후 3초가 경과할 때까지 아무런 반응을 보이지 않으면 졸음 5단계에 해당하는 경고신호를 전달하고 반응을 측정하였다. 간혹 5단계에 해당하는 신호에도 반응하지 못하는 경우에는 실험자가 인위적으로 피실험자를 각성시킨 후 실험을 계속 진행하였다.

3. Results

3.1 Response rate at drowsiness level 4

Figure 3은 졸음 4단계에서 주어진 세 가지 진동패턴에 대한 반응률을 나타낸 것이다. 2Hz, 5Hz, 8Hz 진동패턴에 대한 반응률은 각각 88%, 90%, 92%로 나타났으며, 세 가지 진동패턴의 반응률 간에 차이가 있는지 확인하기 위하여 카이스퀘어 검정을 실시한 결과, p-value는 0.831로 통계적으로 유의한 차이는 없는 것으로 나타났다.

Figure 4는 소리신호에 대한 반응률과 전체 진동신호에 대한 반응률을 비교한 것이며, 전체 진동신호에 대한 반응률은 90%, 소리신호에 대한 반응률은 97%이었다. 두 신호에 대한 반응률의 차이를 확인하기 위하여 모비율 차 검정을 실시한 결과 이들 사이에 통계적으로 유의한 차이가 있음을 확인하였다(p-value=0.038). 따라서 세 가지 진동패턴의 반응률 간에는 차이가 없지만, 진동신호에 비해서 소리신호가 운전자로 하여금 더 높은 반응률을 유도할 수 있음을 알 수 있었다. Table 3Table 4는 제시한 신호에 대한 반응률을 분할표 형식으로 정리하고 카이스퀘어 검정을 실시한 결과를 정리한 것이다.

Figure 3. Response rate by haptic patterns at drowsiness level 4
Figure 4. Comparison of auditory and haptic signals response rate at drowsiness level 4

 

Haptic (2Hz)

Haptic (5Hz)

Haptic (8Hz)

Auditory (1,500Hz)

Total

Response

53

54

55

58

220

Non-response

7

6

5

2

20

Rate

88%

90%

92%

97%

 

Total

60

60

60

60

240

Table 3. Response rate by signals at drowsiness level 4

 

Value

Degree of freedom

p-value

Chi-square

0.370

2

0.831

Likelihood ratio

0.372

2

0.830

Sample size

180

 

 

Table 4. Chi-square analysis of response rate at drowsiness level 4

3.2 Response rate at drowsiness level 5

앞서 서술한 바와 같이 졸음 5단계는 졸음 4단계를 지나 졸음수준이 더욱 심각해진 경우로서 본 연구에서는 4단계에 해당하는 경고신호가 전달되었음에도 불구하고 피실험자가 이를 인지하지 못하여 각성도가 회복되지 않은 경우에 해당한다. 따라서 졸음 4단계에서 각종 경고신호가 3회씩 발생하는 과정 중에 5단계가 간간히 발생하게 되기 때문에 실험의 회수를 임의적으로 설정할 수 없었고, 랜덤하게 전달되는 각 경고신호의 발생빈도가 4단계에 비해 많이 부족할 뿐 아니라 균등한 발생빈도를 지니지 않았다.

본 연구에서 졸음 5단계가 발생한 총 회수가 20회에 불과하였기 때문에 햅틱신호의 종류를 세분하여 분석할 경우 반복수의 부족으로 인해 분석의 신뢰도 저하가 있을 수 있으므로 반응률의 분석은 햅틱과 소리의 두 수준으로만 구분하여 분석하였다.

Figure 5Table 5에서 정리한 바와 같이 5단계 진동신호에 대한 반응률은 92%, 소리신호에 대한 반응률은 100%로 나타났지만 두 가지 신호의 반응률에 대해 카이스퀘어 검정을 실시한 결과, Table 6에서 확인할 수 있듯이 p-value는 0.452로 통계적으로 유의한 차이를 확인할 수는 없었다.

Figure 5. Comparison of auditory and haptic signals response rate at drowsiness level 5

 

Haptic

Auditory

Total

Response

12

7

19

Non-response

1

0

1

Rate

92%

100%

 

Total

13

7

20

Table 5. Response rate by signals at drowsiness level 5

 

Value

Degree of freedom

p-value

Chi-square

0.567

1

0.452

Likelihood ratio

0.890

1

0.346

Sample size

20

 

 

Table 6. Chi-square analysis of response rate at drowsiness level 5

3.3 Response time to drowsiness level 4

Figure 6은 졸음 4단계에서 각 신호에 대한 평균 반응시간을 나타낸 것이다. 2Hz, 5Hz, 8Hz 진동패턴 및 소리신호에 대한 평균 반응시간은 각각 1,390msec, 1,450msec, 1,525msec, 1,429msec로 2Hz 진동패턴이 가장 빠른 평균 반응시간을 나타냈다.

Figure 6. Response time by signals at drowsiness level 4 (Unit: msec)

2.3절에서 언급했던 바와 같이 본 실험은 개별 피실험자가 모든 실험조건에 노출되는 방식의 Within - subject design으로 진행되었다. 때문에 피실험자를 변량인자로 취급하여 피실험자들의 개인차가 오차항에 풀링되지 않을 수 있도록 한 상태에서 각 신호의 평균 반응시간에 유의한 차이가 있는지를 확인하기 위해 분산분석을 실시하였다. Table 7에서 확인할 수 있듯이 신호인자의 주효과에 대한 p-value는 0.183으로 각 신호 간의 평균 반응시간에서 통계적으로 유의한 차이는 나타나지 않았다.

 

DF

Adj SS

Adj MS

F-value

p-value

Pattern (P)

3

0.6167

0.2056

1.64

0.183

Participants (PA)

59

29.5542

0.5009

3.99

0.000

P X PA

157

19.6956

0.1254

 

 

Total

219

49.7785

 

 

 

Table 7. ANOVA for response time of the signals

이러한 분산분석 결과를 통해 개인차를 제외하더라도 오차항의 크기가 신호조건의 차이라는 주효과를 확인하기에 상당히 크다는 점을 확인하였고 오차항의 크기를 증가시키는 또 다른 요인이 존재하는지를 확인하기 위한 추가적인 분석을 실시하였다. 우선 각 신호에 대한 성별 집단 별 평균 반응시간 및 산포를 확인하였다. Figure 7에서 확인할 수 있듯이 여성 집단의 경우 각 신호에 대한 평균 반응시간은 각각 1,538msec, 1,587msec, 1,557msec, 1,441msec로 각 신호 간의 차이를 뚜렷이 확인하기 어려웠고 각 신호에 대한 평균 반응시간의 편차 또한 남성 집단에 비해 크게 나타났다. 남성 집단의 경우 2Hz, 5Hz, 8Hz 진동패턴 및 소리신호에 대한 평균 반응시간은 각각 1,280msec, 1,362msec, 1,523msec, 1,426msec로 여성 집단에 비해 각 신호의 차이를 명확히 확인할 수 있었으며, 전체 집단에 대한 분산분석 결과와 비교했을 때도 보다 뚜렷한 차이를 확인할 수 있었다. 이러한 결과를 바탕으로 성별이라는 인자가 신호에 대한 반응시간에 영향을 미칠 가능성이 있을 것으로 판단하여 성별을 또 하나의 인자로 추가하고 Mixed Two Factor Design으로 간주하여 분산분석을 실시하였다. Table 8에서 확인할 수 있듯이 성별 인자에 대한 분산분석 결과, p-value는 0.177로 성별 집단의 주효과는 존재하지 않는 것으로 확인되었으며, 성별과 신호라는 두 가지 인자의 교호작용에 대한 분산분석 결과, p-value는 0.158로 성별 집단과 신호군 간의 교호작용 또한 존재하지 않는 것으로 확인되었다.

Figure 7. Average response time for the signals by the gender (Unit: msec)

 

DF

Adj SS

Adj MS

F-value

p-value

Gender (G)

1

0.9862

0.9862

1.86

0.177

Pattern (P)

3

0.5352

0.1784

1.44

0.233

G X P

3

0.652

0.2173

1.75

0.158

Participants (Pa)

58

30.6905

0.5291

4.27

0

P X PA

174

21.5634

0.1239

 

 

Total

239

 

 

 

 

Table 8. ANOVA result for response time of the signals including gender effect

성별로 인한 영향에 대해서 통계적으로 유효한 결과는 확인할 수 없었지만 위 Table 7Figure 7에서 확인했듯이 여성 집단을 포함함으로써 분석 결과의 유의성이 떨어질 수 있다는 점을 감안하여 여성 집단의 데이터를 제외하고 남성 집단의 데이터에 대한 분산분석을 실시하였다. Table 9에서 확인할 수 있듯이 p-value는 0.031로 통계적으로도 유의한 차이가 있음을 확인하였다.

 

DF

Adj SS

Adj MS

F-value

p-value

Pattern (P)

3

0.9857

0.3286

3.12

0.031

Participants (Pa)

29

7.1772

0.2475

2.35

0.002

P X PA

78

8.213

0.1053

 

 

Total

110

16.325

 

 

 

Table 9. ANOVA result for response time of the signals (Male)

남성 집단에 한정할 경우 신호조건에 따라 반응시간에 통계적으로 유의한 차이가 있음을 확인한 후 Tukey 분석을 이용해 각 신호 간 평균 반응시간의 차이에 대한 신뢰구간을 추정하였다. Figure 8에 나타난 바와 같이 네 가지 신호 중 가장 느린 반응시간을 보인 8Hz 햅틱신호는 가장 빠른 반응시간을 보인 2Hz와 비교할 때 그 차이가 통계적으로도 유의할 만한 수준임을 확인하였다.

Figure 8. Result of Tukey test for the difference in mean response time

3.4 Response time at drowsiness level 5

Figure 9는 졸음 5단계에서 발생한 신호에 대한 반응시간을 비교한 그래프이다. 5단계에서는 손목과 복부 두 부위에 동시적으로 신호를 발생시켰기 때문에 소리신호와 함께 비교했을 때 4단계에 비해서 평균 반응시간의 차이가 보다 명확하게 드러났다. 2Hz 패턴의 평균 반응시간은 509msec로 4단계와 같이 가장 빠른 반응시간을 나타냈으며, 8Hz 패턴은 1,131msec 가장 느린 반응시간을 나타냈다. 또한, 2Hz 진동패턴과 소리신호를 비교했을 때 진동패턴이 약 300msec 정도 빠른 반응시간을 보였다. 그러나 Table 10에서 확인할 수 있듯이 이러한 신호조건의 주효과가 통계적으로 유의할 만한 수준에 해당하지는 않았다.

Figure 9. Response time by signals in drowsiness level 5 (Unit: msec)

 

DF

Adj SS

Adj MS

F-value

p-value

Pattern (P)

3

0.2971

0.0990

3.17

0.147

Participants (Pa)

11

2.7990

0.2545

8.14

0.029

P X PA

4

0.1251

0.0313

 

 

Total

18

3.2865

 

 

 

Table 10. ANOVA for response time of signals in drowsiness level 5
4. Discussion

본 실험에서는 진동패턴의 성능을 확인하기 위하여 각성도를 확보한 소리신호와의 비교 분석을 실시하였다. 분석 결과 각성도를 확보한 소리신호에 비해서 실험에 활용한 2Hz, 5Hz 진동패턴이 더욱 빠른 평균 반응시간을 나타냈다. 소리신호가 2Hz, 5Hz 진동패턴에 비해서 반응률이 우수함에도 불구하고 느린 반응시간을 보인 것은 놀람효과인 것으로 추정된다. 실험과정에서의 육안관측 상 졸음운전 중 소리신호가 발생했을 때 피실험자의 상당수가 진동신호에 비해 더 놀라는 경향을 보였는데 이로 인해 버튼을 누르는데 까지 걸린 시간은 오히려 늘어나는 현상이 나타났기 때문인 것으로 해석된다.

또한 여성 집단이 남성 집단에 비해 다소 길고 산포가 심한 반응시간 특성을 보였는데 이 역시 놀람효과로 인해 유발된 현상으로 추정된다. 실험과정 중 졸음 상태에서 경고신호가 발생했을 때 여성 피실험자들이 남성 피실험자들에 비해 더 놀라는 경향을 보였으며 이로 인해 여성 집단의 반응시간의 산포가 늘어나면서 신호조건의 주효과를 가려버리는 현상이 발생했던 것으로 판단된다.

한편 앞서 언급한 바와 같이 졸음 5단계 경고신호는 졸음 4단계에서 운전자가 경고신호에 대해 반응을 하지 못하거나 늦게 반응할 경우에 발생하기 때문에 5단계 경고신호는 4단계 경고신호에 비해서 발생빈도가 현저히 낮을 수 밖에 없으므로 연구 결과의 해석에 유의할 필요가 있다. 5단계 신호 데이터의 크기를 감안했을 때 신호에 따른 응답빈도를 통한 반응률에 대한 분석은 큰 의미가 없다고 판단되었다. 5단계 신호의 반응시간은 4단계 신호에 비해서 훨씬 짧게 나타났는데, 이는 4단계 신호에 의해 어느 정도의 각성이 이루어진 후 5단계 신호로 넘어가는 경우가 상당수 포함되었기 때문인 것으로 추정된다. 5단계 경고신호는 4단계 경고신호를 통해서 충분한 각성이 이루어지지 않을 경우에 운전자를 확실하게 각성시키기 위해 발생되는 경고신호이기 때문에 본 실험조건에서는 4단계 신호의 각성효과와 완전히 분리하여 해석할 수 없었다. 5단계 졸음 상태에서 신호 특성에 따른 각성효과만을 별도로 분석하기 위해서는 4단계 졸음 상태에서는 신호를 전달하지 않고 5단계에 이르렀을 때에만 신호를 전달하는 방식의 별도 실험이 진행될 필요가 있는데 본 연구에서는 실제상황과 동일한 운용조건에서의 신호효과를 확인하는 것이 목표였기 때문에 이러한 방식을 취하지는 않았다.

졸음 4단계 및 5단계에서 2Hz 진동패턴이 다른 진동패턴에 비해서 가장 빠른 반응시간을 보인 이유는 회전형 진동자를 통해 구현한 진동패턴은 자극시간과 자극시차가 짧아질수록 진동이 완전히 정지하지 않고 다시 진동이 발생하는 현상이 반복적으로 발생하기 때문에 이러한 현상을 포함한 진동패턴은 경고신호 자체의 세기가 약해졌기 때문이라고 추측된다. 2Hz 진동패턴은 다른 진동패턴에 비해서 자극시간과 자극시차가 가장 길었기 때문에 진동패턴이 비교적 온전히 구현되어 실험에 활용된 신호 중 가장 빠른 평균 반응시간을 나타날 수 있도록(남에) 유리하게 작용한 것으로 판단되며 진동패턴 자체의 성능 차이를 보다 명확하게 파악하여 경고신호의 각성효과를 향상시키기 위해서는 다른 유형의 진동자를 활용하는 방안도 검토할 필요가 있다.

5. Conclusion

본 연구의 목적은 기 설계된 졸음운전 경보 시스템의 하드웨어 사양조건 하에서 졸음운전 시 최적의 경각성 확보를 위한 햅틱신호의 패턴을 설계하는 것이었다. 이런 목적에 따라 본 연구에서는 시스템에서 사용되는 두 가지 형태의 진동자에 대해 인간의 신체 고유 진동수에 맞추어 2Hz, 5Hz, 8Hz의 세 가지 주파수 범위 내에서 일정한 On/Off 간격을 가지는 진동패턴을 형성하여 소리신호와 비교하는 실험을 실시하였다. 졸음 4단계에서는 2Hz, 5Hz, 8Hz 총 세 가지 진동패턴이 각각 88%, 90%, 92%의 반응률을 보였으나 각 진동패턴의 반응률에는 통계적으로 유의한 차이가 나타나지 않았다. 진동신호와 소리신호의 반응률을 비교했을 때 진동신호(90%)에 비해 소리신호(97%)의 반응률이 훨씬 높게 나타났으며, 통계적으로도 유의한 차이가 있음을 확인하였다. 졸음 4단계에서 발생한 모든 신호의 평균 반응시간을 확인한 결과 2Hz 진동패턴이 1,390msec로 가장 빠른 평균 반응시간을 보였으나, 통계적으로는 각 신호의 평균 반응시간에 유의한 차이는 나타나지 않았다. 남성과 여성 집단 각각에 대해서 통계분석을 실시한 결과, 여성 집단의 경우에는 남성 집단에 비해서 각 신호에 대한 반응시간의 편차가 크고, 신호 간의 차이에 대해서 둔감하게 반응한다는 사실을 확인하였다. 따라서 여성 집단을 제외하고 남성 집단에 대한 분석을 실시한 결과 2Hz, 5Hz, 8Hz 진동패턴과 소리신호(1,500Hz)의 평균 반응시간은 각각 1,280msec, 1,335msec, 1,522msec, 1,426msec로 전체 집단에 대한 평균 반응시간에 비해서 각 신호 간의 차이가 보다 명확하게 드러났다. 또한 각 신호 간의 평균 반응시간 차에 대한 구간추정을 통해 8Hz 진동패턴은 다른 신호에 비해서 각성효과가 가장 떨어지는 것으로 나타났으며, 통계적으로도 유의한 차이가 나타났다. 졸음 5단계에서 발생한 각 신호의 평균 반응시간에 대한 분석을 실시한 결과, 2Hz 패턴이 가장 빠른 평균 반응시간을 보여 4단계와 유사한 결과가 나타났으며 각 신호의 평균 반응시간의 차이는 4단계에 비해서 보다 명확하게 드러났다. 회전형 진동자의 한계점에 의한 영향을 가장 적게 받고 소리신호에 비해서 운전자의 놀람을 명확히 적게 나타내며 운전자를 졸음상황에서 가장 빠른 시간 안에 각성시킨 2Hz 진동패턴이 본 실험에서 활용한 신호 중 가장 우수한 각성효과를 보였다.

본 연구를 통해 햅틱신호의 물리적 특성에 따라 졸음운전에 대한 각성효과에 차이가 있으며, 본 연구와 동일한 장비 운용조건에서는 2Hz의 진동패턴이 가장 효과적인 졸음경보 신호임을 확인하였다. 이러한 햅틱신호의 설계효과가 남성 집단에 대해서만 통계적으로 유의한 결과를 보였기 때문에 일반화에는 다소 한계가 있을 수 있다. 그러나 본 연구과정을 통해 설계하고자 했던 최적의 햅틱신호의 경우 그 적용대상이 사업용 차량의 DDWS이며, 현재 대부분의 사업용 차량에서 운전업무를 남성들이 주로 담담하고 있음을 감안할 때 본 연구의 결과가 유의미하게 활용될 수 있을 것으로 기대된다.

현재까지 진행된 졸음 경고 시스템 개발과 관련된 연구는 운전자를 졸음 상태를 판별하기 위한 방법론과 경고방식에 대해서 중점적으로 이루어졌고 경고신호의 실효성과 관련된 연구는 크게 부족한 실정이다. 본 연구에서도 주어진 조건에서 각성도를 극대화할 수 있는 신호조건을 확인하고 이를 실제 시스템에 적용하는 것을 목표로 하였다. 하지만 현재 수준의 각성효과가 졸음운전으로 인한 교통사고를 예방하기에 충분한 수준인지를 확인하기 위한 부분과 충분한 각성효과가 확보되지 않았다고 판단될 경우 이를 더욱 향상시키기 위한 추가적인 방안에 대한 추가적인 연구노력이 필요하다. 또한 개발된 졸음운전 경보 시스템을 실차 환경에 적용하여 현실 적용 가능성을 검증하기 위한 연구가 뒷받침되어야 할 것이다. 더 나아가 단순한 각성효과의 검증 이외에도 시스템의 사용성과 같은 추가적 평가 항목들에 대한 검증을 통해 운전자의 안전과 만족도를 모두 제고시킬 수 있는 방향으로의 시스템 개선이 이루어져야 할 것이다.



References


1. Cha, J.E., Oakley, L., Kim, Y.M., Kim, J.P., Lee, B.C., Seo, Y.O. and Ryu, J.H., "Haptic Modeler using Haptic User Interface", Journal of the HCI Society of Korea, 1031-1036, 2006.
Crossref 

2. Data.go.kr, Traffic accident statistics, Department of Traffic Safety, https://www.data.go.kr/dataset/15022347/fileData.do (retrieved May 17, 2017).
Crossref 

3. Doudou, M. and Bouabdallah, A., "Performance Specifications of Market Physiological Sensors for Efficient Driver Drowsiness Detection System", 7th International Conference on Sensor Networks , 2018.
Crossref  Google Scholar 

4. Go, H.U. and Kim, Y.H., "Analysis and Determination of Arousal Level Control to Prevent Drowsy Driving", Journal of The Korean Society Of Automotive Engineers, 1171-1176, 1997.
Crossref 

5. Grace, R. and Stewart, S., "Drowsy Driver Monitor and Warning System", 1st International driving symposium on human factors in driver assessment, training and vehicle design; Aspen, CO, 64-69, 2001.
Crossref  Google Scholar 

6. Index.go.kr, Traffic accident statistics (Dead, Injury), National indicator system, http://www.index.go.kr/potal/main/EachDtlPageDetail.- do?idx_cd=1614 (retrieved November 08, 2017).
Crossref 

7. Jeong, K.H., Kim, B.J., Kim, D.W. and Kim, N.K., "A Study on the Development of a Driver's Drowsiness Prevention System", KACC, v. 18-1, 56-59, 1996.
Crossref 

8. Joo, Y.H., Kim, J.K. and Ra, I.H., "Intelligent Drowsiness Drive Warning System". Journal of Korean Institute of Intelligent Systems, 18(2), 223-229, 2008.
Crossref  Google Scholar 

9. Kim, N.K., Jeong, K.H. and Kim, B.J., "A Study on the Development of Automatic Detection and Warning system while Drowsy Driving", Journal of Biomedical Engineering Research, v. 18 no.3, 315-323, 1997.
Crossref  Google Scholar 

10. Kim, S.H., Choi, B.Y., Cho, T.H., Lee, Y.K., Koo, H.J. and Kim, D.S., "Development of a Classification Model for Driver's Drowsiness and Waking Status Using Heart Rate Variability and Respiratory Features", Journal of the Ergonomics Society of Korea, 35(5), 371-381, 2016.
Crossref 

11. Kirman, J.H., "Tactile Apparnet Movement: The Effects of Interstimulus Onset Interval and Stimulus Duration", Perception & Psychophysics, 15, 1-6, 1974.
Crossref  Google Scholar 

12. Kohli, L., Niwa, M., Noma, H. and Susami, K., "Towards effective information display using vibrotactile apparent motion", Symposium on Haptic Interfaces for Virtual Environment and Teleoperator Systems, 445-451, 2006.
Crossref  Google Scholar 

13. Lee, M.H., Kim, J.Y., Song, C.K. and Kim, N.K., "A Study on the Driver's Drowsiness Warning System using Oxygen and Color", Journal of Biomedical Engineering Research, 21(2), 175-180, 2000.
Crossref 

14. Lörincz, A.E., Ionica, A., Leba, M. and Risteiu, M.N., "Driver monitoring system for automotive safety", IOP Conference Series: Materials Science and Engineering, 294, 2017.
Crossref 

15. Maradiaga, D.M. and Meixner, G., "Morpheus alert: A smartphone application for preventing microsleeping with a brain- computer interface", The 2017 4th International Conference on Systems and Informatics (ICSAI 2017), 2017.
Crossref  Google Scholar 

16. Park, J.S., Lee, J.W. and Lim, J.M., "Tactile Technology Trends on Touch Screen", Information & Communications Magazine, 29(7), 16-24, 2012.
Crossref 

17. Rau, P.S., "Drowsy Driver Detection and Warning System for Commercial Vehicle Drivers: Field Operational Test Design, Data Analyses, and Progress", 19th International Technical Conference on the Enhanced Safety of Vehicles (ESV), 2005.
Crossref  Google Scholar 

18. Umadevi, K. and Karthikeyan, R., "Drivers backing system with factual occasion eye recognition", International Journal of Advance Research in Science and Engineering, 7(1), 2018.
Crossref 

PIDS App ServiceClick here!

Download this article