현대 사회는 2000년대 후반 스마트폰이 등장하면서 인터넷 플랫폼이 PC 웹 브라우저 중심에서 애플리케이션으로 변화하였으며, 사물 인터넷(Internet of Thing, IoT) 기반의 인공지능(Artificial Intelligence, AI) 기술로 발전하기 시작하였다. 이로 인하여 클라우드 컴퓨팅 플랫폼을 기반으로 다양한 기기와 서비스를 통해 사용자의 요청을 처리하는 인공지능 플랫폼(AI Platform)이 인터넷 산업의 중심으로 성장하고 있다(Ahn and Jun, 2018). 다양한 기기 중에서 인공지능 스피커(AI Speaker)는 소비자들이 새롭게 부상하고 있는 플랫폼을 가장 쉽게 접할 수 있는 제품 중 하나이며, 사용자의 음성 명령을 통해 생활가전 제품들을 제어하는 스마트 홈(Smart Home)을 넘어 다양한 기능의 수요에 따라 진화하고 있다. 국내에서도 가전 업체들 중심으로 인공지능 음성 인터랙션 서비스를 앞세워 자사제품을 제어할 수 있는 서비스를 제공하고 있으며 사용 데이터를 학습해 개인 맞춤형 서비스를 제공하는 것을 목표로 기술적 발전이 이루어지고 있다.

이러한 이유로 국내외에서 인공지능 스피커의 판매량은 빠른 속도로 증가하는 추세이며, 인공지능 스피커에 대한 소비자의 구매 욕구가 증가하고 다양해짐에 따라 여러 기업들 및 플랫폼 제조사들이 자사만의 특장점을 부각할 수 있는 인공지능 스피커를 개발 중이다. 또한 시장에서 고객들의 목소리(Voice of Customer, VOC)를 바탕으로 제품의 기능을 지속적으로 업그레이드하고 있으며, 시장에서 소비자 감성 품질 만족도를 높이기 위한 노력을 지속적으로 하고 있다. 하지만 이러한 기업들의 노력에도 불구하고 인공지능 스피커의 사용자 만족도는 49%밖에 되지 않는다. 인공지능 스피커의 주된 불편사항으로는 '일상 사용 환경에서 음성인식 미흡'(56.7%), '기기와 이용자 간의 자연스러운 연결형 대화 곤란'(45.7%), '외부 소음을 음성 명령으로 인식한 작동 오류 발생'(37.0%) 등이 꼽혔다(Park and Joo, 2018). 인공지능 스피커 및 음성 비서 기술에서 가장 중요한 음성인식 과정의 문제점 등이 현재 지속적으로 발견되고 있으며, 이는 음성 제어를 통한 완벽한 스마트 홈(Smart Home) 구현을 위해 해결해야 하는 최우선적 과제이다.

오늘날 기업들은 사용자 중심의 제품을 개발하기 위해 사용성 평가 및 설계 개선과 같은 다양한 활동을 수행하고 있으며 경쟁력이 심화되는 제품 시장에서 사용자 중심의 제품을 개발하는 것은 매우 중요하게 부각되고 있다(Jordan, 1997).

최근 기술수용모델(Technology Acceptance Model, TAM)과 확장된 기술수용모델(Extended Technology Acceptance Model)을 기반으로 인공지능 스피커의 사용자 만족과 지속적 사용에 영향을 미치는 요인을 도출하기 위한 연구들이 진행되었다. 하지만 인지된 유용성, 인지된 용이성 등의 사용자 만족감을 달성하기 위한 요인을 중점으로 연구가 진행되었으며, 인공지능 스피커의 사용성 평가 항목으로 연장되기에는 부족한 실정이다.

이러한 배경에서 음성 인터페이스(Voice User Interface, VUI)를 활용하는 인공지능 스피커를 대상으로 설계 및 사용성 평가에서 우선적으로 활용 가능한 요소를 도출하고 사용성 평가의 항목을 도출하는 것이 본 연구의 목적이다.

2.1 Research procedure

현재 인공지능 스피커에 대한 사용성 평가 요소가 구체적이지 않으며 관련된 선행연구들의 부족으로 소프트웨어와 웹 사이트 그리고 모바일 기기 분야의 사용성 평가 연구에 사용되고 있는 평가 요소들과 제품을 대상으로 작업을 수행하는 객관적 사용 편의성 요소인 수행도 요소를 수집하여 본 연구에 활용하였다. 수집된 평가 요소는 인공지능 스피커의 특성과 기능에 따라 분류하고 정의하여 AHP (Analytic Hierarchy Process) 기법을 통해 사용자 요구사항에 기반하여 요소들 간의 중요도와 우선순위를 도출하여 신뢰도가 높고 유의미한 사용성 평가 항목을 제안하고자 하였다.

2.2 Collection and definition of usability evaluation factors

인공지능 스피커의 구체적인 사용성 평가 요소들을 도출하기 위하여 사용성 평가에 대한 사전 연구를 조사하여 일반적인 사용성 평가 요소 항목과 더불어 특정 매체 및 콘텐츠의 특성에 따라 연구된 사용성 평가 원칙들을 수집하였고, 공통된 요소들을 인공지능 스피커의 평가 요소로 취합하였다. 본 연구에서는 샤클(Shackel, 1991)의 사용성에 대한 정의, 닐슨(Nielsen, 1993)의 Usability Engineering, 국제 표준화 기구의 사용성 평가 원칙(ISO, 1998), 소프트웨어 사용성 평가 원칙(Abran et al., 2003), 앨리슨의 사용성 평가 원칙(Alison J. Head, 1999), 스티브 크러그의 사용성 기본법칙(Steve Krug, 2010), 케빈 콕스와 데이비드 워커의 사용자 인터페이스 디자인 사용성 평가 원칙(Kevin Cox and David Walker, 1992), 웹 사이트 사용성 평가 원칙(Lindgaard, 1994), 학습이론 사용성 평가(Mehlenbacher, 1993), 노키아(Nokia)의 모바일 UI (User Interface) 디자인의 관한 원칙(Lindholm and Keinonen, 2003), 애플(Apple)의 IOS 사용성 평가 원칙 그리고 구글의 안드로이드 OS 사용성 원칙을 활용하여 12개의 평가 원칙 중 각기 다른 41개 평가 요소를 조사하였고, 전자제품의 객관적 사용 편의성 요소인 수행도 요소 분류 체계인 단순성(Simplicity), 직접성(Directness), 학습성(Learnability), 유연성(Flexibility), 사용자 지원기능(User support), 효율성(Effectiveness)의 6개 대분류 항목을 포함하여 검토하였다(Han et al., 1997). 위의 선행조사로 도출한 사용성 평가 요소들은 이후 유사성에 의하여 분류하였다. 또한 인공지능 스피커는 음성 인터페이스(VUI) 기반으로 사용자들과 상호작용이 이루어지기 때문에 수집된 사용성 평가 요소만으로 사용성 평가 항목을 정의하기에 부족함이 있으므로 인공지능 스피커 사용자를 대상으로 사용자 요구사항을 수집하고 이를 종합하여 인공지능 스피커 사용성 평가 요소를 도출하였다.

2.3 AHP evaluation

본 연구에서는 도출된 인공지능 스피커의 사용성 평가 요소에 대한 정량적 가중치를 산출하기 위해 AHP (Analytic Hierarchy Process)기법을 활용하였다. AHP 기법은 복잡한 의사결정 문제를 효율적으로 해석하는 시스템적 방법론이며, 의사결정 문제를 계층 구조화 하여 주요 기준과 그에 따른 세부기준으로 나누고 이러한 기준들을 전문가 설문을 활용하여 비교하고 가중치를 산출하는 방법이다(Lee et al., 2011). 이 기법은 최종 목표, 판단기준, 대안의 3단계 계층 구조를 통해 최종 목표에 대해 평가 기준의 중요도를 산출한다(Lee and Park, 2008). 따라서 수집된 인공지능 스피커의 사용성 평가 요소를 계층화 하고 상대적 중요도에 따라 9점 척도를 사용하는 단계별 쌍대비교 설문 방식을 통해 응답을 수집하여 요소들의 상대적인 중요도를 분석하였으며 설문조사는 Table 1 같이 구성하였다.

일반적으로 AHP 분석 기법은 전문가를 대상으로 설문을 진행하는 것이 보편적이지만 전문가 집단이 아니더라도 응답의 일관성이 검증되면 일반인을 대상으로 한 조사에서도 유의한 결과를 도출할 수 있다(Lee et al., 2011). AHP 기법을 이용하여 사용성 평가 시 사용자 그룹은 질적 측면과 개인적 요소를 중시하며 전문가 그룹은 정보의 다양성이나 일관성을 중요시한다(Chae and Lee, 2004). 따라서 본 연구에서는 AHP 설문 대상을 전문가 그룹과 비전문가(일반 사용자) 그룹으로 나누어 2021년 3월 5일부터 23일까지 총 19일 동안 설문조사를 진행하였다. 전문가 그룹은 음성 인터페이스(VUI)가 적용된 제품인 가전제품, 스마트폰 제조사에 재직중인 엔지니어와 UX/UI 디자이너 41명을 대상으로 구성하였으며, 일반인 그룹은 한국어 지원 및 스마트 홈(Smart Home) 서비스를 제공하는 인공지능 스피커를 6개월 이상 사용하고 있는 사용자 30명으로 구성하였다. 설문조사의 대상자는 총 71명으로 인구통계학적 특성은 남성 32명(45.07%), 여성 39명(54.93%) 그리고 연령대는 20대와 30대가 각각 24명(67.6%), 40대가 20명(28.17%) 그리고 나머지 연령대는 3명 (4.23%)이었으며 조사를 통해 도출한 자료의 신뢰도를 높이기 위하여 전문가들의 판단 상의 오차 정도를 측정하는 방법인 일관성 비율(Consistency Ratio, C.R.)을 활용하였다. C.R.은 값이 작을수록 응답의 일관성이 크다고 할 수 있으며, C.R.이 0.1보다 작을 경우 일관성 있는 응답이라 판단할 수 있다(Park, 2012). 따라서 본 연구에서는 C.R.이 0.1 이하인 데이터만 분석하여 평가 요소 간의 중요도 가중치를 산출하였다.

3.1 Development of AI speaker evaluation factors

앞에서 언급한 12가지의 사용성 평가 원칙 중 활용 빈도수가 높은 평가 요소들과 새롭게 평가에 활용되고 있는 요소 등을 분석하여 이 중 인공지능 스피커의 사용성 평가에 적용 가능한 평가 요소들을 일관성(Consistency), 오류 방지(Error prevention), 일치성(Congruence), 제어성(Control), 효율성(Efficiency), 이해 용이성(Understanding), 기능성(Functionality), 신뢰성(Reliability), 피드백(Feedback), 가시성(Visibility), 정보 제공성(informativeness), 명확성(Clearness), 간결성(Simplicity) 그리고 상태 표시(Status display) 14개로 Table 2과 같이 도출하였다.

3.2 Definition of usability evaluation factors through user activity and demand survey

인공지능 스피커에 대한 사용자 요구사항을 도출하기 위하여 제품 사용 설명서, 사용자들의 제품 사용 방법과 사용 범위에 대한 조사 결과를 종합하여 인공지능 스피커가 사용자들에게 제공하는 핵심적인 기능을 파악하였다. 또한 사용자들이 기대하는 기능 및 사용 범위에 따라 수행 과업(Task)에 대한 사용자 시나리오(User Scenario)를 작성하여 인공지능 스피커 사용자들이 각각의 기능에 대하여 요구하는 요소들을 분석하였다. 선행연구에서 선정한 14개의 사용성 평가 요소와 사용자 요구사항의 결과를 분석하고 종합하여 인공지능 스피커 사용성 평가에 적합한 평가 요소를 도출하고 각 요소에 관한 내용을 재정의하였으며 Figure 1과 같다.

위의 과정을 통해 도출된 10개의 인공지능 스피커 사용성 평가 요소는 효율성(Effectiveness), 이해성(Understandability), 조작성(Operability), 용이성(Ease of use), 피드백(Feedback), 정보전달속도(Information transfer speed), 신뢰성(Reliability), 명확성(Clarity), 호환성(Compatibility), 개인성(Personality)으로 Table 3와 같다.

Figure 1. The redefinition of the usability evaluation scale through the linkage between the product's functionality and user requirements (example)

Modify Delete

3.3 Validation through analyzing AHP

본 연구를 통하여 도출된 인공지능 스피커 사용성 평가 요소의 정량적 가중치 산출을 위하여 분석적 계층화 과정(Analytic Hierarchy Process, AHP) 기법을 사용하였다. AHP 분석을 위하여 수집된 요소들은 각 특성에 따라 그룹화 정의하고 측정 영역과 측정 요소를 계층 구조로 구성하였다. 측정 영역은 커뮤니케이션, 개인화, 정보 표현의 3가지로 분류하였으며, 첫 번째 커뮤니케이션 영역은 효율성, 이해성, 기기의 동작성, 조작 용이성, 피드백 그리고 두 번째 정보 표현 영역은 정보전달속도, 신뢰성, 명확성 마지막으로 세 번째 개인화 영역은 호환성, 개인성으로 총 10가지의 측정 요소로 구성하였다. 또한 설문지 설계를 위하여 구성된 각 측정 영역에 대한 측정 요소들은 Figure 2와 같다.

측정 영역과 각 측정 요소의 중요도를 전문가와 비전문가 그룹 71명을 대상으로 AHP 분석을 통하여 분석하였다. 그 결과 측정 영역의 가중치와 측정 요소 별 가중치의 값에 의하여 스피커 사용성 평가 요소에 대한 최종 중요도(Global weight)를 산출하였으며 결과는 Table 4과 같다.

Figure 2. AHP analysis model for evaluating the usability of artificial speakers

Modify Delete

두 그룹의 측정 영역에 대한 상대적 중요도 평가의 결과를 종합해보면 커뮤니케이션(0.516), 정보 표현(0.310), 개인화(0.174) 영역 순으로 분석되었는데 커뮤니케이션의 측정 요소 중에서는 조작성(0.261)이 가장 높게 평가되었으며, 이해성(0.234), 용이성(0.184), 피드백(0.177), 효율성(0.144) 순으로 나타났다. 정보 표현의 영역에서 측정 요소에 대한 중요도 가중치 분석 결과는 명확성(0.424), 신뢰성(0.381), 정보전달속도(0.195) 순으로 평가되었다. 마지막으로 개인화 영역은 개인성(0.503), 호환성(0.497) 순으로 중요도가 평가되었다. 위의 결과를 종합하여 인공지능 스피커의 사용성 평가를 위한 10가지 측정 요소 중 중요도의 가중치는 조작성이 가장 높았으며 명확성, 이해성, 신뢰성, 용이성 순으로 상위권을 차지하였다. 나머지 요소인 피드백, 개인성, 호환성, 효율성, 정보 처리 및 전달 속도는 상대적으로 낮은 순위를 나타냈다.

3.4 Discussion

본 연구에서 도출한 인공지능 스피커의 10가지 측정 요소에 대한 중요도 산출 분석 결과를 종합해 볼 때, 전문가 그룹과 비전문가 그룹에서 측정 영역에 대한 중요도 순위는 동일하게 커뮤니케이션, 정보 표현, 개인화 순으로 나타났다. 이는 사용자와 인공지능 스피커와의 원활한 상호작용에 음성 인터페이스(Voice User Interface, VUI)가 미치는 영향과 역할의 중요성을 나타낸다.

이러한 결과는 인공지능 스피커의 동작이 자연어 처리 능력을 기반으로 하기 때문에 대화의 자연스러움 정도가 사용자와 인공지능 스피커 간의 커뮤니케이션 과정에서 가장 중요하게 여겨지고 있음을 알 수 있다. 또한 인공지능 스피커에 기본적으로 요구되는 기능 즉, 자연어 처리 기술을 기반으로 하는 사용자의 음성 명령 처리와 정보전달 그리고 이 과정에서 일어나는 사용자와 기기의 상호작용이 다른 평가 영역 보다 중요하다는 것을 단적으로 나타내어준다.

커뮤니케이션 영역에서의 그룹별 응답은 상이하게 나타났는데 전문가 그룹은 조작성, 이해성, 용이성, 피드백, 효율성 순으로 중요도를 평가하였으며, 비전문가 그룹은 조작성, 피드백, 이해성, 효율성, 용이성 순으로 중요도를 평가하는 차이점을 보였다. 이 결과를 통하여 전문가 그룹은 사용자와 인공지능 스피커와의 동작 메커니즘과 상호작용에 대하여 그리고 비전문가 그룹은 사용 편리성과 적절한 피드백을 통한 조작 실수 및 시스템 에러 최소화를 중요시한다는 것을 알 수 있었다.

정보 표현의 영역에서 측정 요소에 대한 중요도 가중치 분석 결과는 명확성, 신뢰성, 정보전달속도로 전문가 그룹과 비전문가 그룹에서 비슷한 결과가 도출되었다. 이는 인공지능 스피커 사용자들이 기기의 빠른 응답 속도보다도 제공되는 정보의 신뢰도와 명확성을 중요시 하는 것을 증명해주는 결과이다.

정보 표현은 사용자의 음성 명령이나 정보의 요구에 대하여 반응하는 인공지능 스피커의 정보전달의 과정이며 정보의 신뢰성 및 명확성을 포함한다. 즉, 사용자들은 음악 재생을 위한 단순한 명령이나 날씨 및 헤드라인 뉴스 등 간단한 검색을 위하여 인공지능 스피커의 기본적인 기능을 주로 사용하고 있으므로 정보의 명확성이나 신뢰성이 평가의 중요한 요소라 할 수 있다.

개인화 영역은 상대적으로 낮은 가중치를 나타냈다. 개인화 영역의 호환성과 개인화 요소는 인공지능 스피커가 제공하는 서비스와 정보 내에서 서비스의 플랫폼을 변경하거나 사용자 맞춤 정보를 제공하는 등 인공지능 스피커의 주기능이 아닌 부가적인 기능이므로, 음성 명령을 통한 정보검색 또는 정보 획득 과정과 같이 인공지능 스피커에 필수적으로 요구되는 기능이 아님을 나타낸다.

음성 명령을 통한 사용자와 인공지능 스피커 간의 자연스러운 상호작용이 보장되지 않으면 인공지능 스피커의 기본적인 기능이 원활히 작동하지 않기 때문에 조작성이 측정 요소 중 가장 중요한 요소로 분석된 것으로 판단된다. 또한, 인공지능 스피커 사용자들이 가장 빈번하게 사용하는 음악 재생 및 검색기능을 활용하기 위해 사용자 음성 명령에 대하여 제공되는 정보의 신뢰성이나 명확성 그리고 다양한 형태의 음성 명령을 처리하는 수준이 현재 시장 도입기인 인공지능 스피커에 기본적이고 중요하게 요구되며 사용성 평가에서도 큰 영향을 미치는 요소임을 알 수 있다. 이에 비하여 개인성, 호환성, 효율성 등이 상대적으로 낮은 중요도 수준을 나타냈는데 이는 인공지능 스피커와 연결되는 이동통신 플랫폼을 사용자들의 요구에 의하여 자유롭게 바꾸거나 사용자 맞춤형 서비스 제공 등은 인공지능 스피커의 주기능이 아닌 부가적인 기능들로 평가된 결과이며, 향후 자연어 처리 기술의 신뢰도가 현재보다 월등히 높은 수준으로 확보되어 커뮤니케이션 능력이 향상된다면 이외의 호환성, 효율성 등에 대한 평가 중요도도 동반 상승할 것이라고 예상된다.

본 연구에서는 인공지능 스피커의 사용성 평가 항목을 도출하기 위하여 소프트웨어, 웹 사이트, 모바일 기기 등의 사용성 평가 요소들을 수집하였다. 수집된 사용성 평가 요소와 사용자 요구사항을 종합하기 위하여 제품의 기능 및 특징을 기반으로 그에 부합하는 사용자 요구사항을 인공지능 스피커 전문가 그룹과 비전문가 그룹을 대상으로 설문지 법을 이용하여 조사하였으며, 연구의 결과 인공지능 스피커 사용성 평가에 적용될 측정 요인은 효율성, 이해성, 조작성, 용이성, 피드백, 정보전달속도, 신뢰성, 명확성, 호환성, 개인성으로 도출하고 정의하였다. 또한 연구를 통해 도출된 인공지능 스피커 사용성 평가 요소들을 중요도에 따라 우선순위를 정하기 위해 3가지 측정 영역과 10가지의 측정 요소로 구조화하여 AHP 기법을 통해 분석하고 가중치를 산출하였다. 3가지의 측정 영역에 대한 가중치의 분석 결과는 커뮤니케이션(0.516), 정보 표현(0.310), 개인화(0.174) 순으로 커뮤니케이션이 측정 영역 중 가장 중요한 영역으로 나타났으며, 각 측정 요소에 대한 가중치 분석 결과는 조작성(0.135), 명확성(0.131), 이해성(0.121), 신뢰성(0.118), 용이성(0.095), 피드백(0.092), 개인성(0.087), 호환성(0.086), 효율성(0.074), 정보 처리 및 전달속도(0.060)의 순으로 가중치 분석 결과가 나타났다. 중요도의 가중치에 의하여 도출한 인공지능 스피커의 중요도 측정 요소들 중 상대적으로 낮게 평가되었다 하더라도 인공지능 스피커의 설계 및 사용성 평가에 중요하지 않은 요소는 아니며 배제되어서는 안 될 것이다.

본 연구는 인공지능 스피커의 설계에 필요한 사용성 평가의 항목을 도출하는 것을 목적으로 수행되었으며, 향후 인공지능 스피커의 사용성 평가의 기초적 자료로 활용될 수 있을 것으로 기대된다. 또한 인공지능 스피커라는 제품군에 국한되지 않고 스마트 홈의 허브 역할을 수행할 수 있는 음성 인터페이스(VUI)의 사용성 평가에도 기여할 수 있는 자료로 활용될 수 있을 것으로 기대된다.

본 연구에서는 인공지능 스피커 사용성 평가에 대한 선행연구가 부족하여 다양한 소프트웨어, 웹, 모바일 기기의 평가 기법과 인공지능 스피커의 기본적인 기능에 요구되는 사용자의 요구사항을 기반으로 평가 요소들을 도출하였다. 그리고 이동 통신사들이 자체적으로 개발하여 다른 고가의 기기들을 제어하기 위한 부가적인 기능들은 인공지능 스피커에 적용하기에 무리가 있어 평가 요소에서 제외하였다.

또한 음성 기반 사용자 인터페이스(VUI)뿐만 아니라 다양한 방법의 진화하고 있는 사용자 인터페이스 환경에 적절하게 대응하기에는 본 연구의 한계점이 있다. 따라서 후속 연구에서는 인공지능 스피커의 특성 및 기능에 대한 철저한 조사와 분석을 기반으로 사용성 평가 항목을 도출한다면 활용도를 더욱 높일 수 있을 것으로 예상된다.