본문바로가기

Development and Validation of Evaluation Framework for User Experience Certification of Customer Goods

Abstract

Objective: This study aims to develop a user experience evaluation framework to enable evaluation of user experience on various customer goods.

Background: Lack of resources and capabilities to improve the quality of the user experience has made it difficult for small and medium-sized businesses to develop user-centered products. An effective user experience evaluation framework is needed to effectively support small and medium-sized businesses.

Method: The evaluation framework of this study was developed through the following steps. Firstly, we collected and structured product components of various product groups systematically according to user experience characteristics. Then, we gathered and organized core user experience elements based on a number of user reviews and previous related studies. And, we matched up product component with user experience element according to core user experience attributes of each product component. Additionally, we collected and selected major tasks and scenarios that is frequent and critical when using the product. Lastly, we developed user experience evaluation forms by matching product components, user experience element, major tasks, and scenarios.

Results: A user experience evaluation framework and forms were developed by collecting more than 45 research studies and 4685 user experience elements. Based on the evaluation framework developed over four years, 161 users and 54 experts evaluated 143 kinds of products. Based on the evaluation results, the evaluation framework developed in this study was verified and validated its effectiveness.

Conclusion: We have developed a user experience evaluation framework that can evaluate the user experience of various customer goods and it was effective in finding the factors that have a great influence on the usability and user experience of the customer goods.

Application: It is expected that the user experience evaluation framework developed in this study could be applicable to the development of a certification system to effectively reflect and improve the user experience quality of consumer goods.



Keywords



User experience Usability Usability evaluation User experience evaluation Consumer goods



1. Introduction

기업 간 기술격차가 줄어들고 유사한 기능을 제공하는 다양한 종류의 제품이 출시되고 있는 상황에서 제품의 기능과 내구성, 품질, 가격이 더 이상 제품의 경쟁력이 될 수 없는 시대가 되었다. 제품의 경쟁력 확보를 위해 사용자에 대한 연구의 중요성이 대두되고 있으며, 사용자 중심의 제품 설계와 디자인에 대한 관심이 증대되는 추세이다(Law et al., 2009; Väänänen-Vainio-Mattila et al., 2008). 기업에서도 이러한 사용자의 특성과 감성을 반영한 사용자 중심 설계 연구에 관심을 기울이고 있으며, 사용자 중심의 제품 설계와 디자인이 기업의 경쟁력에 미치는 영향에 대한 연구가 진행되고 있다(Lee, 2006). 제품 차별화와 경쟁력 제고를 위해 사용자의 선호도를 반영할 수 있는 경험적인 품질을 파악하고 이를 제품 설계 시 반영하는 것이 중요함에도 불구하고 국내 일부 대기업 중심에 그치는 것이 현실이며, 중소, 중견 기업의 경우 자원 및 역량의 한계로 사용자 중심 기반의 제품 개발에 어려움을 겪고 있다(Park et al., 2018). 이에 중소, 중견 기업 제품의 사용 경험 품질 개선 및 사용 경험 특성을 반영할 수 있도록 다양한 제품군에 적용 가능한 체계적이고 효율적인 평가 및 인증 체계가 필요한 상황이다.

사용성 평가는 평가자가 고려해야 할 문제와 평가 방법 및 분석 패러다임이 너무 많기 때문에 효율적인 방법으로 평가를 수행하기 어려우며, 평가 체계를 만드는 것은 많은 노력을 요구하는 일이다(Kwahk and Han, 2002). 제품, 사용자, 사용 환경 등 사용성 평가 과정에서 고려해야 하는 요소가 많기 때문에 다양한 제품군의 고려 요인들을 모두 적용한 종합적 평가 체계를 구축하는 것에는 많은 자원과 노력이 필요하다. 이러한 평가 체계 구축의 어려움으로 기존에 개발된 사용 평가 체계는 특정 제품이나 시스템을 평가하는데 초점이 맞춰져 있다. 하지만 특정 제품군에 초점을 맞춘 사용성 평가 체계의 경우 평가 결과의 해석을 다른 제품에 적용하는 것은 다소 제한적이기 때문에(Kim et al., 2005; Lee and You, 2008), 다양한 제품에서 제품 사용성에 중대한 영향을 끼치는 공통적 요인을 발견하는데 한계가 있다. 또한 제품의 사용 경험은 제품의 사용성 뿐만 아니라 제품을 사용하면서 느끼는 감성, 사용 환경 등을 종합적으로 고려해야 함에도(Hassenzahl and Tractinsky, 2006) 이러한 사용 경험을 전반적으로 평가할 수 있는 평가 체계의 개발은 부족한 상황이다. 예를 들어 Lee et al. (2008)는 제품의 실제 사용 환경에서 발생하는 맥락을 고려한 시나리오 기반의 사용성 평가 체계를 개발해 사용자가 실제 제품을 사용할 때 발생하는 상황들을 고려한 평가를 가능하게 했으나, 가전제품에만 적용 가능한 제품 구성 요소, 사용성 평가 요소, 사용 시나리오 등을 고려한 평가 체계를 설계했기 때문에 다른 제품군에 적용하는 것에는 한계가 있다. Suh et al. (2016)는 사용자의 인지 감성 평가 프레임워크를 개발해 주방용품에 대한 사용자의 인지 감성을 평가하였으나, 주방용품에 대한 감성 평가에 그쳐 실제 제품의 사용성 및 구성 요소에 대한 평가가 제대로 이뤄지지 않았다. 따라서 중소, 중견 기업이 효율적으로 자사 제품의 사용성 평가를 진행하려면, 조금 더 포괄적이고 종합적인 평가 체계를 개발하여 제품에 중대한 영향을 끼치는 사용성 평가 요인을 찾아내는 것이 중요하며(Lee et al., 2011), 제품 사용 경험에 대한 전반적인 평가가 가능한 평가 체계와 제품 인증 시스템이 필요하다.

본 연구는 특정 제품이나 시스템을 평가하고 검증하는데 초점이 맞춰진 기존 연구와 달리 다양한 소비재 제품에 적용할 수 있는 사용 경험 및 감성적 특성을 반영한 제품 평가 체계를 구축하고 검증하려 한다. 다양한 제품군을 포괄할 수 있는 제품 구성 요소를 도출하였으며, 문헌 기반의 사용자 경험 요소와 실제 사용자 경험 데이터를 통합한 사용자 경험 요소를 개발했다. 제품 구성 요소 및 사용자 경험 요소와 제품 사용 시 고려해야 할 평가 시나리오를 매칭하여 실제 제품을 사용하는 환경에서 느낄 수 있는 사용성(Park et al., 2013)과 감성에 대한 전반적인 평가를 가능하게 하였다. 일반 사용자와 전문가를 대상으로 본 연구를 통해 개발된 평가 체계의 타당성을 검증하였다. 이를 통해 최소한의 자원으로 제품에 중대한 영향을 끼치는 사용 경험 요소를 파악하고, 제품 개발에 적용할 수 있게 하여 중소, 중견 기업을 지원하는 것을 본 연구의 목표로 한다.

2. User Experience Evaluation System Development Process

본 연구는 소비재 제품 사용 과정에서의 수행 시나리오와 제품 사용을 위한 과업 수행 중에 사용자와 상호작용이 일어나는 제품의 세부 구성 요소들을 고려한, 소비재 제품 전반에 적용 가능한 사용자 경험에 대한 평가 체계 개발을 목적으로 한다. 이를 위한 평가 프로세스는 크게 다섯 단계로 이루어진다(Figure 1).

Figure 1. The overall process of evaluation framework development

단계 1에서는 제품 구성 요소 체계를 도출하기 위하여 주요 평가 대상이 되는 제품 리스트를 선정 후, 해당 제품의 광고와 매뉴얼 등을 통하여 제품 구성 요소를 수집하였다. 수집된 제품 구성 요소를 통합 후 의미를 재정의 하여 제품 구성 요소 체계를 도출하였다. 단계 2에서는 사용자 경험 요소 체계를 도출하기 위하여 문헌을 기반으로 핵심 평가 가치 및 주요 사용자 경험 요소를 수집하였고, 이를 보강하기 위해 사용자 리뷰 데이터를 통해 사용자 측면에서의 핵심 평가 가치 및 사용자 경험 요소를 추가적으로 수집하였다. 수집된 사용자 경험 요소를 통합 및 의미를 재정의 하여 사용자 경험 요소 체계를 도출하였다. 단계 3에서는 제품의 전반적인 사용 측면뿐만 아니라, 각각의 제품 구성 요소의 사용자 경험을 평가하기 위하여, 제품 구성 요소 별로 평가가 필요한 사용자 경험 요소를 매칭하였다. 우선, 구성 요소 별 사용자 경험 요소의 평가 적합도를 검증하였고, 이를 전문가 회의를 통해 검토하였다. 검토된 내용을 토대로, 제품 구성 요소와 사용자 경험 요소의 매칭 관계를 정립하였다. 단계 4에서는 실제 평가 과정에서 평가자가 자연스럽게 제품의 여러 구성 요소와 상호작용하며 핵심 사용자 경험 요소를 평가할 수 있도록, 제품 사용에서의 주요 과업 및 시나리오를 선정하였다. 우선, 제품 별 대표 과업을 정의하고, 과업 별 사용될 제품의 세부 구성 요소와 평가 가능한 사용자 경험 지표를 확인하였다. 그 후, 평가가 자연스럽게 이루어 질 수 있는 과업 별 주요 시나리오를 제품 별로 선정하였다. 단계 5에서는 도출된 제품 구성 요소 및 사용자 경험 요소 체계와 주요 과업 및 시나리오를 적용하여 실제 평가를 진행하기 위해, 평가를 위한 프레임워크를 정립하였다. 평가 방법으로는 설문 평가를 선정하였으며, 각 평가자의 수준(일반 사용자, 전문가)에 따른 세부 평가의 정도를 결정하였다. 그 후, 평가 방법 구축 및 프로세스에 대한 프레임워크를 정립하여 평가 방법 구축 및 휴리스틱 평가지 제작을 용이하게 하였다.

2.1 Suggested framework

2.1.1 Product component collection and structuring

제품의 세부 구성 요소 별 사용자 경험 평가와 제품 사용 시나리오 제공을 위한 제품 특성 파악을 위하여, 제품의 세부 구성 요소를 수집하고 이를 체계화하였다. 제품 구성 요소 체계 도출을 위한 절차는 크게 네 단계로, 제품 리스트 선정 단계, 제품 구성 요소 수집 단계, 제품 구성 요소 통합 및 정의 수립 단계, 제품 구성 요소 체계 도출 단계로 이루어진다.

소비재 제품군 중에서, 다양한 목적을 지니며 비교적 제품 구성 요소 체계가 복잡하게 구성된 컴퓨터/주변기기, 대형 가전, 계절 가전, 주방 가전, 건강 가전, 생활/미용 가전, 디지털 가전 등 총 7개의 제품 범주를 선정하였다. 선정된 제품 범주 내에서 판매량이 높고 범용적인 제품을 3~9개 선정하여 최종적으로 43개의 제품을 선정하였다. 선정된 43개 제품의 업체 별 다양한 모델들을 조사 및 수집하고, 수집된 제품들의 광고와 사용자 매뉴얼을 통해 제품 구성 요소를 파악하였다.

사용자 경험 측면에서의 정의에 따른 제품 구성 요소를 고려하기 위해, 수집된 제품들에 대해 사용자 경험을 평가하였던 문헌을 조사하여 제품 구성 요소를 수집하였다. 도출된 제품 구성 요소를 체계화하기 위하여, 서로 다른 모델과 제품들이 동시에 가지고 있는 제품의 구성 요소들을 통합하고 하나의 제품에만 국한되거나 유사하고 중복되는 의미를 갖는 제품의 구성 요소의 경우에는 하나의 구성 요소로 통합하였다. 제품 구성 요소 중 사용자와 직접적으로 상호작용이 일어나지 않는 제품 구성 요소의 경우는 제품 구성 요소에서 제외하였다. 체계의 범용성 및 간결성을 높이기 위해, 수집된 제품 구성 요소 중에서 폼 팩터가 기존 문헌에서 정의된 조작장치(Controls)에 해당하는 제품 구성 요소를 제외한 나머지 제품 구성 요소를 기능적 측면에서 통합하여 정의하였고, 총 33개의 제품 구성 요소의 정의를 도출하였다(Table 1).

Components

Definition

Control components

Components that allow users to change the physical state, such as angle or height, to assist in the function of the product

Buffer components

Components that mitigate external shocks that can be applied to the product

Connecting components

Components that enable users to change / combine / connect products by connecting / dialing / pasting them in order to perform functions of the product by connecting with other components or external products in the product

Table 1. An example of definition of product components

도출된 구성 요소들이 실제 제품에서 사용될 시에 사용자와 상호작용이 일어나는 방식, 매커니즘의 유사성 등을 고려하여, 외장부, 조작부, 내장부, 표시부 등 상위 4개의 범주로 나뉜 제품 구성 요소 체계를 도출하고, 상위 범주에 해당하는 제품 구성 요소들을 분류하여 제품 구성 요소 체계를 완성하였다(Table 2).

Category (LV1)

Components (LV2)

Detailed component examples (LV3)

Internal parts of
the product

Filter

Filter, Air conditioner filters, etc.

Connectable components

Ring, Power terminal, Magnet, Latch, Port, Connection terminal, etc.

Components that provide visual information

Lighting, Window, Lens, etc.

Sensor

Sensing device, Scanner, Camera, etc.

Storable components

Basket, Tray, Storage container, etc.

Physical force output portion

Knife, Brush, Wheel, etc.

Fixable components

Rack, Holder, Belt, Rope, Chair leg, etc.

Components that can be opened and closed

Door, Zipper, Cover, Lid, etc.

Table 2. An example of collected product components

2.1.2 User experience elements

기존의 사용자 경험 평가 문헌에서 제품 및 구성 요소의 핵심 평가 가치를 파악하였다. "Usability", "User experience", "사용성", "사용자 경험", "품질" 등의 키워드를 검색하여 일반적 제품 또는 특정 제품의 사용자 경험을 평가한 국내외 45개 논문을 수집하고, 사용자 경험 측면에서 리뷰하였다. 수집된 논문에서는 제품의 핵심 평가 가치를 감성(Affect), 편안함(Comfort), 즐거움(Enjoyment), 자신감(Pride), 사용성(Usability), 만족감(Satisfaction), 사용자 가치(User Value), Utility(효용성), 사용자 경험(User Experience)으로 설정하였으며, 이를 평가하기 위한 여러 하위 사용자 경험 요소를 추출하였다. 각 논문에서 사용한 하위 사용자 경험 요소의 표현법을 그대로 차용하여 추출한 뒤 중복된 사용자 경험 요소를 제한 결과로 총 335개의 사용자 경험 요소가 도출되었다. 도출된 사용자 경험 요소를 친화도 기법을 통해 그룹화하여 총 38개의 사용자 경험 요소를 선정하였다.

추가적으로, 사용자 측면의 소비재 제품 핵심 평가 가치를 평가 체계에 반영하기 위하여, 사용자 리뷰 데이터를 수집하였다. 조사 제품으로 총 21개의 제품(가습기, 공기청정기, 기어, 김치냉장고, 냉 온풍기, 도어락, 믹서기, 복합기, 블루투스 스피커, 키보드, 스마트 도어벨, 스틱 청소기, 스팀 다리미, 실내 바이크, 압력밥솥, 온수매트, 원액기, 전자레인지, 제습기, 해충퇴치기, VR)을 선정하였으며, NAVER 쇼핑에서 제공하는 인터넷 쇼핑몰 사이트의 리뷰 데이터를 참고하였다. 각 제품 별로 수집된 리뷰 데이터를 종합하여 사용자가 제품 사용 시 중요하게 생각하는 요소들을 추출하고, 같은 내용에 해당하는 요소들을 카테고리 별로 재구성하여 해당 요소의 누적 개수를 파악하였다. 이를 통해, 문헌을 기반으로 수집된 사용자 경험 요소에서 사용자의 측면에서 추가적으로 평가가 필요한 사용자 경험 요소를 추가하였다(Table 3).

User experience
element

Operational definition

Detailed evaluation factors

Cognition

Can you easily and accurately receive and understand the information you need to
use the product?

Comfort, Convenience, Ease of use, Recognition, Cognitive load, Mental effort, etc.

Operation

Is the product designed to be efficient and
easy to use?

Comfort, Convenience, Ease of use, Controllability, Granularity, Input mechanism of display, etc.

Feedback

Does the product provide appropriate and clear feedback to users to improve learnability and minimize errors?

Error indication, (Auditory/Tactile) Feedback, Helpfulness, Information support, Recoverability, etc.

Installation

Is it easy to install / store / carry the product, and
the size of the space required for installation / storage is appropriate?

Easy installation, Setting, etc.

Maintain

Is it easy to maintain / manage / clean the product?

Manageability, Ease of maintenance, etc.

Table 3. User experience element

최종적으로, 각 사용자 경험 요소의 중요성, 실험을 통한 평가 가능성을 고려하여 총 30개의 사용자 경험 요소를 선정하였다. 선정된 사용자 경험 요소의 의미를 재정의 하고, 사용자 경험 요소를 의미적 포함 관계에 따라 총 3단계로 분류하여 사용자 경험 요소 체계를 도출하였다(Figure 2).

Figure 2. User experience evaluation elements and its hierarchy

2.1.3 Product component and User experience element matching

동일한 제품 내에서도 핵심 사용자 경험 요소는 제품의 세부 구성 요소에 따라 다르며, 이는 구성 요소 별 형태의 차이, 사용자와의 인터랙션 방법의 차이 등에 기인한다. 세부 구성 요소 별 사용자 경험 평가의 유효성을 검토하기 위하여, 문헌 및 사용자 데이터를 기반으로 제품 구성 요소 별 사용자 경험 요소의 평가 적합도를 체크하여 제품 구성 요소와 사용자 경험 요소를 매칭하였다.

추가적으로, 전문가 회의 및 자문을 통해 문헌 및 사용자 데이터를 기반으로 매칭된 결과를 검토 및 재조정하였다. 전문가 회의 결과, 도출한 사용자 경험 요소 체계의 상위 범주 중, '운용 및 관리', '유용성', '감성'의 카테고리에 해당하는 요소는 제품의 세부 구성 요소 별로 세분화하여 평가하기 어려운 것으로 판단되었다. 따라서, 위의 사용자 경험 요소들은 제품 차원에서 평가하는 것으로 결정하였으며, 최종적으로 매칭된 결과의 예시는 다음 표와 같다(Table 4).

Category

Lv1) User
experience
element

Lv2) User
experience
element

Connecting
part

Visual information
auxiliary parts

Sensor

Storage
area

Physical
force related area

Fixed
part

Opening/

closing part

Usability

Cognition

Visibility, Audibility, Legibility, Clearly

V

V

V

V

V

V

V

Understandability /Familiarity

V

V

V

V

V

V

V

Simplicity/Cognitive load, Consistency

V

 

 

 

 

 

V

Operation

Consistency

V

 

 

 

 

V

V

Physical comfort

V

V

V

V

V

Layout

V

V

V

V

V

V

V

Compatibility/ Familiarity

V

V

V

V

V

Responsiveness

V

V

Redundancy/
Accessibility

V

V

V

 

V

V

V

Adaptability

V

V

 

V

V

V

Feedback /
Prevent
errors

Prevent errors

V

V

V

 

V

V

V

Learnability/Feedback

V

V

 

V

V

V

Table 4. An example of product component and user experience element matching

2.1.4 Selection of tasks and scenarios for evaluation

실제 제품 평가를 위한 과업 수행에서, 앞서 도출한 사용자 경험 요소가 적절하게 평가될 수 있도록 제품 사용 시 수행해야 할 주요 과업과, 이를 포함한 대표 시나리오를 선정하였다. 시나리오에서 수행해야 할 대표 과업은 '제품 전반 관찰', '세부 구성 요소 관찰', '사용 방법 배우기', '기본 기능 사용하기', '부가 기능 사용하기', '운용 및 유지 보수하기', '이동 및 거치하기'가 도출되었다.

'제품 전반 관찰' 과업 수행 과정에서는 디자인, 재질, 크기, 발생 소리 등 시각적, 촉각적, 청각적 요소들에 대해 관찰하며, '세부 구성 요소 관찰' 과업 수행 과정에서는 제품을 구성하고 있는 여러 요소를 확인하고 세부적으로 관찰한다. '사용 방법 배우기' 과업에서는 사용 설명서를 보고 사용 방법을 배운다. '기본 기능 사용' 과업에서는 제품 자체의 기본적이고 핵심적인 기능을 사용해 본다. '부가 기능 사용' 과업에서는 제품의 기본 기능 이외에 제공되는 추가 기능(타 기기와 연동, 기타 부속품 사용, 충전하기 등)을 사용해 본다. '운용 및 유지 보수' 과업에서는 제품 사용을 마친 후 위생 관리 및 소모품(필터, 배터리 등)을 교체한다.

2.1.5 Evaluation framework

도출된 제품 구성 요소 체계 및 사용자 경험 요소 체계의 유효성을 확인하기 위하여, 소수의 전문가를 대상으로 한 휴리스틱 평가 방식을 채택하였다. 추가적으로, 전문가가 아닌 일반 사용자들의 평가를 고려하기 위하여 사용자를 대상으로 한 설문 평가 또한 병행할 수 있도록 별도의 평가 방식을 추가적으로 도출하였다. 전문가 및 사용자 평가는 공통적으로 제품의 실제 사용 시나리오에 따라 직접 사용해 본 후 평가를 진행하도록 설계하였다. 제품 각각의 평가에서 앞에서 정립한 대표 과업을 고려하여 핵심 기능 사용 및 세부 구성 요소와의 상호작용이 가능하도록 시나리오를 작성하였다. 전문가를 대상으로 한 휴리스틱 평가는 각각의 제품 구성 요소에 대해 평가 가능한 세부 사용자 경험 요소에 대한 평가지를 제작하고, 점수 및 주관적 의견을 작성하도록 하였다. 평가지의 문항 예시는 Table 5와 같다.

Evaluation items

Questions

Cognition 1

Is it easy to perceive the information (visual / tactile / auditory) provided by the buttons to perform the purpose of the product and is it easy to distinguish important information and distinguish between other information?

Cognition 2

Are the contents and information about the functions, how to operate, and their interaction with other product components, etc. are familiar, easy to understand, and easy to learn?

Cognition 3

Is the design of the product components or the presentation of information uncomplicated and consistent? Also, did the design of product consider the overall cognitive load of users?

Table 5. Examples of heuristic evaluation questions

추가적으로, 사용자 경험 평가 지표의 중요도를 파악하기 위하여 전문가들에게 세부 사용자 경험 평가 지표 각각의 중요도를 평가할 수 있는 체크리스트를 제작하여 이를 수행하도록 하였다. 사용자 평가의 경우, 제품 전반에 대한 상위 사용자 경험 요소(인지편의성, 조작편의성, 피드백 및 오류 방지 등 14개 항목 및 전반적인 만족도)에 대한 평가 점수 및 주관적 의견을 평가지에 작성하도록 하여, 사용자 입장에서 느끼는 제품의 전반적인 사용자 경험 요소의 적합 정도를 측정할 수 있게 하였다.

3. Results

수립된 제품 구성 요소 및 사용 경험 요소와 주요 과업 및 시나리오를 고려하여, 실제 평가를 통해 평가 체계의 유효성을 확인하였다. 평가는 총 3회에 걸쳐 이루어졌으며, 143개 제품에 대해 일반 사용자 161명과 전문가 54명이 평가 체계를 기반으로 제작된 평가지를 통해 실제 제품에 대한 평가를 진행하였다.

1, 2 회차에서 다양한 제품에 대한 세부 구성 요소 분류 및 사용자 경험 평가 결과 확인을 통하여 세부 구성 요소 분류 체계를 보완하였으며, 추가적으로 전문가에게 평가 문항의 중요도 평가를 실시하여 사용자 경험 평가 체계를 보완하였다. 3회차 평가 대상으로 선정된 제품은 디지털 가전제품 34종과 가구 및 인테리어 관련 제품 7종, 생활/건강 제품 14종, 패션잡화 4종, 스포츠/레저용품 1종이었다. 선정한 제품을 주 사용자 유형(일반 사용자 또는 주부)을 고려하여 두 가지 군집으로 분류하였다. 사용자 및 전문가는 각각의 제품에 대해 제시된 사용 시나리오를 참고하여 제품을 사용해 본 후, 제품의 사용자 경험에 대하여 평가하였다. 평가 척도는 인지편의성, 조작편의성, 피드백 및 오류 방지 등의 Level 2와 Level 3에 해당하는 사용자 경험 요소는 7점 척도, 사용성, 운용 및 관리 등의 Level 1에 해당하는 사용자 경험 요소는 10점 만점으로 평가하도록 하였다.

평가 후 분석에 사용한 평가 데이터는 정규화 과정을 거쳐 [0, 1]의 범위를 갖도록 전처리 하였다. 평가의 신뢰도 검증을 위해 사용자 평가 결과에서 내적 일관성 계수를 산출한 결과는 아래와 같으며, Cronbach's Alpha = 0.904~0.946으로 높은 내적 일관성 계수를 가진다. 이를 통해 응답자가 자신의 기준에 따라 일관성 높게 평가를 진행하였고, 평가 문항이 제품의 사용자 경험 요소를 측정하기 위한 평가지의 문항으로서 신뢰성이 있다고 판단할 수 있다(Table 6).

Product group A, B

Product group C, D

Reliability statistics

Reliability statistics

Cronbach's Alpha

N of items

Cronbach's Alpha

N of items

.904

15

.946

15

Table 6. Results of reliability analysis

사용자 평가는 평가 진행 사용자의 유형(일반 사용자 또는 주부)에 맞는 제품 유형에 해당하는 30개 제품의 전반에 대한 사용자 경험 요소(level 2) 충족 정도를 평가하였으며, 평가 결과의 예시는 Figure 3과 같다. 각각의 평가 항목에 대한 평균 점수는 0.73~0.81 (SD = 0.04~0.08)이다. 전체 30개 평가 제품 중 전반적인 사용 만족도 값 상위 10개 제품과 하위 10개 제품의 평가 항목의 점수 차이는 0.07~ 0.13으로, 전반적인 만족도 점수가 높은 제품과 낮은 제품의 사용자 경험 요소에 대한 평가가 차이가 있음을 확인하였다. 평가 대상 제품 중 디자인이나 사용 방법이 복잡하여 시나리오 수행에 어려움을 유발하는 제품의 평가에서는 인지편의성 및 조작편의성에서 낮은 평가 점수 및 "조작이 어렵다", "사용 방법을 이해하는 데 시간이 오래 걸렸다", "제품 구성이 복잡하다"와 같은 부정적인 주관적 평가를 하였고, 제품 사용을 위한 설치에서 공간적 비효율성 및 설치 과정의 복잡성과 같은 문제를 가진 제품의 평가에서는 설치/보관성에 대한 낮은 평가 점수 및 "공간 차지가 많다", "뚜껑 부위가 돌출되었다", "부품 보관이 어렵다"와 같은 부정적인 주관적 평가를 하였다. 이와 같이, 일반 사용자가 느낄 수 있는 사용자 경험 요소 측면에서 제품의 잘못 설계된 측면을 평가 체계를 통해 파악 가능하였다(Figure 3).

Figure 3. An example of evaluation result

전문가 평가는 A, B 군(일반 사용자 대상) 제품 또는 C, D 군(주부 대상) 제품 중 한 유형을 선택하여 30개의 제품 전반 및 그 제품의 세부 구성 요소의 세부 사용자 경험 요소(Level 3) 충족 정도를 평가하도록 하였다. 전문가 평가는 '버튼이 인지하기 용이하게 설계되었고, 조작이 간편하며 인지 모형에 적합하게 작동되는가?', '시각적 디스플레이에서 사용 과정에 대한 피드백이 적합하게 표시되는가?'와 같이 제품 각각의 세부 구성 요소가 사용성 및 사용성의 세부 사용자 경험 요소 측면에서 적합하게 설계되었는가에 대한 평가가 주로 이루어졌고, 제품 전반에서 사용성 외의 다른 사용자 경험 요소들의 충족 여부 또한 평가하였다. 제품의 특정 세부 구성 요소의 설계에 문제가 있는 제품의 경우 대부분의 전문가들이 공통적으로 해당 구성 요소의 사용자 경험 요소 측면에서 평가하였을 때의 문제점을 평가 점수 및 주관적 응답을 통해 지적하여 해당 제품 설계의 개선 사항을 용이하게 파악 가능하였다(Figure 4).

Figure 4. An example of experts' evaluation score
4. Discussion & Conclusion

본 연구는 총 45개 이상의 연구 문헌과 4,685건의 사용자 경험 요소 수집을 통해 다양한 제품을 평가할 수 있는 사용 경험 평가 지표 체계를 개발하였다. 4년에 걸쳐 개발한 평가 체계를 기반으로 143종의 제품에 대해 사용자와 전문가의 정량적, 정성적 평가를 진행하였고, 평가 결과를 토대로 사용 경험 평가 지표 체계를 전반적으로 검증했다.

특정 제품 및 시스템에 초점을 맞춘 기존 평가 체계와는 다르게 본 연구의 평가 체계는 보다 다양한 제품을 평가할 수 있도록 하였다. 연구 문헌들과 광고 및 사용자 매뉴얼 등을 통해 제품 구성 요소를 도출하고, 통합 및 의미를 재정의 해 다양한 제품군의 제품 구성 요소에서 사용성에 중대한 영향을 끼치는 요인 파악을 위한 포괄적 제품 구성 요소 체계를 도출하였다. 문헌 기반의 핵심 평가 가치와 주요 사용자 경험 요소, 사용자 리뷰 데이터를 통합한 사용자 경험 요소 체계를 도출함으로써, 기존 연구에서의 사용성 평가에 중요한 경험 요소를 파악하고 이를 본 연구의 평가 체계에 맞게 일반화하였다. 평가 체계의 효과성을 검증하기 위해 사용자와 전문가의 정량적 정성적 평가를 진행하였으며, 제품의 과업 및 시나리오를 고려하여 평가지를 제작해 사용자가 제품을 사용하는 실제 맥락을 고려한 사용성 및 감성에 대한 종합적 평가를 가능케 했다. 4년에 걸친 평가를 통해 제품 구성 요소와 사용자 경험 요소 체계를 수정 보완하여 다양한 제품을 평가할 수 있게 했다.

본 연구는 평가 제품군에 해당하는 제품의 특성만을 고려하는 기존의 사용성 평가 체계의 한계를 보완해 다양한 제품군을 평가하여 제품 사용성에 중대한 영향을 끼치는 요인을 찾는 것을 가능하게 한 것에 의의를 가진다. 본 연구의 사용 평가 지표 체계를 통해 자체 평가 역량을 갖추지 못한 국내 기업의 제품 사용자 경험 평가를 가능케 했으며, 이는 기업에서 사용성 평가 시 비용 면에서 효과적이고, 고도의 기술을 필요로 하지 않으며, 적은 투자로 평가를 가능케 하여(Lim, 1996), 국내 중소, 중견 기업의 사용 경험 품질을 효과적으로 개선하는 데 도움을 줄 것이라 예상된다.



References


1. Hassenzahl, M. and Tractinsky, N., User experience-a research agenda, Behaviour & Information Technology, 25(2), 91-97, 2006.
Crossref  Google Scholar 

2. Kim, J.Y., Lee, H.Y. and Choi, Y.C., The Structuring Process of Multi-Centered Usability Evaluation Method, Journal of the Ergonomics Society of Korea, 24(2), 25-33, 2005.
Crossref  Google Scholar 

3. Kwahk, J. and Han, S.H., A methodology for evaluating the usability of audiovisual consumer electronic products, Applied Ergonomics, 33(5), 419-431, 2002.
Crossref  Google Scholar 

4. Law, E.L.C., Roto, V., Hassenzahl, M., Vermeeren, A.P. and Kort, J., Understanding, scoping and defining user experience: a survey approach, In Proceedings of the SIGCHI Conference on Human Factors in Computing Systems. ACM, 719-728, 2009.
Crossref  Google Scholar 

5. Lim, C.H., Comparison and Selection of Usability Evaluation Methods, Journal of the Society of Korea Industrial and Systems Engineering, 19(37), 87-94, 1996.
Crossref 

6. Lee, K.I., Ji, Y.G., Choi, K.S. and Heo, U.B., Study for Scenario based usability evaluation framework model in environment of using product. -With a Focus on home appliances, Proceedings of the ESK Conference, 382-385, 2008.
Crossref 

7. Lee, S.B., Effects of Design Innovations on Small and Medium Enterprises' International Competitiveness, Archives of Design Research, 163-174, 2006.
Crossref 

8. Lee, W.S., Jung, K.H., Lee, H.J., Song, H.Y., Oh, J.K. and You, H.C., Development of a comprehensive usability testing and analysis framework for the physical interface between product and user, Journal of the Ergonomics Society of Korea, 30(2), 331-338, 2011.
Crossref  Google Scholar 

9. Lee, W.S. and You, H.C., Development of a Comprehensive Usability Evaluation System based on User Needs, Proceedings of the ESK Conference, 1-7, 2008.
Crossref 

10. Park, J., Han, S.H., Kim, H.K., Cho, Y. and Park, W., Developing elements of user experience for mobile phones and services: survey, interview, and observation approaches. Human Factors and Ergonomics in Manufacturing & Service Industries, 23(4), 279-293, 2013.
Crossref  Google Scholar 

11. Park, J., Han, SH., Park, J., Park, J., Kwahk, J., Lee, M. and Jeong, D.Y., Development of a web-based user experience evaluation system for home appliances, International Journal of Industrial Ergonomics, 67, 216-228, 2018.
Crossref  Google Scholar 

12. Suh, H.D., Shin, Y.M., Cha, E.S., Cho, S.G. and Jun, S.J., User Cognitive and Emotional Factor Evaluation Framework for Product Design - Focused on User Experience In Kitchen Appliances, Journal of Korea Design Forum, 53, 283-296, 2016.
Crossref 

13. Väänänen-Vainio-Mattila, K., Roto, V. and Hassenzahl, M., Towards practical user experience evaluation methods, Meaningful measures: Valid useful user experience measurement (VUUM), 19-22, 2008.
Crossref  Google Scholar 

PIDS App ServiceClick here!

Download this article