본문바로가기

Information Design to Reduce Multitasking Burden for Workers in a Human-Cooking Robot Collaboration Environment in a Café

Il Kim , Jeongyun Heo
10.5143/JESK.2023.42.6.701 Epub 2024 January 07

0
Cited By

Abstract

Objective: This study aims to design an information display that can mitigate the cognitive and physical workload of human workers in collaborations involving human and cooking robots.

Background: Human workers in food and beverage establishments collaborating with cooking robots undertake dual roles: managing food and beverage production and monitoring system and store environments. This dual responsibility necessitates multitasking of human workers, thereby increasing their workload.

Method: HTA helped identify information requirements that could reduce the workload in such a collaborative environment. Based on these findings, we proposed an information display and validated its effectiveness through in-depth interviews with food and beverage industry workers.

Results: Key information requirements for the display design were identified to mitigate the workload of human workers in a collaborative environment. These include: 'Action Guide' to support work instruction and collaboration, 'Check Status' to understand the system and store environment, and 'Control for abnormal conditions' to manage unexpected issues while enhancing worker convenience and efficiency.

Conclusion: We proposed an information display design for use with cooking robots, aimed at reducing the workload in collaborative environments. The design provides action guides for the worker, checks the status of the system and the surrounding environment, and provides information on controlling abnormal conditions. This improves worker comfort and efficiency by mitigating attention to the status of the cooking robot and the store environment.

Application: This research can be used as a groundwork for designing information displays to assist humans in tasks that require collaboration with service robots.



Keywords



Human-robot collaboration Information design Cognitive workload reduction Hierarchical task analysis Human-machine symbiosis



1. Introduction

산업 현장에서 로봇은 인간의 반복적인 업무를 보조하기 위해 사용되어 왔다. 인공지능의 발전으로 인해 로봇은 산업 현장에서 개인까지 많은 일을 지능적으로 수행하고 있다(Jörling et al., 2019). 이러한 로봇은 단순한 반복 작업을 넘어 주변 환경을 인식하고 개인들이 원하는 서비스를 제공하는 지능형 시스템 갖춘 로봇으로 확장하였다. 지능형 시스템은 산업, 의료, 구조, 군사, 환경, 생활, 개인 등에서 사용되고 있으며 인간이 하기 어려운 일이나 오래 걸리는 일을 대체하고 있다(Stone et al., 2016; Whittaker et al., 2018; Littman et al., 2021; Dastani and Yazdanpanah, 2023). 인간과 지능형 시스템의 상호작용은 보다 구체적이고 밀접하게 설계됨에 따라 인간을 대처하는 것보다 인간과 시스템이 협업하여 주어진 업무를 수행하는 방향으로 발전하고 있다. 이에 따라 현재 외식업 영역에서 지능형 시스템은 주문, 서빙, 조리와 같은 업무를 도와준다. 조리용 로봇은 인간과 협동 · 협업하여 인간의 업무를 지원하고 있지만 작업 방식은 간단한 반복 작업만 수행하고 있다.

현재 조리용 로봇은 사용자 경험 측면에서 고려될 부분이 존재한다. 사용자 경험은 사용자가 시스템과 협업하여 업무를 수행하는 과정을 말하며, 이러한 경험에서 사용자는 시스템의 상태를 파악하고자 반복적인 주의(Attention)가 발생했다. 사용자는 조리를 해야 하는 작업자(Worker) 역할과 동시에 감시(Monitoring) 역할까지 수행해야 하는 상황이다. 다중 업무(Multitasking)는 인간에게 심적 작업부하(Mental Workload)를 발생시켜 업무 효율을 저하시키는 것으로 알려져 있다(Wickens et al., 2013).

조리용 로봇을 사용하는 커피 매장의 직원은 조리용 로봇이 잘 작동하고 있는지, 문제가 있는지에 대해 주기적으로 확인하는 것을 발견할 수 있었다. 확인을 위한 작업자의 반복적인 주의는 인지부하를 발생시키는 것으로 확인되었다(Parasuraman and Manzey, 2010). 또한 시스템에 대한 인간의 주의는 시스템의 신뢰성에 연관되어 시스템을 불신(distrust)하는 상황을 초래할 수 있다(Parasuraman and Riley, 1997). 본 연구는 협업 환경에서 발생하는 인간 작업자의 다중 업무를 개선하기 위해 인적 요인 분석 방법인 계층적 직무 분석(HTA: Hierarchical Task Analysis)을 활용하여 인간 작업자에게 필요한 정보 요구사항을 바탕으로 정보 디자인을 제안하는 데 목적이 있다.

2. A Brief Review on the Issues in Human-Intelligent System Collaboration

2.1 Review on human-intelligent system collaboration issues

AI (Artificial Intelligence)는 운송수단, 로봇공학, 헬스케어, 교육, 사회, 안전, 노동 등 수많은 분야에 접목되어 인간의 사람이 풍요로움을 도와주고 있다(Roy, 2004; Stone et al., 2016; Littman et al., 2021). AI를 활용한 서비스가 고도화됨에 따라 인간과 상호작용하는 영역이 많아지고 있으며, 이를 연구하고자 HCI (Human Computer Interaction)에서 연구가 진행되고 있다(Amershi et al., 2019; Yang et al., 2020). AI를 활용하여 인간의 능력을 향상하는 서비스는 다양하게 존재하여 인간과 AI 협업이라는 연구로 이어지고 있다(Yang et al., 2020). 예측 불가능한 AI를 인간이 신뢰할 수 있도록 인간 중심의 설계가 중요하다는 것을 기반으로 설명한다. 이러한 인간 중심의 설계는 인간의 능력을 향상하고 창의성, 책임감, 자기 효능감을 형성할 수 있도록 도와준다(Shneiderman, 2020). 또한 Licklider (1960) 연구에 따르면 컴퓨터가 일상적인 업무를 대처하고 인간이 목표 설정과 창의적인 사고를 수행하며 인간과 컴퓨터의 공생 관계를 예측하였다. 인간과 컴퓨터의 역할을 구분하고 태스크를 나눠 공동 목표에 달성하는 관계를 의미하며 인간을 위한 시스템 설계의 관점을 확인하였다(Roy, 2004; Inga et al., 2023).

인간 중심적인 시스템을 설계할 때, 시스템의 자동화 수준에 대해 언급하였다(Shneiderman, 2020; Simmler and Frischknecht, 2021; Lu et al., 2022). 잘 설계된 자동화는 인간의 능력을 향상시킬 수 있다(Lee and Seppelt, 2009; Shneiderman, 2020). 설계에 중요한 자동화 수준을 파악하기 위해 자동화 시스템의 관련 연구를 검토하였다. Sheridan and Verplank (1978)은 감독 제어에 대한 개념을 제시하며 자동화 수준을 분류하였다. 이 분류법은 10단계로 이루어져 있으며 높은 수준의 자동화를 자율성(Autonomy) 증가, 낮은 수준의 자동화를 자율성(Autonomy) 감소로 분류하며 인간과 자동화 간 기능을 명확히 구분하여 자동화 수준을 파악할 수 있다. 자동화 수준에서 중요한 점은 높은 수준일수록 자동화 시스템의 책임이 증가하고 이에 따라 인간의 작업을 경감시켜 주는 방식으로 정의되어 있다(Wickens et al., 2013). 이러한 고려사항을 기반으로 자동화 시스템을 설계하여도 시스템의 복잡성 및 인간의 오작동 경험으로 인해 자동화에 대한 불신이 생길 수 있다(Parasuraman and Riley, 1997). 시스템의 높은 수준의 자율성을 설계하기보다 시스템이 작동하는 환경에 따라 다른 수준의 자율성이 요구된다(Beer et al., 2014).

2.2 Review on human performance factors issues

2.2.1 Situation awareness

외식 문화에서 일반적으로 고객은 매장에 들어가기 전에 본인이 즉시 이용할 수 있는지 또는 얼마나 대기해야 하는지 매장을 살펴본다. 그리고 매장의 혼잡도를 파악하고 입장의 여부를 결정하게 된다. 또한 직원의 경우 매장 혼잡도를 파악하여 업무 속도를 조절하여 수행하게 된다. 이와 같은 상황 및 환경 속에서 직원과 고객은 의사결정이 일어나며 이를 상황인식(SA: Situation awareness)이라고 부른다. 상황인식 과정에서 문제가 생긴다면, 의사결정과 판단이 어려워질 수 있다(Hong and Bae, 2019). 상황인식(SA: Situation Awareness)은 작업 수행 도중 발생하는 요인 중 하나이다. Endsley는 상황인식을 인간이 환경에 있는 요소들을 지각(Perception)하고 이를 바탕으로 이해(Interpretation)하여 미래에 일어날 일을 예측(Projection)하는 방식을 의미한다(Endsley, 1988; 1995).

이는 작업 상태에 대한 상황을 전달하는 디스플레이 디자인과 재난과 사고의 원인을 파악하는 데 적절하다(Wickens et al., 2013). 상황인식을 통해 인간의 심적 작업부하(Mental Workload)를 줄여 수행 능력을 증가시킬 수 있다(Vidulich, 2000). 외식 문화에서 고객과 직원은 매장의 혼잡도에 따른 방문 여부와 응대 및 조리 작업 속도 제어 여부를 판단하고 수행하며, 이는 지속적인 상황인식의 주의가 요구된다. Jones et al. (2004)에 따르면 시스템을 설계할 때 인간의 높은 상황인식을 유지할 수 있게 만드는 것이 사용자 중심 디자인이라고 한다. 많은 주의로 인해 상황인식을 방해하는 식음료 업장의 환경을 고려하여 높은 상황인식을 유지할 수 있도록 해야 한다.

2.2.2 Mental workload

조리용 로봇은 차례대로 업무를 수행하지만, 직원은 시스템의 진행 상황의 여부를 지속해서 확인하며 업무를 수행한다. 이러한 시스템 상태에 대한 정보 제공 부족으로 인한 직원의 모니터링은 심적 작업부하(Mental Workload)가 발생할 수 있으며 업무 수행 능력이 저하될 수 있다.

심적 작업부하(Mental workload)는 인간의 수행 능력과 관련된 개념이다. 인간의 정보처리 과정에서 부과되는 과제 요구에 따라 심적 작업부하가 결정된다(Wickens, 2008). 복잡한 시스템을 사용하거나 인간이 하나 이상의 과제를 동시에 수행해야 할 때 작업 과부하(Work overload)가 일어나며 인간의 수행 능력을 저하한다. 특히, 인간에게 요구되는 과제의 유형이 다중 작업(Multitasking)으로 일어나면 과부하가 걸리기 쉬우며 스트레스를 유발한다(Wickens et al., 2013). 조리용 로봇과 협업 환경에서 직원의 제조 업무와 모니터링 업무는 다중 업무를 만들고 있다. 모니터링 업무는 조리용 로봇의 상태 및 업무 환경에 대한 정보 제공하여 직원의 다중 업무 수행을 해소할 수 있도록 해야 한다.

2.2.3 Human-in-the-loop

2.1절에서 언급했던 것과 같이 시스템을 설계할 때 사용하는 인간을 고려하여 시스템을 설계해야 한다. 특히 여러 분야의 기술이 접목된 시스템을 효율적으로 작동시키기 위해서 인간의 개입이 필요하다(Nunes et al., 2015; Gil et al., 2019). 시스템 내에 인간을 어떠한 방식으로 개입시키는지 검토할 필요가 있다. HILT (Human-in-the-loop)는 시스템 내에 인간에게 참여시킴으로써 시스템과 인간 상호작용 관계를 형성하여 기존보다 나은 결과를 만든다(Cimini et al., 2020). 인간의 역할은 제어(Control)와 감시(Monitoring)이며 시스템의 자동화 수준에 따라 업무를 수행하게 된다(Nunes et al., 2015). Raessa et al. (2020)는 인간과 로봇 협업 조립을 위해 HILT 개념을 도입하였다. 완전한 인공지능 갖춘 자율 시스템이 아닌, 인간과 협업을 위한 시스템으로써 각각의 역할에 대한 장단점을 구분하여 공동 목표를 위한 작업을 분배해 협업이 이루어질 수 있도록 로봇 조작 방법에 대해 제안하였다. 이는 인간이 시스템 내에 참여함으로써 공동 목표를 효율적으로 달성하는 것을 확인할 수 있었다.

3. Method

3.1 Research process

본 연구에서 인간 작업자의 효율적인 협업 환경을 만들기 위해 정보 디자인을 제안함에 따라 조리용 로봇의 상태 파악과 주변 환경을 위한 상황인식을 지원하여 작업자의 작업부하를 해소하고자 하였다. 이를 연구하기 위해 다음과 같이 연구를 수행하였다(Table 1). 첫째, 인간과 지능형 시스템의 협업에 대한 중요한 요소들을 검토하기 위해 관련 연구를 하였다. 현장 관측과 비디오 에스노그라피(Video ethnography) 기법을 활용하여 실제 매장에서 사용되는 조리용 로봇의 협업 과정을 분석하였다. 제조 업무에서 조리용 로봇은 인간 작업자와 협업하여 제조하지만, 작업자에게 빈번한 주의를 발생시켜 작업부하를 발생시켰다. 산업에서 확산되는 사례로 쉽게 찾아볼 수 있으며, 비교적 단순한 과업 수행에도 불구하고 본 연구의 문제를 쉽게 파악할 수 있어 사례연구의 대상으로 선정하였다. 둘째, 선정한 카페 조리용 로봇에 대해 현장 관찰 및 데스크 리서치를 통해 협업 환경에 대한 정보 수집하고, HTA를 기반으로 인간의 수행을 저하하는 문제점을 식별하여 조리용 로봇의 상태 및 필요한 정보에 대한 요구사항을 도출하였다. 정보 디자인을 적용하기 위해 기존 카페의 서로 다른 환경을 분석하여 본 연구에서 적용할 환경을 정의하였다. 셋째, 도출한 정보 요구사항을 기반으로 작업자의 협업 환경을 위한 정보 디자인을 제안하였다. 넷째, 프랜차이즈 카페 종사자들과 심층 인터뷰(In-depth interview)을 통해 정보 디자인 설계의 효용을 검증하였다.

1. Environment Analysis

- Analysis of the literature on human-intelligent system collaboration and human performance

- Cooking robot case analysis

- Scoping research

2. Derive problems through HTA of human-cooking robot

- Derive problems

- Derive improvements and information requirements

- Define an intelligent system environment for cooking

3. Propose an information display design for collaboration

- Propose an information display design for collaboration

4. Validation of information display design utility through in-depth interview

- Gather feedback on the information display design

- Analysis of design utility and derive insights

Table 1. Research process

3.2 Cooking robot case analysis

로봇 매출의 규모는 전년 대비 2.5% 증가한 5조 6,000억 원대 가량으로 시장의 규모가 증가하고 있다(KIRIA, Robotics Industry Survey Report as of 2021). 로봇은 공장의 제조 과정에 단순한 반복 작업만 수행하는 산업용 로봇으로 시작하였다. 기존 산업용 로봇과 달리 현재 로봇은 인공지능을 탑재하여 많은 일을 수행할 수 있게 되었다. 로봇은 안전성을 확보하여 일반 외식 산업에서 개인과 협업하는 방향으로 발전되었다. 이러한 로봇을 협동 로봇(Collaborative Robots)이라고 칭하며, 안전 기능을 갖추어 인간과 같은 공간에서 함께 작업이 가능한 로봇이라고 말한다(KIRIA, Robotics Industry Survey Report as of 2021).

외식 산업에서 협동 로봇은 인간과 함께 조리 업무를 수행한다. 국내 외식 산업에서 협동 로봇과 인간 작업자의 태스크를 분석하기 위해 치킨(롸바트 치킨, 성수점), 카페(라운지 엑스, 분당두산타워점), 아이스크림(브라운 바나, 잠실점) 매장을 방문하여 인간 작업자와 협업하는 환경을 관측하고, 각 프랜차이즈 업장에서 제공하는 협동 로봇 소개서와 비디오 에스노그라피를 활용하여 Flowchart를 구성하였다(Figure 1). 분석한 결과, 각 매장의 협동 로봇은 치킨 튀기기, 에스프레소 추출, 커피 제조, 아이스크림 추출과 같은 단순한 업무를 반복적으로 수행하는 것을 확인할 수 있었다. 산업 현장과 달리 매장의 규모가 작고, 인간 작업자가 여러 일을 동시에 수행해야 하는 외식 산업에서의 협동 로봇은 작업자의 주의를 요구하는 것을 확인하였다. 반복적인 업무이지만 로봇의 수행이 차례대로 이루어지는지, 이상이 없는지에 대해 작업자는 본인의 업무를 수행할 때 주의하거나 로봇의 태스크가 끝날 때까지 대기하는 상황이 존재하였다. 본 연구에서 인간과 협업 과정에서 태스크 단계가 많고 직원의 대기와 주의를 발생시키는 커피 매장을 연구 대상으로 선정하였다.

Figure 1. Flowchart construction through observation of domestic cooking robot stores: Chicken store (ROBO ARTE, 2023), Lounge'X Café (baris espresso robot, 2021), Ice cream store (aris, 2022)

3.3 HTA approach

계층적 직무 분석(HTA)은 1960대 University of Hull에서 개발됐으며 복잡한 작업의 기술 이해와 작업자의 능력 향상을 위한 인간공학적인 직무 분석 기법이다(Annett, 2003; Stanton, 2006). HTA는 시스템 내에서 작업자가 수행하는 작업의 계층 구조와 목표를 달성하는 데 필요한 요구 조건을 구성할 수 있으며, 어떻게 작업을 구성하는지를 효과적으로 설명하는 수단을 제공한다(Kirwan and Ainsworth, 1992; Shepherd, 1998). 이를 통해 인터페이스 디자인, 작업 체계, 인적 오류 분석과 같은 문제를 분석하여 작업에 대한 요구사항 및 개선 방향을 도출할 수 있다(Kirwan and Ainsworth, 1992). 본 연구에서 인간 작업자와 조리용 로봇의 협업 환경에서 작업자의 작업 능력을 지원할 수 있는 요구사항이 무엇이 있는지 파악하기 위하여 계층적 직무 분석을 활용하였다.

4. Results

HTA는 인간 작업자의 업무의 최종 목표(Goal)를 달성하기 위해 구성된 직무(Task)를 계층적인 형태로 나타낸다. 목표(Goal)를 달성하기 위한 직무(Task)와 직무를 수행하기 위한 세부 직무(Sub-Task)를 구성하고 세부 직무를 위한 행위 요소(Operation) 세분화시키고 직무와 행위 요소의 수행 순서 및 계획(Plan)을 작성한다. 이를 기반으로 본 연구의 연구자는 커피 매장의 조리용 로봇과 인간 작업자의 제조 업무에 대한 HTA를 작성하여 인간 작업자가 최종 목표를 이루기 위한 Task에서 어떤 행위 요소(Operation)를 하고 있으며(Figure 2), 이러한 행위 요소가 작업자에게 어떤 인지적 부담과 불편한 점을 발생시키는지 식별하였다. 인간 작업자의 최종 목표를 위한 직무를 설정할 때 제조 업무를 중심으로 연계되는 주문 확인, 음료 전달, 주변 환경 정리하는 직무까지 포함하였다. 분석 결과에서 표시되는 HG, HW, CR은 고객(Human-guest), 직원(Human-worker), 조리용 로봇(Cooking robot)으로 정하였다. 분석 결과 인간 작업자의 주의는 조리용 로봇의 상태 여부에 대해 적절하지 못한 피드백으로 인해 모니터링(Monitoring)이 존재하였고, 시스템의 자동화된 작업 처리 속도로 인해 주도적으로 직원이 음료 제작 속도를 제어할 수 없어서 매장이 바쁘거나 모니터링 못하는 경우 인간의 실수 및 대기 상황이 발생하였다. 자세한 내용은 4.1절에 정리하였다.

Figure 2. HTA Diagram of a cooking robot's manufacturing workflow and a coffee store's human worker

4.1 Derive problems through HTA of human-cooking robot

4.1.1 Order confirmation, Make

주문 확인(Task 1)에서는 직원은 현재 에스프레소가 몇 잔 필요한지 파악하여 조리용 로봇 시스템에 입력하는 태스크를 수행한다. 반복적인 주문량 확인하는 직무는 직원의 업무 부담을 초래할 수 있다. 제조하기(Task 2) 단계는 총 7가지 세부 직무(Sub-Task)를 수행한다. Sub-Task 2.1, 2.2에서 직원과 시스템은 동시간대로 업무를 수행한다. 직원은 컵, 물, 얼음을 준비하는 동안 시스템은 원두 분쇄, 에스프레소 컵을 준비한다. 직원은 본인의 업무를 수행할 때 시스템의 작동 상태의 여부를 확인한다. 동시간 대 일어나는 업무 수행으로 인한 주의는 시스템 상태를 확인하는 다중 업무(Multitasking) 수행 저하가 일어난다. Sub-Task 2.3, 2.4는 시스템이 에스프레소를 추출하여 레일 시스템에 전달하는 과정을 수행하며 직원은 사전 준비(컵, 물, 얼음 담기)를 마친 후 대기하는 단계이다. 직원의 준비는 업무 숙련도에 따라 수행 시간을 단축할 수 있지만 시스템의 수행 과정은 설정된 속도로 인해 일정 시간이 필요하며 직원은 대기해야 하는 상황이 발생한다. Sub-Task 2.5, 2.6에서 직원은 레일 시스템에서 오는 에스프레소 잔을 잡아 준비한 컵에 넣는 단계이다. 레일 시스템은 일정한 속도를 유지하며 순환하는 자동화된 시스템이다. 추출된 에스프레소를 받아 준비된 컵에 넣는 과정(Sub-Task 2.5, 2.6)에서는 직원의 업무 처리 속도에 따라 작업부하(Workload)가 발생할 수 있다. 또한 직원의 반복적인 업무(에스프레소 받기와 넣기)를 수행함과 동시에 시스템의 상태 여부(커피 머신기에 장착된 포터 필터와 찌꺼기 제거)를 파악하는 주의가 발생한다. Sub-Task 2.7에서 직원은 뚜껑 닫기 및 플레이팅을 수행하며 음료를 완성한다. 그러나 뚜껑과 시럽 등과 같은 소모품의 재고가 있는지 반복적인 주의가 요구된다.

4.1.2 Call, pick-up, tidy-up

호출하기(Task 3) 단계의 Sub-Task 3.1은 주문 번호를 확인하여 고객을 호출하는 단계이다. 직원은 제조한 음료가 주문 번호와 일치하는지 반복적인 주의가 발생하여 작업부하를 초래할 수 있다. 전달하기(Task 4)의 Sub-Task 4.1은 준비된 음료를 고객에게 전달하며 직원은 제작한 음료가 호출한 고객의 음료와 일치하는지 중복 확인 과정을 걸친다. 주문량에 따라 직원은 여러 잔의 음료를 하나씩 확인하여 호출하는 과정을 반복하고 고객도 마찬가지로 본인의 음료가 맞는지 확인한다. 이러한 반복적인 업무 및 수행은 인간의 주의를 요구하게 되며 매장의 혼잡도가 있을 경우 직원의 작업부하를 발생한다. 또한 한정된 픽업대의 공간으로 호출한 음료를 늦게 픽업하는 경우에 직원의 업무 효율에 영향을 미칠 수 있다. 음료를 전달한 후, 정리하기(Task 5)에서는 제조할 때 발생한 작업대 정리와 매장 환경을 수시로 점거해야 한다. 그러나 매장의 혼잡도, 매장의 규모, 작업 공간에서의 시야 확보 어려움으로 인해 매장 환경의 청결 상태를 확인하기 어려우며 제조 업무와 동시에 수행하는 다중과제와 매장 환경에 대한 상황인식이 요구된다. 이러한 상황은 인간 중심 관점으로 접근하여 직원의 인지적 부담을 덜어줄 수 있는 지능형 시스템의 확장이 필요하다. Table 2는 HTA에서 직무를 위한 직원의 수행 요소를 기반으로 주의와 수행 저하 요인을 정리한 표이다.

Task

Sub-Task

Operation

Attention factors

Human
performance

1. Order
confirmation

HW 1.1

HW checks the ordering system to determine the quantity needed

HW: need recurring order
volume checks

Work overload

HW 1.2

HW enters an espresso into the
CR system

HW: need recurring order
volume checks

Work overload

2. Make

HW 2.1

As HW prepares the cup, it also
checks the status of the CR to
make sure it's working

HW: Watch for CR to be activated
at the same time as the cup is
being prepared

Multitasking

CR 2.1

HW 2.2

The HW adds water and ice and checks to see if the CR is working

HW: Prepare water/ice and watch for robot movement at the same time

Multitasking

CR 2.2

CR 2.3

The HW waits for the CR to be processed

HW: After the HW is ready, it waits to
see if the CR performs well.

Situation awareness, Multitasking

CR 2.4

The HW waits for the CR to be processed

HW: Attention and waiting due to
HW and rail system distance

Situation awareness, Multitasking

HW 2.5

HW receives the espresso that CR delivers to the rail system

HW: When the workload increases,
the next cup may be pushed
back or missed

Work overload

CR 2.5

HW 2.6

HW pours the espresso into the prepared cup and checks the
working status of the CR

HW: 1) When the workload increases,
the next cup may be pushed
back or missed

2) Make sure that coffee grounds
are properly discarded

Work overload, Multitasking

CR 2.6

HW 2.7

The HW finishes making the drink
by closing the lid and plating it

HW: Need to know and prepare the remaining number of consumables required for making coffee

Situation awareness

3. Call

HW 3.1

HW checks the order number of
the made drink and calls the HG

HW: Need to repeatedly check the match between the drink on the order and the drink made

Work overload

4. Pick-up

HW 4.1

HW delivers the drink to the HG

HW & G: Repetitive tasks of calling guests and picking up drinks lead to worker error.

HW: Not picking up drinks interferes with work

Work overload

5. Tidy-up

HW 5.1

HW checks the store environment
from time to time

HW: It is difficult to check the environmental status of the store
when it is busy

Situation awareness, Multitasking

Table 2. Derived attention and human performance impact factors for the operation of sub-task (HW: Human-worker, HG: Human-guest, CR: Cooking-robot)

4.2 Derive improvements and information requirements

HTA를 통해 도출된 주의 요소와 수행 요인을 개선하기 위해 체계적인 인적 오류 감소 및 예측 접근법(SHERPA: Systematic Human Error Reduction and Prediction Approach)을 활용하였다. SHERPA는 HTA를 확장하여 하위 계층에서 오류를 식별하여 오류를 방지하거나 줄이기 위한 방향을 도출하기 위한 인적 오류 식별 기법이다(Baber and Stanton, 1996). 이러한 기법은 제공되는 5가지(action, retrieval, checking, selection, information communication) 오류 유형에 따라 직무에서 발생하는 오류를 할당한다(Stanton and Young, 2000; Stanton, 2006). Action은 버튼 누르기, 스위치 켜기, 문 열기와 같은 물리적인 행동의 오류이다. Retrieval은 화면 또는 설명서에서 정보를 얻는 과정에서 발생하는 오류 유형이다. Checking은 행위가 올바르게 수행됐는지 여부를 확인한다. Information communication은 정보의 전달이 잘 됐는지 파악하는 유형이다. Section은 무언가를 선택하는 환경에서 잘못된 선택이나 생략 과정이 일어났는지 파악하는 유형이다(Appendix 1). 기법의 절차는 각 직무에 대한 오류를 할당하고 어떤 결과(Consequence)를 만드는지 구성하여 인터페이스의 개선 방향과 요구사항을 도출할 수 있다. SHERPA에서 제공하는 오류 식별 절차에 따라 조리용 로봇과 인간 작업자 제조 단계의 직무에서 발생하는 주의에 해당하는 오류 유형을 할당하고 어떤 오류이며 어떤 결과를 초래하는지 작성하여 개선 방향을 도출하였다(Table 3).

첫째, 주문 확인(Task 1)하는 주문할 때 현재 필요한 에스프레소 수량을 파악해야 한다. 이를 잘못 확인할 경우, 로봇 시스템에 에스프레소의 수량을 입력하지 못하고 다시 확인해야 한다. 번거로운 반복 확인을 해소하기 위해 주문 시스템과 자동화 시스템을 통합하여 필요한 에스프레소의 수량 정보를 제공한다. 둘째, 제조하기(Task 2)는 인간 작업자가 업무를 수행함과 동시에 조리용 로봇의 상태를 확인하는 주의가 일어난다(Sub-Task 2.1, 2.2, 2.6). 시스템의 작동 상태(진행/완료/에러) 과정을 직관적으로 파악할 수 있는 인터페이스를 제공하여 작업자의 주의를 해소해야 한다. 시스템의 처리 속도로 인해 발생하는 인간 작업자의 대기 시간이 존재한다(Sub-Task 2.3, 2.4). 이는 시스템의 작업 진행 과정을 파악할 수 있는 정보를 제공하여 작업자의 상황인식을 지원해야 한다. 주문량이 많을 때 조리용 로봇은 입력된 수량만큼 계속 작업을 수행한다. 그러나 이러한 과정에서 인간 작업자가 업무 부담을 느낄 수 있다(Sub-Task 2.5, 2.6). 조리용 로봇 시스템의 속도 및 작동을 인간 작업자가 제어할 수 있는 조작 인터페이스가 제공되어야 한다. 음료를 제조하기 위해, 필요한 소모품 재고 파악도 빈번한 주의가 발생한다(Sub-Task 2.7). 이는 인터페이스에서 소모품의 잔량을 표시함으로써 작업자의 수시로 재고 확인하는 업무 부담을 경감시켜야 한다. 셋째, 호출하기(Task 3)에서는 제조한 음료와 주문된 음료의 일치 여부를 확인하고 호출 번호를 입력하는 업무를 수행한다(Sub-Task 3.1). 인간 작업자의 반복적인 확인 업무를 경감시키기 위해 주문된 음료의 내역을 호출 기능을 정보 디자인에 표시함으로써 제조한 음료의 일치 여부와 호출 기능을 수행할 수 있도록 설계해야 한다. 넷째, 전달하기(Task 4)는 음료를 전달하는 과정이며 고객과 직원은 주문한 음료가 맞는지 서로 확인한다(Sub-Task 4.1). 또한 고객이 음료를 안 찾아갈 시, 제한된 픽업대의 공간으로 인해 작업자가 구두로 안내하거나 전달하는 과정을 반복한다. 이를 위해 주문 내역 기반으로 만들어야 할 음료 정보를 표시하고 반복적인 안내를 지원하는 픽업 재호출 기능을 구성하여 인간 작업자의 업무를 지원해야 한다.

Task

Sub-Task

Error
mode

Description

Consequence

Improvement

1. Order confirmation

HW 1.1

N/A

N/A

N/A

N/A

HW 1.2

C4

HW needs to remember the
quantity of espresso needed
for manufacturing

Failed to enter espresso

Integrate ordering and payment systems with automation systems to provide information on the quantity
of espresso needed for production

2. Make

HW 2.1

C2

HW checks to see if the
system has been activated
at the same time as the
cup is being prepared

Check system operation before moving on to
the next task

Add interface items that provide
an intuitive understanding of the system's operational status (in progress/ completed/error)

CR 2.1

HW 2.2

C2

HW makes sure the system
is working at the same time
as water/ice preparation

Check system operation before moving on to
the next task

Add interface items that provide
an intuitive understanding of the system's operational status (in progress/ completed/error)

CR 2.2

CR 2.3

A1

HW waits while the system
does its work

After the system's work
is done, the HW can perform the next task

Add a system information display to check the progress of the system

CR 2.4

A1

HW must wait due to the

physical distance between
HW and the system

After the system's work
is done, the HW can
perform the next task

Add a system information display to check the progress of the system

HW 2.5

A9

When multiple cups are on
the way, HW needs to
make coffee quickly

HW may miss the next glass, or miss grabbing
a glass

Provide a speed control operation interface for the HG to regulate the operation of the automation system

CR 2.5

HW 2.6

A9, C2

- When multiple cups are
on the way, HW needs
to make coffee quickly

- Making coffee and checking
that the system is working
at the same time

- HW may miss the next
glass, or miss grabbing
a glass

- Check system operation before moving on to
the next task

- Provide a speed control operation interface for the HG to regulate the operation of the automation system

- Add interface items that provide an intuitive understanding of the system's operational status (in progress/completed/error)

CR 2.6

HW 2.7

N/A

HW should check the
inventory of consumables

HW requires frequent attention

Display the consumable quantity needed for manufacturing so that
you can check your inventory

3. Call

HW 3.1

C5

- HW needs to verify the match between the drink made and
the drink ordered

- When calling, the HW may
enter the order number incorrectly

HW can deliver after
checking for drink
matches

- Relieve repetitive attention by interfacing ordered drinks with
drinks being made on the display

- Extend the information design
to include a call after the drink
is made

4. Pick-up

HW 4.1

C3, I1

- HW checks if the drink matches the order number

- HG check to make sure they have the right drink

- Calling a HG back due to
limited space at the
pick-up table

- HW must repeatedly
check drinks ordered
and drinks made

- HW must repeatedly
call the HG to deliver
the drink

- Show information about drinks
that need to be made

- Provide pick-up reminders

5. Tidy-up

HW 5.1

C2

HW needs to monitor the cleanliness of the store environment while performing manufacturing tasks

HG complains about a
dirty store environment

Provide reminders to check the cleanliness of your store

Table 3. Deriving improvements and error mode through SHERPA

SHERPA 기법에서 도출한 직무의 개선 방향과 매장에 대한 관측을 종합하여 정보 디자인에 필요한 요구사항들을 도출하였다(Table 4). 핵심 요구사항은 다음과 같다. 첫째, 직원이 시스템과 협업하여 업무를 수행하거나 직원이 다른 직원과 제조 업무를 수행할 때 각자 현재 무슨 일을 해야 하고 다음으로 무슨 일을 해야 하는지에 대해 알 수 있는 '업무 가이드(Action Guide)' 기능이 필요하다. 업무 가이드는 접수된 주문을 취합하여 효율적인 제조 방식의 정보를 제공함으로써 작업자의 업무 효율을 확보할 수 있다. 둘째, 작업자가 매장에서 근무할 때 매장의 환경 및 청결, 시스템의 상태에 대해 파악할 수 있는 정보가 필요하다. 직원은 제조 업무에 집중하다 보면 매장 환경의 상태 확인을 놓치거나 이상 상황이 발생함에 따라 업무를 방해한다. 이를 통합적으로 해결하기 위해 매장의 전반적인 정보를 파악할 수 있는 '상태 확인(Check Status)'를 제공하여 효율적인 업무 환경을 구성해야 한다. 셋째, 매장에서 갑작스러운 상황 또는 많은 주문량으로 업무에 대한 부담이 생길 때 직원은 작업부하가 발생할 수 있다. 이상 상태에 대한 제어(Control for abnormal conditions) 기능을 통해 시스템 내에 직원이 개입하여 해결할 수 있도록 구성해야 한다. 많은 주문량으로 제조 시간이 과하게 걸릴 때 직원은 시스템을 통해 고객에게 주문 지연 및 대기 알림을 제공한다. 또한 직원의 업무 처리 속도보다 시스템의 커피 추출 속도가 빠르게 진행될 때 직원이 조절할 수 있도록 제어 기능을 설계해야 한다.

Task

Sub-Task

Information requirements

Categorize information
requirements

1. Order confirmation

HW 1.1

N/A

N/A

HW 1.2

Integrating the ordering system with the cooking
robot system

Check Status

2. Make

HW 2.1

Task status feedback from the cooking robot system

Check Status

CR 2.1

HW 2.2

Task status feedback from the cooking robot system

Check Status

CR 2.2

CR 2.3

Check order quantity to provide delay & wait notifications

Control for abnormal conditions

CR 2.4

HW 2.5

Control system speed based on store complexity

Control for abnormal conditions

CR 2.5

HW 2.6

- Add function human intervention

- Task status feedback from the cooking robot system

- Control for abnormal conditions

- Check Status

CR 2.6

HW 2.7

Consumable levels (cups, ice, syrup, milk, etc.)

Check Status

3. Call

HW 3.1

- Provide current/next to-do lists

- Provide the ability to call based on drink history ordered

Action Guide

4. Pick-up

HW 4.1

- To-do list

- Pick-up reminder

- Action Guide

- Check Status

5. Tidy-up

HW 5.1

Cleanliness check notifications
(returns desks, restrooms, tables, etc.)

Check Status

Table 4. Derive and categorize information requirements

4.3 Define an intelligent system environment for cooking

현재 커피 매장의 환경은 업장마다 다른 부분이 존재하여 본 연구에서 제안하는 정보 디스플레이 디자인을 적용하기 위해 여러 커피 매장의 환경을 조사하여 물리적 환경과 정보 처리 과정을 도출하였다. 물리적 환경에서 고객은 비대면 방식으로 주문하고 직원은 작업 디스플레이를 통해 주문 내역을 확인하고 제조 업무를 수행한다. 음료 제조를 위해 조리용 로봇은 커피 추출 업무를 수행하고 직원은 컵에 얼음과 물을 담아 음료를 제조한다(Figure 3). 제안된 정보 디스플레이 디자인은 Work interface에서 표시하여 인간 작업자가 제조 업무를 할 때 시스템 상태 및 매장 환경을 직관적으로 파악하여 업무를 수행할 수 있다.

Figure 3. Defining the physical store environment with intelligent systems for cooking

정보 처리 과정은 총 4단계로 주문하기, 주문 확인, 음료 제조, 전달하기 순으로 정의하였다(Figure 4). 주문은 시스템을 통해 접수되고 직원이 주문 확인하여 제조 업무를 수행한다. 직원은 조리용 로봇과 협업하여 음료를 만들어 고객에게 전달한다. 주문하기부터 음료를 전달하기까지의 과정을 제안된 정보 디스플레이 디자인에서 정보를 확인할 수 있다. 이러한 정의된 환경에서 커피 매장의 메뉴를 Ice & Hot 아메리카노, Ice & Hot 카페라떼, 케이크(A/B) 총 다섯 가지 메뉴를 기반으로 제안할 정보 디스플레이 디자인이 활용될 환경을 정의하였다.

Figure 4. Defining a store information processing environment with intelligent systems for cooking

4.4 Propose an information display design for collaboration

조리용 로봇과 인간 작업자의 협업을 위한 정보 여건은 업무 가이드, 상태 확인, 이상 상태에 대한 제어이다. 이를 토대로 협업을 위한 정보 디스플레이를 제안하였다. 도출한 정보 여건은 생태학적 인터페이스 디자인(EID: Ecological Interface Design)에서 활용하는 인지적 행위 분류 체계 SRK (Skill-Rule-Knowledge)의 특성을 고려하여 설계하였다. EID는 체계적으로 정보 디스플레이를 개발하는 데 필요한 설계 원칙을 제공하는 인지공학 분야의 방법론이다(Vicente 2002). 정보 디스플레이에서 제공되는 정보를 직관적으로 인식하여 인지적 부담을 덜어 줄 수 있도록 설계 원칙을 제공한다(Oh and Ham, 2019). SRK 프레임워크에서 Skill의 특성은 작업자가 익숙한 환경에서 인지적 부담이 덜 하는 기술 기반 수준(Skill-Based Level)을 고려해야 하고 Rule에서는 작업을 효과적으로 수행할 수 있는 규칙 기반 수준(Rule-Based Level)의 정보를 제공한다. 또한 예상하지 못한 상황이나 복잡한 상황이 발생했을 때 올바른 멘탈모델(Mental Model)을 형성하여 지식 기반 수준(Knowledge-Based Level)을 할 수 있도록 정보를 제공해야 한다(Rasmussen, 1983; Rasmussen and Vicente 1989).

제안한 업무 가이드는 주문량에 따른 제조 정보를 제공하여 작업자가 제공된 정보에 따라 규칙 기반 행동을 수행함으로써 효과적으로 제조 업무를 수행할 수 있다. 상태 확인은 매장의 전반적인 상황을 직관적으로 파악할 수 있는 정보를 제공하여 기술 기반 행동을 형성해 작업자의 인지적 부담을 경감시킨다. 이상 상태에 대한 제어는 매장에서 발생하는 이상 상태에 대해 작업자가 순차적으로 시스템을 제어할 수 있는 기능을 제공함으로써 업무를 정상화할 수 있다. 각 정보 여건에 대한 자세한 설명은 다음과 같다.

Figure 5. Propose an information display design for collaboration

4.4.1 Action guide

업무 가이드(Action Guide)는 주문 접수 내역에 따라 효율적인 제조 순서를 제공함으로써 직원의 업무 효율을 지원할 수 있다. 제조 순서는 음료의 제조 소요 시간을 고려하여 제조 순서를 정하고 직원이 해야 하는 일을 제공한다(Figure 6). 직원의 업무 파악을 지원하며 다수의 직원이 협업하는 과정에서 불필요한 의사소통을 자제하고 본인이 해야 하는 업무를 빠르게 파악할 수 있다. 예를 들어, 아이스 아메리카노 8잔을 만든 과정에서 A 직원은 얼음과 물 8잔을 준비하는 동안 B 직원은 업무 가이드의 다음 해야 할 일을 보며, 아이스 카페라떼를 준비할 수 있게 한다. 주문 접수를 기반하여 무엇을 먼저 만들어야 하고, 어떤 업무가 있는지 정보를 나타내어 효율적인 업무 가이드 및 직원 간 협업을 위한 의사소통 역할을 할 수 있다.

Figure 6. Action guide details

4.4.2 Check status

상태 확인(Check Status)은 조리용 로봇의 상태 확인, 픽업 재호출 알림, 소모품 잔량 표시, 매장 청결 확인 알림으로 직원의 업무를 지원한다(Figure 7). 조리용 로봇의 상태 확인은 필요한 에스프레소 수량에서 몇 번째 잔을 표시함으로써 직원의 업무 속도를 조절한다. 또한, 조리용 로봇의 진행/완료/에러에 대한 정보를 나타냄에 따라 직원은 로봇의 상태를 빠르게 인지할 수 있다. 픽업 재호출 알림은 호출한 고객이 음료를 찾아가지 않을 때 사용할 수 있으며 직원의 재확인 후 호출하는 반복적인 업무 부담감을 최소화할 수 있다. 제조 업무에서 소모품 잔량 확인은 필수적인 업무이다. 하지만, 매장의 혼잡도에 따라 갑작스러운 소모품 소진은 제조 업무에 영향을 미친다. 제조 업무를 하는 동안 소모품의 잔량을 확인할 수 있도록 하여 직원이 사전에 준비하도록 지원한다. 매장 청결 상태 확인 알림은 제조 업무 외로 매장의 청결도를 유지할 수 있도록 지원한다. 직원이 설정한 시간대 또는 청결도를 측정하여 직원에게 정보를 제공한다. 이러한 매장 환경 및 조리용 로봇의 상태를 확인할 수 있는 정보를 제공하여 직원의 업무 편의와 효율을 확보할 수 있다.

Figure 7. Check status details for in-store environments

4.4.3 Control for abnormal conditions

커피 매장에서 이상 상태에 대한 인간의 확인 및 제어는 필요하다. 특히 조리용 로봇이 구축된 매장은 로봇의 상태 확인과 동시에 이상 상태가 발생 시, 인간이 개입함으로써 시스템 정상화하여 업무를 이어 나가야 한다. 현재 조리용 로봇의 역할은 에스프레소를 자동 추출하는 역할을 하고 있지만, 시스템의 에러 및 많은 주문량으로 직원의 업무 부담이 생긴다. 직원의 작업부하를 덜어주기 위해 매장의 이상 상태에 대한 제어(Control for abnormal conditions) 기능을 제공해야 한다(Figure 8). 이 기능은 (2) 상태 확인에서 자동화 시스템의 이상 상태에 대해 정보를 제공하여 정상화 예상 소요 시간이 나타나 직원이 주문 접수를 대기하거나 조리용 로봇을 멈출 수 있도록 기능을 제공한다. 조리용 로봇의 에스프레소 추출 "작동 멈춤"이 발생하면 직원은 로봇이 정상화되기까지 에스프레소 추출 업무를 수행해야 한다. 이때, (1)업무 가이드에서 매장의 이상 상태에 대해 인식하여 에스프레소를 직접 추출해야 한다는 정보(수동모드)를 알려줌으로써 직원의 이상 상태에 대한 부담을 최소화할 수 있다. 또한 매장에서 집계된 주문량의 제조 소요 시간이 일정 시간을 벗어날 경우 직원이 무인 단말기의 주문대기 알림을 보내어 고객이 주문 대기 정보를 보고 제조가 얼마나 걸리는 지 판단하여 매장 이용의 의사결정에 도움을 준다.

Figure 8. Scenario about control for abnormal conditions
5. Validation of Information Display Design Utility through In-Depth Interview

조리용 로봇과 인간의 협업을 위해 제안한 정보 디자인의 효용을 위해 관련 종사자와 심층 인터뷰를 진행하였다. 참여자는 개인 카페에 비해 업무량이 상대적으로 많은 프랜차이즈 커피 전문점에서 종사한 5명을 선정하였다(Table 5). 진행 방식은 참여자의 편의를 위해 대면과 비대면(Zoom)을 활용하여 정성적인 검증(2023.10.17~20)과 정량적인 검증(2023.11.22~24)으로 총 2번의 인터뷰를 진행하였다. 모든 인터뷰 내용은 참여자의 인터뷰 참여 동의서를 안내했으며, 인터뷰 참여 사례를 지급하였다. 인터뷰의 질문은 Action Guide, Check Status, Control for abnormal conditions의 기능이 인간 작업자의 상황인식과 작업부하를 경감시켜 주는지에 대한 질문을 구성하여 정성적인 의견을 받고 리커트 5점 척도(매우 동의하지 않음 - 매우 동의)를 기준으로 만족도를 평가하였다(Table 6). 제안한 정보 디자인에 대한 관련 종사자의 주요 검증 내용과 기능에 대한 평점은 Table 7에 정리하였다.

Participant

Ages

Work experience at cafeteria

P1

20s

Two years or more

P2

20s

Two years or more

P3

20s

Under one year

P4

30s

Three years or more

P5

30s

Three years or more

Table 5. In-depth interview participant information

Category

Purpose

No.

Contents

Action guide

Work efficiency

1

When you're working in manufacturing, would it be helpful to know what you need to do now and what you need to do next?

Collaboration support

2

Would information about what to do when collaborating with others to manufacture help you collaborate?

Check status

Enable situational awareness
of system status

3

Would providing information about the status of a CR
(espresso extraction) help with task situation awareness?

The convenience of pick-up reminders

4

Would the ability to ask customers who don't pick up to
remind you to pick them up help you stay on track?

Convenience of consumable
level displays

5

Would information about consumable-level displays help you
in your work?

Support for situation awareness
in store cleanliness notifications

6

Would notifications about store cleanliness help you stay on task?

Control for abnormal conditions

Take the work burden off
wait & delay notifications

7

Can kiosk notifications that could delay a customer's order
help your work when your store is busy?

Take the work burden of
system control

8

When your store is busy, is it helpful to control the speed of your CR to get things done?

Take the work burden of abnormal event action guide

9

When your automation system has any problems, does it
help your job to give you what to do (action guide)?

Table 6. In-depth interview questions

5.1 Validation results

5.1.1 Action guide

주문량을 기반한 업무 가이드는 업무 부담을 덜어 주어 효율을 높일 수 있고(4.2점), 직원 간 협업을 지원(4.6점)할 수 있다고 응답하였다. 주요 답변은 "직원이 해야 하는 일을 즉각 파악할 수 있다(P1, P3, P4)", "주문 영수증을 쌓아서 처리하는 방식보다 편하다(P2, P4)"라고 하였다. 또한 직원 간 협업하는 상황에서 "바쁜 환경에서 직원 간 불필요한 소통을 덜 할 것 같다(P5)"., "다수가 일할 때 잘못된 소통으로 인해 일을 중복하여서 할 때가 있다. 이럴 때 도움이 될 것 같다(P1)"라며 불필요한 의사소통을 줄여 주고 원활한 협업을 지원할 수 있는 것을 확인하였다.

Complement action guide

보완점으로 제조 업무를 위한 업무 가이드 정보 외로 음료 제조 완료 후 고객을 호출하는 기능까지 연동되어 직원의 업무량을 덜어 주길 원하였다. 또한, 배달 업무가 늘어남에 따라 배달 과정(배달 접수부터 배달 수령)을 확인하고 처리할 수 있는 업무 가이드의 기능 확장에 대한 기회 요소를 파악하였다.

5.1.2 Check status

매장의 환경 및 조리용 로봇의 상태 확인은 직원의 업무 편의성과 업무에 대한 반복적인 주의를 해소할 수 있다는 것을 확인하였다. 기능들에 대한 평균 평점은 시스템 상태 확인 '4.25점', 픽업 재호출 '4.6점', 소모품 잔량 표시 '4.6점', 매장 청결 상태에 대한 알림 '4.6점'으로 긍정적인 평가를 확인하였다. 기능별 주요 답변은 다음과 같다. 시스템 상태 확인은 "시스템의 상태를 확인하는 정보는 갑작스러운 일을 대비할 수 있게 만들어 준다(P1, P5)"라고 하였다. 픽업 재호출 기능은 "매장이 바쁠 때 시끄럽고 어수선한 분위기에서 고객이 호출을 듣지 못할 때 좋을 것 같다(P1, P3)", "음료가 나왔는데 다른 일을 보러 간 고객에게 알림을 제공한다면, 음료를 제때 찾아갈 수 있다(P5)"라고 하였다. 소모품 잔량 표시는 "갑작스러운 주문으로 인한 소모품 재고 소진에 대응할 수 있다(P1, P5)", "전 교대 근무의 재고 미파악에 대한 정보를 확인할 수 있다(P2)"라고 응답하였으며 이 기능은 소모품의 사전 준비와 직원 간 실수 예방을 지원할 수 있다. 매장 청결 확인은 매장이 혼잡할 때 "청결 유지를 못 할 때 알려주면 좋을 것 같다(P5)", "사각지대를 파악하기 힘들어 도움이 될 것 같다(P1, P4)"라고 응답하였다.

Complement check status

상태 확인의 기능에 대한 종사자들의 추가 의견이 존재하였다. 자동화 시스템 상태 확인은 추출해야 하는 총 수량과 추출 중인 수의 정보를 표시하여 현재 어디까지 나왔는지 파악하길 원하였다. 픽업 재호출의 기능은 시스템이 자체적으로 픽업 대의 음료수와 대기 시간을 고려하여 재호출 알림을 처리해 주길 기대하였다. 소모품 잔량 표시는 재고 파악과 함께 소모품 자동 주문과 고객이 보는 메뉴 디스플레이에 품절 표시까지 연동되기를 원하였다. 또한 소모품의 정확한 단위 표현을 요구하였다. 매장 청결 확인은 "알림이 와도 매장이 바쁠 때는 청결을 유지하기가 어렵다(P5)"의 의견과 "시스템이 매장의 상황을 파악하여 여유로울 때 알림을 제공해 주는 것이 오히려 더 나을 것 같다(P2)"라는 의견을 제시하였다. 제안된 상태 확인의 보완점은 시스템의 기능 범위 확장과 상황인식을 기반한 정보 제공을 원하는 것으로 해석할 수 있다.

5.1.3 Control for abnormal conditions

이상 상태에 대한 제어는 제조 환경의 문제가 발생 시 직원의 구두 안내를 시스템이 수행함으로써 업무 피로도를 경감시키며 고객의 편의를 확보할 수 있다. 매장이 바쁠 때 주문을 지연 및 대기하는 알림 '4.8점', 자동화 시스템의 속도를 제어하는 기능 '4.25점', 이상 상태에 대한 업무 가이드 제공 '4.4점'으로 기능에 대한 긍정적인 평가를 확인하였다. 주요 답변은 다음과 같다. 주문 지연 및 대기 알림은 "고객과 잦은 소통을 최소화할 수 있다(P2, P3, P4)", "주문하기 전에 대기 여부를 확인할 수 있고 매장 이용을 결정할 수 있어서 고객도 좋을 것 같다(P1, P5)"라고 응답하였다. 조리용 로봇의 속도 제어 기능은 원활한 제조 업무를 수행하는 데 필요하다고 하였다 "커피를 만들 때 추출된 커피를 일정 시간 안에 넣어야 커피 맛을 보장할 수 있다. 그래서 직원과 시스템의 속도가 어느 정도 맞아야 한다(P2)"라고 응답하였다. 이상 상태에 대한 업무 가이드 정보 제공은 "바쁠 때 예상하지 못한 상황이 생기면 무엇을 해야 하는지 고민하는데, 추가로 업무 지시를 해주면 업무 부담이 덜어질 것 같다(P1, P3)", "많은 고민 없이 업무 가이드를 보고 일 처리를 할 수 있다(P4)"라고 응답하였다. 이는 직원의 빠른 상황인식을 지원하고 작업부하를 덜어줄 수 있는 것으로 확인하였다.

Complement control for abnormal conditions

추가로 자동화 속도 조절 기능에서 인간 작업자가 직접 속도를 제어하기보다 시스템이 주문량과 작업자의 작업 속도를 측정하여 속도 제어를 해주기를 바라고 있었다. "과도한 업무량으로 직원의 업무 부담이 늘어날 때 시스템이 자체적으로 직원의 속도를 맞춰 주면 좋겠다(P1, P3, P4)"와 같이 바쁜 환경에 놓일수록 인간 작업자는 직접 제어하기보다 능동적으로 속도를 조절하여 업무 부담을 덜어주길 원하였다.

Category

Purpose

Sub-Task

Average
score

Positive factors

Action guide

Work efficiency

HW 3.1
& 4.1

4.2

Enable work efficiency

- Individual: Can recognize what needs
to be done

- Multiple: Can make quick decisions and divide roles

Collaboration support

4.6

Check status

Enable situational awareness
of system status

HW 1.2, HW &
CR 2.1, 2.2, 2.6

4.25

Ensure convenience for work

- Identify anomalies ahead of time so can be prepared

The convenience of pick-up reminders

HW 4.1

4.6

Relieve repeated worker attention and ensure guest convenience

Convenience of consumable level displays

HW 2.7

4.6

Ensure convenience for work for proactive information

- Plan for prematurely running out of supplies and avoid worker's errors

Support for situation awareness in store
cleanliness notifications

HW 5.1

4.6

Work can be directed

Control for abnormal conditions

Take the work burden off
wait & delay notifications

HW & CR 2.5

4.8

Reduce worker fatigue and improve guest convenience

Take the work burden of system control

HW & CR 2.6

4.25

Enable work efficiency

- It is possible to adjust the speed of work according to the order volume

Take the work burden of abnormal event action guide

Task 2

4.4

Relieve worker workload

- Rather than relying on workers to know what is going on, the system tells them what to do so they can react quickly.

Table 7. Positive responses and average scores for proposed information design
6. Discussion and Conclusion

본 연구는 외식업종 중 커피 전문점에서 사용되는 조리용 로봇과 인간 작업자 간의 협업 환경을 분석하여, 작업자의 다중 업무 부담을 줄이기 위한 정보 디자인을 제안한다. 이를 위해, 다양한 카페 환경에서 조리용 로봇이 반복적이고 어려운 작업을 대신 수행하며 인간 작업자를 지원하는 방식을 관찰하고 분석하였다. 그 결과 현재의 협업 환경은 작업자에게 로봇의 상태와 주변 환경을 지속적으로 인식하고 주의를 기울여야 하는 부담을 주고 있는 것을 확인할 수 있었다. 이러한 분석 결과를 기반으로 HTA 기법을 활용하여 정보 요구사항을 도출하고, SRK 프레임워크를 적용한 정보 디자인을 제안하였다.

이러한 배경에서 본 연구는 로봇을 활용한 지능형 시스템을 인간과 시스템의 협업 문제라는 관점에서 접근하여, 인간 작업자의 인지적, 물리적 작업부하를 줄이고자 하였다. HTA 기법으로 정보 요구사항을 도출하였고, 요구사항을 기반으로 인지적 부담을 덜어주는 SRK 프레임워크를 적용하여 정보 디자인 안을 제안하였다. 제안된 정보 디자인은 업무 가이드, 상태 확인, 이상 상태에 대한 제어의 세 가지 주요 기능을 포함한다. 업무 가이드는 전체 상황을 고려한 효율적인 업무 협업 방식을 제안하고, 이를 기준으로 작업자가 해야 하는 일들을 제시하여 작업자가 수행해야 하는 업무를 쉽게 파악할 수 있도록 제시한다. 상태 확인은 업무 중에 작업자가 반복적으로 확인하는 매장 환경과 시스템의 상태에 대한 정보를 직관적으로 파악할 수 있는 정보 형태로 제공하여 작업자의 높은 상황인식을 지원한다. 이상 상태에 대한 제어는 매장과 시스템에 이상 상황이 발생했을 때 작업자가 개입하여 제어할 수 있는 정보를 제공하여 시스템을 정상화하거나 고객에게 안내 알림을 전달하는 정보를 줌으로써 이상 상태에 대한 대응이 가능하게 한다. 관련 종사자들과 심층 인터뷰를 통해, 제안된 디자인이 업무 효율과 편의성을 높이는 데 기여할 수 있음을 확인했다. 또한, 종사자들은 제안된 디자인의 기능 확장과 보완점에 대해 의견을 제시하였다. 업무 가이드에서 완료된 음료에 대한 자동 호출, 배달 주문 관련 업무의 지원 가능을 기대하였다. 상태확인은 픽업대에 일정 시간을 넘어 찾아 가지 않는 음료에 대해 시스템 직접 재호출 알림으로 전달 업무를 수행하기를 원하였다. 이상 상태에 대한 제어는 시스템이 바쁜 상황을 인식하여 속도 조절 및 안내 알림을 능동적으로 지원해주길 바랬다. 시스템의 자체적인 업무 지원에 대한 요구는 매장의 상황에 따라 시스템의 높은 수준의 자율성을 요구하는 것으로 해석할 수 있다. 따라서 후속 연구에서 구체적인 인터페이스를 설계할 때 실현할 수 있는 기능의 범위를 검토하여 설계하고자 한다.

이 연구의 한계점은 주로 단일 작업자를 대상으로 한 정보 디자인을 제안한 것과 커피 매장이라는 단일 환경을 대상으로 수행한 점에 있다. 이에 다수의 작업자가 함께 일하는 환경과 다양한 매장 구조를 고려한 확장 가능성에 대한 검토가 필요하다. 또한 이후 연구를 통해 제안한 정보 설계안을 활용한 인지 부담 저하에 대한 효과성 검증을 수행하고자 한다. 그러나 본 연구는 인간 중심적인 관점에서 인간과 조리용 로봇 협업 과정에서 발생하는 문제점에 대한 분석과 인간의 수행 능력을 지원할 수 있는 디자인 안을 제안하였다는 점에서 학문적 의의가 있다. 또한 실제 상용화되어 사용 중인 조리용 로봇을 기반으로 협업 환경을 개선하기 위한 디자인 안은 작업자 업무의 효율과 편의를 확보하는 것을 확인하였으며, 이는 서비스용 로봇 기반 협업 환경의 상용화를 위한 지능형 시스템 설계의 기초 자료로 활용될 수 있을 것으로 기대된다.



References


1. Amershi, S., Weld, D., Vorvoreanu, M., Fourney, A., Nushi, B., Collisson, P., Suh, J., Iqbal, S., Bennett, P.N., Inkpen, K., Teevan, J., Kikin-Gil, R. and Horvitz, E., "Guidelines for human-AI interaction", In Proceedings of the 2019 Chi Conference on Human Factors in Computing Systems (pp. 1-13), Glasgow. Scotland UK. 2019.
Google Scholar 

2. Annett, J., Hierarchical task analysis, Handbook of cognitive task design (Eds), CRC Press, Boca Raton, 2, 17-35, 2003.


3. Baber, C. and Stanton, N.A., Human error identification techniques applied to public technology: Predictions compared with observed use. Applied Ergonomics, 27(2), 119-131, 1996.
Google Scholar 

4. Beer, J.M., Fisk, A.D. and Rogers, W.A., Toward a framework for levels of robot autonomy in human-robot interaction, Journal of Human-Robot Interaction, 3(2), 74-99, 2014.
Google Scholar 

5. Cimini, C., Pirola, F., Pinto, R. and Cavalieri, S., A human-in-the-loop manufacturing control architecture for the next generation of production systems, Journal of Manufacturing Systems, 54, 258-271, 2020.
Google Scholar 

6. Dastani, M. and Yazdanpanah, V., Responsibility of AI Systems. AI & Soc, 38, 843-852, 2023.
Google Scholar 

7. Endsley, M.R., "Situation awareness global assessment technique (SAGAT)", Proceedings of the IEEE 1988 National Aerospace and Electronics Conference, 3 (pp. 789-795), Dayton. OH. USA. 1988.
Google Scholar 

8. Endsley, M.R., Toward a Theory of Situation Awareness in Dynamic Systems, Human Factors, 37(1), 32-64, 1995.
Google Scholar 

9. Gil, M., Albert, M., Fons, J. and Pelechano, V., Designing human-in-the-loop autonomous Cyber-Physical Systems, International Journal of Human-Computer Studies, 130, 21-39, 2019.
Google Scholar 

10. Hong, S.K. and Bae, Y.G., Effects of Marine Officers' Situation Awareness on Ship Collision in Korean Coast. Journal of the Ergonomics Society of Korea, 38(6), 565-574, 2019.


11. Inga, J., Ruess, M., Robens, J.H., Nelius, T., Rothfuß, S., Kille, S., Dahlinger, P., Lindenmann, A., Thomaschke, R., Neumann, G., Matthiesen, S., Hohmann, S. and Kiesel, A., Human-machine symbiosis: A multivariate perspective for physically coupled human-machine systems, International Journal of Human-Computer Studies, 170, 102926, 2023.
Google Scholar 

12. Jones, D.G., Endsley, M.R., Bolstad, M. and Estes, G., "The Designer's Situation Awareness Toolkit: Support for User-Centered Design", Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 48(3), 653-657, 2004.
Google Scholar 

13. Jörling, M., Böhm, R. and Paluch, S., Service Robots: Drivers of Perceived Responsibility for Service Outcomes, Journal of Service Research, 22(4), 404-420, 2019.
Google Scholar 

14. KIRIA, Robotics Industry Survey Report as of 2021, KIRIA Home page, https://kiria.org/portal/policysut/portalPlcyReportsDetail.do; jsessionid=D43E5A97C4EB350B7DCDB6FD50289F9D (retrieved December 2, 2022).


15. Kirwan, B. and Ainsworth, L.K., A Guide To Task Analysis: The Task Analysis Working Group (Eds), CRC Press, London, 1992.
Google Scholar 

16. Lee, J.D. and Seppelt, B.D., Human Factors in Automation Design. In: Nof, S. (eds) Springer Handbook of Automation. Springer Handbooks. Springer, Berlin, Heidelberg, 2009.
Google Scholar 

17. Licklider, J.C.R., Man-Computer Symbiosis, IRE Transactions on Human Factors in Electronics, HFE-1(1), 4-11, 1960.
Google Scholar 

18. Littman, M.L., Ajunwa, I., Berger, G., Boutilier, C., Currie, M., Doshi-Velez, F., Hadfield, G., Horowitz, M.C., Isbell, C., Kitano, H., Levy, K., Lyons, T., Mitchell, M., Shah, J., Sloman, S., Vallor, S. and Walsh, T., Gathering Strength, Gathering Storms: The One Hundred Year Study on Artificial Intelligence (AI100) 2021 Study Panel Report, Stanford University, Stanford, CA, 2021.
Google Scholar 

19. Lu, Y., Zheng, H., Chand, S., Xia, W., Liu, Z., Xu, X., Wang, L., Qin, Z. and Bao, J., Outlook on human-centric manufacturing towards Industry 5.0, Journal Manufacturing System, 62, 612-627, 2022.
Google Scholar 

20. Nunes, D.S., Zhang, P. and Sá Silva, J., A Survey on Human-in-the-Loop Applications Towards an Internet of All, IEEE Communications Surveys & Tutorials, 17(2), 944-965, 2015.
Google Scholar 

21. Oh, H.W. and Ham, D.H., Specifying Information Requirements for Designing Ecological Displays Supporting Responsive Actions under Severe Accident Situations of Nuclear Power Plants. Journal of the Ergonomics Society of Korea, 38(4), 307-323, 2019.


22. Parasuraman, R. and Manzey, D.H., Complacency and Bias in Human Use of Automation: An Attentional Integration, Human Factors, 52(3), 381-410, 2010.
Google Scholar 

23. Parasuraman, R. and Riley, V., Humans and Automation: Use, Misuse, Disuse, Abuse, Human Factors, 39(2), 230-253, 1997.
Google Scholar 

24. Raessa, M., Chen, J.C.Y., Wan, W. and Harada, K., Human-in-the-Loop Robotic Manipulation Planning for Collaborative Assembly, IEEE Transactions on Automation Science and Engineering, 17(4), 1800-1813, 2020.
Google Scholar 

25. Rasmussen, J. and Vicente, K.J., Coping with human errors through system design: Implications for ecological interface design, International Journal of Man-Machine Studies, 31(5), 517-534, 1989.
Google Scholar 

26. Rasmussen, J., Skills, rules, and knowledge: Signals, signs, and symbols, and other distinctions in human performance models, IEEE Transactions on Systems, Man, and Cybernetics, 13, 257-266, 1983.
Google Scholar 

27. ROBO ARETE. Company Introduction, ROBO ARETE Home page, https://roboarete.com/ (retrieved November 25, 2023)


28. Roy, D., 10× — Human-Machine Symbiosis, BT Technology Journal, 22, 121-124, 2004.
Google Scholar 

29. Shepherd, A., HTA as a framework for task analysis, Ergonomics, 41(11), 1537-1552, 1998.


30. Sheridan, T.B. and Verplank, W.L., Human and computer control of undersea teleoperators, Technical Report, MA: MIT Press, Man-Machine Systems Laboratory, Cambridge, 1978.
Google Scholar 

31. Shneiderman, B., Human-Centered Artificial Intelligence: Reliable, Safe & Trustworthy, International Journal of Human-Computer Interaction, 36(6), 495-504, 2020.
Google Scholar 

32. Simmler, M. and Frischknecht, R., A taxonomy of human-machine collaboration: capturing automation and technical autonomy. AI & Soc, 36, 239-250, 2021.
Google Scholar 

33. Stanton, N.A., Hierarchical task analysis: Developments, applications, and extensions, Applied Ergonomics, 37(1), 55-79, 2006.
Google Scholar 

34. Stanton, N.A. and Young, M.S., Guide to Methodology in Ergonomics: Designing for Human Use (1st ed.). CRC Press, London, 2000.


35. Stone, P., Brooks, R., Brynjolfsson, E., Calo, R., Etzioni, O., Hager, G. and Teller, A., Artificial intelligence and life in 2030: One hundred year study on artificial intelligence: Report of the 2015-2016 Study Panel, Stanford University, Stanford, CA, 2016.
Google Scholar 

36. Vicente, K.J., Ecological interface design: Progress and challenges, Human Factors, 44(1), 62-78, 2002.
Google Scholar 

37. Vidulich, M.A., "The Relationship between Mental Workload and Situation Awareness", Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 44(21) (pp.460-463), 2000.
Google Scholar 

38. Whittaker, M., Crawford, K., Dobbe, R., Fried, G., Kaziunas, E., Mathur, V., West, S.M., Richardson, R., Schultz, J. and Schwartz, O., AI Now 2018 Report, AI Now Institute, New York, 2018.
Google Scholar 

39. Wickens, C.D., Multiple Resources and Mental Workload, Human Factors, 50(3), 449-455, 2008, doi: 10.1518/001872008X288394
Google Scholar 

40. Wickens, C.D., Hollands, J.G., Banbury, S. and Parasuraman, R., Engineering Psychology and Human Performance (4th Ed), Psychology Press, New York, 2013.
Google Scholar 

41. XYZ. aris ice cream robot at brown bana, XYZ youtube channel page, https://youtu.be/nWfF9kTaN_4?si=kM5A8KHKEvIBM_R7 (retrieved February 18, 2022).


42. XYZ. baris espresso robot at Lounge'X cafe, XYZ youtube channel page, https://youtu.be/2c1-Z2PlnO0?si=uSvwl7-8SvQyQ0ew (retrieved August 31, 2021).


43. Yang, Q., Steinfeld, A., Rosé, C. and Zimmerman, J., "Re-examining Whether, Why, and How Human-AI Interaction Is Uniquely Difficult to Design", Proceedings of the 2020 CHI Conference on Human Factors in Computing Systems, (pp.1-13), Honolulu. HI. USA. 2020.
Google Scholar 

PIDS App ServiceClick here!

Download this article