eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
Jongbae Park
, Minjae Kim
, Hayoung Jung
, Chansong Park
, Xin Cui
, Seokwoo Lee
, Heecheon You
10.5143/JESK.2023.42.5.509 Epub 2023 October 31
Abstract
Objective: The present study was to review recent advances and their limitations in digital human modeling and simulation (DHMS) with the integration of the fourth industrial technologies.
Background: Many studies have been reported for the effective utilization of DHMS technology in ergonomic product design and evaluation by incorporating VR/AR/ MR/ER, Digital Twin, and ML/AI technologies.
Method: An in-depth review was conducted on 30 papers published within the last ten years that applied VR/AR/MR/ER, Digital Twin, and ML/AI technologies to the DHMS technology.
Results: The integration of the fourth industrial technologies into DHMS has facilitated the visualization of product and workstation designs in virtual environments and/or real-world scenarios.
Conclusion: This integration of the fourth industrial technologies into DHMS has enhanced user experiences, optimized interactions between humans, products, manufacturing systems, and/or robots, leading to improved productivity, comfort, and safety and health of workers.
Application: Future research efforts need to be focused on improving the performance of hardware and software components to effectively handle complex modeling tasks and simulations, enhancing the quality of user experiences to create intuitive and immersive interfaces, establishing legal and ethical guidelines to safeguard user privacies, and enhancing the efficiency and reliability of the advanced DHMS technology incorporating the fourth industrial technologies.
Keywords
Digital human modeling VR/AR/MR/ER Digital Twin ML/AI Ergonomic design & evaluation
디지털 휴먼 모델링 및 시뮬레이션(DHMS: digital human modeling & simulation)은 인간의 생체역학적, 생리적, 그리고 행동적 특성을 수치화하여 컴퓨터 환경에서 가상의 인간으로 재현하는 기술이다(Wang and Lau, 2013; Ziolek and Kruithof, 2000). 디지털 휴먼 모델은 실제 인간의 생체역학적 및 생리적 데이터를 기반으로 구현되므로 제품 및 작업장 설계 과정에서 인간공학적 문제를 예측하고 개선하는데 중요한 역할을 할 수 있으며(Chaffin, 2005), 이를 통해 개발 초기 단계에서 인간공학적 설계 오류를 줄이고 보다 안전하고 사용자 친화적인 제품을 개발할 수 있다(Peruzzini et al., 2017; Ji et al., 2023). 또한, 디지털 휴먼 시뮬레이션은 디지털 휴먼 모델을 활용하여 가상 환경에서 인간의 행동 및 반응을 예측하여(Badler et al., 2002; Silva et al., 2022) 다양한 설계 상황에서 물리적인 시제품 없이 설계 평가 시간과 개발 비용을 감소하며 최적의 설계안을 도출하는데 유용한 도구로 활용될 수 있다(Akyeampong et al., 2013; Högberg et al., 2007; Vyavahare and Kallurkar, 2015).
DHMS 기술은 인간공학적 제품 및 작업장 설계에 유용한 기법으로 활용되어 왔다. 예를 들어, Jung et al. (2010)은 DHMS를 활용하여 가상 환경에서 헬리콥터 조종실을 설계하기 위한 정량적인 인간공학적 평가 방법을 개발하였다. Song et al. (2017)는 세일용 요트 윈치의 높이와 측판 각도에 대한 인간공학적 배치 설계 가이드라인을 DHMS을 사용하여 제안하였다. Lämkull et al. (2009)은 자동차 생산라인의 수동 조립 작업 사례에 대하여 DHMS이 실제 작업 현장의 결과를 어느 정도 정확하게 예측하는지 연구하였다. Chateauroux and Wang (2010)은 사실적인 DHMS 구현을 위해 필요한 특정 운전자 집단의 자동차 하차 동작 관련 상세 정보들을 수집하고 분석하였으며, De Magistris et al. (2013)은 인간공학적 평가를 위한 힘과 가속이 자동으로 제어되는 동적 DHMS을 개발하였다.
DHMS 기술에 대해 4차 산업시대의 기술들인 VR (Virtual Reality)/AR (Augmented Reality)/MR (Mixed Reality)/ER (Extended Reality), Digital Twin, ML (Machine learning)/AI (Artificial Intelligence)와 연계되어 기존 DHMS 기술의 한계점을 해결하며 활용성을 확장시키는 다양한 연구들이 진행되고 있다. 일부 연구에서는 CAESAR 데이터, Size Korea 스캔 데이터와 같이 대규모로 구축된 3차원 인체 형상 데이터에 인체 템플릿 병합 기술(Allen et al., 2003; Bogo et al., 2014)이나 기계학습(ML: machine learning)과 deep learning과 같은 AI 기술을 접목하여 인체 형상, 치수, 자세의 학습을 수행하고(Romero et al., 2017), 다양한 인체 크기 및 자세를 가진 인체 형상을 생성할 수 있는 통계적 매개변수(parametric) 인체 모델을 개발하였다(Loper et al., 2015; Park et al., 2021; Pishchulin et al., 2017). 또한, VR/ AR/MR 기술의 발전으로 DHMS이 예측하는 작업자세의 부정확성, 부자연스러움, 주관적 평가의 한계 등을 극복하고(Alexander et al., 2013; Lämkull and Zdrodowski, 2020; Savino et al., 2017; Wolf et al., 2020), DHMS와 로봇 기술을 결합하여 생산 현장에서 인간과 로봇의 유기적인 협업을 통해 생산성을 향상하는 연구가 수행되었다(Dallel et al., 2023). 이러한 연구들은 기존 DHMS 기술이 4차 산업시대의 신기술들과 상호 연계되어 다양한 활용 가능성을 제시하고 있으므로 신기술과 접목된 DHMS 연구 추세에 대한 고찰이 필요하다.
따라서, 본 연구는 4차 산업시대에서 DHMS 기술의 개발 및 활용에 대해 관련 연구문헌을 조사하여 개발된 기술들의 연구방향과 한계에 대해 고찰하고자 한다. 본 연구는 연구문헌 조사와 분석을 통해 기존의 DHMS 기술과 4차 산업시대의 기술의 접목을 통해 개발된 확장된 기능들과 활용성을 파악하고 이들 연구 결과들의 적용 한계와 도전적인 연구 주제들을 고찰하였다.
본 연구에서는 4단계의 논문 선별 절차(keyword 검색, 논문 제목 선별, 논문 초록 선별, 관련도 평가)를 통해 30건의 고도화된 DHMS 연구 논문을 선별하였다. 첫째, Scopus 데이터 베이스에서("human model" OR "digital human") AND ("VR" OR "AR" OR "MR" OR "ER" OR "digital twin" OR "machine learning" OR "AI") AND ("ergonomics" OR "human factors")의 keyword 조합 조건을 사용하여 지난 10년간 영어로 출간된 문헌을 검색한 결과 46건의 문헌이 검색되었다. 둘째, 검색된 논문들의 제목을 확인하여 38건의 문헌이 1차 선별되었다. 셋째, 1차 선별된 논문들의 초록을 검토하여 32건의 논문이 2차 선별되었다. 마지막으로, 2차 선별된 논문들의 내용을 검토하여 본 연구의 목적과의 관련성을 상/중/하로 평가하였으며 이들 중 관련성이 상과 중으로 평가된 30건의 논문을 최종적으로 선별하여 논문 전문 내용을 심층적으로 검토하였다.
3.1 VR/AR/MR/ER Based DHMS Study
인간공학적 제품 설계 및 개발 분야에서 VR, AR, MR 및 ER 기술들이 DHMS와 연계하여 제품의 설계를 시각화하고, 인간-제품-환경 상호작용을 분석 및 평가하며, 사용자 경험을 개선하기 위해 활용되고 있다. VR, AR, MR은 3D 시각화 기술의 세 가지 주요 유형이며 ER은 디지털 확장 현실을 나타내는 개념으로 모든 3D 시각화 기술의 상위 개념이다(Park and Kim, 2021; Venkatesan et al., 2021; Xing et al., 2021). 예를 들어, 제품 설계자 혹은 개발자는 VR을 사용하여 가상 공간에서 제품 설계를 시각화하고 평가할 수 있으며(Babicsné-Horváth and Hercegfi, 2022; Reinhard et al., 2020), AR을 사용하여 실제 제품 사용 환경에서 가상 정보를 추가하여 사용자의 동작과 환경을 분석하고(Evangelista et al., 2023), MR을 적용하여 가상 세계와 실제 세계가 결합된 새로운 환경을 만들어내어 인간-제품 상호작용을 분석할 수 있다(Paravizo and Braatz, 2019). VR은 360도 가상 공간에서 사용자에게 높은 몰입감을 제공하지만 사용자가 현실 세계와 완전히 분리되어 있어 실제 세계와의 상호작용이 제한될 수 있는 단점이 있다(Xing et al., 2021). 반면, AR은 현실 세계에 가상 정보를 추가해 보여 주어 실제 세계와의 상호작용이 가능하나 디바이스의 시야각(field-of-view)의 한계로 인해 시야가 제한되거나 몰입감이 저하될 수 있다(Park and Kim, 2021). 마지막으로, MR은 가상 세계와 실제 세계를 융합하여 사실감과 몰입감을 극대화할 수 있으나 처리할 데이터 용량이 너무 커서 다루기가 어렵고 장비나 기술적 제약으로 구현이 어렵고 비용이 많이 소요될 수 있다. VR/AR/MR/ER 기술들은 제품의 개발 과정에서 시간과 비용을 절약하고 제품의 사용자 경험을 개선하여 제품의 만족도를 높이는데 중요한 역할을 하지만, 멀미나 불편감을 일으킬 수 있으며 활용 분야(예: 의료)에 따라 법적 및 윤리적 문제가 있을 수 있다. DHMS는 가상 환경에 디지털 인간 모델을 삽입하여 작업자의 성능과 안전성을 시뮬레이션 하는 방법으로 작업자의 경험과 감정을 평가할 수 없는 한계가 있지만, VR/AR/MR/ER 기술들을 적용하여 가상 현실 환경에서 제품 사용이나 작업을 체험할 수 있도록 하며 신체적, 정신적 부하를 분석하고 개선할 수 있도록 하여 높은 수준의 안전성과 편의성을 제공하고 제품의 개발 및 생산 비용을 절감할 수 있도록 도와준다(Ahmed et al., 2019; Kačerová et al., 2022). Pöhler and Teuteberg (2022)은 VR/AR/MR/ER 기술들의 사용은 작업 수준에서의 이점을 넘어 부서 및 기업 수준에서 제품의 질 향상, 생산 비용 절감, 정신적/육체적 건강의 중요성에 대한 인식 고양, 신기술에 대한 수용도 제고, 기업 가치의 향상과 같은 연쇄적 효과를 가져올 수 있다고 제시하였다.
VR/AR/MR/ER 기술들을 DHMS와 연계하여 제품 개발이나 인간-로봇 협업(HRC: human-robot collaboration) 시스템의 안전성, 생산성, 정확성을 향상시키는 연구들이 진행되었다. 예를 들어, Wang et al. (2020)은 사용자의 자세나 동작을 감지하기 위해 2개의 카메라 모듈을 사용하여 픽셀의 깊이 정보를 얻는 3차원 depth camera 시스템인 Kinect, LeapMotion, RealSense와 AR glasses, 그리고 DHMS를 활용하여 AR 기반 HRC 조립 작업장의 인간공학적 설계와 평가를 위한 시뮬레이션 시스템을 구축한 방법(Figure 1 참조)을 설명하였다. 그리고 작업 운영 방식(예: 인간과 로봇이 서로 교대로 작업하는 방식과 인간과 로봇이 역할을 나누고 상호 작업에 개입하지 않으며 각자 역할을 수행하는 방식)에 따라 작업자의 근골격계 부하(RULA 사용)와 정신적 부하(NASA TLX 사용)를 줄일 수 있고 작업 효율성을 향상시킬 수 있음을 보였다. Park and Reed (2019)은 가상 환경이나 DHMS를 구현하는 소프트웨어인 ARKit와 Unity 3D를 활용하여 AR 환경에서 실제 차량에 대해 다양한 통계적 인체 형상 모델들을 이용하여 차량 설계의 수용성을 평가하는 방법을 제시하며 VITUS XXL과 같은 인체 스캐너를 사용하여 차량 설계자들이 효율적으로 실제 운전자와 유사한 3D 인체 형상 표면을 생성하고 자세의 다양한 변동성을 평가할 수 있다고 보고하였다. Babicsné-Horváth and Hercegfi (2022)는 관성측정장치(IMU: inertial measurement unit)로 사용자의 자세나 동작을 감지하는 Xsens와 ViveLab Ergo 시뮬레이션 소프트웨어를 사용하여 열처리 작업장을 개선하였다. 그 결과, 작업시간은 9분에서 3분으로 감소되었고 부적절한 작업자세는 ISO 11226(정적작업자세 평가) 기준으로 103개에서 19개로, EN 1005-4(작업자세와 움직임 평가) 기준으로 39개에서 26개로, RULA의 즉시 개선 요구 기준으로 27%에서 4%로 경감되었음을 보고하였다. 마지막으로, Reinhard et al. (2020)은 Figure 2와 같이 인간공학적 DHMS 소프트웨어인 IPS IMMA와 HMD VR을 사용하여 자동차 조립 작업에서 유연한 케이블 체결 작업을 시뮬레이션을 할 때 기술적으로 어려운 사항들을 보고하였다.
DHMS와 연계된 VR/AR/MR/ER 기술들은 점진적으로 성장하는 추세에서 개발된 제품이나 작업장 설계에 대해서는 물리적 시제품과 실제 사용자를 활용하여 검증과 평가를 거칠 필요가 있다. DHMS와 연계하여 VR/AR/MR/ER 기술을 활용한 분석 및 평가 결과의 신뢰성은 가상 환경, 가상 물체, 디지털 인체 모델, 시뮬레이션 방법 등의 충실도(fidelity)와 사용자 동작 측정의 정확성 등에 따라 달라지게 된다. VR/AR/MR/ER 기술들이 현실과 동일한 사용자 경험을 주기 위해서는 아직도 많은 기술적 발전이 필요한 상태이며, 최적 설계를 효율적으로 탐색하는 수단으로 활용되기 위해서는 물리적 시제품과 사용자를 활용하여 파악된 제품 및 작업장 설계안을 검증할 필요가 있다.
3.2 Digital Twin Based DHMS Study
Digital Twin 기술 기반 DHMS 연구는 인간-로봇 협업(HRC: human-robot collaboration) 시스템에서 유연성, 생산성, 안전성 등을 향상시키기 위해 개발되어 왔다. Digital Twin 기술은 실제 공간에서 존재하는 물리적 물체를 가상 공간에 디지털 모델로 표현하고, 물리적 물체와 가상 물체 간의 데이터 및 정보를 연결하여 물리적 물체의 상태를 모니터링하고 시뮬레이션하며 시뮬레이션 결과를 바탕으로 시스템을 최적으로 운영할 수 있도록 한다(Ippolito et al., 2020; Maruyama et al., 2021). 자동화된 시스템에서 로봇의 능력 한계로 인해 복잡하고 변동성이 큰 작업은 인간에 의해 수행되는 방안이 유효성이 높아 인간과 로봇이 협업하는 HRC 시스템이 운영된다(Dimitropoulos et al., 2021; Lv et al., 2021). HRC 시스템에서 인간 친화적 로봇인 cobot (collaborative robot)은 핵심 구성요소이며 고도의 안전 기술이 적용되어 인간의 유연성과 기계의 효율성 및 반복성 사이에 최적의 자동화 수준을 유지하도록 한다(Malik and Bilberg, 2018; Figure 3 참조). Digital Twin 기술과 DHMS 기술을 HRC 시스템에 사용하는 것은 여러 가지 이점을 제공할 수 있다. 예를 들어, 로봇이 실제 작업 환경에 배치되기 전에 인간공학적 평가를 수행하여 작업장의 부상 발생을 예방하고 작업자의 안전성을 향상시킬 수 있다. 또한, Digital Twin 기술은 로봇의 설계와 성능을 최적화시킬 수 있고 가상 환경에서 다양한 시나리오 시뮬레이션과 시뮬레이션 결과를 기반으로 실시간으로 로봇을 제어할 수 있어 시스템의 효율성과 유연성을 향상시킬 수 있다(Maruyama et al., 2021). HRC 시스템에서 Digital Twin 기술은 DHMS과 연동하여 시스템의 물리적 측면과 함께 인간의 행동과 의도를 모델링하고 인간-로봇 상호작용(HRI: human-robot interaction)을 멀티모달 및 실시간적으로 모니터링하여 로봇이 인간의 동작을 이해하고 인간공학적인 문제를 검토하며 인간과 로봇간의 협력관계를 시각화하고 지능형 알고리즘을 적용하여 HRC 시스템의 안전성, 생산성, 정확성 등을 향상시킨다(Malik and Bilberg, 2018).
DHMS을 활용한 Digital Twin 기술 기반 HRC 시스템의 유연성, 안전성, 생산성, 정확성 등을 향상시킨 연구들이 진행되었다. Maruyama et al. (2021)은 조립 생산라인에서 작업자와 로봇이 협업 시 RGB 카메라를 이용하여 작업자의 형상과 유사하고 피부 표면 형상 변형이 가능하며 48 자유도의 링크 구조를 가진 디지털 휴먼 모델을 생성하였다. 그리고 marker 기반 광학식 동작 캡쳐 시스템과 역동역학(inverse dynamics)을 활용하여 작업시간과 관절의 토크를 추정하여(Figure 4 참조) 신체적 부하가 높은 작업을 로봇에게 할당시키는 동적 작업 스케쥴링을 통해 작업시간 추정 오류를 29%에서 5%로 줄이고 작업시간을 12% 단축시켰으며 근골격계질환 위험을 저감시키는 작업장으로 개선할 수 있었다는 결과를 보고하였다. 한편, Lv et al. (2021)은 조립작업 모델링, 인간과 로봇간 능력 평가, 작업순서 생성, 조립작업 할당, 동작경로 계획 모듈로 HRC 시스템을 구성하고 D-DDPG (deep deterministic policy gradient) 지능형 알고리즘을 적용하여 HRC 시스템 운영(작업순서, 로봇 움직임 경로)을 최적화함으로써 조립시간을 49.9% 단축하고, 인간과 로봇의 충돌율을 5.1%에서 0.5%로 감소시키며, 조립 정확성을 68.8% 향상시키는 결과를 보고하였다.
HRC 시스템에서 Digital Twin 기술을 구현하는데 비용, 설치, 측정 정확성, 데이터 통합성, 그리고 보안성 측면에서 제한과 어려움이 있다. 광학식 모션 캡처 시스템은 비용이 많이 소요되고 설치가 어려우며 실제 작업 환경에서 작업자의 동작과 로봇과의 상호작용을 작업 환경에서 각종 잡음이나 조명 변화 등으로 인해 정확하게 캡처하는데 한계가 있다. 또한, HRC 시스템의 다양한 구성요소들을 측정하고 무선 통신을 통해 원활하게 통합하는데 통신 지연으로 인한 동기화와 데이터 통합의 제약으로 인해 기술적 어려움이 있을 수 있다. 마지막으로, Digital Twin 기술을 이용하여 HRC 시스템을 시뮬레이션 할 때 데이터 개인 정보 보호 및 보안에 대한 우려가 있을 수 있다(Maruyama et al., 2021).
3.3 ML/AI Based DHMS Study
인간 행동을 모니터링, 모델링 및 예측을 통한 인간공학적 작업장 설계나 신체적 위험 노출 평가를 위해 측정 시스템과 연동하여 ML/AI 기술이 활용되고 있다. Lee et al. (2021)은 ML/AI 기술들이 제조산업에서 인간의 신체적 특성과 작업 환경을 고려한 자동화된 작업장 설계 및 개선, 작업자의 신체적 부담을 감소시키기 위한 개인 맞춤형 교육 및 훈련, 그리고 작업자의 건강 상태와 역량을 모니터링하고 예측하여 조기에 대응하는 건강 관리 시스템 구축에 적용되고 있다고 보고하였다. Bassani et al. (2021)은 Figure 5와 같이 수동자재취급(MMH: manual material handling) 작업에 대해 17개의 관성측정장치(IMU)와 16채널의 상지 표면 근전도(sEMG)를 사용하여 운동학적 데이터와 근활성도 정보를 수집하고, 이를 기반으로 생체역학분석, 인간공학적 위험 평가, 관절토크/하중 추정 및 인간활동인식(HAR: human activity recognition)을 위한 ML 알고리즘을 개발하였다. Igelmo et al. (2020)은 동작측정시스템을 통한 객관적 측정 정보와 OWAS (Ovako Working Posture Assessment System)와 같은 인간공학 전문가들에 의한 주관적 평가 정보를 CNN 혹은 RNN과 같은 AI 기법을 활용하여 정확하고 효율적인 자세 평가가 수행될 수 있음을 입증하였다. Latorre-Sánchez et al. (2020)은 AI를 사용하여 기후 선호도, 체형, 열 응답을 종합한 열유형(thermotype)과 적외선 카메라에서 얻은 열적 레이어(thermal layer)를 매핑한 열아바타(thermal avatar)를 통합하여 열적 편안함 선호도(thermal comfort preference)를 예측할 수 있는 DHMS를 개발하여 개인 맞춤형 지능형 자동 조절 열 시스템 설계에 활용될 수 있음을 제시하였다. Petrovic et al. (2022)는 HRC 평가를 위해 4개의 카메라를 사용하여 얻은 비디오 정보를 VIBE 딥러닝 기법을 사용하여 인간의 3차원 자세 정보를 추출하는 사례를 제시하였다. Kasani and Sajedi (2022)는 전신이 여러 동작을 취한 사진들에 대해 OpenPose 모델을 사용하여 관절 각도를 추출한 데이터를 구축하고, 일부 지체가 가려진 동작 이미지에 CNN 기법을 적용하여 관절 각도를 추정한 결과의 추정 정확성이 RMSE (root mean square error) 12.9와 MAE (mean absolute error) 4.7임을 보고하였으며, Kocabas et al. (2020)은 ML 기술을 video에 적용하여 3D pose를 추정하는 결과를 보고하였다. Muller et al. (2019)은 MMH 작업에서 회전방향 측면에서 동변측(ipsilateral) 발과 대변측(contralateral) 발의 위치와 각도 정보에 대해 k-NN (k-nearest neighbors) 알고리즘을 적용한 결과 4가지 유형(전방, 대변측 발 뒤, 동변측 발 뒤, 평행)의 발 위치 전략을 97%의 정확도로 분류할 수 있음을 보고하였다. Dimitropoulos et al. (2021)은 HRC에서 3개의 모듈(실행 작업 식별, 인간공학적 개선, 학습 및 프로그래밍)로 구성된 AI 기반 시스템을 활용하여 작업을 인간공학적으로 평가하고, 휴리스틱 기반 탐색 알고리즘을 사용하여 로봇 포즈를 조정하여 작업시간을 6% 감소하고 RULA 점수를 2점 이하(안전 수준)와 만족도를 평균 이상으로 개선 시킨 사례를 보고하였다. Lee et al. (2021)은 ML/AI 기술을 적용 시 작업자의 신체적 특성과 작업 환경의 다양성으로 인해 데이터 수집 및 분석이 어려움, ML/AI 모델의 설명력 부족으로 인해 모델의 신뢰성 저하, 그리고 ML/AI 모델의 예측 결과를 실제 작업 환경에 적용하기 위해 추가적인 검증 및 평가가 필요한 점 등을 도전 과제로 언급하였다.
본 연구는 DHMS 기술이 4차 산업시대의 기술들인 VR/AR/MR/ER, Digital Twin, ML/AI과 연계되어 진행된 연구들을 조사하여 연구개발 내용과 한계를 파악하였다. 첫째, VR/AR/MR/ER 기반 DHMS 연구는 인간-제품-환경 상호작용을 분석하여 제품 설계를 시각화하고 제품 사용을 시뮬레이션하는 방법을 통해 제품 설계를 평가하고 제품의 사용자 경험을 개선하는 노력을 기울이고 있다(Ahmed et al., 2019; Evangelista et al., 2023; Geiger et al., 2020; Kačerová et al., 2022; Pöhler and Teuteberg, 2022; Venkatesan et al., 2021; Xing et al., 2021). VR은 사용자의 몰입감을 높이지만 현실 세계와의 상호작용이 제한될 수 있고(Babicsné-Horváth and Hercegfi, 2022; Reinhard et al., 2020; Xing et al., 2021), AR은 현실 세계에 가상 정보를 추가하여 상호작용이 가능하지만 시야각이 제한되어 몰입감을 저하시킬 수 있으며(Park and Kim, 2021; Evangelista et al., 2023), MR은 가상 공간과 실제 세계를 융합하여 사실감과 몰입감을 극대화할 수 있다(Paravizo and Braatz, 2019). 이러한 VR/AR/MR/ER 기술들은 제품 개발 과정, 사용자 경험, 조직 문화의 신기술 수용도 향상에 중요한 역할을 하지만(Ahmed et al., 2019; Kačerová et al., 2022; Pöhler and Teuteberg, 2022), 일부 사용자에게 멀미나 불편감을 일으키거나 의료 분야에서 활용 시 법적, 윤리적 문제가 있을 수 있다. 둘째, Digital Twin 기반 DHMS 연구는 인간-로봇 협업 시스템의 유연성, 생산성, 안전성 등을 향상시키기 위해 작업자와 작업 대상을 가상 공간에 디지털 모델로 표현하며 물리적 물체와 가상 물체 간의 데이터 및 정보를 연결하고 물리적 상태를 모니터링하며 가상 공간에서 시뮬레이션함으로써 작업자의 안정성과 인간-로봇 협력 관계를 개선하려고 한다(Dimitropoulos et al., 2021; Ippolito et al., 2020; Lv et al, 2021; Malik and Bilberg, 2018; Maruyama et al., 2021). 그러나 Digital Twin 기술의 구현에는 구축 비용, 설치, 측정 정확성, 데이터 통합성, 보안 측면에서 제한과 어려움이 존재한다(Maruyama et al., 2021). 마지막으로, ML/AI 기반 DHMS 연구는 ML/AI 기술을 활용하여 인간 행동을 모델링, 모니터링, 예측하는 시스템을 개발하여 인간공학적 작업장 설계, 신체적 부담을 감소시키기 위한 개인 맞춤형 교육 훈련, 작업자의 건강 상태와 역량을 모니터링하고 예측하여 조기에 대응하는 체제를 구축하고자 하였다(Bassani et al., 2021; Dimitropoulos et al., 2021; Igelmo et al., 2020; Latorre-Sánchez et al., 2020; Lee et al., 2021). ML/AI는 운동학적 데이터와 근활성도 정보를 분석하여 생체역학분석, 근골격계 질환 위험 평가, 관절토크/하중 추정, 인간활동인식 등을 수행할 수 있으나, 데이터 수집 및 분석 시 시간과 비용이 많이 소요되며, 모델의 설명력이 부족하고 일반화에 대한 검증이 필요하다. 이렇게 고도화된 DHMS 연구는 제품 설계 및 개발, 인간-로봇 협업 시스템의 향상, 인간공학적 작업장 설계와 신체적 위험 평가 등 다양한 응용 분야에서 중요한 의의를 갖고 있으나, 각각의 연구 분야에서 연구 결과의 신뢰성과 응용 가능성을 높이기 위해 물리적 시제품과 실제 사용자를 활용한 검증과 데이터 수집, 활용, 보안에 대한 법적/윤리적 검토가 필요하다.
본 연구는 4차 산업기술들 중 VR/AR/MR/ER, Digital Twin, ML/AI 기술들이 DHMS 기술에 직접적으로 접목되어 수행된 연구들에 대해서만 분석을 진행하였다. 이러한 4차 산업기술들이 인간공학적 측면에서 활용(예: 신체적, 정신적, 감성적 부하 평가 및 예측) 될 수 있은 연구들도 많지만, 본 연구에서는 DHMS와 직접적으로 연계된 연구들만 분석 대상으로 포함하였다. 또한, 3D 프린팅, 클라우드, 사물인터넷, 빅데이터 등의 4차 산업기술들이 DHMS 기술에 접목된 연구들은 상대적으로 적어 본 연구의 조사 대상에 포함되지 않았으나, 추후 연구 개발 동향을 고려하여 이러한 기술들이 DHMS에 적용된 연구들을 추가적으로 조사할 필요가 있다.
본 연구조사를 통해 DHMS 기술은 앞으로 하드웨어/소프트웨어 성능 고도화, 사용자 경험 향상, 법적 및 윤리적 가이드라인 수립, 그리고 데이터 수집 및 분석의 효율성과 신뢰성 측면에서 연구가 진행될 필요가 있음을 파악하였다. 첫째, VR/AR/MR/ER과 같은 기술에 활용되는 하드웨어와 소프트웨어의 기술적 제약을 극복하여 보다 실제감을 주는 감각 및 운동 자극을 제공하고 실제 환경과의 상호작용을 향상시키는 기술 개발에 초점을 두어야 한다. 이를 위해 하드웨어와 소프트웨어의 발전, 실시간 데이터 처리 및 네트워킹 기술 개발이 필요하다. 둘째, 사용자가 DHMS를 편리하게 사용하고 효과적으로 상호작용할 수 있는 인터페이스와 컨트롤러 개발이 중요하며 멀미나 불편감을 최소화하고 사용자의 편의성을 고려한 설계와 피드백 시스템을 개발하는 것도 필요하다. 사용자 중심의 연구를 통해 사용자의 요구를 보다 충족하는 DHMS를 구현할 수 있다. 셋째, DHMS의 활용은 개인 정보 보호 및 데이터 사용과 관련된 법적 및 윤리적 문제를 야기할 수 있으므로, 이러한 문제 발생을 해결하기 위한 법적 규제 및 윤리적 가이드라인을 수립하고 보완해야 한다. 이를 통해 사용자의 개인 정보 보호와 관련된 문제를 예방하고 DHMS의 윤리적인 활용을 도모할 수 있다. 마지막으로, 고도화된 DHMS 연구에는 대량의 데이터 수집과 정확한 분석이 필요하므로 데이터 수집 과정을 간소화하고 데이터 분석을 위한 효율적인 알고리즘과 시스템을 개발해야 한다. 또한, 도메인 지식과 알고리즘 선택에 대한 연구를 통해 보다 정확하고 유용한 분석 결과를 얻어 DHMS의 성능과 신뢰성을 향상시켜 제품 및 작업장 설계에 유용하게 활용될 수 있는 시스템을 구축할 수 있다.
References
1. Ahmed, S., Irshad, L., Demirel, H.O. and Tumer, I.Y., A comparison between virtual reality and digital human modeling for proactive ergonomic design. Lecture Notes in Computer Science, 11581, 3-21, 2019.
Google Scholar
2. Akyeampong, J., Nevins, L. and Udoka, S., Using digital human modeling to enhance work visibility for excavator. IIE Annual Conference and Expo, 2013, 1909-1918, 2013.
Google Scholar
3. Alexander, T., Conradi, J. and Neuhöfer, J., Applications and limitations of today's digital human models. Rto-Mp-Msg-107, 1-6, 2013.
4. Allen, B., Curless, B. and Popovic, Z., The space of human body shapes: reconstruction and parameterization from range scans. ACM Transactions on Graphics, 22(3), 587-594, 2003.
Google Scholar
5. Babicsné-Horváth, M. and Hercegfi, K., Ergonomic risk assessment of an industrial workstation applying motion capture system. Human-Automation Interaction. Automation, Collaboration, & E-Services, 12, 383-398, 2022.
Google Scholar
6. Badler, N., Allbeck, J., Zhao, L. and Byun, M., Representing and parameterizing agent behaviors. Proceedings of Computer Animation 2002, 2002.
Google Scholar
7. Bassani, G., Filippeschi, A. and Avizzano, C.A., A dataset of human motion and muscular activities in manual material handling tasks for biomechanical and ergonomic analyses. IEEE Sensors Journal, 21(21), 24731-24739, 2021.
Google Scholar
8. Bogo, F., Romero, J., Loper, M. and Black, M.J., FAUST: Dataset and evaluation for 3D mesh registration, Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 3794-3801, 2014.
Google Scholar
9. Chaffin, D.B., Improving digital human modelling for proactive ergonomics in design. Ergonomics, 48(5), 478-491, 2005.
Google Scholar
10. Chateauroux, E. and Wang, S., Car egress analysis of younger and older drivers for motion simulation. Applied Ergonomics, 42, 169-177, 2010.
Google Scholar
11. Dallel, M., Havard, V., Dupuis, Y. and Baudry, D., Digital twin of an industrial workstation: A novel method of an auto-labeled data generator using virtual reality for human action recognition in the context of human-robot collaboration. Engineering Applications of Artificial Intelligence, 118, 105655, 2023.
Google Scholar
12. De Magistris, G., Micaelli, A., Evrard, P., Andriot, C., Savin, J., Gaudez, C. and Marsot, J., Dynamic control of DHM for ergonomic assessments. International Journal of Industrial Ergonomics, 43, 170-180, 2013.
Google Scholar
13. Dimitropoulos, N., Togias, T., Zacharaki, N., Michalos, G. and Makris, S., Seamless human-robot collaborative assembly using artificial intelligence and wearable devices. Applied Sciences, 11(12), 2021.
Google Scholar
14. Evangelista, A., Manghisi, V.M., Romano, S., De Giglio, V., Cipriani, L. and Uva, A.E., Advanced visualization of ergonomic assessment data through industrial augmented reality. Procedia Computer Science, 217, 1470-1478, 2023.
Google Scholar
15. Geiger, A., Brandenburg, E. and Stark, R., Natural virtual reality user interface to define assembly sequences for digital human models. Applied System Innovation, 3(1), 1-16, 2020.
Google Scholar
16. Högberg, D., Bäckstrand, G., Lämkull, D., De Vin, L.J., Case, K., Örtengren, R., Hanson, L. and Berlin, C., Towards dynamic ergonomics analysis of work sequences in virtual environments. Proceedings of the 17th International Conference on Flexible Automation and Intelligent Manufacturing, 2007.
Google Scholar
17. Igelmo, V., Syberfeldt, A., Högberg, D., Rivera, F. and Luque, E.P., Aiding observational ergonomic evaluation methods using MOCAP systems supported by AI-based posture recognition. Advances in Transdisciplinary Engineering, 11, 419-429, 2020.
Google Scholar
18. Ippolito, D., Constantinescu, C. and Rusu, C.A., Enhancement of human-centered workplace design and optimization with exoskeleton technology. Procedia CIRP, 91, 243-248, 2020.
Google Scholar
19. Ji, X., Hettiarachchige, R.O., Littman, A.L. and Piovesan, D., Using digital human modelling to evaluate the risk of musculoskeletal injury for workers in the healthcare industry. Sensors, 23(5), 2781, 2023.
Google Scholar
20. Jung, K., Park, J., Lee, W., Kang, B., Uem, J., Park, S. and You, H., Development of Quantitative Ergonomic Assessment Method for Helicopter Cockpit Design in a Digital Environment. Journal of the Ergonomics Society of Korea, 29(2), 203-210, 2010.
Google Scholar
21. Kačerová, I., Kubr, J., Hořejší, P. and Kleinová, J., Ergonomic design of a workplace using virtual reality and a motion capture suit. Applied Sciences, 12(4), 2150, 2022.
Google Scholar
22. Kasani, A.A. and Sajedi, H., Predict joint angle of body parts based on sequence pattern recognition. Proceedings of the 2022 16th International Conference on Ubiquitous Information Management and Communication, 1-5, 2022.
Google Scholar
23. Kocabas, M., Athanasiou, N. and Black, M.J., Vibe: Video inference for human body pose and shape estimation. Proceedings of the IEEE Computer Society Conference on Computer Vision and Pattern Recognition, 5252-5262, 2020.
Google Scholar
24. Lämkull, D., Hanson, L. and Ortengren, R., A comparative study of digital human modelling simulation results and their outcomes in reality: A case study within manual assembly of automobiles. International Journal of Industrial Ergonomics, 39, 428-441, 2009.
Google Scholar
25. Lämkull, D. and Zdrodowski, M., The need for faster and more consistent digital human modeling software tools. Advances in Transdisciplinary Engineering, 11, 299-310, 2020.
Google Scholar
26. Latorre-Sánchez, C., Soler, A., Parrilla, E., Ballester, A., Laparra-Hernández, J. and Solaz, J., Digital human updated: Merging the thermal layers with the 3D anthropometric model. Advances in Additive Manufacturing, Modeling Systems and 3D Prototyping: Proceedings of the AHFE 2019 International Conference on Additive Manufacturing, Modeling Systems and 3D Prototyping, 513-524, 2020.
Google Scholar
27. Lee, S., Liu, L., Radwin, R. and Li, J., Machine learning in manufacturing ergonomics: Recent advances, challenges, and opportunities. IEEE Robotics and Automation Letters, 6(3), 5745-5752, 2021.
Google Scholar
28. Loper, M., Mahmood, N., Romero, J., Pons-Moll, G. and Black, M.J., SMPL: A skinned multi-person linear model, ACT Transactions on Graphics, 34(6), 248, 2015.
29. Lv, Q., Zhang, R., Sun, X., Lu, Y. and Bao, J., A digital twin-driven human-robot collaborative assembly approach in the wake of COVID-19. Journal of Manufacturing Systems, 60, 837-851, 2021.
Google Scholar
30. Malik, A.A. and Bilberg, A., Digital twins of human robot collaboration in a production setting. Procedia Manufacturing, 17, 278-285, 2018.
Google Scholar
31. Maruyama, T., Ueshiba, T., Tada, M., Toda, H., Endo, Y., Domae, Y., Nakabo, Y., Mori, T. and Suita, K., Digital twin-driven human robot collaboration using a digital human. Sensors, 21(24), 2021.
Google Scholar
32. Muller, A., Vallée-Marcotte, J., Robert-Lachaine, X., Mecheri, H., Larue, C., Corbeil, P. and Plamondon, A., A machine-learning method for classifying and analyzing foot placement: Application to manual material handling. Journal of Biomechanics, 97, 109410, 2019.
Google Scholar
33. Paravizo, E. and Braatz, D., Employing game engines for ergonomics analysis, design and education. Advances in Intelligent Systems and Computing, 822, 330-338, 2019.
Google Scholar
34. Park, B.K.D. and Reed, M.P., Accommodation assessments for vehicle occupants using augmented reality. Advances in Intelligent Systems and Computing, 822, 3-9, 2019.
Google Scholar
35. Park, B.K.D., Jones, M.L.H., Ebert, S. and Reed, M.P., A parametric modeling of adult body shape in a supported seated posture including effects of age. Ergonomics, 65(6), 795-803, 2021.
Google Scholar
36. Park, S.C. and Kim, J.I., Research development direction of recent VR/AR/MR/XR technology for smart factories. Korea Information Processing Society Review, 28(1), 48-57, 2021.
Google Scholar
37. Peruzzini, M., Carassai, S., Pellicciari, M. and Andrisano, A.O., Human-centred design of ergonomic workstations on interactive digital mock-ups. Lecture Notes in Mechanical Engineering, 1187-1195, 2017.
Google Scholar
38. Petrovic, M., Vukicevic, A.M., Lukic, B. and Jovanovic, K., Assessment of the human-robot collaborative polishing task by using EMG sensors and 3D pose estimation. Mechanisms and Machine Science, 120, 564-570, 2022.
Google Scholar
39. Pishchulin, L., Wuhrer, S., Helten, T., Theobalt, C. and Schiele, B., Building statistical shape space for 3D human modeling. Pattern Recognition, 67, 276-286, 2017.
Google Scholar
40. Pöhler, L. and Teuteberg, F., Unfolding benefits of virtual reality for workplace and process design based on utility effect chains. Pacific Asia Conference on Information Systems, 1-17, 2022.
Google Scholar
41. Reinhard, R., Mardberg, P., Rivera, F.G., Forsberg, T., Berce, Fang, M. and Högberg, D., The use and usage of virtual reality technologies in planning and implementing new workstations. Advances in Transdisciplinary Engineering, 11, 388-397, 2020.
Google Scholar
42. Romero, J., Tzionas, D. and Black, M.J., Embodied hands: Modeling and capturing hands and bodies together. ACM Transactions on Graphics, 36(6), 245, 2017.
Google Scholar
43. Savino, M.M., Battini, D. and Riccio, C., Visual management and artificial intelligence integrated in a new fuzzy-based full body postural assessment. Computers and Industrial Engineering, 111, 596-608, 2017.
Google Scholar
44. Silva, A.G., Mendes Gomes, M.V. and Winkler, I., Virtual reality and digital human modeling for ergonomic assessment in industrial product development: A patent and literature review. Applied Sciences, 12(3), 1084, 2022.
Google Scholar
45. Song, Y.H., Kim, D.J., Chang, S.R., Lee, Y.J. and Min, K.C., Research on Arrangement Design for Sailing Yacht Winch using 3D Human Simulation. Journal of Ocean Engineering and Technology, 31(6), 419-424, 2017.
Google Scholar
46. Venkatesan, M., Mohan, H., Ryan, J.R., Schürch, M., Nolan, G.P., Frakes, D.H. and Coskun, A.F., Virtual and augmented reality for biomedical applications. Cell Reports Medicine, 2(7), 1-13, 2021.
Google Scholar
47. Vyavahare, R.T. and Kallurkar, S.P., Ergonomic evaluation of electric hedge trimmer using digital human modeling. Agricultural Engineering International, 17(4), 100-108, 2015.
Google Scholar
48. Wang, L. and Lau, H.Y., Digital human modeling for physiological factors evaluation in work system design. Digital Human Modeling and Applications in Health, Safety, Ergonomics, and Risk Management. Human Body Modeling and Ergonomics: 4th International Conference, DHM 2013, 134-142, 2013.
Google Scholar
49. Wang, Q., Fan, X., Luo, M., Yin, X. and Zhu, W., Construction of human-robot cooperation assembly simulation system based on augmented reality. Lecture Notes in Computer Science, 12190, 629-642, 2020.
Google Scholar
50. Weistroffer, V., Keith, F., Bisiaux, A., Andriot, C. and Lasnier, A., Using physics-based digital twins and extended reality for the safety and ergonomics evaluation of cobotic workstations. Frontiers in Virtual Reality, 3, 1-18, 2022.
Google Scholar
51. Wolf, A., Miehling, J. and Wartzack, S., Challenges in interaction modelling with digital human models-A systematic literature review of interaction modelling approaches. Ergonomics, 63(11), 1442-1458, 2020.
Google Scholar
52. Xing, Y., Liang, Z., Shell, J., Fahy, C., Guan, K. and Liu, B., Historical data trend analysis in extended reality education field. International Conference on Virtual Rehabilitation, 434-440, 2021.
Google Scholar
53. Ziolek, S.A. and Kruithof, P.C., Human modeling & simulation: a primer for practitioners. Proceedings of the Human Factors and Ergonomics Society Annual Meeting, 44, 2000.
Google Scholar
PIDS App ServiceClick here!
