본문바로가기

Development and Validation of an Automatic Ergonomic Evaluation Program based on Motion Data for Working Posture Load Assessment

Abstract

Objective: This study aims to develop a simultaneous automatic evaluation program for three evaluation tools using motion data of wearable IMU sensors that can be used in the field, and to present various measures for the results of each evaluation tool of the entire work.

Background: Work-related musculoskeletal diseases have been on the rise over the past four years, and improvement based on the results of work posture evaluation is needed to prevent such musculoskeletal diseases. Recently, various automation evaluation methods have been proposed in consideration of the limitations of the existing observation method, but the image processing technology is difficult to apply on-site, and the motion data-based has a limitation using a small number of evaluation tools mainly focused on the upper and lower limbs.

Method: In the research procedure, after designing algorithms for each of the three ergonomic assessment tools, algorithm reliability was verified through analysis of the agreement between the manual evaluation results and automatic evaluation results, and simultaneous automatic evaluation programs were developed. Finally, the results of each assessment tool and evaluation scale were derived and compared by applying motion data of two types of work to the developed program.

Results: Measurement items and criteria of motion data for 3 angles of 5 upper limbs and 3 lower limb postures were derived and based on algorithms for each of the 3 ergonomic assessment tools were designed. As a result of analyzing the degree of agreement between manual evaluation and automatic evaluation, the Kappa coefficient corresponded to a very high degree of agreement in all ergonomic assessment tools. The developed program presented the angles of major body parts according to time for each frame of the entire data, risk levels according to all assessment tools and individual assessment tools, and various evaluation scales such as Max, Min, Mode, Mean, Most posture, and Worst postures for each analyzed data.

Conclusion: As a result of Cohen's Kappa analysis, it is judged that posture evaluation through the program is possible because all assessment tools show very high consistency, and it is possible to derive evaluation results considering the distribution of posture for all tasks by presenting various risk assessment tools. However, the evaluator must manually evaluate the extra score, etc., and there is a limitation in that the analysis was performed using a small number of data. In the future, we will conduct automation and additional analysis.

Application: The results of this study are applicable when selecting a representative working posture and evaluation scale if it is difficult to evaluate using a specific posture due to various postures occurring within one work.



Keywords



Work-related Musculoskeletal Disorders (WMSDs) Postural ergonomic analysis Automatic assessment The assessment scale of continuous work Program development



1. Introduction

작업 관련 근골격계 질환(Work-related Musculoskeletal Disorders, WMSDs)의 원인으로는 정적인 자세, 반복작업, 그리고 부적절한 자세 등으로 알려져 있다(Kim et al., 2010; Lee, 2012). 2017년과 2018년 전체 직업성 질병의 65% 이상을 차지할 정도로 심각하며, 2017년 이후 4년 동안 증가하는 추세를 보이고 있다(KOSHA, 2021). 이와 같은 근골격계 질환을 효과적으로 예방하기 위해서는 작업 관련 근골격계 부담을 정확히 평가하고, 그 평가 결과에 근거하여 작업을 개선하는 것이 필요하다. 일반적인 작업 부담 평가는 실제 작업을 비디오로 촬영하고 작업 자세 중 가장 위험한 자세를 대표 작업 자세로 선별하여 인간공학적 평가 도구를 통해 위험도 평가를 수행하는 관찰법이 주로 사용되고 있다(Karhu et al., 1977; Corlett et al., 1979; Vedder, 1998; Shuvala and Donchin, 2005).

일반적으로 관찰법은 사용하기 쉽고, 다양한 작업들에 적용이 가능하며, 비교적 저렴한 비용으로 많은 작업들을 조사할 수 있지만(Diego-Mas et al., 2014), 실제 작업을 촬영한 영상에서 특정 자세를 전문가 의견으로 선별 및 평가를 진행하는 평가 방식에는 다소 한계점이 있다. 작업자의 위치에 따라 카메라의 시야에서 제대로 보이지 않는 경우가 발생할 수 있으며(Knudson and Morrison, 2002), 전 작업의 자세 중 가장 위험한 자세인 대표 작업 자세와 같은 극단치를 이용한 분석의 경우 전체 작업의 다양한 자세들의 분포 등을 반영하지 못하는 한계가 존재한다(Lee, 2005; Kwak, 2006; Shin and Jeong, 2008; Park et al., 2020). Shin and Jeong (2008)은 정적인 작업에 대해 극단치 분석과 샘플링 분석을 비교한 결과, 극단치 분석이 샘플링 분석보다 과대 평가되는 경향이 있으며, Park et al. (2020)은 평가하는 작업주기가 30초 이상의 경우에는 해당 작업의 작업주기를 30초 미만이 되도록 분할 후 평가하는 것을 권고하였다. 또한, 평가자의 주관적인 요소가 평가 결과에 반영될 수 있어 동일한 작업 자세를 동일한 평가 도구로 분석하더라도 관찰자에 따라 결과값에 차이가 발생할 수 있으며(Kim et al., 2007), RULA (Rapid Upper Limb Assessment)와 REBA (Rapid Entire Body Assessment)의 경우 경험자 그룹의 평가 점수가 비 경험자의 그룹에 비해 상대적으로 높은 경향을 보였다(Im et al., 2011). Noh et al. (2015)에서는 동일한 작업이라도 평가 도구들 간에 다른 결과가 나타날 수도 있다고 하였다.

최근에는 관찰법의 한계를 보안하기 위한 대안으로 영상처리 기술이나 웨어러블 센서 등을 이용한 자동화 분석 방법이 제시되고 있으며(Seo and Lee, 2021), Microsoft Kinect V2나 OpenPose와 같은 영상처리 기술은 주변 환경에 따라 가려진 신체부위의 측정 정확도가 떨어지는 한계점이 있어(Plantard et al., 2017; Xu et al., 2017; Humadi et al., 2021) 복잡한 작업 공간에서 웨어러블 IMU을 이용한 자동화 평가 방식을 권고하였다(Vignais et al., 2013; Peppoloni et al., 2016; Yan et al., 2017). Humadi et al. (2021)는 표준 모션 캡쳐 시스템과 웨어러블 센서, 영상처리 기술(Kinect V2)의 모션 데이터 기반 RULA 점수를 도출하여 비교한 결과, 웨어러블 IMU 결과가 Kinect V2 결과 보다 높은 정확도와 일치도를 보였으며, Huang et al. (2020)에서는 RULA에 대한 전문가 평가 결과와 웨어러블 IMU 기반 자동화 시스템 결과와 비교한 결과, RULA와 REBA 모두에서 IMU 기반의 평가가 높은 정확도(88.3%, 91.7%)를 보였다. 하지만, 두 가지 연구 모두 웨어러블 IMU 센서의 모션 데이터를 이용한 자동화 평가 방법을 제시하였으나, 특정 자세가 주로 발생하는 작업에 대해 분석하여 결과에 대한 일치도와 정확도 검증 위주였으며, 제조업과 같은 산업 분야에서 주로 사용하는 RULA와 REBA와 같은 평가 도구를 이용하여 상지와 제한적인 하지 자세에 대한 평가만을 수행하였다.

이렇듯 기존의 다양한 연구에서 자동화 분석 방법을 제시하였지만, 2차원 기반의 영상 및 사진을 이용한 경우 주변 환경에 따라 측정 정확도가 영향을 받는 한계가 있었으며, 3차원 기반의 모션 데이터를 이용한 경우는 산업 현장에서 주로 사용되는 RULA와 REBA, OWAS (Ovako Working posture Analysis System)와 같은 1~2가지의 평가 도구를 활용해 특정 자세들에 대한 분석을 수행하여 다양한 작업 환경 및 자세가 발생하는 작업에 적용이 어려운 한계점이 존재한다.

이에 본 연구에서는 현장에서 사용이 가능한 웨어러블 IMU 센서의 모션 데이터를 기반 RULA와 REBA, AWBA (Agriculture Whole-Body Assessment) 3가지 인간공학적 평가 도구의 동시 자동 평가 프로그램을 개발하고자 한다.

2. Methods

2.1 Design of a postural evaluation algorithm for each assessment tools

알고리즘 설계 과정은 크게 3단계로 1) 상지 신체부위/하지 자세 도출 및 모션 데이터 수집; 2) 상지/하지 기준 각도 및 판별 기준 설정; 3) 평가 도구 별 위험도 도출로 구성하였다.

첫 번째 단계는 본 연구에서 선정한 3가지 평가 도구의 상지 평가 신체부위 및 기준 각도(Table 1), 하지의 평가 신체부위 및 자세를 도출하였으며, 성인 남성을 대상으로 Xsens Technology사의 모션캡처 장비(Xsens)를 착용 후 상지 5개 부위인 목(Neck), 어깨(Shoulder), 팔꿈치(Elbow), 손목(Wrist), 허리(Back)와 하지의 서서 무릎 굽힘 자세(Squatting), 앉은 자세(Sitting), 무릎 꿇는 자세(Kneeling) 3가지 자세를 측정하였다.

Body parts

Standard angle

Neck

Flexion/Extension

Lateral Flexion

Rotation

Shoulder

Flexion/Extension

Abduction/Adduction

Internal/External Rotation

Elbow

Flexion/Extension

Wrist

Flexion/Extension

Ulnar/Radial

Pronation/Supination

Back

Flexion/Extension

Lateral Flexion

Rotation

Table 1. Standard angles of upper-limb body parts for evaluation

두 번째 단계는 기존 연구와 앞서 수집한 모션 데이터를 이용하여 평가 도구 별 상지의 평가 신체부위와 모션 데이터의 측정 각도와 일치하는 항목을 선별하였으며, 이를 평가 도구 내의 신체부위별 분류 기준을 참고하여 상지 5개 신체부위의 판별 기준을 설정하였다. 하지 자세는 앞서 수집한 모션 데이터를 이용하여 3가지 자세에 따라 유의미한 차이가 있는 IMU 센서의 측정 항목을 선별 후, 판별 기준을 설정하였다.

마지막으로 평가 도구 별 위험도 점수 산출 방식을 적용하여 RULA (Rapid Upper Limb Assessment)와 REBA (Rapid Entire Body Assessment), AWBA (Agriculture Whole-Body Assessment) 각각의 최종 위험도 단계를 도출하였다. RULA와 REBA는 앞서 도출한 기준 각도 및 판별 기준을 이용해 각각의 신체부위에 대한 자세 점수 및 추가 점수를 계산하여 신체부위별 점수를 도출하였으며, 이를 조합하여 Score A, Score B를 최종 계산하였다. Extra Score는 평가 도구 별 점수 기준을 참고하여 설정하였으며, 모션 데이터만을 이용한 자동 평가에 한계가 있기 때문에 기존 연구들과 동일한 방식으로 사전에 입력하는 방식을 적용하여 도출하였다. 최종 위험도 단계는 3가지 점수인 Score A, Score B, Extra Score를 조합하여 최종 산출하였다.

AWBA (Agriculture Whole-Body Assessment)는 앞서 도출한 기준 각도 및 판별 기준을 이용하여 상지 자세 조합과 하지 자세를 각각 도출 후 전신 자세로 조합하여 최종 위험도 단계를 도출하였다. 상지 자세는 허리(Back), 어깨(Shoulder), 팔꿈치(Elbow)의 결과를 조합하여 AULA (Agriculture Upper-Limb Assessment) 상에 존재하는 14가지 자세 조합을 도출하였으며, 하지 자세는 ALLA (Agriculture Lower-Limb Assessment) 상의 Standing, Sitting, Kneeling 자세로 1차 분류 후 추가적인 판별 기준을 적용하여 ALLA 상의 자세를 최종 도출하였다.

2.2 Design of program GUI

알고리즘 기반 자동 인간공학적 평가 프로그램 개발에 앞서 필요 기능과 목적을 설정하였으며, 이를 각 4개 화면으로 구분하여 설계 후 프로그램 GUI의 화면 별로 시안을 설계하였으며, 해당 설계 시안을 기반으로 프로그램 개발을 수행하였다(Figure 1).

첫 번째 화면은 Start Page로 프로그램의 시작과 종료의 기능을 수행하며, 모션 데이터 분석과 프로그램 구동을 위한 기본적인 기능들을 사전에 실행하는 목적으로 설계하였다. 두 번째 화면은 Task information Page로 분석을 하고자 하는 작업과 관련된 정보 및 분석 데이터를 선택하는 기능을 수행하며, 입력한 작업과 관련된 정보는 앞서 도출한 RULA, REBA 평가 알고리즘의 Extra Score 계산에 활용되며, 선택한 데이터로 3가지 평가 도구에 대한 분석을 수행하도록 설계하였다.

세 번째 화면은 Results Page로 이전 화면에서 입력한 작업 정보와 모션 데이터를 기반으로 RULA, REBA, AWBA의 각 Frame의 시간에 따른 시계열 분석 결과를 제시하는 기능을 수행하며, 3가지 평가 도구의 전체적인 결과와 각 평가 도구 별 결과를 제시할 수 있도록 설계하였다. 마지막 화면은 Summary Page로 분석 결과에 대한 요약을 제시하는 기능을 수행하며, 연속적인 작업에 대하여 4가지 대푯값을 제시할 수 있도록 설계하였다.

Figure 1. Design of GUI for the automatic evaluation program

2.3 Validation of evaluation algorithm

자세 평가 알고리즘 신뢰도 검증을 위해 동일한 200개 자세의 모션 데이터를 선정하여 수동 정밀 평가와 자동 평가 결과의 비교를 위하여 확률 일치도(percent of agreement)와 Kappa analysis를 사용하였다. 본 연구에서 확률 일치도란 수동 정밀 평가와 자동 평가 결과가 서로 일치한 횟수를 백분율로 나타낸 것을 의미하며, Kappa analysis의 경우, 본 연구 대상인 자세 평가는 순위 척도이기 때문에 가중 Kappa (Quadratic Weighted kappa)를 사용하여 분석을 수행하였다. Kappa 통계량은 Blackman and Koval (2000)의 분류 방식에 따라 Kappa 계수를 기준으로 0<k≤0.2:일치도 약간 있음(slight); 0.2<k≤0.4:일치도 보통(fair); 0.4<k≤0.6:일치도 좋음(moderate); 0.6<k≤1:일치도 아주 좋음(Substantial to almost perfect)으로 해석하였다. 통계 분석은 SPSS 20 (SPSS Inc, Chicago, Illinois, USA)을 이용하여 분석하였으며, 유의 수준(α)은 0.05로 설정하였다.

선정한 200개 자세는 20대 성인 남성 2명을 대상으로 모션캡처 장비(Xsens)를 착용 후 Figure 2과 같이 연속적인 작업 15개를 실험실 내에서 시뮬레이션을 수행하여 선정하였다. 시뮬레이션에 앞서 피험자들에게 각 단위작업 별 영상을 제공하여 충분히 숙지 시켰으며, 실제 작업 현장과 동일한 수직, 수평거리를 적용하여 진행하였다.

Figure 2. Examples of laboratory simulations for individual agricultural tasks

수동 정밀 평가는 선정한 200개 자세의 모션 데이터의 각 신체부위별 측정 각도와 시뮬레이션 영상을 이용하여 3가지 평가 도구(RULA (Rapid Upper Limb Assessment), REBA (Rapid Entire Body Assessment), AWBA (Agriculture Whole-Body Assessment)) 별 checklist에 기존의 평가 방식인 관찰법을 적용하여 도출한 결과를 의미한다. 신뢰도 확보를 위하여 3가지 평가 도구를 이용해 1년 이상 현장 평가를 수행한 전문가 4인을 대상으로 평가를 수행하였으며, 전문가들 사이의 결과가 다를 경우 토의를 통해 최종 결과를 도출하여 정답인 참값으로 설정하였다. 평가 알고리즘 기반 자동 평가는 선정한 200개 자세의 모션 데이터만을 이용하여 앞서 도출한 평가 도구 별 평가 알고리즘에 적용하여 도출한 결과를 의미한다. 두 평가 방식 모두 Extra Score는 수동으로 적용하였으며, 동일한 자세에 동일한 값을 부여하여 결과를 비교하였다.

2.4 Comparison of assessment tool and evaluation scale of continuous work

연속적인 작업에 대하여 자세 평가 시 전체 작업의 위험도를 반영할 수 있는 대푯값 제시를 위해 2가지 작업 유형의 모션 데이터를 개발한 자동 인간공학적 평가 프로그램에 적용하여 평가 도구 별, 평가 척도 별 결과를 도출 후 비교하였다. 2가지 작업 유형은 동작 범위와 신체부위별 굴곡 및 신전의 변화가 큰 High risk와 변화가 동작 범위와 신체부위별 굴곡 및 신전의 변화가 크지 않은 low risk에 대하여 수행하였으며, 작업 별 Extra score는 유형별로 전 작업에 동일하게 적용하였고 해당 작업을 실제로 수행하는 현장 전문가들의 의견을 참고하여 설정하였다.

High risk의 Force/Load score는 0kg(순간적으로 큰 힘), Coupling score는 Unacceptable, Activity score는 분당 6회 반복, 불안정한 자세로 설정하였으며, Low risk는 Force/Load score는 0kg(간헐적), Coupling score는 Good, Activity score는 분당 3회 반복으로 설정하였다(Table 2).

Extra score

Task type

High risk

Low risk

Force/Load

0kg (shock)

0kg (intermittent)

Coupling

Unacceptable

Good

Activity

Repeated 6×per minute, unstable

Repeated 3×per minute

Table 2. Definitions of extra scores for evaluation of agricultural task

2.5 Apparatus

평가 알고리즘 설계 및 모션 데이터 기반 프로그램 개발을 위하여 인체의 움직임을 기록하는 IMU (Inertia Measure Unit) 기반의 센서인 MVN Awinda (Xsens Technology B.V., Netherlands)를 사용하였으며, 전신의 총 17개 부위에 센서를 부착하였으며, sampling rate는 60Hz로 data를 수집하였다. 해당 장비는 자기장에 대한 면역이 우수하여 다른 센서들에 비해 오류가 적고, 표준 모션 캡쳐 시스템과 높은 일치도를 보인다고 평가되었다(Schepers et al., 2018; Humadi et al., 2021).

자동 인간공학적 평가 프로그램 개발은 플랫폼이 독립적이고 다른 언어에 비해 높은 안정성으로 인하여 다양한 분야에서 널리 사용되고 있는 Java를 이용하였으며(Arnold et al., 2005), Java 기반으로 코딩, 디버그, 컴파일, 배포 등 프로그램 개발에 관련된 모든 작업을 하나의 프로그램 안에서 처리하는 환경을 제공하는 통합 개발 환경(IDE)인 Eclipse로 프로그램 개발을 수행하였다.

3. Results

3.1 Postural evaluation algorithm

3.1.1 Selection of standard angles for each upper-limb body part

기존 연구와 신체부위별로 측정한 모션 데이터를 참고하여 3가지 인간공학적 평가 도구 평가 시 필요한 5개 신체부위와 3종류의 각도에 대한 모션 데이터의 기준 항목을 도출하였다(Table 3) (Plantard et al., 2017; Xsens Technologies, 2019).

Ergonomics assessment tool

Motion data

Body parts

Standard angle

Measurement

Angle

Neck

Flexion/Extension

C1 Head

Flexion/Extension

Lateral Flexion

Lateral Bending

Rotation

Axial Rotation

Back

Flexion/Extension

Vertical_T8

Flexion/ Extension

Lateral Flexion

Lateral Bending

Rotation

Axial Rotation

Shoulder

Flexion/Extension

T8_UpperArm

Flexion/Extension

Abduction/Adduction

Lateral Bending

Internal/External Rotation

Axial Rotation

Elbow

Flexion/Extension

Elbow

Flexion/Extension

Wrist

Flexion/Extension

Wrist

Flexion/Extension

Ulnar/Radial

Ulnar/Radial

Pronation/Supination

Pronation/Supination

Table 3. Standard angles of motion data standard angle for each upper-limb body part

목(Neck) 부위 평가 시, 모션 데이터의 평가 항목은 C1 Head 항목의 Flexion/Extension(+/-), Lateral Bending(+/-), Axial Rotation(+/-)의 3가지 각도를 각각 목 굴곡/신전(Neck Flexion/Extension), 목 좌우 굴곡(Neck Lateral Flexion), 그리고 목 회전(Neck Rotation)으로 설정하였다.

어깨(Shoulder) 부위 평가 시, 모션 데이터의 평가 항목은 T8_UpperArm 항목의 Flexion/Extension(+/-), Lateral Bending(+/-), Axial Rotation(+/-)의 3가지 각도를 각각 어깨 굴곡/신전(Shoulder Flexion/Extension), 어깨 외전/내전(Shoulder Abduction/Adduction), 그리고 어깨 내회전/외회전(Shoulder Internal/External Rotation)으로 설정하였으며, 각도 별 좌우 중 절대값이 큰 값을 사용하였다.

팔꿈치(Elbow) 부위 평가 시, 모션 데이터의 평가 항목은 Elbow 항목의 Flexion/Extension(+/-) 각도를 팔꿈치 굴곡/신전(Elbow Flexion /Extension)으로 설정하였으며, 각도 별 좌우 중 절대값이 큰 값을 사용하였다.

손목(Wrist) 부위 평가 시, 모션 데이터의 평가 항목은 Wrist 항목의 Flexion/Extension(+/-), Ulnar/Radial Deviation(+/-), Pronation/ Supination(+/-) 3가지 각도를 각각 손목 굴곡/신전(Wrist Flexion/Extension), 손목 Ulnar/Radial Deviation, 손목 회전(Wrist Pronation/ Supination)으로 설정하였으며, 각도 별 좌우 중 절대값이 큰 값을 사용하였다.

허리(Back) 부위 평가 시, 모션 데이터의 평가 항목은 Vertical_T8 항목의 Flexion/Extension(+/-), Lateral Bending(+/-), Axial Rotation(+/-) 3가지 각도를 각각 허리 굴곡/신전(Back Flexion/Extension), 허리 좌우 굴곡(Back Lateral Flexion), 허리 회전(Back Rotation)으로 설정하였다.

3.1.2 Selection of standard angles and positions for the lower-limb postures

3가지 인간공학적 평가 도구 평가 시 판별이 필요한 Squatting, Sitting, Kneeling과 같은 3가지 하지 자세를 측정한 모션 데이터를 참고하여 자세 별 기준 각도 및 위치 값에 대한 항목과 판별 기준을 Figure 3과 같이 3단계로 구성하였다.

1단계: Kneeling과 Squatting/Siting과의 판별을 위해서, 종아리와 발등 사이의 높이(Lower leg-Toe height)를 기준으로 10cm 미만일 경우 Kneeling 자세로 판별하였으며, 10cm 이상일 때는 Squatting/Sitting 자세로 1차 판별하였다.

2단계: 다음으로 Squatting과 Sitting의 판별을 위해서, 발등과 골반 사이의 거리(Toe-Pelvis length)를 기준으로 30cm 미만일 경우 Squatting 자세로 판별하였으며, 30cm 이상일 때는 Sitting 자세로 2차 판별하였다.

3단계: Squatting의 세부 자세 판별은 Knee 항목의 Flexion/Extension(+/-)을 적용하여 도출하였다.

Figure 3. The procedure for classifying the lower-limb posture

3.1.3 Algorithm of the assessment tools

RULA (Rapid Upper Limb Assessment) & REBA (Rapid Entire Body Assessment)

RULA와 REBA의 자세 평가 알고리즘의 구조는 3단계로, 1) 신체부위별 점수 도출; 2) Score A, Score B, Extra Score 산출; 3) 최종 점수 도출로 구성 되어있다.

첫 번째 단계인 신체부위별 점수 도출을 위해 앞서 선정한 신체부위별 기준 각도의 Flexion/Extension 항목에 RULA와 REBA의 하지 자세 별 판별 기준을 적용하여 신체부위별 자세 점수를 각각 도출하였다(McAtamney and Corlett, 1993; Hignett and McAtamney, 2000). 추가 점수는 Axial Rotation, Lateral Bending 항목에 기존 연구와 동일하게 범위를 적용하여 각도 항목 별로 20° 초과할 경우 RULA와 REBA는 각 +1점을 추가하였으며, 20° 이하일 경우에는 0점을 적용하였다(Plantard et al., 2017). 신체부위별로 자세 점수와 추가 점수를 합하여 각 신체부위별 최종 점수를 도출하였으며(Table 4, 5), 손목(Wrist), 어깨(Shoulder), 팔꿈치(Elbow)의 좌측과 우측 평가 결과가 다를 경우 더 높은 위험도를 적용하였다(Park et al., 2006).

두 번째 단계인 Score A, Score B, Extra Score 도출은 RULA와 REBA 모두 동일한 방식으로 각 평가 도구 별 Score의 신체부위별 점수를 이용하여 도출하였으며, Extra Score는 사전에 입력된 조건에 따라 점수를 도출하였다. 마지막 단계인 최종 점수 도출도 동일한 방식으로 Score A와 Score B에 해당하는 Extra Score를 합산 후 최종 위험도 점수를 계산하고 이를 기반으로 최종 자세 위험도 단계를 도출하였다.

Body parts

Standard angle

Range

Score

Neck

C1 Head

Flexion/ Extension

Apply checklist criteria

Lateral Bending

>20°

+1

Axial Rotation

>20°

+1

Back

Vertical_T8

Flexion/ Extension

Apply checklist criteria (Squatting)

Lateral Bending

>20°

+1

Axial Rotation

>20°

+1

Shoulder

T8_UpperArm

Flexion/ Extension

Apply checklist criteria

Lateral Bending

>20°

+1

Axial Rotation

>20°

+1

Elbow

Elbow

Flexion/ Extension

Apply checklist criteria

Wrist

Wrist

Flexion/ Extension

Apply checklist criteria

Ulnar/ Radial

Apply checklist criteria

Wrist rotation

Pronation/ Supination

>20°

+1

Leg

Knee

|Left-Right Knee Flexion/Extension|

>30°

1

<30°

2

Table 4. Guidelines of risk assessments for body parts in RULA

Body parts

Standard angle

Range

Score

Neck

C1 Head

Flexion/ Extension

Apply checklist criteria

Lateral Bending

>20°

+1

Axial Rotation

>20°

Back

Vertical_T8

Flexion/ Extension

Apply checklist criteria

Lateral Bending

>20°

+1

Axial Rotation

>20°

Shoulder

T8_UpperArm

Flexion/ Extension

Apply checklist criteria

Lateral Bending

>20°

+1

Axial Rotation

>20°

Elbow

Elbow

Flexion/ Extension

Apply checklist criteria

Wrist

Wrist

Flexion/ Extension

Apply checklist criteria

Ulnar/ Radial

>20°

+1

Pronation/ Supination

>20°°

Leg

Knee

|Left-Right Knee Flexion/Extension|

>30°

1

<30°

2

(Left+Right Knee Flexion/Extension)/2

Apply checklist criteria

Table 5. Guidelines of risk assessments for body parts in REBA

AWBA (Agriculture Whole-Body Assessment)

AWBA 평가 알고리즘은 크게 3단계로, 1) 상지자세 평가; 2) 하지자세 평가; 3) 전신자세 및 위험도 평가로 구성되어 있다.

첫 번째 단계인 상지 자세 평가를 위해서는 앞서 각 신체부위별 기준 각도에 따른 범위를 기존 연구와 AWBA guideline (Kong et al., 2020, Table 6)을 참고하여 설정하였으며, 해당 신체부위별 범위에 따라 3가지 신체부위 자세를 도출 후 조합하여 AULA (Agriculture Upper-Limb Assessment)의 14개 자세 조합으로 도출하였다. 자세 조합 중 AULA 상에 없는 자세들은 Back-Shoulder-Elbow의 우선 순위를 부여하여 도출하였다(Kong et al., 2020).

Body parts

Criteria

X < 22.5

22.5 X <67.5

67.5 X <107.5

107.5 X

Back

B0

B45

B90

Shoulder

S0

S45

S90

S125

Elbow

E0

E45

E90

[Note: X = motion data standard angle of body parts]

Table 6. Criteria for guidelines for classifying body parts in AULA

두 번째 단계인 하지 자세 평가는 앞서 도출한 자세 판별 기준을 적용하여 ALLA (Agriculture Lower-Limb Assessment)의 자세를 도출하였으며, Kneeling의 세부 자세는 종아리와 발등 사이의 높이(Lower leg-Toe height)를 기준으로 좌측과 우측 모두 10cm 미만일 경우 KNL_2, 한쪽만 10cm 미만일 경우 KNL_1으로 판별하였으며, Sitting의 세부 자세는 골반 높이(Pelvis height)를 기준으로 30~50cm인 경우 SC40, 10~30cm인 경우 SC20, 10cm 미만일 경우 SC0, SF_CRS로 판별하였다(Figure 4) (Kong et al., 2018).

Figure 4. Criteria for guidelines for classifying body parts in ALLA

마지막 단계의 전신 자세 및 위험도 평가는 앞서 도출된 AULA, ALLA 자세의 조합을 통해 도출하였으며, 이를 AWBA checklist와 동일한 방식을 적용하여 최종 위험도 단계를 도출하였다(Kong et al., 2018).

3.2 Structure of the automatic program

자동 인간공학적 평가 프로그램은 [Start], [Task Information/Data], [Results], [Summary] 등 4개 화면의 설계 시안을 기반으로 프로그램 개발을 수행하였다.

[Start]는 프로그램의 첫 번째 페이지로 시작과 종료의 기능을 제공하며, 분석 결과 저장 위치 인식, 분석을 위한 기본적인 기능들을 구동하는 기능을 수행하며, [Task Information/Data]는 작업 관련 정보를 입력하는 Task information과 분석 데이터를 선택하는 Data type 등 2개 구역으로 구성 되어있다. 첫 번째 구역인 Task information은 4가지 정보를 입력하는 영역으로 나누어 구현하였으며, 그 중 3가지 영역은(Figure 5 b, c, d) RULA와 REBA의 Extra score 계산에 활용되며, 분석하는 작업의 각 영역 별 선택한 결과를 반영하여 해당 점수를 도출하였다. 두 번째 구역인 Data Type은 분석하고자 하는 모션 데이터를 선택 후 Load 버튼을 클릭 시 선택한 데이터에 대한 분석 결과가 출력되도록 개발하였다(Figure 5).

Figure 5. Program execution: Start Page (left), Task information/Data Page (right)

[Results]는 앞선 화면에서 선택한 데이터에 대한 3가지 인간공학적 평가 도구에 대한 분석 결과를 제시하며, 기능에 따라 Select ergonomic tools, Serial graph, Posture & Risk level, Utility, Body angle 등 5개 영역으로 구성하였다(Figure 6). a. Select ergonomic tools 영역은 평가 결과에 대하여 출력하고자 하는 평가 도구를 선택하는 부분으로, 3가지 인간공학적 평가 도구를 모두 출력하는 Total과 RULA, REBA, AWBA 평가 도구 별로 세부 내용을 출력하는 부분으로 구성하였으며, b. Serial graph 영역은 모션 데이터의 1 Frame (60Hz) 별 위험도 단계를 시계열 그래프가 출력되도록 개발하였다. c. Posture & Risk level 영역은 자세 조합과 위험도 단계가 출력되도록 개발하였으며, a. 영역에서 Total을 선택한 경우 같이 모든 평가 도구에 대한 결과가 출력되며, RULA, REBA를 선택한 경우 Score A, Score B 별 자세 조합과 점수가 출력되며, AWBA를 선택한 경우 AULA, ALLA 자세에 대한 점수가 출력되도록 개발하였다(Figure 7).

Figure 6. Program execution: Results page (Total)
Figure 7. Program execution: Results Page (results of total, RULA, REBA, and AWBA assessments)

[Summary]는 3가지 인간공학적 평가 도구 별 분석 결과에 대하여 전체 요약(Total)과 평가 도구 별(RULA, REBA, AWBA) Page로 구분하였으며, 평가 도구 별 page는 risk level frequency, assessment scale, posture와 같이 3개 영역으로 구성하였다. 전체 요약(Total page)은 전체 데이터에 대하여 평가 도구 별로 위험도 단계 별 비율과 전체 시간 및 시간 가중치를 반영한 평균 위험도에 대해 제시하며, 평균 위험도(Mean risk level)는 위험도 단계*위험도 단계 별 비율의 합으로 계산하였다.

평가 도구 별 page의 a. Risk level frequency graph 영역은 위험도 단계 별 비율에 대하여 막대 그래프로 제시하였으며, b. assessment scale 영역은 전체 작업에 대한 최대(Maximum), 최소(Minimum), 최빈(Mode) 위험도 단계와 각 척도 별로 작업 내에서 발생한 전체 시간(sec), 평균(Mean) 위험도 단계에 대한 결과를 제시하였다. 마지막으로 c. Posture 영역은 전 작업에서 가장 빈번히 발생하는 최빈(Most) 자세 조합과 전 작업에서 가장 높은 위험도의 자세 중 가장 빈번히 발생하는 최악(Worst) 자세 조합 및 각 자세 조합 별로 작업 내에서 발생한 전체 시간(sec)을 제시하였으며, AWBA는 d. Most Posture, e. Worst Posture 클릭 시, 각각 해당하는 자세를 확인할 수 있도록 개발하였다(Figure 8).

Figure 8. Program execution: Summary Page

3.3 Validation of an automatic ergonomic evaluation program

수동 정밀 평가와 자동 인간공학적 평가 프로그램의 평가 결과의 확률 일치도(percent of agreement)는 평가 도구의 종류에 따라서 통계적으로 유의한 차이를 보였다(p<0.05). 수동 정밀 평가와 RULA와 REBA의 자동 인간공학적 평가 프로그램과의 일치도가 98%, AWBA의 일치도는 96%로 나타났다. 또한, Kappa 계수의 경우, 모든 평가 도구에서 아주 높은(Substantial to almost perfect) 일치도에 해당하는 것으로, 각각의 평가 도구 별로 REBA (0.969), RULA (0.966), AWBA (0.929) 순으로 평가되었다(Table 7 and 8).

 

Manual assessment

RULA

REBA

AWBA

1

2

3

4

1

2

3

4

1

2

3

4

Automatic
assessment

1

8

0

0

0

12

0

0

0

16

0

0

0

2

0

15

0

0

1

70

0

0

0

14

0

0

3

0

1

71

2

0

3

91

0

0

0

118

0

4

0

0

1

102

0

0

0

23

0

0

8

44

Total

8

16

72

104

13

73

91

23

16

14

126

44

Table 7. Cohen's kappa analysis between manual and automatic assessment

Checklist

Percent agreement (%)

Kappa value

Strength of agreement

RULA

98.0%

0.966

Almost perfect

REBA

98.0%

0.969

Almost perfect

AWBA

96.0%

0.929

Almost perfect

Table 8. Agreement and Kappa value associated with risk assessment tools

3.4 Compare of the evaluation scale of continuous work

연속적인 작업에 대하여 자세 평가 시 적절한 대푯값 제시를 위해 본 연구에서 개발한 자동 인간공학적 평가 프로그램을 이용하여 2가지 작업 유형에 대한 분석한 결과, 프로그램의 Summary page에서 제공하는 평가 도구 별 위험도 평가 척도에 대한 결과는 Table 9와 같이 나타났다.

High risk의 경우 모든 평가 도구에서 최소 위험도를 제외한 평가 척도들이 비슷한 경향을 보였으며, 작업 자세 평가 시 주로 사용되는 대표 작업 자세와 동일한 최대 위험도와 전 작업에서 가장 빈번하게 발생한 최빈 위험도는 모두 4단계로 나타났다. 전 작업에 대한 평균 위험도는 RULA(3.8단계), AWBA(3.5단계), REBA(3.3단계) 순으로 높은 경향을 보였다.

Low risk의 경우 모든 평가 도구에서 최소 위험도를 제외한 평가 척도들이 다른 경향을 보였으며, 최대 위험도와 평균 위험도는 RULA (최대 4단계, 평균 2.5단계), AWBA(최대 3단계, 평균 2.0단계), REBA(최대 2단계, 평균 1.0단계) 순으로 높은 경향을 보였다. 평가 도구 별 최대 위험도와 최빈 위험도는 비슷한 경향을 보였지만, 평균 위험도가 최대 위험도보다 약 39% 낮은 위험도 단계가 나타났다. 최빈 위험도는 RULA 3단계로 가장 높았으며, REBA와 AWBA는 2단계로 나타났다.

Scale

High risk

Low risk

RULA

REBA

AWBA

RULA

REBA

AWBA

Max

4.0

4.0

4.0

3.0

2.0

3.0

Min

3.0

2.0

1.0

1.0

0.0

1.0

Mode

4.0

4.0

4.0

3.0

1.0

2.0

Mean

3.8

3.3

3.5

2.5

1.0

2.0

Table 9. Evaluation scale results for each assessment tool (high risk (left), low risk (right))
4. Discussion

본 연구는 웨어러블 IMU 센서의 모션 데이터 기반으로, 기존에 사용되고 있는 3가지 인간공학적 평가 도구의 동시 자동 평가 프로그램 개발을 하고, 연속적인 작업에 대하여 평가 도구 별 다양한 평가 결과에 대한 척도를 제시하고자 수행되었다.

3가지 인간공학적 평가 도구(RULA (Rapid Upper Limb Assessment), REBA (Rapid Entire Body Assessment), AWBA (Agriculture Whole-Body Assessment))의 checklist sheet와 기존 연구를 참고하여 상지 신체부위와 하지 자세를 선정하였으며(McAtamney and Corlett, 1993; Hignett and McAtamney, 2000; Kong et al., 2018), 상지 5개 신체부위의 3종류 각도와 하지 3가지 자세 판별을 위한 모션 데이터의 측정 항목과 분류 기준을 도출하였다(Plantard et al., 2017; Xsens Technologies, 2019; Kong et al., 2020). 도출된 측정 항목과 분류 기준을 이용하여 평가 도구 별 평가 알고리즘을 설계하였으며, 상지, 하지에 대한 전신 자세의 자동화 평가가 가능하였으며, 이는 기존 관찰법과 달리 평가자의 주관적인 요소가 평가 결과에 반영되지 않아 객관적인 결과 도출이 가능하다고 사료된다(Kim et al., 2007; Noh et al., 2015).

200개 자세의 모션 데이터 기반 정밀 수동 평가와 평가 알고리즘의 자동 평가에 대한 일치도 분석 결과, 모든 평가 도구에서 0.9 이상의 높은 일치도로 나타났으며, 기존 모션 데이터 기반 RULA, REBA의 자동화 평가 연구보다 높은 정확도를 보였으며(Golabchi et al., 2015), Kong et al. (2020)에서는 AWBA 자동화 평가 방식에 대한 정확도에 대한 검증을 하지 않았으나, 본 연구에서는 일치도 분석을 통한 검증을 수행하였으며 높은 일치도를 보였다. 이는 주변 환경이나 카메라의 시야에 따라 가려진 신체부위에 대해 자세 평가가 가능하여 관찰법이나 영상처리 기반 자동화 평가 방식 적용이 어려운 복잡한 환경이나 영상 촬영에 제약이 있는 경우에서 사용이 가능하다고 사료된다(Vignais et al., 2013; Peppoloni et al., 2016; Yan et al., 2017).

연속적인 작업의 모션 데이터를 이용하여 3가지 인간공학적 평가 도구의 동시 자동 평가가 가능하였으며, 이는 제조업과 같은 산업 분야에서 주로 사용되는 RULA, REBA를 중점적으로 다룬 기존 연구들(Huang et al., 2020; Humadi et al., 2021)과 달리 앉은 자세, 무릎 꿇은 자세 등 다양한 하지 자세가 발생하는 농업 분야나 작업에는 대한 적용이 가능하며(Kong et al., 2018), 전체 데이터의 각 Frame의 시간에 따른 주요 신체부위의 각도와 모든 평가 도구와 개별 평가 도구에 따른 위험도 수준, 자세 조합을 시계열로 제시하여 잠재적으로 문제가 될 수 있는 신체부위 및 자세를 확인할 수 있었으며, 이는 WMSD 예방을 위한 작업 개선 시 위험 요인 및 작업 자세에 대한 전반적인 이해를 돕고 평가 도구 별 특성을 고려하여 정밀도 높은 평가 결과를 얻을 수 있다고 사료된다(Lee et al., 2003; Shin et al., 2004).

분석한 데이터에 대한 최대(Maximum), 최소(Minimum), 최빈(Mode) 위험도 단계와 각 척도 별로 발생한 전체 시간(sec) 및 평균(Mean) 위험도 단계, 평가 도구 별 최빈(Most), 최악(Worst) 자세 조합과 발생한 전체 시간(sec)을 제시하였다. 이는 전 작업 자세 중 가장 위험한 자세인 대표 작업 자세와 같은 극단치를 이용할 경우 작업에 대한 자세의 분포 등을 반영하지 못할 수 있는 관찰법과 달리(Shin and Jeong, 2008) 전 작업의 자세 분포를 고려한 평가 결과 도출이 가능하며, 한 작업 내에 다양한 자세가 발생하여 특정 자세를 이용하여 평가가 어려운 경우 대표 작업 자세 및 평가 척도 선정 시에 활용이 가능하다고 사료된다.

동작 범위와 신체 굴곡/신전의 변화가 큰 작업인 high risk와 동작 범위와 신체 굴곡/신전의 변화가 적은 작업인 low risk의 모션 데이터를 이용하여 평가 도구 별, 평가 척도 별 도출한 결과, 작업 유형에 따라 평가 도구와 평가 척도 별 차이가 있었으며, high risk는 모든 평가 도구에서 최소 위험도를 제외한 평가 척도들이 비슷한 경향을 보였으며, 평균 위험도의 경우 RULA(3.8단계), AWBA(3.5단계), REBA(3.3단계) 순으로 높은 경향을 보였다. Low risk는 모든 평가 도구에서 최소 위험도를 제외한 평가 척도들이 다른 경향을 보였으며, 평균 위험도는 최대 위험도 보다 약 39% 낮은 경향을 보였으며, 최빈 위험도는 RULA, AWBA에서 최대 위험도 보다 1단계 낮은 경향을 보였다. 이는 전 작업 중 특정 자세를 선별하여 평가하는 방식이 전체 작업의 위험도를 반영하지 못할 수 있으며(Park et al., 2020), 작업 자세 평가 시에는 작업 유형을 고려한 평가 척도와 인간공학적 평가 도구 선정이 필요하다고 사료된다.

다만, RULA, REBA의 Extra score와 팔 지지 여부, 허리 지지 여부와 같은 추가 점수 등을 평가자가 수동으로 평가해야 하며, 위험도별로 총 발생 시간에 대한 결과만을 제시했다는 점과 적은 수의 20대 남성만을 대상으로 모션 데이터를 측정하여 평가 알고리즘에 대한 검증을 수행하였다는 한계점을 지난다. 향후에는 이러한 한계점을 보안하여 모션 데이터를 이용해 평가가 가능한 Extra score의 Activity score와 Force score에 대하여 자동화 평가 방식을 적용 방안을 도출하고 위험도 별 지속 시간에 관련된 다양한 결과를 제시할 예정이며, 다양한 성별과 연령에 대한 검증과 인간공학 전문가를 대상으로 기존 평가 방식인 대표 작업 자세 평가 결과를 도출하여 본 연구의 결과와 비교하고 작업 유형 별 추가적인 데이터를 분석하여 작업 유형별, 평가 도구 별 적절한 평가 척도를 도출하는 연구를 진행하고자 한다.

5. Conclusion

본 연구에서는 웨어러블 IMU 센서의 모션 데이터 기반 3가지 인간공학적 평가 도구 별 평가 알고리즘을 설계하여 자동 인간공학적 평가 프로그램을 개발하였으며, 연속적인 작업의 2가지 작업 유형에 대해 평가 도구 및 평가 척도 별 비교를 수행하였다.

자동 인간공학적 평가 프로그램과 수동 정밀 평가 분석 결과, 모든 인간공학적 평가 도구에서 높은 일치도를 보여 수동 평가 방식의 한계점인 평가자의 주관적인 요소에 의한 오류를 최소화할 수 있으며, 복수의 평가 도구에 대한 동시 평가 및 결과 도출이 가능하여 평가 도구 별 특성을 활용한 정밀도 높은 평가 결과를 얻을 수 있다. 또한, 다양한 종류의 자세 위험도 평가 척도 결과를 제시하여 분석하는 작업 유형을 고려하여 전 작업을 대표할 수 있는 평가 척도를 통한 평가가 가능하며, 전 작업에 대하여 평가 도구 별 최빈 자세나 최악 자세를 이용하여 작업 자세 개선이 가능하다고 판단된다.

본 연구는 작업 환경의 제약이 있어 관찰법 사용하기 어려운 환경이나 한 작업 내에 다양한 작업 자세가 발생하여 특정 자세로만 평가하기 어려운 연속적인 작업 평가 시 활용할 수 있다.



References


1. Arnold, K., Gosling, J. and Holmes, D., The Java programming language. Addison Wesley Professional. 2005.
Google Scholar 

2. Blackman, N.J.M. and Koval, J.J., Interval estimation for Cohen's kappa as a measure of agreement. Statistics in Medicine, 19(5), 723-741, 2000.
Google Scholar 

3. Corlett, E.N., Madeley, S.J. and Manenica, I., Posture targeting: a technique for recording working postures. Ergonomics, 22(3), 357-366, 1979.
Google Scholar 

4. Diego-Mas, J.A. and Alcaide-Marzal, J., Using KinectTM sensor in observational methods for assessing postures at work. Applied Ergonomics, 45(4), 976-985, 2014.
Google Scholar 

5. Golabchi, A., Han, S., Seo, J., Han, S., Lee, S. and Al-Hussein, M., An automated biomechanical simulation approach to ergonomic job analysis for workplace design. Journal of Construction Engineering and Management, 141(8), 04015020, 2015.
Google Scholar 

6. Hignett, S. and McAtamney, L., Rapid entire body assessment (REBA). Applied Ergonomics, 31(2), 201-205, 2000.
Google Scholar 

7. Huang, C., Kim, W., Zhang, Y. and Xiong, S., Development and validation of a wearable inertial sensors-based automated system for assessing work-related musculoskeletal disorders in the workspace. International Journal of Environmental Research and Public Health, 17(17), 6050, 2020.
Google Scholar 

8. Humadi, A., Nazarahari, M., Ahmad, R. and Rouhani, H., In-field instrumented ergonomic risk assessment: inertial measurement units versus Kinect V2. International Journal of Industrial Ergonomics, 84, 103147, 2021.
Google Scholar 

9. Im, S.J., Choi, S.Y. and Park, D.H., The sensitivity analysis for ergonomic checklists associated with musculoskeletal disorders. In Proceedings of the Safety Management and Science Conference (pp. 319-328). Korea Safety Management and Science, 2011.
Google Scholar 

10. Karhu, O., Kansi, P. and Kuorinka, I., Correcting working postures in industry: A practical method for analysis, Applied Ergonomics, 8(4), 199-201, 1977.
Google Scholar 

11. Kim, K.S., Park, J.K. and Kim, D.S., Status and characteristics of occurrence of work-related musculoskeletal disorders, Journal of the Ergonomics Society of Korea, 29(4), 405-422, 2010.
Google Scholar 

12. Kim, D.S., Bae, S.D., Moon, M.G. and Kim, C.H., Criteria for classification of flexion angle for the assessments of posture by observation methods. Proceedings of the ESK Conference, 126-131, 2007.


13. Knudson, D. and Morrison, C., Qualitative analysis of human movement Human Kinetics. Champaign, IL, 2002.


14. Kong, Y.K., Choi, K.H., Cho, M.U., Park, C.W., Kim, M.J. and Kim, S.Y., Development of AWBA Checklist Evaluation Program Using IMU Sensor Motion Capture Data and Body Angle of Image, Proceedings of the ESK Conference, 138-139, 2020.


15. Kong, Y.K., Lee, K.S., Lee, J.H. and Choi, K.H., Development and Validation of Agricultural Whole Body Assessment (AWBA). Journal of the Ergonomics Society of Korea, 37(5), 591-608, 2018.


16. Kong, Y.K., Lee, S.Y., Lee, K.S. and Kim, D.M., Comparisons of ergonomic evaluation tools (ALLA, RULA, REBA and OWAS) for farm work. International Journal of Occupational Safety and Ergonomics, 24(2), 218-223, 2018.
Google Scholar 

17. Korea Occupational Safety and Health Agency (KOSHA). URL=https://www.kosha.or.kr/kosha/data/industrialAccidentStatus.do. Retrieved 2021.


18. Kwak, W.T., A study on the variation in action levels of various MSD workload evaluation tools, Hankyong University, 2006.


19. Lee, C.G., Work-related musculoskeletal disorders in Korean farmers. Journal of the Korean Medical Association, 55(11), 1054-1062, 2012.
Google Scholar 

20. Lee, I.S., Jeong, M.G. and Choi, K.I., Comparison of observational posture evaluation methods based on perceived discomfort, Journal of the Ergonomics Society of Korea, 22(1), 43-56, 2003.
Google Scholar 

21. Lee, Y.K., Comparison of Shipyard Worker Self-reported and Expert-observed Method using the Same Checklist for Ergonomic Risk Factors, Journal of the Korean Society of Occupational and Environmental Hygiene, 15(2), 83-89, 2005.
Google Scholar 

22. McAtamney, L. and Corlett, E.N., RULA: a survey method for the investigation of work-related upper limb disorders. Applied Ergonomics, 24(2), 91-99, 1993.
Google Scholar 

23. Noh, A.N., Choi, S.Y. abd Park, D.H., A study on determination of working posture to be analyzed during MSDs evaluation. Journal of the Korea Safety Management and Science, 17(3), 133-141, 2015.
Google Scholar 

24. Park, D.H., Kim, M. and Seo, I.S., A Study on the Characteristics of Checklists for Work-related Musculoskeletal Disorders. Journal of the Ergonomics Society of Korea, 39(1), 2020.


25. Park, J.H. and Kwak, W.T., Comparison of the Representative Values of the Sampled Work Scenes with the Expert's Judgment in the MSD Workload Evaluation. Journal of the Ergonomics Society of Korea, 25(2), 205-210, 2006.
Google Scholar 

26. Peppoloni, L., Filippeschi, A., Ruffaldi, E. and Avizzano, C.A., A novel wearable system for the online assessment of risk for biomechanical load in repetitive efforts. International Journal of Industrial Ergonomics, 52, 1-11, 2016.
Google Scholar 

27. Plantard, P., Shum, H.P., Le Pierres, A.S. and Multon, F., Validation of an ergonomic assessment method using Kinect data in real workplace conditions. Applied Ergonomics, 65, 562-569, 2017.
Google Scholar 

28. Schepers N., Giuberti M. and Bellusci G., Xsens MVN: Consistent tracking of human motion using inertial sensing, 2018.
Google Scholar 

29. Seo, J. and Lee, S., Automated postural ergonomic risk assessment using vision-based posture classification. Automation in Construction, 128, 103725, 2021.
Google Scholar 

30. Shin, C.K. and Jeong, B.Y., Comparison of Task Assessment Results between Work Sampling Scenes and Extreme Task Scenes. Journal of the Ergonomics Society of Korea, 27(3), 53-60, 2008.
Google Scholar 

31. Shin, Y.C., Lee, J.T. and Kang, D.M., Evaluation on Reliability and Validity of Rapid Entire Body Assessment, Journal of the Korean Society of Occupational and Environmental Hygiene, 14(1), 27-32, 2004.


32. Shuvala, K. and Donchin, M., Prevalence of upper extremity musculoskeletal symptoms and ergonomic risk factors at a Hi-Tech company in Israel, International Journal of Industrial Ergonomics, 35, 569-581, 2005.
Google Scholar 

33. Vedder, J., Identifying postural hazards with a video-based, occurrence sampling method, International Journal of Industrial Ergonomics, 22, 37-38, 1998.
Google Scholar 

34. Vignais, N., Miezal, M., Bleser, G., Mura, K., Gorecky, D. and Marin, F., Innovative system for real-time ergonomic feedback in industrial manufacturing. Applied Ergonomics, 44(4), 566-574, 2013.
Google Scholar 

35. Xsens Technologies, Xsens MVN User Manual, 2019.


36. Xu, X., Robertson, M., Chen, K.B., Lin, J.H. and McGorry, R.W., Using the Microsoft KinectTM to assess 3-D shoulder kinematics during computer use. Applied Ergonomics, 65, 418-423, 2017.
Google Scholar 

37. Yan, X., Li, H., Li, A.R. and Zhang, H., Wearable IMU-based real-time motion warning system for construction workers' musculoskeletal disorders prevention. Automation in Construction, 74, 2-11, 2017.
Google Scholar 

PIDS App ServiceClick here!

Download this article