eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
eISSN: 2093-8462 http://jesk.or.kr
Open Access, Peer-reviewed
Wonsup Lee
, Hayoung Jung
, Heecheon You
10.5143/JESK.2020.39.3.223 Epub 2020 July 05
Abstract
Objective: This study aims to provide a comprehensive review of the literature on template model registration technologies and their applications in ergonomic product design.
Background: The original 3D scan data of the human body has limitations in terms of its applicability due to lacking quality of mesh (e.g., missed scan areas and noise) and inconsistent postures between participants. Template model registration technologies are used to complement the lacking quality of raw 3D scan data in anthropometric research and ergonomic product design.
Method: A literature review was conducted on 66 papers, which were selected by screening titles and abstracts of papers searched by keywords including template model, template matching, and template registration within ergonomics and computer graphics domains in Scopus.
Results: A human template model generally consists of five elements: (1) point-cloud and mesh, (2) reference points, (3) skeletal structure of the body, (4) body segment, and (5) skin deformation characteristics. The template model is matched to a target image with a particular size, shape, and posture using a template model registration technology.
Conclusion: The template model registration technology has a great potential in its applicability to ergonomic design and evaluation of products for a comfortable fit to the human body.
Application: The template model registration technology can be effectively applied to the establishment of parameterized 3D human body database, automatic measurement of body sizes, analysis of the variation of body shapes, predictive analysis of the body posture, and customized design of a product.
Keywords
Digital human model 3D body scan Template model registration 3D anthropometry Ergonomic product design
템플릿 모델 정합(template model registration)은 크기와 형상이 서로 다른 3차원 인체 스캔 이미지들의 mesh 구조를 동일하게 함으로써 이미지들을 인체측정학적 분석 및 인간공학적 제품 설계 등에 효과적으로 활용할 수 있도록 하는 컴퓨팅 기술이다. 3차원 인체 스캔 이미지들은 다양한 국가에서 Size Korea(약 11,000명; KATS 2004, 2010), Civilian American and European surface anthropometry resource(CAESAR; 약 4,500명; Robinette et al., 2002), 그리고 US Army 2013 Anthropometric Survey(ANSUR II; 약 6,000명; Gordon et al., 2014) 등과 같은 대규모 인체 측정 사업을 통해 수집되어 왔다. 3차원 인체 스캔 데이터는 양이 방대하기 때문에 이들 데이터의 가공 및 분석을 수작업으로 하기에는 많은 노력이 요구된다(Lee et al., 2018a; Lee et al., 2016). 또한 원본 3차원 인체 스캔 이미지들은 점군(point-cloud)의 개수와 mesh의 구성이 서로 달라 사람 간의 3차원 스캔 이미지를 단순 비교하기 어렵다. 하지만, 템플릿 모델을 이용하면 이들 원본 이미지들의 데이터의 내용(점군 및 mesh의 구성)이 동일하게 가공되기 때문에(Figure 1), 데이터의 양이 방대하더라도 통계적 처리나 복잡한 컴퓨팅 기술(예: 기계학습)을 통한 기술적인 분석이 가능해진다. 이런 이유로, 템플릿 모델은 방대한 양의 3차원 인체 스캔 이미지들의 인체 측정 및 분석(Tsoli et al., 2014), 형상 차이 분석(Ball et al., 2010; Lee et al., 2017a; Luximon et al., 2012; Zhuang et al., 2013), 그리고 인간공학적 제품 설계 및 평가(Baek and Lee, 2012; Lee et al., 2017a; Lee et al., 2017b; Luximon et al., 2016) 등과 같은 기술적인 분석에 효율적으로 활용하기 위해 다양한 연구에 적용되고 있다.
템플릿 모델 정합은 방대한 양의 3차원 인체 스캔 데이터로부터 인체 치수를 효율적으로 측정하는 목적으로 활용되고 있다. 일반적으로 3차원 스캔 된 인체 이미지를 인간공학적 제품 설계를 위해 필요한 치수 측정 및 형상 분석에 사용하기 위해서는 원본 이미지에 미 측정된 구멍 부위를 메우고(hole filling), 거친 표면을 매끄럽게 하며(surface smoothing), mesh 구조를 정제하고(mesh refinement), 인체 참조점(landmark)을 표시하는 등의 후처리(post-processing) 작업이 필요하다(Lee et al., 2015; Lee et al., 2016). 반면, 템플릿 모델 정합을 이용하면, 원본 3차원 스캔 이미지에 템플릿 이미지를 정합시키는 과정에서 대상 이미지의 구멍을 메우거나 표면을 정리하는 등의 후처리 작업이 자동으로 수행될 수 있다(Allen et al., 2003; Ballester et al., 2014; Hirshberg et al., 2012; Yang et al., 2014). 또한, 수정된 이미지에 인체 참조점들을 자동으로 표시하거나 인체 부위들을 자동으로 측정하기 위해서도 템플릿 모델 정합 기술이 활용되고 있다(Ballester et al., 2016; Tsoli et al., 2014). 템플릿 모델 정합을 이용한 자동 또는 반자동 후처리를 통해 방대한 양의 3차원 인체 스캔 데이터로부터 분석하고자 하는 인체 치수들을 빠르고 간편하게 측정할 수 있다.
템플릿 모델 정합은 특정 인구 집단의 다양한 크기와 형상 특성들을 수학적으로 모델링 한 디지털 인체 모델(digital human model, DHM)의 개발에도 활용되고 있다. 독일 Max Planck Institute의 Perceiving Systems 연구실에서는 템플릿 모델 정합 기술을 이용한 다양한 인체 형상을 수학적 모델로 형상화한 DHM들을 개발하는 연구를 해오고 있다(Bogo et al., 2014; Breidt et al., 2016; Guan et al., 2012; Loper et al., 2014; Loper et al., 2015; Pons-Moll et al., 2015). 예를 들어, Guan et al. (2012)는 DRessing Any PErson (DRAPE)라는 DHM을 개발하여 개개인의 인체 크기 및 형상에 최적화된 맞춤형 의복의 설계 패턴 제작에 사용하였다. Pons-Moll et al. (2015)는 4차원 스캔 기술(또는 temporal 3차원 스캔 기술이라고도 함)을 활용하여 인체 동작 뿐 아니라 호흡으로 인한 몸통 형상 변화와 같은 세밀한 인체 움직임까지도 사실적으로 모델링 한 DHM인 Dyna를 소개하였다. University of Michigan Transportation Research Institute (UMTRI)의 Reed et al. (2014)은 DHM 시뮬레이션 소프트웨어인 JackTM (Siemens PLM Software, Plano, TX, USA)의 인체 모델에 Kinect (Microsoft Corporation, Redmond, WA, USA)와 같은 심도 카메라에서 촬영된 저해상도 3차원 인체 스캔 이미지를 정합하는 statistical body shape model (SBSM) 방법을 개발하였다. Jack의 인체 모델에 정합된 인체 스캔 이미지는 Jack의 모델이 보유하고 있는 관절 구조를 이용하여 그 자세가 변경될 수 있다. Reed et al. (2014)은 Jack의 인체 모델을 이용하여 선 자세에서 3차원 스캔한 인체를 자동차 운전 자세로 변경하여 다양한 사람들의 운전석 착좌 자세를 연구하였다. 마지막으로, 스페인의 Instituto de Biomecnica de Valencia (IBV)는 EuroFit 연구(Ballester et al., 2016)를 통해 서로 다른 자세(예: 팔과 다리 벌림 각도의 차이가 상이함)로 스캔 된 3차원 인체 데이터들로부터 인체측정학적 크기 및 형상을 정확하게 분석하기 위하여 스캔 된 인체 이미지들을 템플릿 모델에 정합하는 과정에서 다양한 자세를 하나의 대표 자세로 통일하였다(Ballester et al., 2014).
본 연구는 인체측정학적 분석 및 인간공학적 제품 설계에 유용하게 적용될 수 있는 템플릿 모델에 관련한 기존 연구들을 분석하고 인간공학 연구에 있어서의 템플릿 모델의 적용 방향들을 논의하였다. 본 연구는 template model, template matching, 그리고 template registration의 검색어를 사용하여 검색된 인간공학 및 컴퓨터 그래픽스 분야의 논문들 중 (1) 템플릿 모델을 구성하는 요소들 및 템플릿 모델 정합에 적용된 기술, (2) 인체 치수 및 형상 특성 분석, (3) 통계학적 DHM 개발, 그리고 (4) 인간공학 제품 설계 측면에서 템플릿 모델의 유용성 및 적용성을 고찰하였다.
템플릿 모델은 일반적으로 (1) 점군(point-cloud) 및 mesh, (2) 참조점(reference point), (3) 골격 구조(skeletal structure), (4) 인체 분절(body segment), 그리고 (5) 체표 변형 특성(skin deformation characteristics) 등의 5가지 요소로 구성된다. 본 논문에서 템플릿 모델을 3차원 인체 스캔 이미지에 정합함으로써 생성된 결과물을 템플릿에 정합된 이미지(template-registered image)라고 정의한다.
2.1 Point-clouds and meshes
점군과 mesh는 3차원 스캔 된 인체의 표면(surface)을 구성하는 형식으로 3차원 스캔 이미지의 형상은 점군 데이터를 그물망처럼 연결한 mesh로서 표현된다. 3차원 스캐닝 기술은 스캔 대상의 표면을 무수한 3차원 좌표들인 점군 데이터 형식으로 수집한다. 점군을 구성하는 각 점들은 vertex 또는 node라고 한다. 일반적으로, 3차원 스캔 된 원본 이미지의 표면 형상은 수집된 점군 데이터들 중 인접한 3개의 좌표들을 연결하여 형성된 다수의 삼각 mesh로서 표현된다. 좌표 간의 간격이 좁아 점군의 수 및 점들을 연결하는 삼각 mesh의 수가 많은 고해상도의 3차원 스캔 이미지는 형상이 정교하지만 이미지를 구성하는 데이터(점군의 좌표 목록, mesh 구성 목록)의 양이 많기 때문에 이미지를 처리(processing)하는 데 소요되는 계산 시간이 길다(Allen et al., 2003). 4,500명의 CAESAR 3차원 스캔 데이터의 크기를 분석해보면, 평균 점군의 수는 약 133,000개이고 평균 mesh의 수는 약 260,000개이다. 인체 크기가 상대적으로 작은 사람의 3차원 형상을 구성하는 점군의 숫자는 약 98,000개이고 삼각 mesh의 수는 약 190,000개이며, 인체 크기가 큰 사람의 점군의 숫자는 약 230,000개이고 삼각 mesh의 수는 약 450,000개이다(Lee et al., 2019b).
템플릿 모델은 인체 형상을 표현할 수 있는 적절한 수의 점군과 삼각(triangular) mesh로 구성되며, 3차원 인체 스캔 이미지에 정합(registration)하기 위하여 사용된다. 3차원 스캔 된 원본 데이터는 스캔 대상 인체의 크기와 형상에 따라 점군의 개수와 mesh의 구성이 서로 다른데, 템플릿 모델을 이용하여 3차원 스캔 된 인체마다 서로 다르게 구성되어 있는 mesh 구조를 동일하게 할 수 있다(Ballester et al., 2014; Lee et al., 2017b). 서로 다른 인체 형상을 구성하는 mesh 구조를 동일하게 함으로써 평균 형상을 얻거나 형상의 차이(difference) 및 변화 정도(variation)를 분석할 수 있다. 템플릿 모델을 3차원 인체 스캔 데이터에 정합하는 기술 및 방법들이 연구되어 왔는데, 템플릿 모델 정합 기술들 및 사례들은 본 논문의 3장에 소개하고 있다. 템플릿 모델을 이용하는 다른 목적은 데이터의 양을 축소시켜 3차원 인체 스캔 데이터들을 효율적으로 관리하고 분석하기 위함이다(Allen et al., 2003). 점군을 이루는 좌표의 수가 많고 mesh의 크기가 작을수록 처리 시간이 길어지기 때문에 컴퓨터 계산의 효율성을 위하여 템플릿 모델은 인체 형상을 표현하기 위한 최적의 mesh 구성을 가질 필요가 있다. 예를 들어, CAESAR 데이터베이스에 속한 4,330명의 원본 3차원 인체 스캔 이미지들의 총 데이터 크기는 48GB 정도인데, 이 원본 이미지에 Pishchulin et al. (2017)가 제시한 템플릿(6,449개의 점군과 12,894개 mesh로 구성)으로 정합하면 데이터 용량을 0.36GB 정도(원본의 0.75% 수준)로 낮출 수 있다.
2.2 Reference points
참조점(reference point)은 인체 측정 및 자세 분석 등을 위해 3차원 인체 스캔 이미지 및 템플릿 모델 상에 표시되는 좌표이다. 인체측정학적 참조점(anthropometric landmark)은 인체의 길이, 너비, 두께, 둘레 등과 같은 인체 치수들을 측정하는데 사용된다. 예를 들어, CAESAR 데이터는 전신에 74개 인체측정학적 참조점들을 정의하고 있다(Robinette et al., 2002) (Figure 2.a). 인체측정학적 참조점은 템플릿 모델을 대상 3차원 인체 스캔 이미지에 정합할 때 상호 동일한 인체 부위를 연결시키기 위해 사용되기도 한다(Xi and Shu, 2009). Liang et al. (2013)과 Tsoli et al. (2014)은 인체측정학적 참조점이 표시되어 있지 않은 대상 3차원 인체 스캔 이미지에 템플릿 모델을 정합하는 기술을 제시하였는데, 정합을 통해 템플릿 모델에 정의되어 있는 참조점들이 대상 이미지의 해당 인체 부위에 추정 표기된다. 따라서, 3차원 인체 스캔 이미지들에 인체측정학적 참조점들을 표기하지 않고도 템플릿 모델 정합을 통해 대상 이미지의 인체 치수들을 추정할 수 있다(Liu et al., 2017). 인체측정학적 참조점 외에도 설계하고자 하는 제품에 따라 설계 관련 참조점들이 사용될 수 있다. 예를 들어, 자동차의 운전석 설계를 위해 템플릿 모델을 이용하는 경우에는 착좌 자세 분석을 위해 hip reference point와 design eye point가 참조점으로 사용될 수 있다. Anguelov et al. (2005)와 Loper et al. (2014)는 동작 템플릿 모델을 동작 분석과 연결시켜 자세와 동작을 분석하기 위하여 동작 분석에 사용되는 반사 마커(reflective marker)들의 위치를 템플릿 모델의 참조점으로 사용하였다(Figure 2.b).
2.3 Skeletal structure
템플릿 모델의 자세 변형을 위해서는 인체 골격 구조(skeletal structure)가 활용된다. 골격 구조는 인체의 주요 관절 위치들을 계층적으로 연결함으로써 생성된다(Ballester et al., 2014; Loper et al., 2015). 기존 연구에서는 분석의 효율성을 위하여 실제 인체 골격 구조에 비해 단순화된 골격 구조를 사용하고 있다. 예를 들어, 기존 골격 구조는 손가락과 발가락에 포함된 세부 관절들을 포함하지 않고 손이나 발을 인체의 한 점으로서 정의하고 있다. 또한 척추는 여러 개의 등뼈로 구성되어 있으나, 기존 템플릿 모델들은 골반과 목 사이에 1~2개 정도의 관절만을 두는 것으로 골격 구조를 단순화하고 있다. Zhu et al. (2013)는 좌우 어깨 관절과 고관절만을 사용하여 템플릿 모델을 대상 이미지에 정합할 때 팔다리 벌림 각도를 조절하였다. Ballester et al. (2014)는 보다 세부적인 자세 변형을 위해 18개의 관절을 사용하고 있으며(Figure 3.a), Loper et al. (2015)이 제안한 Skinned Multi-Person Linear (SMPL) 모델은 인체 연속적인 동작을 자연스럽게 표현하기 위한 목적으로 24개의 관절들을 사용하고 있다(Figure 3.b). 템플릿 모델이 대상 이미지에 정합될 때, 템플릿 모델에 정의된 관절도 함께 정합되어 대상 이미지의 내의 대략적인 관절 위치를 추정한다. 정합되는 대상에 골격 구조를 보다 정확하게 위치시키기 위하여 Loper et al. (2015)은 3dMD 사의 4차원 스캐너를 이용해 움직이는 대상(n = 20)의 3차원 형상을 초당 60회의 frame rate의 속도로 스캐닝하고, 각 frame에서의 3차원 형상에 템플릿 모델을 정합하였다. 그리고 인체 크기별 동작에 따른 관절 부위 형상 변화를 기계학습을 통해 분석함으로써, 인체 크기와 형상이 다양한 사람의 3차원 스캔 데이터에 템플릿 모델이 정합될 때 골격 구조가 위치되는 정확도를 향상시키는 방법을 제안하였다. Reed et al. (2014)은 Jack에서 제공하는 인체 모델을 템플릿 모델로서 이용하였기 때문에, 대상 이미지에 Jack의 인체 모델을 정합한 후 Jack에 정의되어 있는 70개의 세부적인 관절들을 모두 이용하여 대상 이미지의 자세를 변경할 수 있었다(Figure 3.c).
2.4 Body segment
인체 분절(body segment)는 템플릿 모델의 자세를 조절하기 위하여 사용되며, 관절을 기준으로 정의된다. Zhu et al. (2013)은 좌우 어깨 관절과 고관절만 사용하고 있기 때문에 인체 분절은 몸통, 좌우 팔, 좌우 다리의 5개로 구분되고 있다(Figure 4.a). Loper et al. (2015)가 제안한 SMPL은 24개의 관절들을 이용하여 24개의 인체 분절을 구분하고 있다(Figure 3.b). Reed et al. (2014)는 Jack의 인체 모델을 템플릿 모델로 사용하였기 때문에, Jack 모델에 적용되어 있는 71개의 세부 인체 관절 구조들을 이용하여 3차원 인체 스캔 이미지의 자세 변형 시 실제 인체의 자세 변형과 유사하게 할 수 있었다(Figure 4.b).
2.5 Skin deformation characteristics
자세 변형에 따른 체표 변형(skin deformation)을 템플릿 모델에 반영하기 위해서는 템플릿 모델을 구성하는 점(vertex)들에 변형 계수를 부여하는 과정이 필요하다. 템플릿 정합된 이미지의 자세를 변형하고자 특정 관절의 각도가 조절될 때, 점들의 위치가 변형 계수를 참조하여 변함으로써 자세 변환 시 인체 모델의 형상 변형이 자연스럽게 일어난다(Jacobson et al., 2014; Loper et al., 2015; Pishchulin et al., 2017). 기존 연구들은 자연스러운 체표 변형을 위한 방법들에 대해 연구하였다. 예를 들어, Loper et al. (2015)는 다양한 인체 자세에서의 관절 부위 형상들을 3차원 스캐닝을 통해 측정하고, 기계학습을 통해 자세에 따른 관절 부위 형상의 변화 정도를 수학적으로 모델링한 linear blend skinning 방법을 개발하고 이를 SMPL에 적용하였다. Lee et al. (2017a)은 Jacobson et al. (2014)이 개발한 bounded biharmonic weight (BBW)라는 체표 변형 방법을 적용하여, 템플릿 모델을 대상 이미지에 정합될 때 템플릿 모델의 참조점 주변의 mesh들이 대상 이미지의 동일 참조점 주변의 형상에 대략적으로 일치되도록 체표 변형을 한 후에 형상을 정합하였다. 이를 통해 Figure 5와 같이 템플릿 정합된 이미지 간의 mesh 구조가 일정하게 유지될 수 있도록 하였다. 예들 들어, 코 끝을 구성하는 삼각 mesh는 모든 템플릿 정합된 이미지에서 동일하게 코 끝에 위치한다. 템플릿 정합된 이미지들 간에는 인체 부위를 구성하는 mesh 구조가 동일하기 때문에, 특정 인체 부위를 구성하는 mesh들을 분석함으로써 사람들 간의 형상의 차이를 분석하기에 용이하다(Lee et al., 2019b). 예를 들어, 코를 구성하는 삼각 mesh들의 좌표 정보들을 활용하면 사람들 간에 코의 크기와 형상의 변동성(variation)를 알 수 있다.
3.1 Template registration process
템플릿 모델을 3차원 인체 스캔 이미지에 정합하는 절차는 일반적으로 (1) 크기 조정, (2) 자세 조절, (3) global registration, (4) local optimization의 과정으로 수행된다. 첫째, 크기 조정 단계에서는 대상 3차원 인체 스캔 이미지의 인체 크기(예: 신장, 팔 길이, 다리 길이 등)에 맞도록 템플릿 모델의 크기가 조정된다. 둘째, 템플릿 모델이 대상 3차원 스캔 이미지의 자세와 유사하도록 관절 및 골격 구조가 조절된다. 예를 들어, Ballester et al. (2014)는 다양한 스캔 자세(예: T pose, A pose, Y pose)에서 스캔 된 이미지들의 다리 벌림 및 팔 벌림 각도를 동일하게 한 후 인체 크기를 측정하였다. 셋째, 템플릿 모델의 크기, 형상, 그리고 자세가 대략적으로 대상 이미지에 맞춰진다. 마지막으로, 세부적인 형상을 정합시키는 local optimization이 수행된다. 일부 연구들(Allen et al., 2003; Ballester et al., 2014; Shu et al., 2015; Xi and Shu, 2009; Zhuang et al., 2013)은 일부 점군을 생략한 저해상도의 템플릿 모델을 대상 3차원 인체 스캔 이미지의 크기와 형상에 대략적으로 맞춘(global registration) 후, 생략된 좌표들을 다시 포함하는 고해상도의 템플릿 모델를 이용하여 세부적인 형상을 정합하는(local optimization) 다중해상도(multi-resolution) 템플릿 모델 정합 방법을 사용하였다. 템플릿 모델의 형상을 변형시켜가며 정합하는 것을 non-rigid registration이라고 한다(Allen et al., 2003; Amberg et al., 2007).
템플릿 모델 정합 과정에서 자동적으로 mesh가 후처리(post-processing)될 수 있다. 3차원 스캐닝 중에 가려지는 부분(예: 다리 사이, 겨드랑이 부위, 발바닥 부위 등)이나 귀나 손가락 등과 같이 얇거나 좁거나 작은 부위는 스캔 되지 않기도 하며, 스캔 부위가 울퉁불퉁하게 스캔 되거나 noise가 스캔 되기도 한다(Lee et al., 2018a; Lee et al., 2017c). 3차원 인체 스캔 데이터에서 인체 크기 또는 형상을 분석하거나 데이터를 제품 설계에 활용하기 위해서는 mesh의 후처리가 필수적인데, Lee et al. (2018a)은 2,300명의 CAESAR 머리 데이터를 수작업으로 정교하게 후처리(예: 헤어스타일 제거)하였는데 이를 위해 많은 시간을 소요하였다(예: 2,300명 후처리에 260시간 소요). 한편, 템플릿 모델 정합에서는 정합이 진행되는 과정에서 템플릿이 스캔 되지 않은 부위를 채워주거나(Figure 6) 요철이 심하게 스캔 된 부위를 단순화(smoothing)함으로써 수작업으로 하는 것과 유사한 후처리 결과를 얻을 수 있다(Allen et al., 2003). 템플릿 모델 정합 기술이 발달함에 따라 휴대폰 카메라로 촬영된 사진 및 동영상이나 저해상도 심도 카메라(예: Kinect)로 촬영된 3차원 스캔 이미지에 템플릿 모델을 실시간으로 정합하는 연구도 소개되고 있다(Ballester et al., 2016; Bogo et al., 2016; Hesse et al., 2018; Tong et al., 2012; von Marcard et al., 2018; Zhang and Miao, 2008; Zhu et al., 2013).
3.2 Template registration methods
템플릿 모델 정합은 인체의 정합 외에도 의료영상 분석이나 지형 또는 건축물의 부분적인 3차원 형상들을 연결시키는 등에도 활용되며, 다양한 기법들이 소개되었다(Biber and Strasser, 2003; Das et al., 2013; Dey et al., 2015; Golyanik et al., 2016; Johnson and Christensen, 2001). 본 논문에서는 인체의 템플릿 모델 정합에 주로 활용된 (1) iterative closest point (ICP) 방법 그리고 (2) 아핀 변환(affine transformation)을 이용하는 최적화 방법 두 가지 대표적인 기술을 소개하고자 한다. 첫째, Besl and McKay (1992)에 의해 처음 제안된 ICP 방법은 템플릿 모델을 구성하는 각 점과, 해당 점들과 matching이 되는 대상 이미지의 점들 간의 Euclidean 거리를 최소화하는 아핀 변환을 반복적으로 계산함으로써 수행된다. ICP 방법은 템플릿 모델과 대상 이미지가 대략적으로 정렬(alignment)되어 있을 경우에 빠르고 정확하게 작동하며(Zhang, 1994), 템플릿 모델과 대상 이미지 간의 형태나 크기 차이가 정합 결과의 정확성과 정밀도에 영향을 줄 수 있다. 인체의 템플릿 모델 정합에서는 non-rigid 방법을 주로 사용하는데, 이는 템플릿 모델의 크기와 형상을 정의하는 각 mesh의 구조적 강직성(rigidity)을 낮추고 유연성(flexibility)을 높여 템플릿의 형상 변형을 허용하면서 템플릿을 대상 이미지에 정합시키는 방법이다. Lee et al. (2017a)은 얼굴을 구성하는 참조점들을 기반으로 대상 이미지를 템플릿 모델에 정렬하고 크기를 대략적으로 조절(global registration)한 후, non-rigid ICP 방법을 사용하여서 세부적인 형상을 정합(local optimization)하였다. 둘째, Allen et al. (2003)은 아핀 변환을 이용하여 템플릿 모델의 점군을 대상 이미지로 정합하는 방법을 제안하였다. 본 방법은 먼저 대상 이미지와 템플릿 모델 간의 상호 부합하는 점을 찾는 correlated correspondence 기법(CC algorithm)을 이용하여 대상 이미지의 점군 수를 템플릿 모델의 수와 같도록 만든 후, 대상 이미지와 템플릿 모델의 점군 간에 pair를 정의한다. 그리고 quasi-Newtonian solver를 이용한 최적화를 통해 (1) 점군 쌍 간의 거리 차이, (2) 인체 참조점 쌍 간의 거리 차이, 그리고 (3) 아핀 변환에 의해 점들이 변화된 정도를 동시에 최소화하며 정합한다. 본 방법은 CAESAR data의 인체 측정 참조점들을 사용하여 대상 이미지들의 초기 자세를 대략적으로 정렬하는 global registration을 수행한 후, 최적화 기법을 이용한 local optimization을 수행하였다. 템플릿 모델과 대상 이미지 간의 형태적인 차이에 대한 최소화뿐 아니라 정합되는 템플릿 모델의 표면의 매끄러움 정도(smoothness)를 함께 고려하기 때문에, 템플릿 모델의 정합 과정에서 대상 이미지의 표면이 부드럽게 되며 스캔 되지 않은 부위들이 자연스럽게 매워지는(hole-filling) 결과를 낸다. Anguelov et al. (2005)은 Allen et al. (2003)의 방법을 응용하되 템플릿 모델과 대상 이미지 간의 초기 정렬 시 인체 참조점들을 직접 입력하지 않고 템플릿 모델과 대상 이미지 간 유사 인체 부위에 참조점 쌍을 자동으로 찾는 방법을 이용한 Shape Completion and Animation of PEople (SCAPE)를 제시하였다. SCAPE에서는 한 사람의 다양한 자세에 대한 3차원 스캔 이미지들로부터 확보된 자세 데이터를 이용한 기계학습을 통해 Allen et al. (2003)이 제시한 CC algorithm을 개선하여 서로 다른 자세에서도 인체 부위를 구성하는 점군 쌍을 자동으로 찾을 수 있도록 하였다. SCAPE는 형상뿐 아니라 자세가 상당히 다른 대상 이미지에도 템플릿 모델이 정합될 수 있고, 정합된 템플릿 모델의 자세를 변경하는 것도 가능하다. 그 외에도 Baek and Lee (2012)와 Pishchulin et al. (2017) 등 다수의 연구가 Allen et al. (2003)의 방법을 응용하여 템플릿 모델 정합에 대한 연구를 수행하였다.
4.1 Establishment of parameterized 3D body scan database
템플릿 모델 정합을 통해 3차원 인체 스캔 데이터베이스 내의 모든 인체 이미지들이 모수화(parameterization)될 수 있다. 템플릿 정합된 이미지는 동일한 점군 수, mesh 수, 그리고 mesh 구조를 가진다(Allen et al., 2003; Baek and Lee, 2012; Ben Azouz et al., 2006; Lee et al., 2017a; Lee et al., 2017b; Tsoli et al., 2014; Xi and Shu, 2009). 그렇게 되면 한 인체 이미지를 구성하는 특정 mesh는 데이터베이스 내의 모든 인체 이미지들의 동일한 특정 부위에 위치하게 된다(Lee et al., 2017a; Lee et al., 2017b). 따라서 서로 다른 인체 이미지들을 구성하는 동일한 mesh들 간의 상관관계가 수학적 모델로 표현될 수 있다(Allen et al., 2003; Lee et al., 2017a; Loper et al., 2015; Pishchulin et al., 2017; Tsoli et al., 2014). 이처럼 수학적으로 모델링 된 3차원 인체 모델은 인체 이미지들 간의 형상 차이를 통계적으로 분석하거나(4.3장 참조) 인체 모델을 특정 캐릭터로 변형하고 동작을 적용하여 컴퓨터 애니메이션(4.4장 및 4.5장 참조)에 적용될 수 있다. 한편, 템플릿 정합된 이미지는 원본 이미지보다 상대적으로 적은 수의 점군 및 mesh를 가진다. 예를 들어, CAESAR에서 입수한 4,300명의 원본의 전신 스캔 이미지들의 파일 용량은 총 48GB이지만, Pishchulin et al. (2017)이 템플릿 정합을 통해 제시한 결과 이미지들의 파일 용량은 0.36GB로 99.25% 감소되었다. 데이터의 크기가 작아짐에 따라 인체 측정 및 형상 분석 시 계산 속도가 빨라지게 되어 제품의 가상 착용(virtual fitting) 분석이나 형상 시각화 등의 계산에 용이할 수 있다. 예를 들어, DRAPE (Guan et al., 2012)는 실시간으로 의복 패턴을 설계하고 템플릿 정합된 이미지에 가상 착용한 후 다양한 동작을 적용하며 착용성을 시각화하고 있으며, Lee et al. (2020)는 템플릿 정합된 얼굴에 산소 마스크 및 virtual reality (VR) 헤드셋을 2,300명의 얼굴에 가상 착의하여 제품이 접촉되는 얼굴 부위별 압박도를 계산하였다.
4.2 Automatic measurement of body dimensions
템플릿 정합된 이미지에 표기된 인체측정학적 참조점들을 이용하여 인체 크기들이 자동으로 계측될 수 있다. 템플릿 모델에는 인체측정학적 참조점들이 포함되어 있으며, 템플릿 모델을 대상 3차원 스캔 이미지에 정합하는 과정에서 템플릿 모델의 참조점들이 대상 이미지의 해당 부위에 자동으로 표기된다. 예를 들어, 본 연구는 Figure 7에 예시된 것과 같이 24개의 인체측정학적 참조점들이 표기되어 있는 머리에 템플릿 모델을 정합하면서 템플릿 모델에 추가적으로 표기된 19개의 참조점을 대상 이미지의 해당 참조점 위치에 추정적으로 표기하였다. 템플릿 모델 정합을 통해 참조점들을 자동 표기하는 기술을 통해서 방대한 양의 3차원 인체 스캔 이미지들에 모든 참조점을 일일이 표기하지 않고도 대상 인체 이미지로부터 치수들을 자동으로 측정할 수 있다(Liang et al., 2013; Tsoli et al., 2014). 한편, 휴대폰 카메라로 촬영된 2차원 사진에 3차원의 템플릿 모델을 정합하여 인체 세부 치수들을 비교적 정확하게 추정하는 연구들도 소개되고 있다(Ballester et al., 2016; Perceiving Systems Department at Max Planck Institute for Intelligent Systems, 2011).
4.3 Analysis of shape variation
템플릿에 정합된 이미지들은 동일한 mesh 구조를 가지므로 같은 mesh에 대한 서로 다른 인체 이미지들 간의 상관관계 및 측정치의 변동성(variation)이 주성분 분석(principal component analysis; PCA)과 같은 통계분석을 통해 분석될 수 있다. Mesh를 구성하고 있는 점군의 좌표, 삼각 mesh의 법선 벡터(face normal vector), 점군의 법선 벡터(normal vector), 그리고 mesh를 구성하는 edge vector 등을 이용하여 주성분 분석을 통해 여러 인체 형상들 간의 변동성이 분석될 수 있다(Allen et al., 2003; Baek and Lee, 2012; Ball et al., 2010; Chu et al., 2010; Lee et al., 2017a; Li et al., 2017; Xi and Shu, 2009; Zhuang et al., 2013). 예를 들어, Lee et al. (2016), Lee et al. (2017a), 그리고 Lee et al. (2017b)은 어린이용 의료 마스크 설계를 목적으로 템플릿 정합된 0~7세 어린이 얼굴 스캔 이미지들을 구성하는 모든 vertex의 3차원 좌표(x, y, z)를 input으로 하는 PCA 분석을 통해 얼굴 형상의 변동성을 분석하였다(Figure 8.a). 기존 연구들(Lee et al., 2017b; Luximon et al., 2012; Zhuang et al., 2013)은 각 vertex의 3차원 좌표가 eigen vector의 방향으로 ±3 × standard deviation만큼 이동된 위치에서의 형상 변화를 시각화함으로써 형상의 변동성 양상을 분석하는 방법을 제시하였다(Figure 8.b). Li et al. (2015)는 US Army's 2013 Anthropometric Survey (ANSUR II) 데이터베이스에 포함된 서 있는 자세와 무릎을 접은 자세의 3차원 인체 스캔 데이터 2,069명에 대하여 무릎 부위 형상의 변동성을 분석하였다. Nerot et al. (2016)은 척추의 골격 구조가 포함된 템플릿 모델을 40명의 X-ray 이미지들에 각각 정합하여 척추 형상들을 3차원 공간 상에 정렬한 후 PCA를 통해 척추 형상 간의 차이를 분석하였다.
4.4 Posture and motion prediction
체표 변형 특성이 반영된 템플릿 모델 정합을 통해 표준 자세로 촬영된 3차원 스캔 원본을 다양한 자세로 변형할 수 있다. 인체의 3차원 스캐닝 시 일반적으로 T 자세, A 자세, 또는 Y 자세로 3차원 스캔을 하는데, Ballester et al. (2014)는 상이한 자세(예: 팔 벌림 각도, 다리 벌림 각도)로 측정된 3차원 스캔 영상을 템플릿 모델을 정합하여 자세가 A자세로 동일하게 되도록 하였다. 자세를 통일시킴으로써 인체측정 시 일관성을 제고할 수 있다. 3차원 스캔 이미지의 자세 변경 및 동작 적용 시 관절 부위의 체표 변형이 실제와 유사하도록 되는 것이 중요하다. Anguelov et al. (2005)의 SCAPE는 한 자세에서 3차원 스캔 된 여러 사람들의 형상 변동성을 PCA를 이용하여 분석하고, 같은 사람의 다양한 자세에 관절 구조가 포함된 템플릿 모델을 정합하여 자세에 따른 인체 부위별 형상 변형 정도를 기계학습을 통해 모델화(pose deformation model)한 후, 이 둘을 통합함으로써 표준 자세로 3차원 스캔 된 어떤 사람의 형상이라도 자세를 변형시킬 수 있게 하였다. Loper et al. (2014)는 템플릿 모델에 동작 분석에 사용되는 47개의 marker set을 표시하고 동작 분석(motion capture)을 통해 특정 동작 시의 marker set의 변화를 파악함으로써, 템플릿에 정합된 이미지가 동작 분석용 marker set를 기반으로 움직이도록 하였다. Pons-Moll et al. (2015)는 3dMD scanner (3dMD LLC, Atlanta, GA, USA)의 4차원 스캐닝 기술을 이용하여 몸을 움직일 때 신체 soft tissue(근육, 피하지방 등의 연조직)가 흔들리거나 변형되는 양상을 초당 60 frame의 속도로 촬영함으로써 soft tissue가 변형되는 과정을 1,800개(30초 분량)의 3차원 이미지로 기록하였다. 이후, 템플릿 모델을 이들 이미지에 각각 정합한 후 기계학습을 활용하여 soft tissue의 변형 양상을 분석하였다.
4.5 Customized product design
템플릿 모델의 치수 및 형상 정보와 제품 설계 인자 간의 연관성을 이용하여 특정 3차원 스캔 된 인체 형상에 적합한 맞춤형 제품을 설계할 수 있다. 인체 치수를 변수로 하는 맞춤형 제품의 크기 및 형상은 (1) 제품 설계 인자(design dimension, DD) 정의, (2) 인체 변수(anthropometric dimension, AD) 정의, (3) 설계 변수와 인체 변수 간의 연관관계(DD×AD) 분석, 그리고 (4) 템플릿 모델 정합을 이용한 사용자 맞춤형 설계 치수 분석의 4가지 절차를 통해 설계될 수 있다. 첫째, 제품 설계 시 중요한 설계 인자들은 설계하고자 하는 제품과 유사한 제품들에 대한 벤치마킹 분석을 통해 파악될 수 있다(Lee et al., 2011; Lee et al., 2018b). 둘째, 설계하고자 하는 제품의 착용 또는 사용과 연관된 인체 부위의 인체 변수들을 정하고, 해당 인체 변수들을 측정하기 위해 필요한 인체 참조점을 파악한다. 셋째, 인체 변수와 제품 설계 간의 연관성을 분석(Jung et al., 2010; Lee et al., 2013; Lee et al., 2018b)하고 인체 변수에 따른 제품 크기 및 형상 설계 algorithm을 템플릿 모델에 정의한다. 마지막으로, 템플릿 모델을 설계 대상 인체의 3차원 스캔 이미지에 정합함으로써, 템플릿 모델에 정의된 제품 설계 algorithm에 의하여 해당 인체 부위에 적합한 맞춤형 제품 크기 및 형상이 자동으로 설계된다. 예를 들어, Luximon et al. (2016)은 특정 중국인의 3차원 머리 데이터인 Size China 데이터에 템플릿 모델 정합을 적용한 후, 특정 크기 및 형상의 머리에 적합한 헬멧 또는 마스크의 맞춤형 형상을 설계해주는 방법을 개발하고, 이를 CAD software인 SolidWorks (Vélizy-Villacoublay, France)의 plug-in 형태로 시스템화하였다(Figure 9).
손에 대한 템플릿 모델 정합은 복잡하고 다양하게 움직이는 손을 이용하는 조작부/파지부 인간공학적 설계에 적용될 수 있다. 손은 총 27개의 자유도를 가진 18개의 관절로 구성되어 매우 다양한 자세를 취할 수 있고, 50개 이상의 참조점을 이용하여 측정 가능한 169개의 세부적인 측정 항목을 가진다(Lee et al., 2017c). 인간공학적 제품 조작부/파지부를 설계하기 위해서는 제품을 파지하거나 조작하는 손 자세에서의 손의 형상 정보를 분석할 필요가 있으나, 3차원 스캐닝을 통해서는 파지 중에 손바닥의 형상을 파악하거나 서로 붙어 있는 손가락을 구분하여 분석하는 것이 어렵다(Jung et al., 2018). 그러나 제품을 파지하고 있는 손의 일부분(손등 부위 및 파지로 인 해 가려지지 않는 부위)에 대한 3차원 스캔 데이터에 손 템플릿 모델을 정합함으로써 제품 파지/조작 시의 손 형상을 분석할 수 있다.
Romero et al. (2017)은 31명의 실험참여자를 대상으로 Figure 10.a에 예시된 것과 같은 56가지 손 자세를 측정하고 이를 기계학습 하여 손의 크기, 형상, 그리고 자세를 고려한 템플릿 모델을 개발하였다. Endo et al. (2014)은 3차원 스캔 된 손 형상과 동작 분석을 통해 측정된 손 자세 데이터를 이용하여 개발된 Dhaiba model을 이용하여 가상으로 제품을 파지하게 할 때 제품에 손이 접촉되는 영역을 추정하였다(Figure 10.b). 상용 software인 Wrap X (Russian3Dscanner, Russia)는 Figure 10.c와 같은 손의 템플릿 모델을 정합하는 기능을 제공하는데, 이를 이용하면 손으로 물체를 잡은 상태에서 3차원 스캔 된 손의 이미지로부터 해당 자세를 취하고 있는 손 형상만 분석 해냄으로써 이를 통해 제품의 파지 자세에서의 손 내부 형상을 확인할 수 있다(Figure 10.c).
본 연구는 3차원 인체 스캔 데이터의 효과적인 연구 활용을 위해 필요한 기반 기술인 템플릿 모델 정합에 대한 기술 및 활용사례를 고찰하였다. 템플릿 모델은 일반적으로 점군(point-clouds), mesh, 참조점(reference points), 인체 골격 구조(skeletal structure), 인체 분절(body segments), 그리고 체표 변형 특성 등으로 구성된다. 원본 3차원 인체 스캔 데이터는 이를 구성하는 내용(예: 점군 및 mesh의 개수) 측면에서 일관적이지 않기 때문에 개별 데이터 분석이 아닌 여러 사람의 3차원 스캔 데이터 간의 체계적인 비교 분석이 복잡하고 어렵다. 템플릿 모델 정합은 3차원 인체 스캔 데이터의 내용과 구조를 정형화함으로써 크기와 형상이 서로 다른 다양한 사람들에 대한 종합적이고 체계적인 분석이 가능하도록 한다.
템플릿 모델 정합은 다음의 여섯 가지 측면에서 3차원 인체 스캔 데이터가 보다 효과적이고 가치 있게 활용될 수 있도록 한다. 첫째, 원본 3차원 인체 스캔 데이터에 필요한 데이터 보정(editing; 예: hole filling, surface smoothing, mesh refinement 등)이 자동으로 또는 수작업에 비해 간단하게 처리된다. 둘째, 인체 계측에 필요한 여러 개의 측정 참조점들이 자동으로 표기된다. 셋째, 다양한 인체 치수들이 자동으로 계측된다. 넷째, mesh 구조가 동일하게 된 템플릿 정합된 이미지들을 구성하는 점군의 좌표 데이터를 PCA 분석함으로써 형상의 변동성이 분석되며 PCA 결과를 이용하면 특정 크기 및 형상을 가진 대표 형상을 찾을 수 있다. 다섯째, 템플릿 정합된 이미지의 자세를 변화시킨 후 변화된 자세를 이용하여 다양한 인간공학적 분석을 수행할 수 있으며 컴퓨터 애니메이션에도 활용된다. 마지막으로, 인간공학적 제품의 형상의 parametric 설계에 활용된다.
템플릿 모델 정합 시에 템플릿 정합된 이미지들 간의 mesh 구조가 일관적으로 되는 것은 인체 측정 및 인간공학적 제품 설계에 있어 중요하다. Mesh 구조의 일관성은 특정 인체 부위를 구성하는 mesh 구조가 모든 사람에 걸쳐 동일해야 함을 의미한다. Lee et al. (2017a)와 Lee et al. (2017b)은 체표 변형 기법 중 하나인 BBW (Jacobson et al., 2014)를 이용하여 템플릿 모델의 참조점들을 정합 대상 이미지의 참조점 위치로 이동시키면서 참조점 주변 mesh들을 변형하는 방법으로 global registration을 시행한 후, non-rigid ICP 방법으로 local optimization을 수행하였다. 이를 통해 템플릿 정합된 이미지 간의 mesh 구조가 일정하게 유지되도록 하였는데(Figure 5), 이러한 일관성을 기반으로 인체 참조점 자동 표기가 가능하고(Figure 7) 템플릿 정합된 이미지의 형상 변동성 분석이나 가상 착용성 분석 시의 정확성이 제고될 수 있다.
템플릿 모델 정합 기술은 인간공학적 제품 설계 및 평가에 유용하게 활용될 수 있어 인간공학 분야에서의 연구 가치가 높다. 템플릿 모델 정합은 일반적으로 컴퓨터 그래픽스 또는 컴퓨터 비전 분야에서 정합 기술 자체에 대해 주로 연구되었고, 인간공학 연구에서는 의복이나 신발 설계를 위해 인체 치수 조사(Ballester et al., 2014), 차량 운전자 또는 산업체 근로자의 자세 및 행동의 시뮬레이션(Reed et al., 2014), 가상 착용(virtual fitting)을 통한 제품 최적 형상 설계(Lee et al., 2017a; Lee et al., 2020; Lee et al., 2016) 등에 적용되었다. 한편, 3차원 인체 형상 수집은 Size Korea와 같은 대규모의 사업을 통해 수행되었는데 방대한 양의 3차원 인체 형상 데이터의 원본은 가공 및 분석의 노하우와 지식이 필요하다는 측면에서 산업에서 직접적으로 활용되기 어려웠다. 그러나3차원 인체 형상에 템플릿 모델을 정합함으로써 원본 데이터를 가공하고 이를 기반으로 제품 개발 실무자가 인체 치수 및 인체 형상 데이터를 쉽게 분석할 수 있도록 시스템화될 수 있다(Lee et al., 2019a; Lee et al., 2018a). 템플릿 모델 정합을 활용한 가상 인체 모델(digital human model; DHM)은 인체에 착용되거나 접촉되는 제품의 인간공학적 설계 및 평가에 유용하게 활용될 수 있을 것으로 기대된다.
References
1. Allen, B., Curless, B. and Popović, Z., The space of human body shapes: reconstruction and parameterization from range scans, ACM Transactions on Graphics, 22(3), 587-594, 2003. doi:10.1145/882262.882311
2. Amberg, B., Romdhani, S. and Vetter, T., "Optimal step nonrigid ICP algorithms for surface registration", Proceedings of IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 1491-1498, 2007.
Crossref
Google Scholar
3. Anguelov, D., Srinivasan, P., Koller, D., Thrun, S., Rodgers, J. and Davis, J., SCAPE: Shape completion and animation of people, ACM Transactions on Graphics, 24(3), 408-416, 2005. doi:10.1145/1073204.1073207
Google Scholar
4. Baek, S.Y. and Lee, K., Parametric human body shape modeling framework for human-centered product design, Computer-Aided Design, 44(1), 56-67, 2012. doi:10.1016/j.cad.2010.12.006
Google Scholar
5. Ball, R., Shu, C., Xi, P., Rioux, M., Luximon, Y. and Molenbroek, J.F.M., A comparison between Chinese and Caucasian head shapes, Applied Ergonomics, 41(6), 832-839, 2010. doi:10.1016/j.apergo.2010.02.002
Google Scholar
6. Ballester, A., Parrilla, E., Piérola, A., Uriel, J., Pérez, C., Piqueras, P., Nácher, B., Vivas, J.A. and Alemany, S., Data-driven three-dimensional reconstruction of human bodies using a mobile phone app, International Journal of the Digital Human, 1(4), 361-388, 2016. doi:10.1504/ijdh.2016.084581
Google Scholar
7. Ballester, A., Parrilla, E., Uriel, J., Pierola, A., Alemany, S., Nacher, B., Gonzalez, J. and Gonzalez, J.C., "3D-based resources fostering the analysis, use, and exploitataion of available body anthropometric data", Proceedings of 5th International Conference and Exhibition on 3D Body Scanning Technologies, Lugano, Switzerland, 2014.
Google Scholar
8. Ben Azouz, Z., Rioux, M., Shu, C. and Lepage, R., Characterizing human shape variation using 3D anthropometric data, The Visual Computer, 22(5), 302-314, 2006. doi:10.1007/s00371-006-0006-6
Google Scholar
9. Besl, P.J. and McKay, N.D., A method for registration of 3-D shapes, IEEE Transactions on Pattern Analysis and Machine Intelligence, 14(2), 239-256, 1992. doi:10.1109/34.121791
10. Biber, P. and Strasser, W., "The normal distributions transform: a new approach to laser scan matching". Proceedings 2003 IEEE/RSJ International Conference on Intelligent Robots and Systems (IROS 2003) (Cat. No.03CH37453), 2743-2748, 2003.
Google Scholar
11. Bogo, F., Kanazawa, A., Lassner, C., Gehler, P., Romero, J. and Black, M.J., Keep It SMPL: Automatic Estimation of 3D Human Pose and Shape from a Single Image, Proceedings of 14th European Conference on Computer Vision (ECCV), 561-578, 2016.
Google Scholar
12. Bogo, F., Romero, J., Loper, M. and Black, M.J., "FAUST: Dataset and evaluation for 3D mesh registration", Proceedings of the IEEE Conference on Computer Vision and Pattern Recognition (CVPR), 3794-3801, 2014. doi:10.1109/Cvpr.2014.491
Google Scholar
13. Breidt, M., Black, M.J., Romero, J., Mohler, B.J. and Fleming, R., "Appealing female avatars from 3D body scans: Perceptual effects of stylization", Proceedings of 11th International Conference on Computer Graphics Theory and Applications (GRAPP), 333-343, 2016. doi:10.5220/0005683903330343
Google Scholar
14. Chu, C.H., Tsai, Y.T., Wang, C.C.L. and Kwok, T.H., Exemplar-based statistical model for semantic parametric design of human body, Computers in Industry, 61(6), 541-549, 2010. doi:10.1016/j.compind.2010.03.004
Google Scholar
15. Das, A., Servos, J. and Waslander, S.L., "3D scan registration using the Normal Distributions Transform with ground segmentation and point cloud clustering". Proceedings of 2013 IEEE International Conference on Robotics and Automation, 2207-2212, 2013.
Google Scholar
16. Dey, T.K., Fu, B., Wang, H.M. and Wang, L., Automatic posing of a meshed human model using point clouds, Computers & Graphics-Uk, 46, 14-24, 2015. doi:10.1016/j.cag.2014.09.018
Google Scholar
17. Endo, Y., Tada, M. and Mochimaru, M., "Dhaiba: Development of virtual ergonomic assessment system with human models", Proceedings of 3rd International Digital Human Modeling Symposium, Tokyo, Japan, 2014.
Google Scholar
18. Golyanik, V., Taetz, B., Reis, G. and Stricker, D., "Extended coherent point drift algorithm with correspondence priors and optimal subsampling". Proceedings of 2016 IEEE Winter Conference on Applications of Computer Vision (WACV), 1-9, 2016.
Google Scholar
19. Gordon, C.C., Blackwell, C.L., Bradtmiller, B., Parham, J.L., Barrientos, P., Paquette, S.P., Corner, B.D., Carson, J.M., Venezia, J.C., Rockwell, B.M., Mucher, M. and Kristensen, S., 2012 Anthropometric Survey of U.S. Army Personnel: Methods and Summary Statistics, Natick/TR-15/007, U.S. Army Natick Research, Development and Engineering Center, Natick, MA, 2014.
Google Scholar
20. Guan, P., Reiss, L., Hirshberg, D.A., Weiss, A. and Black, M.J., DRAPE: DRessing Any PErson, ACM Transactions on Graphics, 31(4), 31:1-35, 2012. doi:10.1145/2185520.2185531
Google Scholar
21. Hesse, N., Pujades, S., Romero, J., Black, M.J., Bodensteiner, C., Arens, M., Hofmann, U.G., Tacke, U., Hadders-Algra, M., Weinberger, R., Müller-Felber, W. and Sebastian Schroeder, A., "Learning an Infant Body Model from RGB-D Data for Accurate Full Body Motion Analysis", Proceedings of Medical Image Computing and Computer Assisted Intervention (MICCAI 2018), 792-800, 2018.
Google Scholar
22. Hirshberg, D.A., Loper, M., Rachlin, E. and Black, M.J. Coregistration: simultaneous alignment and modeling of articulated 3d shape. 12th European conference on Computer Vision - Volume Part VI. Florence, Italy: Springer-Verlag, 242-255, 2012.
Google Scholar
23. Jacobson, A., Baran, I., Popović, J. and Sorkine-Hornung, O., Bounded biharmonic weights for real-time deformation, Communications of the ACM, 57(4), 99-106, 2014. doi:10.1145/2578850
Crossref
Google Scholar
24. Johnson, H.J. and Christensen, G.E., "Landmark and Intensity-Based, Consistent Thin-Plate Spline Image Registration", Proceedings of Information Processing in Medical Imaging (IPMI), 329-343, 2001.
Google Scholar
25. Jung, H., Mun, S., Lee, W., Oh, J., Kim, H. and You, H., "Measurement and analysis of internal shape deformation of power grip by wrist motion", Proceedings of 2018 Fall Conference of the Ergonomic Society of Korea, Gyeongju, Korea, 2018.
26. Jung, K., Park, J., Lee, W., Kang, B., Eum, J., Park, S. and You, H., Development of a quantitative ergonomic assessment method for helicopter cockpit design in a digital environment, Journal of the Ergonomics Society of Korea, 29(2), 203-210, 2010.
Google Scholar
27. Korean Agency for Technology and Standards (KATS), The Report on the 5th Size-Korea (Korean Body Measurement and Investigation), Size Korea, Ministry of Knowledge Economy, Seoul, Korea, 2004.
28. Korean Agency for Technology and Standards (KATS), The Report on the 6th Size-Korea (Korean Body Measurement and Investigation), Size Korea, Ministry of Knowledge Economy, Seoul, Korea, 2010.
29. Lee, B., Lee, W., Yang, X., Jung, K. and You, H., Development of a distributed representative human model generation and analysis system (DRHM-GAS): Application to optimization of flight suit and pilot oxygen mask sizing systems, International Journal of Industrial Ergonomics, 72, 261-271, 2019a. doi:10.1016/j.ergon.2019.06.005
Google Scholar
30. Lee, W., Goto, L., Molenbroek, J.F.M. and Goossens, R.H.M., "Analysis methods of the variation of facial size and shape based on 3D face scan images", Proceedings of Human Factors and Ergonomics Society 61st Annual Meeting, Austin, TX, 2017a.
Google Scholar
31. Lee, W., Goto, L., Molenbroek, J.F.M., Goossens, R.H.M. and Wang, C.C.L., "A shape-based sizing system for facial mask design", Proceedings of 5th International Digital Human Modeling Symposium, Bonn, Germany, 2017b.
32. Lee, W., Jeong, J., Park, J., Jeon, E., Kim, H., Jung, D., Park, S. and You, H., Analysis of the facial measurements of Korean Air Force pilots for oxygen mask design, Ergonomics, 56(9), 1451-1464, 2013. doi:10.1080/00140139.2013.816376
Google Scholar
PubMed
33. Lee, W., Jung, H. and You, H., "Application of 3D body scan data for ergonomic product design: Methods, research cases, and further study", Proceedings of 2019 Spring Conference of the Ergonomics Society of Korea, Jeju, Korea, 2019b.
34. Lee, W., Jung, K., Lee, H., Song, H., Oh, J. and You, H., Development of a comprehensive usability testing and analysis framework for the physical interface between product and user, Journal of the Ergonomic Society of Korea, 30(2), 1-8, 2011.
Google Scholar
35. Lee, W., Kim, J.G., Molenbroek, J.M.F., Goossens, R.H.M. and You, H., "Estimation of Facial Contact Pressure Based on Finite Element Analysis", Proceedings of Advances in Additive Manufacturing, Modeling Systems and 3D Prototyping, 657-667, 2020.
Google Scholar
36. Lee, W., Lee, B., Kim, S., Jung, H., Jeon, E., Choi, T. and You, H., "3D scan to product design: Methods, techniques, and cases", Proceedings of 6th International Conference on 3D Body Scanning Technologies, Lugano, Switzerland, 2015.
Google Scholar
37. Lee, W., Lee, B., Yang, X., Jung, H., Bok, I., Kim, C., Kwon, O. and You, H., A 3D anthropometric sizing analysis system based on North American CAESAR 3D scan data for design of head wearable products, Computers & Industrial Engineering, 117, 121-130, 2018a. doi:10.1016/j.cie.2018.01.023
Google Scholar
38. Lee, W., Yang, X., Jung, H., Bok, I., Kim, C., Kwon, O. and You, H., Anthropometric analysis of 3D ear scans of Koreans and Caucasians for ear product design, Ergonomics, 61(11), 1480-1495, 2018b. doi:10.1080/00140139.2018.1493150
Google Scholar
PubMed
39. Lee, W., Yang, X., Jung, H., You, H., Goto, L., Molenbroek, J.F.M. and Goossens, R.H.M., Application of massive 3D head and facial scan datasets in ergonomic head-product design, International Journal of the Digital Human, 1(4), 344-360, 2016. doi:10.1504/ ijdh.2016.084592
Google Scholar
40. Lee, W., Yang, X., Yoon, S., Lee, B., Jeon, E., Kim, H. and You, H., Comparison of a semiautomatic protocol using plastering and three-dimensional scanning techniques with the direct measurement protocol for hand anthropometry, Human Factors and Ergonomics in Manufacturing & Service Industries, 27(3), 138-146, 2017c. doi:10.1002/hfm.20697
Google Scholar
41. Liang, S., Wu, J., Weinberg, S.M. and Shapiro, L.G., "Improved detection of landmarks on 3D human face data", Proceedings of 35th Annual International Conference of the IEEE Engineering in Medicine and Biology Society (EMBC), 6482-6485, 2013. doi: 10.1109/EMBC.2013.6611039
Google Scholar
PubMed
42. Li, P., Carson, J., Parham, J. and Paquette, S., "Digital human modeling pipeline with a 3D anthropometry database", Proceedings of 5th International Conference on Applied Human Factors and Ergonomics (AHFE), Los Angeles, CA, USA, 2017.
Google Scholar
43. Li, P., Corner, B., Hurley, M., Powell, C. and LaFleur, A., Three-dimensional (3D) analysis of knee shape for designing a knee-pad, Procedia Manufacturing, 3, 3689-3693, 2015. doi:10.1016/j.promfg.2015.07.790
Google Scholar
44. Liu, J.C., Zhang, L., Chen, X. and Niu, J.W., Facial landmark automatic identification from three dimensional (3D) data by using Hidden Markov Model (HMM), International Journal of Industrial Ergonomics, 57, 10-22, 2017. doi:10.1016/j.ergon.2016.11.001
45. Loper, M., Mahmood, N. and Black, M.J., MoSh: Motion and shape capture from sparse markers, ACM Transactions on Graphics, 33(6), 1-13, 2014. doi:10.1145/2661229.2661273
Google Scholar
46. Loper, M., Mahmood, N., Romero, J., Pons-Moll, G. and Black, M.J., SMPL: A skinned multi-person linear model, ACM Transactions on Graphics, 34(6), 248:1-16, 2015. doi:10.1145/2816795.2818013
47. Luximon, Y., Ball, R. and Justice, L., The 3D Chinese head and face modeling, Computer-Aided Design, 44(1), 40-47, 2012.
Crossref
Google Scholar
48. Luximon, Y., Ball, R.M. and Chow, E.H.C., A design and evaluation tool using 3D head templates, Computer-Aided Design and Applications, 13(2), 153-161, 2016. doi:10.1080/16864360.2015.1084188
Google Scholar
49. Nerot, A., Skalli, W. and Wang, X., A principal component analysis of the relationship between the external body shape and internal skeleton for the upper body, Journal of Biomechanics, 49(14), 3415-3422, 2016. doi:10.1016/j.jbiomech.2016.09.006
Google Scholar
50. Perceiving Systems Department at Max Planck Institute for Intelligent Systems, Body Visualizer, http://bodyvisualizer.com/ (Retrieved 27 May, 2019).
51. Pishchulin, L., Wuhrer, S., Helten, T., Theobalt, C. and Schiele, B., Building statistical shape spaces for 3D human modeling, Pattern Recognition, 67, 276-286, 2017. doi:10.1016/j.patcog.2017.02.018
Google Scholar
52. Pons-Moll, G., Romero, J., Mahmood, N. and Black, M.J., Dyna: A model of dynamic human shape in motion, ACM Transactions on Graphics, 34(4), 120:1-14, 2015. doi:10.1145/2766993
Google Scholar
53. Reed, M.P., Park, B.K., Kim, K.H. and Raschke, U., "Creating custom human avatars for ergonomic analysis using depth cameras", Proceedings of Human Factors and Ergonomics Society 58th Annual Meeting, 58(1), 1590-1594, 2014. doi:10.1177/1541931214581331
Google Scholar
54. Robinette, K.M., Blackwell, S., Daanen, H., Boehmer, M., Fleming, S., Brill, T., Hoeferlin, D. and Burnsides, D., Civilian American and European Surface Anthropometry Resource (CAESAR) Final Report, Volume I: Summary, AFRL-HE-WP-TR-2002-0169, Human Effectiveness Directorate, Crew System Interface Division, Wright-Patterson Air Force Base, OH, 2002.
55. Romero, J., Tzionas, D. and Black, M.J., Embodied hands: modeling and capturing hands and bodies together, ACM Transactions on Graphics, 36(6), 1-17, 2017. doi:10.1145/3130800.3130883
Google Scholar
56. Shu, C., Xi, P.C. and Keefe, A., "Data processing and analysis for the 2012 Canadian Forces 3D anthropometric survey", Proceedings of 6th International Conference on Applied Human Factors and Ergonomics (AHFE), 3745-3752, 2015.
Google Scholar
57. Tong, J., Zhou, J., Liu, L.G., Pan, Z.G. and Yan, H., Scanning 3D full human bodies using kinects, IEEE Transactions on Visualization and Computer Graphics (TVCG), 18(4), 643-650, 2012.
Google Scholar
PubMed
58. Tsoli, A., Loper, M. and Black, M.J., "Model-based anthropometry: Predicting measurements from 3D human scans in multiple poses", Proceedings of IEEE Winter Conference on Applications of Computer Vision (WACV), 2014.
Google Scholar
59. von Marcard, T., Henschel, R., Black, M.J., Rosenhahn, B. and Pons-Moll, G., "Recovering Accurate 3D Human Pose in the Wild Using IMUs and a Moving Camera", Proceedings of 15th European Conference on Computer Vision (ECCV), 614-631, 2018.
Google Scholar
60. Xi, P. and Shu, C., Consistent parameterization and statistical analysis of human head scans, Visual Computer, 25(9), 863-871, 2009. doi:10.1007/s00371-009-0316-6
Google Scholar
61. Yang, Y., Yu, Y., Zhou, Y., Du, S., Davis, J. and Yang, R., "Semantic parametric reshaping of human body models", Proceedings of 2nd International Conference on 3D Vision, 41-48, 2014.
Google Scholar
62. Zhang, Z., Iterative point matching for registration of free-form curves and surfaces, International Journal of Computer Vision, 13, 119-152, 1994. doi:10.1007/BF01427149
Google Scholar
63. Zhang, D.Y. and Miao, Z.J., "3D Human shape reconstruction from photographs based template model", Proceedings of 9th International Conference on Signal Processing, 1465-1468, 2008.
Google Scholar
64. Zhuang, Z., Shu, C., Xi, P., Bergman, M. and Joseph, M., Head-and-face shape variations of U.S. civilian workers, Applied Ergonomics, 44(5), 775-784, 2013. doi:10.1016/j.apergo.2013.01.008
Google Scholar
PubMed
65. Zhu, S.Y., Mok, P.Y. and Kwok, Y.L., An efficient human model customization method based on orthogonal-view monocular photos, Computer-Aided Design, 45(11), 1314-1332, 2013. doi:10.1016/j.cad.2013.06.001
Google Scholar
PIDS App ServiceClick here!
