착용형 로봇은 인체에 착용하여 인간의 근력을 보조 및 증강해 주는 외골격 시스템으로, 1965년 GE사의 군용 착용형 로봇인 Hardiman을 기점으로 의료/재활(Kawasaki et al., 2007; Martinez et al., 2013), 산업(Mauri et al., 2019) 등 다양한 분야에 연구/개발이 진행되고 있다(Kazerooni et al., 1968). 최근 들어, 노동인구 감소 및 고령화와 같은 범세계적 문제를 해결하기 위해 노동력 대체가 아닌 작업자의 노동강도 경감을 통한 근골격계 질환 예방 목적의 산업용 착용형 로봇의 필요성이 대두되고 있다(De Looze et al., 2016). 이러한 수요에 맞춰 산업용 착용형 로봇의 상용화를 위한 연구 개발이 꾸준히 증가하는 추세이다(Bogue, 2018).

착용형 로봇은 작동 유형에 따라 능동 착용형 로봇과 수동 착용형 로봇으로 구분할 수 있다(Bae et al., 2020). 능동 착용형 로봇은 모터와 같은 동력원을 활용하여 착용자의 근력 및 체력부담을 줄여주는 방식이다(Qu et al., 2021). 수동 착용형 로봇은 스프링이나 인공 근육 등을 활용하여 인간의 운동으로부터 에너지를 일부 저장하였다가 필요한 때에 사용하여 착용자의 움직임을 지지한다(Bosch et al., 2016). 수동 착용형 로봇은 동력원 없이 재료의 성질 및 특성을 활용하므로 착용자의 움직임을 그대로 따르고 가벼워 쉽게 활용할 수 있어 상용화가 꾸준히 증가하고 있는 데 반해, 능동 착용형 로봇은 상대적으로 상용화가 미비한 상태이다(Toxiri et al., 2018; McFarland and Fischer, 2019). 더 높은 성능의 근력 보조를 위해 능동 착용형 로봇이 일부 산업현장에 적용되고 있지만, 여전히 생체 역학적 설계와 안전성 측면에서 문제가 존재하고 있다(Babič et al., 2021).

능동 착용형 로봇은 센서를 활용하여 착용자의 동작을 감지하고 액추에이터를 통해 근력을 보조한다(Gopura et al., 2016). 이 과정에서 착용형 로봇은 착용자의 동작 의도에 후행하는 것이 일반적이라 동작 움직임과 로봇의 반응 사이에 시차가 발생한다(Chen et al., 2016). 행하고자 하는 동작 의도에 따라 로봇이 즉각적으로 반응하지 않는다면 작업자가 불편함을 느낄 뿐만 아니라 안정성 문제로 이어질 수 있다(Kuo et al., 2022). 따라서 착용형 로봇 개발의 주요 관건은 로봇이 착용자의 동작 의도를 정확히 파악하고 반응하여 한 몸처럼 움직이는 것이다(Chen et al., 2016). 동작 의도-반응의 동시성을 확보하기 위해서는 동작이 발현되기 전에 의도를 파악함으로써 시스템이 액추에이션을 위해 필요한 구동 시간을 미리 준비할 수 있는 동작 예측 기반의 제어 메커니즘이 요구된다.

선행연구에서도 인간의 움직임에서 발생하는 데이터를 활용하여 동작 의도를 추정하기 위한 다양한 시도가 이루어졌다(Nomura et al., 2019; Li et al., 2018). Hughes and Correll, 2018의 연구에서는 착용형 로봇 시스템에 적용하기 위해 Human Activity Recognition (HAR)을 위한 분산형 Convolutional Neural Networks (CNN) 모델을 제안하였다. HAR보다 세분화된 동작 추정을 위해 동작분할 기법을 적용하여 Action Segment 즉, 요소동작을 찾아 인간의 행동을 효율적으로 학습하는 연구가 진행되고 있다(Naghdy, 2011). 특히, 컴퓨터 비전 분야에서 Motion Primitive를 위한 비지도 분할 및 학습은 많은 연구자들의 주요 관심 주제이다(Krüger et al., 2016). Qiu et al., 2020의 연구에서는 외골격 로봇의 능동 보조 제어를 위해 동적 Motion Primitive를 기반으로 인간의 Walking 의도를 추정한다. Krüger et al., 2016의 연구에서는 걷기, 달리기, 뛰기 등과 같은 인간의 동작 데이터를 Motion Primitive로 나누어 비지도 학습으로 분할된 요소동작의 추정성능을 검증한다.

이러한 노력에도 불구하고, 대부분의 연구에서는 Motion Primitive를 통한 머신러닝/딥러닝 알고리즘의 동작 추정 성능 향상에만 초점을 맞추고 있으며, 비지도 학습을 통해 분할된 요소동작의 특성과 패턴을 이해하고자 하는 인간공학적 고찰이 부족하다. 요소동작의 특성에 대한 이해가 부족하면 모델의 예측 결과를 해석하고 설명하는 과정에서 문제를 야기할 수 있다. 동작분할 연구에서 설명 가능한 인공지능(eXplainable Artificial Intelligence: XAI) 측면을 고려할 때, 데이터의 패턴과 특성에 따라 요소동작을 정의하여 개발자나 연구자가 이해 가능한 형식의 동작 분류 및 표현이 수반되어야 한다. 이 연구는 연구자의 주관적 판단에 의해 동작을 세분화하지 않고 비지도 학습을 통해 분할된 요소동작의 패턴과 Motion Primitive의 기준을 확인하는데 의의가 있다.

따라서, 본 연구에서는 하지 관절운동 패턴을 추출하여 동작분할 가능성과 특성을 이해하고자 한다. Kinect 장비를 활용하여 골격 데이터를 측정하고 비지도 학습을 통해 분할된 동작 패턴을 분석한다. 동작분할을 통한 효율적인 동작 분류는 모델 투명성 강화와 결과에 대한 분석과 이해가 용이하다. 또한, 실제 응용 분야에 적용하는데 효과적으로 도움을 줄 수 있으며, 동작 추정 성능을 증가시켜 작업자와 로봇 간의 협응성과 사용성을 향상시킬 수 있다.

2.1 Skeletal data collection

본 연구의 목적은 골격 데이터를 측정하고 비지도 학습을 통해 분할된 관절운동의 패턴을 확인하여 동작분할 가능성을 확인하는 것이다. 본 연구에서 고려된 작업 동작은 동작에 대한 분할이 상지에 비해 동작 구성이 비교적 단순한 하지 작업 동작을 중점적으로 진행하였다. 골격 데이터를 측정하기 위해, Kinect v1 장비를 통해 골격 데이터의 3D 좌표값을 수집하였다. 인간의 모든 관절을 표현하기 불가능하므로 하지의 대표 관절에 대해 자유도를 설정하였다. 본 연구에서는 골격 데이터의 3D 좌표값을 바탕으로 허리 1 자유도, 고관절 2 자유도, 슬관절 1 자유도, 족관절 1 자유도에 대한 각도, 각속도, 각가속도를 측정하였으며, 관절의 자유도에 따라 알파벳 앞 철자를 따서 코드로 표현하였다. 본 연구에서 고려된 관절과 자유도에 대한 코드는 Table 1에 제시되어 있다.

Image	Body	Body code	Motion	Motion code
	①: Back	B	Flexion/Extension	F/E
	②: Left Hip ⑤: Right Hip	LH RH	Flexion/Extension	F/E
			Abduction/Adduction	Ab/Ad
	③: Left Knee ⑥: Right Knee	LK RK	Flexion/Extension	F/E
	④: Left Ankle ⑦: Right Ankle	LA RA	Flexion/Extension	F/E

Table 1. Lower extremity joints & degree of freedom codes

Modify Delete

실험을 진행하기에 앞서, 하지 작업에서 나타날 수 있는 다양한 유형의 동작을 구성하였다. 동작 구성은 전형적인 하지 동작인 Asian Squat, Squat, Stoop, Left Lunge, Right Lunge와 Walking으로 총 6개의 동작에 대해 5회의 반복 수를 설정하고 실험을 진행하였다.

실험에 참여한 피실험자는 신체 결함이 없는 20대 남성 4명으로 구성되었으며, 누적 피로도로 인한 데이터의 이상치가 발생하는 것을 방지하기 위해 한 동작이 끝난 후 30초간 휴식을 취하면서 실험을 진행하였다. 데이터 수집은 30fps로 설정하였으며, Kinect 센서를 통해 측정된 데이터는 Matlab을 통해 값을 실시간으로 확인할 수 있도록 구현하였다. 실험을 위해 구현된 Graphic User Interface (GUI)는 Figure 1에 제시되어 있다. 

Figure 1. Graphic user interface

Modify Delete

2.2 Data preprocessing and analysis

관절의 패턴에 대한 군집화 성능을 향상시키기 위해 측정된 하지 동작 데이터의 전처리 및 차원 축소를 진행하고 관절운동의 패턴 특징을 추출하였다. 우선 데이터의 노이즈를 제거하기 위하여 차수를 30으로 설정하고 이동평균 기법을 적용하여 각도, 각속도, 각가속도 변화 패턴을 평활화하였다. 총 120개의 데이터(피실험자 4명×6개 동작×5번 반복)에서 이상치가 높은 2개의 데이터를 제거하여 관절마다 총 118개의 데이터를 선별하였으며, 한 데이터에 대해 90프레임의 데이터를 추출하였다. 활용된 118개의 데이터는 각도, 각속도, 각가속도 데이터이기 때문에 데이터 차원은 관절의 자유도 별로 각각 (90×3×1)으로 구성되었다. 군집화를 수행하기 앞서, 데이터의 정규화를 수행하고 고차원 데이터의 주요 문제인 차원의 저주를 해결하기 위해 데이터의 차원을 축소하는 과정을 거쳤다. 따라서 이동평균 기법이 적용된 데이터를 기반으로 비지도 학습 기법의 하나인 Auto-encoder를 활용하여 데이터의 차원 축소를 수행하였다. Auto-encoder는 기존 데이터를 보다 작은 차원의 공간(Latent space)으로 압축한 후, 다시 복원하여 기존 데이터와 복원 데이터의 차이를 줄여 나가는 방식으로 학습하여 고차원의 데이터를 최적의 압축된 데이터(Compressed Data)로 변환할 수 있다는 장점이 있다(Masci et al., 2011). 또한, 차원 축소 과정에서 데이터의 특성상 주변 프레임의 영향을 많이 받을 것으로 판단되어 Convolution Neural Network 기반의 Auto-encoder로 구성하였다. 차원 축소에 활용된 Convolution Auto-encoder Architecture는 Figure 2에 제시되어 있다.

Figure 2. Convolution auto-encoder architecture

Modify Delete

아키텍처를 설계하고 모델을 학습하기 위해 Hyper-parameter를 설정하였다. 효율적인 차원 축소를 위해 은닉층을 7개로 설정하고 최적화 함수는 Adam optimizer를 활용하였다. 118개의 전체 데이터 셋에서 4명의 피실험자 중 3명의 데이터 셋인 89개는 Auto-encoder 과정에서 훈련 데이터로 활용되었으며 1명의 데이터인 29개는 테스트 데이터로 활용하여 과적합을 방지하였다. Batch Size는 본 연구에서 활용된 데이터의 양이 적어 데이터 전체를 한 번에 학습할 수 있도록 하였으며, 충분한 학습을 위해 Epoch는 3000으로 설정하였다.

전처리 및 차원 축소 과정을 거쳐 최종적으로 산출된 3차원 데이터에 대해 K-means Clustering을 진행하였다. K-means Clustering은 각 데이터의 평균을 통해 군집을 형성하는 대표적인 비지도 학습 기법 중 하나로, 비교적 쉽게 수행할 수 있고 속도가 빠르다는 장점이 있다(Na et al., 2010). 엘보우 기법을 통해 오차 제곱 합을 비교하여 최적 군집의 수인 k 값을 3으로 설정하고 군집화를 수행하여 결과를 도출하였다.

3차원 데이터로부터 추출된 관절의 자유도에 따른 각도 패턴을 분석하고 비지도 학습을 통해 구분된 군집의 특성을 확인하였다. 이는 관절의 자유도에 따른 운동 패턴이 타 동작과 유사성이 있는지 확인하기 위해 고안되었다. 관절 자유도에 따른 패턴을 확인하기 위해 군집화 결과와 동작 유형을 비교하여 각도의 변화 패턴을 분석하였다.

3.1 Back

동작 유형에 따라 Asian Squat, Squat, Stoop, Left Lunge, Right Lunge, Walking의 허리 각도 패턴을 추출하고 이를 군집화하여 군집의 특성을 확인하였다. 허리의 각도에 해당하는 Back의 Flexion/Extension에서 군집화한 결과, 동작이 다름에도 불구하고 같은 군집을 형성하는 양상을 확인할 수 있었다. 동작 유형에 따라 Back의 Flexion/Extension의 변화 패턴을 군집화한 결과는 Figure 3에 제시되어 있다.

Figure 3. Comparison of motion type and back flexion/extension data clustering results

Modify Delete

허리의 관절운동 패턴에 대한 군집 결과를 확인했을 때, Figure 3에서 나타난 바와 같이 군집 1은 Asian Squat과 Squat 동작이 주로 군집을 이루는 것을 확인할 수 있었다. 이는 Squat과 Asian Squat 동작에서 허리 운동의 변화 패턴이 유사하다는 것을 의미한다. 따라서 Half Squat, Full Squat과 같이 동작의 형태는 유사하나 정지 시점이 다른 동작을 허리 각도를 통해 구분하는 것은 어려울 수 있기 때문에 슬관절 각도 변화 또는 근육의 활동 정도를 통해 추정하는 것이 더욱 효과적일 수 있다. 군집 2에서는 Walking, Left Lunge, Right Lunge 동작이 대부분 군집을 이루어지는 것을 확인할 수 있으며, 이는 허리의 움직임이 거의 없는 관절 운동 패턴이 군집을 이룬 결과라고 볼 수 있다. 군집 3의 경우, 허리 숙임이 많은 Stoop 동작이 대부분 군집을 이루고 있었으며, Asian Squat 동작에서 허리를 많이 숙이는 경향이 있는 일부 피험자의 동작이 함께 군집을 이루었다. 특히, Stoop 동작은 Lifting 동작에서 나타날 수 있는 다른 동작과 허리 각도 측면에서 명확한 차이를 보이고 있다. 군집화된 결과뿐만 아니라 군집의 특성을 확인하기 위해 각 군집의 대표적인 변화 패턴을 확인하였다. 각도 측면에서 어떤 특징을 가졌는지 파악하였으며, 그 결과는 Figure 4에 제시되어 있다.

군집 1에 속해있는 Squat이나 Asian Squat 동작은 허리 각도가 대부분 10~30° 사이에서 각도의 최대값을 이루는 경향을 보인다. Walking이나 Lunge 동작이 포함된 군집 2에서는 허리 운동이 움직임이 거의 없는 패턴이 군집을 이루었다. Stoop 동작이 많은 군집 3은 각도의 최대값이 40°를 넘어서는 데이터들로 군집화를 이루고 있는 경향을 확인하였다. 특히, Stoop 동작에서는 허리의 운동 패턴이 다른 군집과 비교했을 때 상당히 뚜렷하여 동작을 수행하는 초기의 각속도 변화를 통해 미리 동작을 추정할 수 있을 것으로 사료된다.

Figure 4. Back flexion/extension angle data pattern. (a) Cluster 1; (b) Cluster 2; (c) Cluster 3

Modify Delete

3.2 Hip

고관절에 해당하는 Hip은 두 자유도에 대한 방향이 존재하므로 Abduction/Adduction과 Flexion/Extension의 각도 변화를 각각 확인할 수 있다. 따라서 두 방향에 대한 군집의 조합을 통해 고관절운동의 패턴을 정의할 수 있다. 먼저, Left Hip의 Abduction/Adduction에 대한 동작 유형과 군집화 결과는 Figure 5에 제시되어 있다.

Figure 5. Comparison of motion type and Left Hip Abduction/Adduction data clustering results

Modify Delete

Left Hip Abduction/Adduction에 대한 군집화 결과, 군집 1은 주로 Left Lunge가 대부분 분포되어 있음을 확인할 수 있다. 군집 2에서는 Asian Squat과 Left Lunge를 제외한 대부분의 동작 유형이 포함되는 것을 확인하였다. 이 군집은 Abduction/Adduction 방향으로 각도 변화가 거의 없을 것으로 판단된다. 마지막, 군집 3은 Asian Squat 동작이 대부분 분포된 모습을 보였다. 특히, Asian Squat 동작이 포함된 군집 3은 다른 군집과 3차원 좌표 간의 거리가 비교적 먼 것으로 나타났는데, 이는 다른 군집과 관절운동 패턴의 차이가 뚜렷하다는 것을 의미한다. Right Hip에 대한 군집화 결과도 Left Hip과 유사한 양상을 확인하였다. 군집화 결과의 타당성을 확인하기 위해서 군집의 특성을 설명할 수 있는 대표적인 패턴을 확인하였다. 각 군집에 해당하는 Hip의 Abduction/Adduction에 대한 관절운동 패턴을 확인하였으며, 그 결과는 Figure 6에 제시되어 있다.

Figure 6. Left Hip Abduction/Adduction angle data pattern. (a) Cluster 1; (b) Cluster 2; (c) Cluster 3

Modify Delete

Left Lunge 동작이 속해 있는 군집 1의 경우에는 Abduction/Adduction 방향으로 각도 변화가 약 20~40° 사이에서 최대값을 가지는 것을 확인하였다. 군집 2에서는 예상한 바와 같이, 각도 변화가 거의 없는 운동 패턴을 확인하였다. 군집 1에는 Left Lunge 동작뿐만 아니라, 다른 동작이 함께 포함된 것을 확인할 수 있었다. 이는, 군집 1과 군집 2의 각도 변화가 비교적 뚜렷하지 않아 군집 1에 일부 Squat과 Stoop 동작이 포함된 것으로 사료된다. 그에 반해, 군집 3에 분포하고 있는 Asian Squat 동작은 각도 변화가 70° 이상으로 굉장히 뚜렷한 관절운동 패턴을 확인하였다. Asian Squat 동작은 무릎을 구부릴 수 있는 허용 최대값으로 내려가기 때문에 Abduction/Adduction 방향으로 다리가 많이 벌려지는 경향을 보인다. 군집 3과 군집 1과 비교했을 때, 평균 최대값 각도가 40°가량 차이가 나 각속도 측면에서 상당히 많은 차이를 확인할 수 있다. 이러한 패턴 차이는 Lifting 동작 초기에 Abduction/Adduction의 각속도 변화를 기준으로 어느 시점의 각도까지 내려갈지 추정하는 데 활용될 수 있을 것으로 보인다.

Abduction/Adduction뿐 아니라, Flexion/Extension에 대한 군집화 결과를 확인하였다. Left Hip의 Flexion/Extension 방향으로의 군집화 결과와 동작 유형 비교 결과는 Figure 7에 제시되어 있다.

Figure 7. Comparison of motion type and Left Hip flexion/extension data clustering results

Modify Delete

Left Hip의 Flexion/Extension에 대한 군집화 결과, Walking과 Right Lunge 동작이 군집 1에 가장 많이 포함되는 것을 확인하였다. 그러나 군집 1에서는 Walking, Right Lunge 동작뿐 아니라, 일부 Left Lunge, Squat, Stoop 동작이 포함되는 경향을 확인하였다. 군집 2에는 일부 Asian Squat 동작만 포함되었지만, 군집 1과 군집 3은 Asian Squat을 제외하고 동작 유형이 비교적 고르게 분포되어 예상보다 동작을 구분하지 못하는 것을 확인하였다. 이는 각도 변화가 군집 간의 큰 차이가 없고, 인간의 동작 편차 때문에 고르게 분포된 것으로 사료된다. 이러한 결과에 대한 패턴의 특성을 확인하기 위해 Flexion/Extension의 대표적인 각도 패턴을 확인하였으며, 그 결과는 Figure 8에 제시되어 있다.

Figure 8. Left Hip flexion/extension angle data pattern. (a) Cluster 1; (b) Cluster 2; (c) Cluster 3

Modify Delete

패턴에 대한 확인 결과, Abduction/Adduction에 비해 상대적으로 패턴이 뚜렷하지 않은 것을 확인하였다. Asian Squat 동작이 군집을 이루고 있는 군집 2는 60° 이상으로 각도 변화가 현저히 큰 것을 확인하였지만, 군집 1과 군집 3은 각도의 최대값이 비교적 겹치는 부분이 존재하였다. Walking이 포함된 군집 1은 각도의 변화가 크지 않고 0~20° 사이에서 주기적으로 운동하는 패턴을 보이고 있음을 확인할 수 있다. 군집 3은 각도의 변화가 군집 1에 비해서 크지만, 편차가 심하여 10~30° 범위에서 증가 및 감소를 반복하는 유사한 추세를 보였다. 특히, Flexion/Extension 방향으로의 관절운동은 Abduction/Adduction보다 패턴이 군집 간 상대적으로 명확하지 않고 다른 관절운동에 비해 개인적 편차가 심하여 동작 유형을 제대로 구분하지 못한 것으로 보인다. 그러나, 군집의 운동 패턴이 명확하지 않다고 해서 Hip의 Flexion/Extension에 대한 동작분할이 어렵다고 볼 수 없다. 제시된 결과는 각 관절의 자유도에 따른 동작 패턴을 단편적으로 보여주고 있기 때문에 양 고관절의 각도 변화를 함께 고려한다면, 동작 추정이 가능할 것으로 판단된다.

3.3 Knee

슬관절에 해당하는 Knee의 경우, 동작에 따라 각도가 크게 변하기 때문에 보다 정확한 군집화가 가능할 것으로 판단된다. Left Knee의 Flexion/Extension에 대한 동작 유형과 군집화 결과는 Figure 9에 제시되어 있다.

Figure 9. Comparison of motion type and Left Knee flexion/extension data clustering results

Modify Delete

군집 1의 경우, 정확히 무릎의 변화량이 적은 Walking 동작만 군집을 이루는 것을 확인하였다. 이 패턴은 다른 군집과의 3차원 거리를 비교했을 때, 확연한 차이를 확인할 수 있다. Walking에서 무릎 각도의 패턴은 상대적으로 큰 변화 없이 주기 운동 패턴으로 사료된다. 군집 2는 Walking과 Asian Squat을 제외한 Squat, Stoop, Right Lunge, Left Lunge 동작이 모두 함께 군집을 이루는 것을 확인하였다. 이는 슬관절의 각도 패턴이 대부분의 동작에서 유사하다는 것을 의미한다. 군집 3은 대부분 Asian Squat 동작이 포함되어 있고 일부 Squat 동작이 군집을 이루고 있다. 이는 관절운동에 대한 개인 편차로 인해 일부 피실험자의 Squat 동작이 함께 군집화된 결과로 볼 수 있다. 특히, 슬관절은 각도 변화가 뚜렷하기 때문에 군집의 패턴 특성도 명확할 것으로 판단된다. 슬관절의 flexion/extension에 대한 군집의 특성을 확인하기 위해 대표적인 각도 패턴을 확인하였으며, 그 결과는 Figure 10에 제시되어 있다.

Figure 10. Left Knee flexion/extension angle data pattern. (a) Cluster 1; (b) Cluster 2; (c) Cluster 3

Modify Delete

Walking 동작이 군집을 이루고 있는 군집 1의 경우, 예상한 대로 각도 변화가 크지 않은 경향을 보이며, 약 0~20° 사이에서 감소와 증가를 반복하는 형태를 띠고 있다. 군집 2는 Asian Squat 동작이 포함되어 있어 각도 변화가 100° 이상으로 최대값으로 가지는 운동 패턴이 군집을 이루는 것으로 확인하였다. 군집 3에 포함된 Lunge, Stoop, Squat 동작은 일반적으로 50~70° 사이에서 최대값을 가지는 관절운동 패턴이 군집을 이루고 있다. 슬관절의 경우, 군집 간 각도의 최대값 차이가 40° 정도로 명확한 것을 확인하였다. 슬관절의 각속도는 다른 관절에 비해 뚜렷한 패턴을 보이고 있어, 하지 동작의 의도를 파악하기 위한 주요 인자로 판단된다.

3.4 Ankle

족관절에 해당하는 Ankle에 대해 각도 패턴을 추출하고 이를 군집화하여 군집의 특성을 확인하였다. Left Ankle의 Flexion/Extension에 대한 동작 유형과 군집화 결과는 Figure 11에 제시되어 있다.

군집화 결과, 다른 관절에 비해 군집의 특성이 뚜렷하지 않은 것을 확인하였다. Walking과 Asian Squat의 경우, 관절의 패턴이 비교적 뚜렷해 각각 군집 3과 군집 2로 수렴하는 것을 확인하였지만, 나머지 동작 유형의 경우, 한 군집에 포함되지 않고 고루 분포되는 경향을 보였다. 군집 1은 일부 Left Lunge와 Asian Squat, Squat, Stoop 등 다양한 동작이 군집을 이루고 있었다. 군집 3에서는 Walking뿐 아니라 각도의 변화 패턴이 적은 경향이 있는 일부 Left Lunge, Squat과 Stoop 동작도 함께 군집을 이루었다. Right Lunge가 포함된 군집 2는 일부 Stoop, Asian Squat 동작이 함께 포함되어 군집을 이루었다. 특히, Squat, Stoop, Asian Squat 동작은 군집 1, 2, 3에 고르게 분포하는 경향을 보였는데, 이는 Lifting 동작에서 피실험자 발목의 관절운동 패턴의 개인차가 굉장히 심하여 나타난 결과로 판단된다. 따라서 족관절의 운동 패턴을 가지고 동작을 분할하는데 한계가 있을 수 있다. 족관절의 flexion/extension에 대한 군집의 특성을 확인하기 위해 대표적인 각도 패턴을 확인하였으며, 그 결과는 Figure 12에 제시되어 있다.

Figure 411. Comparison of motion type and Left Ankle flexion/extension data clustering results

Modify Delete

Figure 12. Left Ankle flexion/extension angle data pattern. (a) Cluster 1; (b) Cluster 2; (c) Cluster 3

Modify Delete

군집 1에서는 일반적으로 60°에서 각도가 10~30° 정도 증가하여 70~90°에서 최대값을 가지는 패턴이 군집을 이루지만, 편차가 굉장히 심하여 군집 3의 패턴과 유사한 경우도 존재했다. 군집 3은 주로 50~70° 사이에서 주기 운동을 반복하는 형태의 패턴을 포함하고 있었다. 군집 2는 80~140°까지 발목의 각도가 급격한 변화를 보이는 운동 패턴이 군집화되었다. 그러나 다른 관절과 비교했을 때 족관절에 대한 데이터 노이즈가 굉장히 심하고 특히, Lifting 동작에서는 족관절의 운동 패턴이 개인 편차에 따라 굉장히 심하여 뚜렷한 경계값을 특정하기 어려워 보인다. 따라서 족관절 데이터를 동작을 구분하는 데 필요한 주요 인자로 보기 어렵다. 효율적인 동작분할을 수행하기 위해서는 다른 관절을 함께 고려할 필요가 있다.

본 연구는 여러 하지 동작에서 나타나는 운동 데이터를 관절의 자유도에 따라 동작을 분할하고 패턴을 확인함으로써 동작 표현을 위한 분류 가능성을 확인하고자 하였다. 동작 패턴에 대한 군집화 결과, 하지 관절운동의 동작분할이 3~4개의 군집으로 분류할 수 있음을 확인하였으며, 동작 유형에 따라 일부 관절에서 군집 간의 패턴이 명확함을 확인하였다. 따라서 관절의 자유도별로 분류된 군집의 조합을 통해 동작을 표현하는 것이 가능하다. 동작을 분류하고 표현할 수 있는 체계를 만들기 위해 군집의 특성을 반영할 수 있는 경계값과 레이블을 지정하여야 한다. 이를 위해 군집 간의 평균적인 각도의 중앙값을 경계값으로 설정하였으며, 각도의 변화가 거의 없는 군집부터 시작하여 변화폭이 큰 순으로 레이블을 지정하였다. 그 결과는 Table 2에 제시되어 있다.

Motion	Back label	Left hip label	Right hip right	Left knee label	Right knee label	Left ankle label	Right ankle label
	② 10~30°	④ Ab/Ad-more than 50°, F/E-more than 40°	④ Ab/Ad-more than 50°, F/E-more than 40°	③ More than 80°	③ More than 80°	② 70~95°	② 70~95°
Asian squat
	② 10~30°	② Ab/Ad-less than 20°, F/E-20~40°	② Ab/Ad-less than 20°, F/E-20~40°	② 35~80°	② 35~80°	② 70~95°	② 70~95°
Squat
	③ More than 30°	② Ab/Ad-less than 20°, F/E-20~40°	② Ab/Ad-less than 20°, F/E-20~40°	② 35~80°	② 35~80°	② 70~95°	② 70~95°
Stoop
	① Less than 10°	③ Ab/Ad-20~50°, F/E-20~40°	③ Ab/Ad-20~50°, F/E-20~40°	② 35~80°	② 35~80°	③ More than 95°	① Less than 70°
Right lunge
	① Less than 10°	① Ab/Ad-less than 20°, F/E-20° or less	① Ab/Ad-less than 20°, F/E-20° or Less	① Less than 35°	① Less than 35°	① Less than 70°	① Less than 70°

Table 2. Relationship between motion and Joint segmentation

Modify Delete

Back은 3가지 패턴으로 구분되었다. Walking과 Lunge와 같이 허리의 운동 변화가 거의 없이 0~10° 사이를 미세하게 반복하는 운동 패턴을 레이블 1로 지정할 수 있다. 두 번째 패턴으로 일정 허리 숙임이 필요한 동작으로 Squat, Asian Squat이 포함된 군집은 10~20° 사이에서 각도의 최대값을 가지기에 레이블 2로 지정하였다. 마지막, Stoop 동작과 같이 허리의 숙임이 큰 동작은 각도의 평균값이 약 40°를 가지므로 경계값은 30°로 설정하고 레이블 3으로 지정하였다.

Hip의 Abduction/Adduction과 Flexion/Extension 두 개의 자유도가 존재하므로, 각각의 패턴의 조합을 통해 레이블을 지정할 수 있다. Walking과 같이 Abduction/Adduction과 Flexion/Extension 두 자유도 모두 관절의 각도가 크게 변화하지 않고 0~20°에서 증가와 감소를 반복하는 운동 패턴을 가지는 군집을 레이블 1로 명명하였다. 마찬가지로, Abduction/Adduction에 대한 각도의 변화는 크게 나타나지 않지만, Flexion/Extension에서 20~40° 사이에서 최대값을 가지고 각도가 다시 감소하는 패턴을 가지는 군집을 레이블 2로 표현할 수 있다. 레이블 2는 Squat, Stoop과 같은 관절운동 패턴이 포함된다. 레이블 3은 Abduction/Adduction 방향으로 각도 변화가 약 20~50° 사이를 가지며, Flexion/Extension에서 20~40° 각도 변화를 가지는 관절운동 패턴으로 설정하였으며, 이 레이블은 Lunge 동작이 포함된다. 마지막 레이블 4는 두 자유도에 대한 각도 변화가 현저히 큰 군집으로 Abduction/Adduction 방향이 50° 이상이며, Flexion /Extension 방향으로 40° 이상인 특징을 가지는 패턴으로 지정할 수 있으며, Asian Squat 동작이 포함된다.

Knee에서는 Walking과 같이 무릎 변화가 거의 없는 군집이 주로 0~20°를 반복하는 형태를 가지고 있으며, Squat, Stoop, Lunge가 포함된 군집 50~70°에서 최대값을 보이므로 두 군집 사이의 경계값을 35°로 설정하고 각각 레이블 1과 2로 지정하였다. 마지막 군집은 무릎의 각도가 평균 100°의 각도값을 가지므로 레이블 3으로 명명하고 경계값은 80°로 지정할 수 있다.

Ankle도 마찬가지로 Walking과 같이 각도 변화가 거의 없이 평균적으로 60°의 값을 가지고 있는 군집과 Stoop, Squat과 Asian Squat과 같이 80°에서 최대값을 가지는 동작 패턴의 군집을 나누기 위해 경계값을 70°로 설정하고 레이블을 각각 1과 2로 설정하였다. Lunge 동작과 같이 발목 각도가 심하게 꺾이는 군집은 평균적으로 각도의 최대값이 평균 110°를 가지므로 경계값은 95°로 설정하고 레이블 3으로 지정하였다.

각 관절의 3, 4개의 조합을 통해 여러 동작의 형태를 표현할 수 있지만, 인체 움직임의 자유도와 산업 현장에서 주로 활용되는 동작을 고려했을 때 하지를 표현하는 코드의 조합은 많지 않다. 이러한 특성은 동작을 표현하고 분석하는데 효율적일 수 있으며, 동작 의도 예측에 필요한 전산 속도를 크게 감소시킬 수 있다. 또한, 각 관절의 운동 패턴을 확인하여 허리와 슬관절에서 각 군집의 특성이 뚜렷함을 확인하였다. 따라서 동작 의도를 판단할 때 허리와 슬관절을 주요 인자로 활용한다면 동작 예측 알고리즘의 추정 성능 측면에서 효과적일 것이라 판단된다.

본 연구는 하지 동작에 초점을 맞추어 3D 골격 데이터의 각도 변화 패턴을 비지도 학습을 통해 분석하여 관절 움직임의 특성을 파악하였다. 군집화된 데이터의 패턴을 분석하고 동작 유형과의 관계성을 비교하여 동작을 구분할 수 있는 경계값과 레이블을 지정하였다. 이러한 관절과 레이블의 수준을 고려하여 간단하게 동작을 표현하고 구분할 수 있는 체계를 제시하였다. 본 연구는 레이블을 지정하고 학습하는 것이 아닌 비지도 학습 기반 알고리즘이 패턴을 자체적으로 학습하여 동작을 분할하였으며, 분할된 패턴의 특성을 확인했다는 점에서 Motion Primitive를 통해 동작 추정을 수행한 다른 연구와 차별화된 결과를 도출하였다고 판단된다.

Table 2에서 확인할 수 있듯이, Walking에 대해서는 각도 변화 패턴이 크지 않고 다른 동작과의 차이가 뚜렷한 것을 확인할 수 있다. Lunge 동작에서는 타 동작과 비교했을 때, 발목 각도 패턴에서 차이가 명확하다. Lifting 동작에서 Stoop과 Squat, Asian Squat을 구별할 수 있는 명확한 인자는 허리 관절과 슬관절에서 나타나는 각도 패턴임을 알 수 있다. 허리 관절은 특히, 허리 굽힘 정도가 뚜렷한 Stoop 동작이 다른 동작과 별도의 군집을 형성하는 경향을 보였다. 허리 관절과 슬관절의 경우에는, Asian Squat 동작이 다른 군집과 패턴 차이가 뚜렷함을 확인하였다. 이러한 특성은 동작을 수행하는 초기 단계에서 각도뿐 아니라, 각속도, 각가속도에서 차이가 나타날 것으로 사료되며, 이를 통해 동작 의도를 보다 효율적으로 예측할 수 있을 것으로 보인다. 족관절에서의 관절 패턴은 개인차가 심하여 동작 의도를 파악하는 주요 인자로 보기 어려워 다른 관절과 함께 활용되어야 한다. 제시된 분류체계는 군집을 구분할 수 있는 레이블과 경계값을 지정하고 간단하게 동작을 표현할 수 있다. 착용형 로봇에 관한 선행연구에서 로봇의 제어지연 시간에 대한 고려를 언급하고 있다(Zhang and Sawchuk, 2012; Stolyarov et al., 2017). 동작분할 및 학습에서 이러한 분류체계를 적용한다면 데이터 처리에 필요한 전산 속도를 감소시켜 동작을 보다 효율적으로 학습할 수 있을 것으로 기대한다. 본 연구에서는 각도를 기반으로 패턴 군집화를 수행하였는데, 이는 착용형 로봇 제어 상황에서 분할된 각도 구간 내에서 자연스러운 동기화가 이루어질 수 있게 하기 위함이다. 각도를 기준으로 분할함으로써 어떤 각도 범위에서 활동이 이루어질지 패턴을 추정하는데 더욱 용이할 것으로 사료된다. 비지도 학습을 통해 분할된 본 연구 결과는 이후 동작 의도에 따른 패턴 추정을 위한 보조 정보로 활용할 수 있다.

본 연구에서는 단순히 동일한 프레임의 관절운동 패턴을 추출하여 동작 유형에 대한 분류만 수행하였다. 본 연구에서 제시한 동작 분류체계는 동작 데이터의 차원 축소와 관절운동 패턴 분석 및 이해에 활용할 수 있지만, 후행 동작을 예측하는데 한계가 있다. 제시된 동작 분류체계를 동작 추정 알고리즘에 적용하여 분류체계의 효율성을 검증할 필요가 있다. 연구에서 고려된 피실험자와 동작 유형의 수가 굉장히 적어 군집화된 결과의 신뢰성을 보장하기 어렵다는 한계점이 존재한다. 각도 데이터를 기반으로 동작분할을 수행하였기 때문에 추후 같은 각도라도 동작 의도에 따라서 근육 활성도의 차이가 있는지 확인할 필요성이 있다.

향 후 연구로, 동작 예측 알고리즘에 적용할 요소동작을 정의하기 위해서 다양한 동작을 시간 프레임에 따라 요소동작으로 분할하고 이를 연계 동작으로 이루어지는 일련의 시퀀스로 표현할 수 있는 체계를 마련하고자 한다. 시퀀스를 통해 선제 동작 관절의 신호를 바탕으로 후속 관절의 요소동작과 시점을 정확히 예측하여 로봇 제어에 필요한 구동 시간을 확보하고자 한다. 다양한 연구에서 동작 의도를 측정하기 위해 Inertial Measurement Unit (IMU)와 electromyogram (EMG) 센서 등을 활용하고 있다(Vásconez et al., 2022; Ashry et al., 2018; Asif et al., 2020). 이번 연구에서는 Kinect 단일 센서 기반의 유니모달한 동작 분류를 진행하였지만, 향후에는 인간의 생체활동 변화를 포착할 수 있는 다양한 신호를 활용한 멀티모달 기반의 동작분할 및 예측 연구를 수행할 계획이다. 특히, EMG 신호는 인간의 동작을 수행하기 이전에 활성화되어야 하는 신호로 동작 예측에 보다 효율적인 정보로 활용할 수 있을 것으로 판단된다. 효율적인 동작 의도 예측 시스템을 통해 착용형 로봇의 제어에 필요한 구동 시간을 미리 확보함으로써 작업자의 동작과 로봇 반응의 동시성을 확보하여 보다 높은 사용자 경험을 제공하고 자연스러운 상호작용을 가능하게 하고자 한다.

본 연구에서는 착용형 로봇의 선행제어를 위해 6개의 주요 하지 관절운동에 초점을 맞춰 관절의 패턴에 따라 분류할 수 있는 동작 분류체계를 제시한다. 이를 위해 대표적인 동작 유형에 대해 3D 골격 데이터를 측정하여 하지 관절의 각도, 각속도, 각가속도 데이터를 추출하였다. 각 관절 움직임의 패턴을 분류하기 위하여 비지도 학습 알고리즘을 활용하여 군집화를 진행하였다. 군집화 결과에 따라 허리, 엉덩이, 무릎, 발목 관절의 운동 패턴을 확인하였다. 각 관절은 허리 3개, 고관절 4개, 슬관절 3개, 족관절 3개의 레이블로 정의하였으며, 이들의 조합에 따라 특정 작업을 간단히 표현할 수 있는 체계를 제시하였다. 특히, 허리관절과 슬관절의 운동 패턴은 동작 유형에 따라 군집의 특성이 뚜렷한 것으로 확인되어 동작 의도를 판단하기 위한 주요 인자로 반영하여야 함을 확인하였다. 제시된 동작 분류체계는 설명 가능한 인공지능을 위한 인간 동작분할 연구의 기초자료로 활용할 수 있을 것으로 기대한다.