본 프로젝트는 장애인들이 재활 운동을 진행함에 있어 즐겁게 수행하는 것을 목적으로 하였다. 프로젝트는 장애인 전용 재활체육 장비 제작과 재활 운동 어플리케이션 제작으로 구성되어 있으며 DMQA 연구실에서는 소프트웨어 제작 과정 중 운동 수행 능력을 평가하기 위한 인공지능을 개발하였다. 운동 수행 능력 평가 인공지능 개발의 수행 과정은 다음과 같다.

인공지능을 활용한 운동 수행 능력 평가 수행 과정

    1.  재활운동 수행 영상 데이터를 Human Pose Estimation 기술을 활용해 관절 좌표 추정

    2.  관절 좌표를 기반으로 연산하여 각도 데이터 생성

    3.  관절 좌표와 각도를 각각 그래프 계열 모델과 순환 신경망 계열 모델의 입력 값으로 사용하여 평가 모델 구축

그래프 기반 모델과 순환 신경망 기반 모델을 Multimodal 형태로 학습하여 평가를 수행하는 인공지능을 개발하였다. 운동 수행 능력 인공지능은 우수한 성능으로 평가가 가능하였으며 time attention을 이용하여 각도 관점에서 중요 시점을 제공하였다. 성공적으로 2차년도 프로젝트를 마무리 하였으며 3차년도에는 Self-supervised Learning, Multiple Instance Learning 방식으로 운동 수행 능력 평가 성능을 향상시킬 예정이다.