본 프로젝트 목표는 영상 내 손이 어떻게 움직이는 지를 파악할 수 있는 딥러닝 기술을 개발하는 것이었다. 손을 인식하는 이유는 가상 현실, 증강 현실 내에서 게임을 진행한다고 할 때 사람의 동작을 인식하는 기초 기술이 될 수 있기 때문이다. 본 프로젝트에서 제안한 프레임워크는 두 단계 모델로 구성되어 있다. 손의 위치를 인식하는 모델과 손의 관절 좌표 인식 모델이다. 손의 위치를 인식하기 위해 객체 인식 모델인 'You Only Look Once - version 5 (YOLO v5)'  를 사용하였다. 해당 모델은 추론 속도가 빠르면서도 정확하게 원하는 객체를 찾을 수 있다고 알려져 있다. 다음으로 손 관절 좌표 인식 모델로 Heat-map 형태로 관절 위치를 예측하는 모델인 Shallow UNet을 사용하였다. 단순하게 관절 좌표 값을 예측한 것 보다 Heatmap 형태로 예측 시 상대적으로 뛰어난 성능을 보인다고 알려져있다. 또한 Shallow UNet은 기존 UNet모델에서 경량화된 모델이며 실시간 적용이 가능하도록 개발되었다. 본 프로젝트에서 두 모델을 사용해 영상에서 손의 위치를 찾으며 인식한 손 내부 관절 좌표들에 대해 정확하게 인식할 수 있었다. 해당 내용이 추후 협력사 측에서 개발할 게임, 증강 현실 내에서 기초 기술로 활용될 수 있을 것으로 기대한다.