김정인

이번 세미나에서는 Skeleton 기반 행동 인식에 대해 소개되었다. 지도 학습 기반 ST-GCN, self-supervised 기반 AimCLR, semi-supervised 기반 PSP-Learning 모델, 총 3가지 접근 방식에 대해 이해할 수 있었다. 먼저, ST-GCN은 skeleton 데이터로부터 골격 시퀀스를 그래프로 표현하고, 각 노드는 관절을, 엣지는 관절 간의 자연스러운 연결을 의미한다. ST-GCN을 통해 공간적 및 시간적 패턴을 자동으로 학습해 표현을 높여 인간 행동 인식을 수행하는 것으로 이해했다. AimCLR는 self-supervised 학습 기반의 인간 행동 인식 방법론으로, 극단적 증강을 통해 다양한 동작 패턴을 학습하고, EADM을 사용하여 일반적인 특징을 학습한다. 또한, D3M 손실 함수를 도입하여 극단적 증강과 일반 증강 사이의 분포 차이를 최소화해 모델이 더 부드럽게 움직임 패턴을 학습할 수 있도록 하며, NNM을 통해 메모리 뱅크에서 가장 가까운 이웃을 positive sample로 확장해서 학습함으로써 성능을 향상시킨다. 마지막으로, PSP-Learning은 body, part, joint level 수준에서 동작 표현을 학습하는 방법론이다. 이를 위해 PPA 메커니즘을 사용하여 body-part-joint의 attention map을 결합하여, 보다 정확한 동작 인식을 가능하게 한다. 또한, CCL을 통해 body-part-joint 수준의 특징들 간 유사성을 측정하고 이를 대조 학습에 활용하여 모델이 다양한 수준에서의 특징을 균형 있게 학습하도록 한다. 이번 세미나를 통해 skeleton 기반 행동 인식 방법론에 대한 지식을 습득할 수 있었다. 유익한 세미나를 만들어 준 진혁이형에게 고마운 마음을 전하며, 이상으로 세미나 후기를 마친다.

이정민

이번 세미나는 skeleton-based action recognition task에 자기지도 및 준지도 학습을 적용한 방법론에 대해 소개해주었다. 해당 task는 관절 좌표를 통해 사람의 행동을 인식하는 것을 의미하며, 스포츠 및 의학 등 여러 분야에서 다양하게 적용되고 있다.
자기지도 학습에 이를 적용한 AimCLR은 energy-based attention-guided drop module (EADM)을 통해 모델이 robust한 feature representation을 할 수 있게 한다. 또한, 극단적 증강과 일반적 증강을 통해 나온 query와 유사한 상위 k개의 벡터를 통해 nearest neighbors mining (NMM) 방식으로 대조 학습을 수행하는 것이 큰 특징이라고 할 수 있다.
준지도 학습에 적용한 PSP-learning은 관절 좌표를 joint와 motion으로 구분하고, 또한 joint-level, part-level, body-level로 구분한다. 각 level에서 어텐션 연산을 수행하는데, 이 때 body-level부터 계층적 구조로 joint-level 까지 연산을 수행한 후, 각 level에서 대조 학습을 수행하게 된다.
이번 세미나를 통해 대조 학습을 기반으로 자기지도 및 준지도 학습에 skeleton-based action recognition task를 수행한 방법론들에 대해 알아갈 수 있었다. PSP-learnig에서 계층적 구조로 어텐션 연산을 한다는 것이 제일 흥미로웠던 것 같고 어떻게 보면 당연한 개념일 수 있지만 떠올리기 쉽지 않았을 것 같은 아이디어를 잘 적용한 방법론이라는 생각이 들었다. 좋은 세미나를 준비하느라 고생하신 진혁이형에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

김성수

이번 세미나는 Skeleton 좌표 데이터를 활용한 Self/Semi-supervised Learning에 대해 진행되었다. Skeleton 좌표 데이터는 주로 그래프 형태로 구성되며, 이를 기반으로 연구가 많이 수행되고 있다. 본 세미나에서는 크게 2가지 방법론을 다룬다.

1) AimCLR: Self-supervised Learning 방법론이다. 중요한 특징을 버리는 데이터 증강기법을 수행한 후, Contrastive Learning을 수행한다. 이를 통해 모델이 더 Robust한 Feature를 뽑을 수 있게 끔 유도한다. 이때, 중요한 Feature를 버리는 것은 Energy-based attention map을 활용한다.
2) PSP Learning: Semi-supervised Learning 방법론이다. 가장 핵심은 Local한 Point 수준 특징뿐만 아니라, Global한 Body 수준에 대해 함께 Loss를 산출한다는 것이다. 이때 Loss는 Contrastive Loss가 활용되었다.

이번 세미나를 통해 Skeleton 좌표 데이터에 대한 그래프 기반 연구들을 살펴볼 수 있었다. 일반적인 컴퓨터 비전과 성격이 다른 도메인이기에, Feature를 Drop하는 데이터 증강 등이 생소했지만, 참신하게 다가왔다. 또한, Global~Local Feature를 고려하는 방법론은 어느 도메인에서나 정말 유용하게 쓰이는 것 같다. 유익한 세미나를 준비해준 박진혁 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

배진수

Skeleton-based human activity recognition (HAR)을 위한 self-/semi-supervised learning 알고리즘에 관한 세미나들을 청취하였다. HAR 방법론에서 자주 사용하는 데이터셋에 대한 개괄적인 정보와 클래스 정보들이 무엇인지 확인하는 것이 흥미로웠다. 세미나 구성 요소가 참 괜찮다는 생각을 하기도 하였는데, 'HAR 데이터셋 소개 --> HAR에서 자주 활용되는 backbone 소개 --> self-/semi- 알고리즘 디테일 소개'으로 세미나가 구성되어 있다. 개인적으로, 인상 깊은 내용은 'extremely augmented data for contrastive learning'였는데, augmentation의 강도가 어느정도이길래 저런 표현이 붙었나 싶었다.