2025년 8월 28일부터 이틀 간 평창 알펜시아 리조트에서 한국데이터마이닝학회 하계학술대회가 열렸다. 학회장 주변에 도착했을 때 눈이 없는 스키장은 어색했지만 선선한 날씨에 습도가 낮아 기분이 좋았다. 작년에 이어 올해도 다양한 연구들을 포스터로 접할 수 있었고 나 또한 포스터를 만들어 발표를 하였다. 대체로 포스터 발표는 간단히 핵심을 설명하고 질문을 받는 과정으로 진행되었던 것 같다. 이 과정에서 사람들이 궁금해 하는 내 연구에 대한 생각도 해보고 어떤 부분에서 설명이 막히는지 등 다양한 경험을 할 수 있었다. 뿐만 아니라 매일 보는 연구가 아닌 다른 연구들을 접하게 되면서 이걸 이렇게 내 연구에 적용해보면 어떨까 하는 생각도 해보면서 학회를 즐겼고 오랜만에 보는 반가운 얼굴이 많아 의미있는 시간을 보낼 수 있었다.

이번 학회에서 Continual Self-Supervised learning for Skeleton-based Human Action Recognition을 주제로 발표를 진행하였다. Action recognition의 현실적 한계점 1.행동의 다양성으로 인해 모델 업데이트가 필요하다. 2.행동 영상 특히 skeleton 데이터로 이루어진 영상을 보고 레이블링을 하는 것은 어렵다. 두 가지를 다루고자 하였으며 각각 continual learning과 self-supervised learning을 이용하여 개선을 하고자 하였다. 이미 이 두 방식을 활용하는 continual self-supervised learning의 경우 이미지를 비롯한 몇몇 분야에서 활용되고 있다. Continual self-supervised learning을 skeleton-based action recognition에 적용하기 위해 ST-GCN 백본과 skeleton에 알맞은 augmentation 기법을 적용하였으며 기존 지식을 보존하기 위한 distillation 기법 또한 효과가 있는 것을 확인하였다. 포스터에 담지는 못 하였지만 ST-GCN에서 polling 하기 전 feature map에서 skeleton 좌표 및 bone에 대한 차이를 계산하여 distillation 연산에 추가 적용하였을 때 성능이 개선되는 효과를 얻어 발표 시 함께 설명하였다.

• 질문 1. Skeleton을 어떻게 구해서 활용했나요?
• 답변 1. NTU-RGB+D 데이터에 포함된 skeleton 데이터를 이용했습니다. 만약 이미지 영상만 있는 데이터라면 사전 학습된 pose estimation model인 openpose, mediapipe 등을 활용해서 skeleton을 구할 수 있습니다.
• 질문 2. Continual learning 과정에서 이전 데이터 정보를 잊게 되는 문제가 발생할텐데 어떻게 보존하나요?
• 답변 2. Distillation 기법을 이용하여 이전 데이터로 학습된 task의 model을 현재 데이터 학습 중 teacher model로 설정하여 파라미터를 고정한 뒤 현재 학습 중인 모델을 업데이트 할 때 teacher model로 추론된 샘플과 비교하는 loss를 추가하여 이전 정보를 잊게 되는 현상을 방지할 수 있었습니다.

다양한 발표를 들을 수 있었는데 기억에 남는 몇 가지가 있었다.

1. Aligning Normalizing Flow to Mitigate Spurious Forgetting in Continual Anomaly Detection (임훈, 서울대학교)

이상치 탐지를 위한 continual leaning을 할 때 일시적인 성능 하락 현상인 spurious forgetting 현상에 대해서 확인하고 이를 해결하기 위한 정렬 기반 접근법을 제안하였다. 모델 업데이트 과정 중 기존 지식을 잊는 현상인 catastrophic forgetting과 다르게 spurious forgetting은 성능이 돌아오지만 일시적으로 성능이 하락하여 잘 못 모델을 선택할 위험성을 방지하고자 하는 것으로 이해하였다. Spurious forgetting라는 용어에 대해서 처음 접하게 되어 자세히 살펴볼 필요성을 느꼈다.

2. AI시대 대학의 역할 (조성준, 서울대학교)

요즘 인공지능이 발전하면서 모든 학교에서 인공지능을 어떻게 활용하고 적용할지에 대한 고민이 깊다. 일각에서는 과제를 할 때 인공지능을 활용하지 말라고 하는 등 제재를 주는 경우도 존재한다. 이러한 방향 보다는 잘 활용할 수 있도록 이끄는 것이 맞지 않을까? 라는 이야기를 해주셨다. 인공지능의 답변은 틀릴 수 있기 때문에 검수 하는 능력이 필수라고 느꼈고, 이를 위해서는 오히려 많은 것을 알고 있어야 한다고 느꼈다.

문맹의 기준을 나눌 때 옛날에는 글을 읽지 못 하는 것이 기준이었다면, 최근까지는 검색을 할 줄 모르는 것이 기준이라고 생각하였는데, 앞으로는 인공지능을 잘 활용할 수 있는 것에 따라 나뉘는 시대가 오지 않을까 생각하게 되었다.