[학회 후기]

사무국 조교로 참여하는 4번째이자 마지막 학회인 하계학술대회에 참가했다. 사전답사로 평창 날씨가 시원하다는 건 알고 있었지만, 무서운 서울 더위를 피해 평창에 오니 마음도 시원하고 기대가 됐다. 사실 데스크 업무 때문에 구두 세션을 듣지는 못했지만, 작년과 동일하게 패널 토론은 들을 수 있었다. 패널 토론에서 AI 시대에 연구비, 실적 등 동향을 알 수 있어서 좋았고 교육이 어떻게 나아가야 하는지 들을 수 있어서 무척 흥미로웠다. 또한, 산학협력에서는 오픈데이터와 현업 데이터 간의 거리에 대해 설명을 들을 수 있었고 국제화를 위해 나아가야 하는 방향에 대해서도 들을 수 있어서 알찼다. 작년 추계학술대회에서는 사무국 업무로 인해 포스터는 리스너로만 참여만 했는데, 이번 학술대회에서는 포스터 발표자로 참석했다. 두 번째 개인 연구에 대해 학회에 나가서 발표한 경험이 없었기에 해당 발표로 처음 소개해서 감회가 새로웠다. 내 발표 세션에는 감사하게도 여러 학생들이 질문이 있었는데, 1시간 30분 동안 하다 보니 목이 정말 아팠다. 발표자는 목관리를 꼭 해야 한다는 것을 깨닫게 되었다. 또한, 열심히 포스터를 설명한 결과 최우수상을 받을 수 있어서 기분이 매우 좋았다. 다른 학생들의 연구에 대해 질문하고 의견을 나누는 포스터세션은 앞으로도 지속되었으면 좋겠다는 생각이 들었다. 마지막으로 학회 조교를 맡으면서 많은 학생, 교수, 기업분들과 연락할 수 있는 기회가 있었다. 우리 연구실 학생들은 정말로 학회 업무 많이 도와줘서 사무국 업무도 완수할 수 있어서 고마웠고, 다른 학교 학생들은 포스터 세션 등 익숙한 얼굴을 보며 내적 친밀감이 쌓였다. 또한 지도 교수님인 학회장님을 비롯해 학회가 완성되기 위해 많은 도움을 주신 교수님들이 좋은 말씀을 건내 주셔서 잘 마무리 했다는 뿌듯한 마음과 고마운 마음이 들었다. 앞으로도 데이터마이닝학회가 성황리에 개최되길 응원한다.

[발표 후기]

주제: Stabilizing Semi-Supervised Domain Adaptation Regression via Unified Variance Control and Feature Whitening

이번 발표는 제한된 레이블 타겟 데이터가 있는 상황에서 연속적인 출력을 다루는 Semi-supervised Domain Adaptation Regression (SSDAR)의 고유한 도전과제를 해결하는 방법론에 대해 다루었다. 기존 연구들은 분류 작업에 비해 회귀 작업에 대한 관심이 현저히 부족한 상황이었다. 그러나, 회귀 작업에서는 연속적인 출력 특성으로 인해 분산 제어와 안정성 확보가 특히 중요하다. 이에 따라, 본 연구는 분산 제어와 화이트닝을 통해 SSDAR을 안정화하는 방법론을 제안한다. 구체적으로, 본 방법론은 Domain-specific Whitening Transform (DWT)을 사용하여 추출된 특성에서 변수 간 상관관계를 제거함으로써 도메인 간 차이를 줄이고, 최소제곱법 상황하에 파라미터 분산이 작아진다는 간단한 수학적 입증을 통해 회귀 모델의 성능이 오를 수 있다는 것을 보여준다. 또한, 약한 증강, 강한 증강, 그리고 믹스업 증강을 포함한 다양하게 증강된 레이블이 없는 타겟 샘플들 간의 분산 분포를 조화시키는 이중 일관성 정규화를 도입하여 증강의 변동으로 인한 변화에 대한 강건성을 향상시킨다. 이를 통해, 본 연구는 세 개의 벤치마크 데이터셋에서의 기존 방법들 가장 우수한 성능을 달성하였다.

질문1: 파라미터의 분산이 작아진다고 하셨는데, 이게 특징 일관성 정규화와 뭐가 다른거죠?

답변1: 파라미터의 분산이 작아지는 것은 DWT를 씀을 통한 결과라고 볼 수 있으며, 회귀 모델의 성능을 강화합니다. 특징 일관성 정규화의 경우 특징 벡터 분산의 일관성 정규화를 통해 언레이블드 데이터를 좀 더 활용하여 준지도 상황을 극복하는 방법론입니다.

[청취 후기]

1. Why Do We Need Calibration to Improve Online Test-time Prompt Tuning? (김지현, 고려대학교)

Vision-Language Model (VLM)의 zero-shot 성능을 향상시키기 위한 Test-time Prompt Tuning (TPT) 기법에 대해 다루었다. 기존 온라인 TPT 방법들은 VLM에서 발생하는 over confidence 문제로 인해 잘못 업데이트된 프롬프트에 대한 높은 신뢰도로 오류 누적이 증가하는 문제를 겪고 있다. 이에 따라, 본 연구는 프롬프트 붕괴를 완화하기 위해 VLM의 텍스트 프롬프트를 보정하는 CaliOnTPT를 제안한다. CaliOnTPT는 선별된 지식과 높은 신뢰도의 증강 샘플들로부터 앙상블 예측을 활용하여 평활화된 타겟 분포를 생성하고, 이를 통해 강건한 보정 가이드를 제공한다. 도메인 일반화와 교차 데이터셋 평가에서 기존 방법들보다 우수한 성능을 보였다. 최근 Test-time adaptation 연구에 관심이 있어서, 특히 프롬프트 튜닝에서의 over confidence 문제를 스무딩인 캘리브레이션으로 해결한 접근이 인상 깊었다.

2. Continual Self-Supervised learning for Skeleton-based Human Action Recognition (안시후, 고려대학교)

행동 인식 분야에서 유사하거나 미세하게 구분되는 동작들로 인한 라벨링의 어려움과 새로운 행동 패턴의 지속적 등장이라는 도전과제를 해결하는 방법론에 대해 다루었다. 기존 방법들은 새로운 데이터를 학습할 때 이전 지식을 잃는 catastrophic forgetting 문제를 겪고 있었다. 이에 따라, 본 연구는 이미지 분야의 Continual Self-Supervised Learning (CSSL) 프레임워크를 골격 기반 행동 인식에 맞춰 확장한 CSSL-S를 제안한다. 기존 ResNet18 백본 대신 골격 데이터에 특화된 Spatial-Temporal Graph Convolutional Network (ST-GCN)을 적용하여 시공간적 관계를 효과적으로 모델링한다. CSSL-S는 자기 지도 학습을 통해 라벨 없이도 강력한 표현을 학습하면서, 지속적 학습 기법으로 새로운 행동 데이터에 적응하되 이전 지식을 안정적으로 유지한다. 새로운 application으로 skeleton에서 나오는 feature 맵을 지속적으로 넣어 줌으로써 새로운 시도를 하고 있는데, 개인적으로 CSSL에 특화된 새로운 loss를 추가하면 좋을 것 같다는 생각이 들었다.