[학회 후기]

작년 경주에 이어서 이번에는 평창 알펜시아 리조트에서 열리는 2025 하계 데이터마이팅 학회에 참석하였다. 이번 학회에는 작년보다 훨씬 사람들이 많고 학회 프로그램도 다양해서 더 재미있게 즐길 수 있었다. 특히 포스터 세션의 시간이 2시간에서 3시간으로 늘어나면서 여러 학교 학생들의 다양한 연구를 경험 할 수 있었다.나와 비슷한 분야의 연구가 없어서 아쉬웠지만, 어떤 연구 분야들이 주류를 이루는지, 이러한 방법론들을 실제 산업에 어떻게 활용하는지를 배울 수 있었다.

[발표 후기]

이번 학회는 작년과 마찬가지로 포스터 발표를 진행하였다. 이번에 발표한 연구는 'Adaptive Consistency Learning Framework for Unknown Class Recognition in Open-Set Semi-Supervised Learning'로 open-set semi-supervised learning의 알고리즘을 개발한 연구이다. 기존 open-set semi-supervised learning 방법론으로 학습된 classifier가 OOD 샘플을 잘 구분하지 못하여, OOD 샘플이 pseudo-label로 사용되는 문제를 해결하기 위한 방법론으로 크게 두 단계로 구성되어 있다. 1) 먼저, logit vector와 OOD score를 활용하여 unlabeled sample에서 open-set knowledge를 추출하고, 2) 추출된 open-set knowledge를 OOD-aware consistency regularization을 통해 classifier로 직접 전달한다. 이러한 방식을 통해서 classifier의 OOD 구분 능력을 올리고 더 정확한 pseudo-label을 얻어 모델 성능을 개선한다. 

포스터 발표를 진행하면서 항상 아쉬운 점은 포스터 용지에 모든 내용을 다 담지 못한다는 것이다. 특히 내 연구 분야를 아예 모르는 분들이 오면 semi-supervised learning 중 fixmatch부터 설명해야 전체적으로 이해하기가 수월한데 이러한 내용을 담지 못해 잘 이해시키지 못했다는 느낌을 받았다. 다음 학회에서는 이러한 부분을 고려해 더 좋은 발표를 해야겠다고 느꼈다.

질문 1 : classifier의 OOD 구분 능력은 학습 중 계속 올라가는데, pseudo-label은 오히려 조금씩 떨어지는 추세인데 그 이유를 알 수 있을까요?

답변 1 : 제 방법론은 모든 class의 OOD score와 logit을 weighted sum하여 OOD class에 대한 logit을 추정합니다. 따라서, under- / over-estimation 문제가 발생할 수 있는데 이를 해결하기 위한 rank-based reweight 전략을 도입하였습니다. 그럼에도 불구하고 학습이 진행되면서 조금씩 ID 샘플을 OOD 샘플로 예측하는 over-estimation 문제가 발생하여 pseudo-label 정확도가 조금씩 떨어지는 현상이라고 이해해 주시면 됩니다. 이 문제는 향후 reweight 함수를 고도화 하여 해결할 예정입니다.

[청취 후기]

주제: 심층 신경망 내 레이어 간 균형 학습을 위한 스펙트럴 놈 분산 정규화

신경망 모델의 깊이가 깊어질수록 레이어 간 학습 정도에 불균형이 발생하여 전체 신경망의 일반화 성능에 악영향을 끼친다. 이를 해결하기 위해 레이어 간 학습 불균형을 해소하기 위해 레이어마다 학습률을 유동적으로 조절하는 방법론이 제안되었지만 , 이러한 방식은 정밀한 튜닝 절차를 요구한다. 최근에는각 레이어에 직접적으로 정규화를 적용함으로써 레이어간 학습 균형을 맞추려는 시도가 이어지고 있다. 해당  연구에서는 신경망 내 layer 간 정보 흐름의 불균형을 완화하기 위한 Spectral Norm Variance Regularization(SNVR)을 제안한다. SNVR 은 각 layer 의 spectral norm 의 크기를 제한하는 동시에, 분산에 대한 정규화 항을 목적 함수에 추가하여 layer 간 비슷한 수준의 정보 흐름을 가질 수 있도록 한다. 실험을 통해 SNVR 이 정보 흐름의 균형을 학습하도록 유도하여 개별 layer 의 학습 안정성을 향상시키고, 나아가 전체 신경망의 일반화 성능을 개선할 수 있음을 검증했다.

최근 프로젝트를 하면서 거대 파운데이션 모델을 새로운 도메인에 전이할 때, 레이어 간의 표현력 차이에 대한 연구가 많다는 것을 느꼈고, 해당 포스터에 흥미를 가지게 되었다. 레이어별로 학습률을 조정하는 기법이 있다는 것 정도만 알고 있었는데 이 포스터 발표를 통해서 직접적으로 레이어에 규제를 가하는 방식이 있다는 것을 알게 되었다. 이러한 기법을 통해서 프로젝트를 해결하는데 도움이 되었으면 한다.