Entropy Minimization Revisited: Overconfidence Issues in Test-Time Adaptation
- 2026년 2월 6일 오후 5:35
- 조회수: 17
INFORMATION
- 2026년 2월 6일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
김지현
김지현
TOPIC
Entropy Minimization Revisited: Overconfidence Issues in Test-Time Adaptation
On-Line Video
OVERVIEW
딥러닝 '모델 학습에 이용한 데이터(source)와 테스트 데이터(target)의 분포가 동일하다 (i.i.d)'는 가정이 깨지는 문제를 해결하기 위해서, source에 대한 접근 없이 target만으로 모델을 실시간 적응시키는 test-time adaptation (TTA) 기술이 대두되었다. TTA의 일반적인 기법은 entropy minimization이며, 이는 모델이 낮은 엔트로피 (높은 확신)를 가질 때 그 예측이 정답일 확률이 높다는 cluster assumption에 기반하여 label이 없는 test-time에도 결정 경계를 최적화 하기 위한 기법이다. 그러나 entropy minimization은 필연적으로 모델의 overconfidence를 유발하는데 [1], domain shift로 인하여 예측이 틀린 상황에서도 이를 확신하는 방향으로 최적화되기 때문이다 [2, 3]. 결과적으로 모델은 입력과 무관하게 모든 데이터를 하나의 class로 예측하는 trivial solution에 빠지고, 학습을 포기하는 model collapse 현상이 일어나는 문제가 일어날 수 있다 [2]. 본 세미나에서는 이와 같은 entropy minimization의 문제점을 짚고, 이를 해결하는 최근 연구 동향을 살펴보는 것을 목표로 한다.
참고자료:
[1] Cui, S., Wang, S., Zhuo, J., Li, L., Huang, Q., & Tian, Q. (2020). Towards discriminability and diversity: Batch nuclear-norm maximization under label insufficient situations. In Proceedings of the IEEE/CVF conference on computer vision and pattern recognition (pp. 3941-3950).
[2] Niu, S., Wu, J., Zhang, Y., Wen, Z., Chen, Y., Zhao, P., & Tan, M. (2023). Towards stable test-time adaptation in dynamic wild world. International Conference on Learning Representations.
[3] Lee, J., Jung, D., Lee, S., Park, J., Shin, J., Hwang, U., & Yoon, S. (2024). Entropy is not enough for test-time adaptation: From the perspective of disentangled factors. International Conference on Learning Representations.