- 2024년 11월 29일 오전 12:47
- 조회수: 11271
INFORMATION
- 2024년 11월 29일
- 오후 12시 ~
- 온라인 비디오 시청 (YouTube)
TOPIC
On-Line Video
OVERVIEW
Unsupervised domain adaptation (UDA)은 labeled source domain과 unlabeled target domain 간의 분포 차이를 극복하고자 하는 연구 분야로, source domain의 정보를 학습한 모델이 분포가 다른 target domain에서도 우수한 예측 성능을 낼 수 있도록 하는 것을 목표로 한다. 이때, 최근에는 준지도학습에서 제안된 self-training (a.k.a pseudo-labeling) 기법을 이용하여 점진적으로 target domain에 모델을 적응시키는 방법론들이 제안되고 있다. 그러나 도메인 간 차이로 인하여 신뢰할 수 있는 target pseudo-labels에 대한 선별이 어렵고, 분포가 달라 부정확한 예측 값이 생성될 가능성이 높은 문제가 있다. 이처럼 잘못된 pseudo-labels로 인하여 오류가 누적될 경우, target domain에 대한 모델 학습 및 예측 정확도가 저하되는 문제를 해결하고자 다양한 선행연구가 제안되어왔다. 본 세미나에서는 self-training 기반 UDA 연구의 최근 동향을 살펴보고, 신뢰성 높은 pseudo-labels 생성을 위한 다양한 기법들을 소개하고자 한다.
청취자 후기
Unsupervised domain adpation (UDA)와 Semi-supervised learning (SSL) 사이 연결 고리를 지을 수 있는 세미나였다. UDA를 위해 SSL 알고리즘을 고려할 때, 추가적으로 고려해야할 사항들을 하나 하나 지목하며 이를 해결하며 나아가는 형태로 설명해주어 이해하기 쉬웠다.
세미나를 들으며 생긴 의문을 정리하며 후기를 마무리한다.
- SENTRY: target 에 여러 증강기법을 적용하는데, 이것 대신 dropout으로 대체 가능할까? (Uncertainty estimation)
- CST: 왜 Ridge regression analytic solution을 사용했을까? 라는 의문이 들었는데 이에 대해서는 논문을 직접읽고 파악해야할 듯
- ICON: Generalization 과 Adaption 을 연결 지어주는 REx, VREx에 대해 추가적으로 공부해서 더 잘 이해해보고 싶은 열정