안시후

학습 데이터와 평가 데이터의 분포가 달라 학습된 모델을 잘 활용하기 어려운 경우가 종종 발생한다. 새로운 클래스가 추가되거나 (OOD) 입력 값의 종류(이미지의 경우 화풍 등)가 달라지기도 (DG) 하는데, 오늘 세미나에서는 클래스 간의 배경 (하위 집단)이 달라지는 등의 상황에서 발생하는 subpopulation shift을 소개해 주었다. 예를 들어 학습 데이터셋에 A 클래스에 1번 배경이 많고 B 클래스에 2번 배경이 많다면 평가 데이터셋에서 B 클래스에 1번 배경이 나온다면 모델이 잘 못 맞출 확률이 높아진다. 이러한 부분을 해결하기 위해 클래스의 핵심이 되는 부분(core/class)을 잘 학습하고 핵심이 되지 않는 부분(subpopulation/attribute)을 덜 학습되는 방식들을 활용한다. 그 중 GroupDRO은 Subpopulation shift 문제를 distribution 일반적인 지도학습에서 목적식 최적화에 해당하는 ERM대비 그룹별 불균형 요소를 반영해서 worst-group 성능을 개선하는 방식이다. DFR은 2-stage 학습 방식으로 첫 번째 stage에서는 ERM으로 학습 한 후 두 번째 stage에서 feature extractor는 고정하고 classifier를 재학습 하는 방식으로 성능을 개선하였다.

데이터 중 핵심이 되는 부분을 제외하고 다른 부분이 노이즈가 될 수 있다고 생각했었는데, Subpopulation shift라는 분야로 정의되어 연구가 진행되고 있다는 점을 알 수 있어 좋았다. 헷갈릴 수 있는 부분인데 쉽게 잘 설명해준 진용이형에게 고생했다는 말 전하고 싶다.