이번 세미나는 Domain Adaptation(DA)에서 일어나는 Class Mismatch에 대해서 진행되었다. DA에서 class mismatch는 크게 partial, open-set, universal로 구분되며 각각에 대한 설명과 이에 대응되는 연구 하나 씩 소개해주었다.
먼저 partial DA는 target domain의 class가 source domain의 class 중 일부를 가지는 경우이다. 해당 연구에서는 적대적 학습을 통해 진행되었다. Feature extractor는 source domain과 target domain의 discrepancy를 줄이게끔 학습이 진행되며, domain discriminator는 추출 된 특징 벡터가 source domain인지, target domain인지를 잘 판별하게끔 학습이 진행되고 이 두 네트워크는 서로 적대적으로 학습된다.
Open-set DA는 target domain에 source domain에서 보지 못한(unseen) class가 존재하는 경우이다. 해당 연구에서는 우선 threshold를 기반으로 확실한 경우에 대해서는 seen class, 그렇지 않은 경우에 대해서는 unseen class로 구분한다. 그 후, domain shift가 일어난 target domain의 정보를 반영하기 위해 pseudo-labeling된 target domain 데이터를 사용한다. Visual-semantic projector 네트워크를 통해 그래프 기반으로 인접한 sample들간의 정보 또한 반영한다.
Universal DA는 이 모든 경우를 아우르는 분야이다. 해당 연구는 One vs All Classifier를 통해 모델이 자체적으로 threshold를 학습하도록 유도한다. Hard negative와 최대한 멀어지도록, 그리고 known/unknown class 내 entropy를 최소화하여 class끼리 alignment 되도록 학습된다.
이번 세미나에서는 DA 분야에서 각 class mismatch 종류에 따른 연구들을 소개해주었다. Introduction에서 각 class mismatch에 대해서 잘 설명해주어, 뒤이어 연구들을 이해할 때 도움이 되었다. 이번 세미나를 들으면서도, 문제 상황을 잘 정의하는 것이 연구를 진행하는데 매우 중요하다는 것을 다시 한 번 느끼게 되었고 나도 후속 연구에 대해 고민을 많이 해봐야겠다고 생각했다. 좋은 세미나를 준비하느라 고생한 순혁이형한테 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

Domain adaptation under label distribution mismatch에 관한 세미나를 청취하였다.

Label distribution mismatch란 두 데이터셋 사이의 클래스 분포가 일치하지 않음을 의미한다. 예를 들어, Semi-supervised learning 상황에서 Labeled 데이터셋과 Unlabeled 데이터셋 사이의 클래스 분포가 일치하지 않음을 의미하고, Domain adaptation 상황에서 Source 데이터셋과 Target 데이터셋 사이의 클래스 분포가 일치하지 않음을 의미한다. 해당 Mismatch 상황들은 기존 SSL 및 DA 방법론들의 효과를 떨어트리기 때문에, 적절한 해결 방안이 필요로 하다. 대부분의 해결방안은 Unseen class 데이터들 필터링하는 아이디어로 구성되어 있거나, 필터링하지 않고 최대한 억지로 활용해보려는 쪽으로도 방안이 마련되어 있다. 본 세미나에서는 두 가지 방안 모두 다루고 있는데 본 연구에 관심 있는 연구원들은 자세히 살펴보면 좋을 것 같다.

좋은 세미나를 준비하느라 고생한 순혁이에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

Domain Adaptation에서 Source와 Target 도메인 내 Class가 상이한 경우를 설명한 세미나이다. 아래 분류들은 Target Domain에는 Label이 없다는 것을 가정한다. 먼저 Partial DA는 Source Class에 Target Class가 속하는 경우이며, Open-set DA는 Source와 Target Class가 다른 경우이다. 마지막으로 Universal DA는 이러한 모든 MisMatch 상황을 고려한 방법론이라고 한다.

1) Partial DA: DANN처럼 Adversarial하게 학습한다. 차이점은 각 Class 별로 가중치를 다르게 가져간다는 것이다. 이때 가중치는 Instance들의 예측 확률을 평균으로 활용함으로써, Unseen Class에는 낮은 가중치가 가도록 유도한다.
2) Open-set DA: 굉장히 복잡하다. 클래스 별 프로토타입을 정의하기 위해 Source 데이터뿐만 아니라, Target 데이터의 확실한 Pseudo Label을 필터링하여 사용한 부분이 인상깊었다. 또한, 부가적인 정보를 기존 정보로 복원하는 Loss를 추가적으로 활용한다. 이때, 그래프를 통한 인접 Feature 간 관계성을 함께 활용한다.
3) Universal DA: One-vs-All Classifier를 활용하는 것이 가장 큰 특징이다. 추가적으로, Entropy Minimization을 적용하여 모호함을 해소했다.

본 세미나를 통해 DA의 다양한 Case들을 살펴볼 수 있었다. 특히, 초반에 DA 갈래를 잘 설명해준 장표가 가장 눈에 들어왔다. 또한 방법론들을 살펴보았을 때는 예측 확률로 가중치를 가져가는 경우, 불균형한 데이터에서는 가중치가 왜곡(과적합 등)될 수 있을 것 같다는 생각이 들으며, OVA는 ImageNet처럼 Class가 많을 경우 컴퓨팅 과부하가 오지 않을까라는 한계도 보였다. 유익한 세미나를 준비해준 황순혁 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.