이번 세미나는 "Semi-supervised Domain Adatation"을 주제로 진행되었다. 본 세미나는 준지도 학습, 도메인 적응 방법 그리고 준지도 도메인 적응 방법론에 관한 설명으로 시작되었다. 준지도 도메인 적응 방법론은 레이블이 없는 데이터를 활용하여 서로 다른 도메인의 데이터 셋간 일반화 성능을 높이는 방법론이다. 해당 방법론과 관련하여 소개된 3가지 연구는 크게 두 가지, Domain Inter Discrepancy와 Domain Intra Discrepancy 문제를 해결하는데 초점을 두고 있다. 소개된 논문들의 간략한 설명은 아래와 같다.

1) "Semi-supervised Domain Adaptation via Minmax Entropy" 연구는 unlabeled target domain 데이터의 Entropy 정보를 활용하여 서로 다른 도메인 데이터 셋간 일반화를 이뤄내어 앞서 설명한 두 가지 문제 모두 해결하였다. 크게 두 단계로 이뤄져 있는데, 첫 번째 단계에서는 기존 labeled data만 활용하여 예측했던 prototype을 unlabeled target domain 샘플까지 반영해서 적절한 prototype로 업데이트하기 위해 unlabeled target domain 데이터의 entropy를 최대화하였다. 두 번째 단계에서는 업데이트된 클래스별 prototype에 unlabeled target 데이터를 alignment하기 위해 unlabeled target domain 데이터의 entropy를 최소화하는 과정을 거친다.

2) "AdaMatch"는 기존 준지도 학습 방법론이 labeled data와 unlabeled data의 분포 차이가 있는 경우 강건한 성능을 내지 못하고 이에 따라 도메인 적응 방법을 활용하여 도메인 간 차이를 좁히고 강건한 성능을 내고자 시작된 연구이다. 해당 방법론에서는 크게 Random Logit Interpolation, Relative Confidence Threshold, Distribution Alignment을 활용하여 학습을 진행한다.

3) "Attract, Perturb, and Explore: Learning a Feature Alignment Network for Semi-supervised Domain Adatation"은 준지도 도메인 적응 방법론의 두 가지 문제 중 Intra-domain Discrepancy 문제를 해결한 연구이다. 논문 이름에서 알 수 있듯이 supervision 과정을 포함하여 attraction, perturbation, exploration 과정에서 얻어지는 총 4 가지 loss를 활용하여 학습이 진행된다. (4 가지 과정에서 얻어지는 loss를 활용하여 어떻게 학습이 잘 진행되는지 머릿 속으로 그려지지 않아서 다시 한 번 살펴봐야될 것 같다.)

자세한 설명은 세미나를 참고하면 좋을 것 같고, 준지도 도메인 적응 방법론에 관해서 청자 또한 개인 연구를 진행하면서 살펴본 적이 있다. 개인 연구와 관련하여 다양한 도메인 적응 방법 혹은 준지도 도메인 적응 방법을 살펴보고 있었던 터라 굉장히 유익한 세미나였고, 준비하느라 고생한 순혁이에게 고마운 마음을 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 Semi-supervised Domain Adaptation에 대해 진행되었다. 일반적인 Domain Adaptation은 Source데이터와 Target데이터의 분포가 상이할 때 쓰이는 방법론으로, 모두 Labeled 데이터를 가정한다. 이때, Semi-supervised라는 단어가 추가적으로 붙음으로써, Semi-supervised Domain Adaptation은 Unlabeled Target 데이터를 추가적으로 가정한다. 따라서 Labeled 데이터가 부족한 Target 도메인에서 Unlabeled 데이터를 추가적으로 활용하여 성능을 끌어올리고자 한다. 본 세미나에서는 3개의 방법론을 소개하며, 각 요약은 아래와 같다.

1) Entropy를 최소/최대의 개념처럼 적대적으로 활용한다. Entropy를 최대화할 때는 Prototype이 모든 데이터와 상대적으로 균등한 거리를 갖게 함으로써, Domain-invariant Feature를 뽑을 수 있도록 유도한다. 또한 Entropy를 최소화할 때는 해당 Prototype으로 각 Unlabeled 데이터들이 모이도록 학습한다. 이를 통해 Inter/Intra Domain 차이를 모두 잡아낼 수 있다. 개인적으로는 Unlabeled 데이터는 레이블 정보가 없어 다양한 정보들이 흩뿌려진 상황인데, 해당 상황에서 Prototype을 옮기고, Prototype에 가까워지도록 학습하는 것이 과연 안정적일까 라는 의문은 들었다. 왜냐하면, 동일한 Class 뿐만 아니라, 상이한 Class도 함께 Unlabeled 데이터에 포함되어있기 때문이다.

2) AdaMatch: Random Logit Interpolation, Distribution Alignment, Thresholding 순으로 이뤄진다. Random Logit Interpolation은 {Source}, {Source, Target}을 Encoder 통과 후, 배치 통계량으로 보정 후, Interpolation하는 과정이다. Distribution Alignment은 Target Domain의 예측 결과를 Source Domain의 예측결과로 보정하는 과정이다. Thresholding은 FixMatch처럼 Pseudo-label을 만들어 주는 과정이다. 개인적으로 Source 및 Target 데이터가 쓰이는 것은 알겠는데, Unlabeled Target 데이터가 어디에 쓰이는지 잘 이해가 안되었다. 추가적으로 Source 및 Target의 Label이 다른 경우에서도 Distribution Alignment이 잘 이뤄지는지가 의아했다.

3) 크게 Attract, Perturbation, Exploration의 절차로 이루어진다. Attract는 Unlabeled 데이터가 Intra적으로 잘 군집할 수 있도록 만드는 역할을 한다. 또한 Perturbation도 비슷한 기능을 수행하며, Prototype에 잘 모일 수 있도록 한다. 마지막으로 Exploration은 Pseudo-labeling과 비슷한 절차로 진행된다.

본 세미나를 통해 Semi-supervised Domain Adaptation에 대해 처음 접할 수 있었다. 요즘 준지도학습 같은 경우도 알고리즘이 굉장히 복잡해지는 추세인데, 수식이 어려운 Domain Adaptation과 함께 엮이니 이해하기가 다소 쉽지 않았다. 추가적으로, Prototype이라는 컨셉을 많이 활용하는 것이 인상깊었다. 자기지도학습 등에서도 Prototype이 좋은 성능을 내는 추세인데, 이러한 추세가 준지도학습 및 Domain Adaptation에서도 나타나는 것 같다. 유익한 세미나를 준비해준 황순혁 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 Semi-Supervised Domain Adaptation이라는 주제로 진행되었다. Domain Adaptation 및 Generalized 라는 분야가 굉장히 주목 받고 있고 관심도 많이 가는 분야이기 때문에 집중하며 청취할 수 있었다. 첫번째로 소개한 방법론은 데이터들의 Entropy를 활용함으로서 Domain간의 차이를 최소화 하였다. 기본적으로 Target Domain의 데이터를 소량만 사용하면 전체 Target Domain 데이터를 대변할 수 없다는 아이디어에서 시작한다. 해당 방법론은 2-Step으로 진행되는데 첫번째는 Entropy를 증가시키는 방향으로 Prototype을 Update하며, 두번째는 Unlabeled Target Examples이 Prototype으로 정렬되도록 하여 문제를 해결한다(이 과정에서 Entropy는 줄어든다). 실제 모델이 동작하는 과정에서 1-Step에 해당하는 과정이 어떻게 진행되는지는 잘 이해되지 않아 추가적인 공부를 진행해야겠다는 생각이 들었다. 두번째로 소개한 논문은 AdaMatch이다. 본 방법론에는 3가지의 아이디어가 적용되었는데 각각 Random Logit Interpolation/Distribution Alignment/Relative Confidence Threshold 였고 논문에서 제안하는 아키텍쳐를 통해 각 아이디어들이 어떤식으로 작용 하는지를 확인할 수 있었다. 마지막으로 소개한 방법론은 같은 Domain 내에서 분리가 일어나는 문제를 체계적으로 해결하였다고 한다. 본 방법론은 4가지의 Loss를 산정하여 문제를 해결하는데 굉장히 복잡한 구조를 가지고 있었다... 매우 복잡한 구조와 아이디어들을 가지고 있었는데 정말 상세하게 세미나에서 설명하여서 혼자라면 절대 이해할 수 없었을 논문을 공짜로 떠먹는 느낌이 들었다. 개인적으로 어려운 분야 + 어려운 분야라는 생각이 드는 어려운 내용이었다. 하지만 정말 쉽게 잘 정리해주어 굉장히 편리하게 해당 분야와 방법론을 접할 수 있었다. 본 세미나를 준비하느라 굉장히 고생하였을 시간이 눈에 보이는 것 같다. 이처럼 유익한 세미나를 준비한 황순혁 연구원에게 고맙다는 인사를 전하며 이상으로 세미나 후기를 마친다.

Domain adaptation은 source domain과 target domain의 분포가 다른 상황에서 이를 조정해주는 방법론이다. 일반적으로 unsupervised domain adaptation (UDA) 분야가 활발히 연구되어 왔으며, "unsupervised"라는 이름에서 알 수 있듯 target domain에 label이 없는 경우를 상정하는 방법론이다.

이와 다르게 Semi domain adaptation은 "target domain에 label이 일부 있는" 특수한 상황을 가정한다. 이런 상황에서는 Labeled target data를 활용할 수 있기 때문에 UDA보다 쉽게 좋은 성능을 달성할 수 있을 것 같지만, Intra domain discrepancy 문제 때문에 UDA보다도 성능이 떨어지는 경우가 종종 발생한다. (Semi DA 방법론 개발이 필요한 이유 중 하나)
- "Intra" domain discrepancy는 target domain 내 labeled samples과 unlabeled samples에서도 차이가 발생(less correlate)하는 문제를 의미한다(같은 도메인이기 때문에 엄연히 말하면 분포가 달라지는 문제라고 하기는 어렵다). Labeled target은 labeled source와 쉽게 align되지만(label 정보 덕분에) unlabeled target data는 정답 정보도 없고, x 데이터가 labeled target과도 조금 다른 문제가 있기 때문에 여전히 align 되지 못하는 현상이 발생하는 것이다.
- 이때 본 세미나에서 다룬 연구 중에서는 [1] MME, [3] APE 2가지가 이를 직접적으로 해결하고자 시도하였다. 개인적으로 매우 흥미로운 연구들이어서, 세미나에서 정리해준 내용에 더해 직접 논문을 읽으며 방법론을 이해한 바를 참고사항으로 정리해보았다.

[1] MME는 labeled target domain이 target 전체를 대변하지 못하는 문제(Intra domain discrepancy)를 최초로 지적한 연구이다. (뭐든지 최초가 대단)
- 방법론의 골자는 클래스 별 프로토타입을 생성할 때, unaligned target samples도 잘 포함될 수 있도록 예측 확률 분포의 엔트로피를 min-max 해가며 프로토타입을 생성하자는 것이다. (참고로 해당 연구에서 말하는 "프로토타입"은, 도메인에 상관 없이 생성되는 클래스 별 센트로이드 값-a single domain-invariant prototype for each class-을 말한다.) 굳이 예측 확률 값을 유니폼 분포로 만들며 엔트로피를 높이는 이유는 그래야 unaligned sample도 잘 포함한 상태의 센트로이드를 만들 수 있을 것이라는 아이디어에 기반한다. (Step 1)
- 이때 12:20에서 특징 추출기는 엔트로피를 최소화 하고, 분류기는 엔트로피를 최대화 하는 역할을 나누어 가지게 된다고 설명하는데, 그 이유는 쉽게 말해 특징 추출기에서 나오는 features 값은 class discriminative 해야 하며, classifier가 내뱉는 확률 값은 domain invariant하게 구해져야 한다는 목표를 가지기 때문이다. 이론적으로 해당 방법론이 어떻게 정당화 되는 지는 논문 섹션 3.3.을 참고하면 될 것 같다.
- 덧으로 논문의 구성이나 아이디어가 MCD(Maximum classifier discrepancy for unsupervised domain adaptation)라는 유명 UDA 논문과 매우 유사해서 찾아보았더니, 동일 저자가 작성한 논문이었다.. DA의 신인듯?

[3] APE는 [1] MME에서 최초로 지적한 Intra domain discrepancy 문제의 원인과 해결 방안을 체계적으로 구체화 한 연구이다.
- Attraction: Unaligned target을 "attract"하는 과정으로, MMD(maximum mean discreapncy)라는 지표를 활용해서 분포 간 차이를 좁힌다. 일반적인 UDA에서도 사용되는 방법인데, 해당 연구에서는 Labeled data(S, T)와 Unlabeled data(T) 간의 분포를 줄이기 위해 MMD를 사용한 점이 일반적 DA와는 다르다.
- Perturbation: 여전히 unalign 된 데이터들이 남아있다는 가정 하에 추가된 모듈이다. 저자는 unaligned samples은 prediction 값이 confident 하지 않을 것이라 가정하고, 엔트로피가 높아지는 방향으로 purturbed sample을 생성한다. 그리고 unaligned 샘플이 더더욱 align되도록 KL-divergence를 통해 given sample과 purtured sample의 예측 확률 값이 유사해지도록 정규화를 수행한다.
- Exploration: Attraction 단계에서는 class 정보와 무관하게 align을 수행했다면, exploration에서는 class-aware alignment를 수행한다.

[2] AdaMatch는 조금 다른 갈래의 기여점을 가지는데, 준지도학습 뿐 아니라 DA(UDA, Semi-DA) 학습에도 모두 활용 가능한 통합 framework를 만들었다는 것이 가장 큰 기여점이다.
- Semi : FixMatch 모델을 베이스로 삼고 ReMixMatch의 distribution alignment 모듈 추가(다만 true distribution이 아니라 prediction distribution 이용)
- DA : Random Logit Interpolation 모듈 이용. DSBN(Domain-Specific Batch Normalization for Unsupervised Domain Adaptation)에서는 도메인 별 Batch 통계량 값을 통해 DA를 수행하는데, 해당 방법론의 아이디어를 차용하였다. AdaMatch에서는 source와 target을 모두 활용한 forward 결과(Z')만을 가지고 통계량을 업데이트 하고, source만을 이용한 forward 결과(Z'')도 함께 고려하여 최종적인 forward 산출물(source의 logit; Z_SL)을 만드는데, 이 두 개(Z', Z'')를 보간하는 방법론을 의미한다. 주의 사항은 λ 값이 scalar가 아니라 random vector라는 것이다. (하지만 DomainNet이라는 DA 벤치마크에 대한 ablation 결과를 보면, alignment 효과는 그닥인 듯 하다)
- Semi+DA : Relative confidence threshold 제안. Confidence를 이용한 pseudo label 산정 시, 도메인마다 confidence가 다를 수 있다는 점을 고려해 weakly augmented source의 confidence를 이용해 threshold 값을 다르게 한다. (고정된 값을 이용하는 fixmatch와는 다르다)
- 전체 loss 중 L_source의 구성을 보면 hard augmented source에도 pseudo label을 부여해 task loss를 줄이게 했다는 점이 특징적이다(진수님이 지적해줌). 이 term을 추가하면 당연히 성능이 높아질 수밖에 없다고 생각해서, 정말 성능 향상에 직결되는 요인이 무엇이었는지 확인해보고 싶은 생각이 들었다.

정성 들여 세미나를 준비해준 순혁 오빠에게 고마움을 전하며, 해당 세미나 덕분에 다시 한 번 Semi DA를 공부 할 수 있는 좋은 기회를 얻은 것 같다. 오빠의 다음 연구도 잘 진행되기를 응원한다.

이번 세미나는 Semi-supervised Domain Adaptation을 주제로 진행되었다. 준지도 도메인 적용은 source data와 더불어 소량의 labeled target data와 대량의 unlabeled target data를 사용하여 다른 도메인간 일반화 성능을 높이는 방법론이다.

첫 번째 소개된 논문은 MME로 Unlabeled target domain 데이터의 entropy를 활용해서 target domain특징을 파악하는 논문이다. 첫 번째 단계는 임베딩 공간에서 labeled data와 unlabeled data모두 entropy를 최대화(=거리가 균등해짐)하며 class별 prototype을 지정하고, 두 번째 단계는 prototype을 기준으로 entropy를 최소화(=임베딩 벡터들이 가까워지도록 학습)한다. t-SNE 결과를 통해 다른 비교 방법론에 비해 잘 Alignment 되는 것을 확인할 수 있다. 두 번째 소개된 논문은 AdaMatch로 Semi-supervised learning, Unsupervised domain adaptation, Semi-supervised domain adaptation 세 가지 문제를 모두 해결할 수 있는 통합 프레임 워크이다. Weak augmentation과 Strong augmentation을 한 뒤, Random logit interpolation을 수행하고 source와 target의 분포를 일치 시키는 distribution alignment를 진행하여 Pseudo label을 생성한다. 이후 임계 값을 넘는 데이터만 학습에 사용한다. 세 번째 논문은 intra domain discrepancy 문제를 해결하는 논문으로 supervision에서는 labeled data의 prototype간 cross-entropy 값을 계산한다. Attraction 과정에서는 align 되지 않은 target unlabeled domain sample을 align 한다. 세 번째 perturbation은 target unlabeled domain sample을 일반화하여 서로 뭉치도록 만든다. 네 번째 exploration은 확실한 unlabeled target data만 필터링 한 뒤 수로 레이블링을 통해 prototype간의 loss를 줄여준다.

Semi-supervised domain adaptation을 제일 잘 이해할 수 있는 관련 논문들을 친절하게 소개해 준 세미나라고 생각한다. 사실 첫 번째 논문과 두번째 논문은 기존에 알고 있던 논문이지만 figure를 통해 다시 한번 리뷰 할 수 있어서 좀 더 개념이 명확히 들어올 수 있었고 세 번째 논문의 경우 순혁이 세미나를 통해 처음 접하는데 여러가지 loss를 결합하여 까다로운 도메인 간 그리고 labeled, unlabeled 데이터 간의 차이를 줄일 수 있던 논문인 것 같다. 사실 domain adaptation은 까다로운 문제를 해결하기 때문에 여러가지 loss가 섞이기 마련인데 문제를 관통하는 조금 더 핵심적이고 간단한 loss가 제안 되어 추후 여러 loss들이 축소되지 않을까 생각이 든다. 좋은 세미나를 준비한 황순혁 연구원에게 고맙다는 얘기를 전하며 세미나 후기를 마친다.

준지도 도메인 적응 방법론에 관한 세미나를 청취하였다. 해당 방법론은 도메인 분포 차이가 나는 상황에서 데이터 부족 상황을 극복하는데 효과적인 방법론으로, 도메인 분포 차이 상황에 효과적인 도메인 적응 방법론과 데이터 부족 상황에 효과적인 준지도학습 방법론을 결합한 방법론이다. 데이터 분포 차이와 데이터 부족 상황은 너무나 현실에서 발생하기 쉬운 문제이기 때문에, 문제 해결 중요성에 크게 공감하고 재미있게 청취하였다. 준지도 도메인 적응 방법론은 도메인 분포 차이로 기인한 Inter-domain discrepancy와 target 분포의 Labeled 데이터와 Unlabeled 데이터 분포 차이로 발생하는 Intra-domain discrepancy를 해결하는데 주안점을 두고 있으며, 이 두 가지 해결 방법에 대한 디테일 차이로 여러 가지 방법들이 개발되고 있다. MME, AdaMatch 등 여러 가지 최신 기법들을 자세히 소개하고 있으니 여러 연구원들이 관심 깊게 보면 좋을 것 같다. 좋은 세미나를 준비하느라 고생한 순혁이에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 "Semi-supervised Domain Adatation”를 주제로 진행되었다. 준지도 학습은 Unlabeled Data를 활용해서 일반화 성능을 높이는 방법론이고, Domain Adaptation은 서로 다른 도메인 데이터셋간 일반화 성능을 높이는 방법론이다. Semi-supervised Domain Adaptation은 Domain Adaptation에 Semi-supervised가 붙음으로써 Domain Adaptation에 준지도 학습의 데이터 상황을 가정한 방법론을 의미한다. 해당 방법론은Domain Inter Discrepancy와 Domain Intra Discrepancy 문제를 해결하고자 하고, 이와 관련하여 3가지 방법론에 대해 소개한다.

첫번째 논문 (Semi-Supervised Domain Adaptation via Minimax Entropy)은 Unlabeled target 데이터를 잘 Alignment 하기 위해 Entropy 활용하여, Domain간의 뛰어난 일반화 성능을 달성한 연구이다. 첫번째 단계에서 기존 Labeled data만을 활용하여 예측한 Prototype을 Unlabeled target examples를 반영하여 Entropy가 최대화 되는 방향으로 업데이트 하고, 두번째 단계에서 업데이트된 Prototype으로 Unlabeled target examples를 Alignment하도록 Feature extractor를 Entropy가 최소화 되는 방향으로 업데이트 한다. 이 과정을 통해 Domain Inter Discrepancy/Domain Intra Discrepancy를 해결하였다.

두번째 논문 (AdaMatch)는 기존 SSL 모델들이 Labeled data와 Unlabeled data의 분포 차이가 있는 경우 강건한 성능을 내지 못한다는 문제를 해결하고자 하였다. 본 논문의 방법론은 Random logit Interpolation, Distribution Alignment, Thresholding으로 이루어져 있다. Random Logit Interpolation의 첫 과정에서는 {Source, Target}에 대한 Logits를 계산한뒤 Batch 통계량을 업데이트 한다. 이후 저장된 통계량에 대해 {Source}에 대하여 Logits를 한번 더 계산하는 과정을 거치며, Batch 통계량을 업데이트 하지 않는다. 각 과정을 거쳐 얻은 Logit값들을 Interpolation한다. Distribution Alignment는 Unlabeled Data의 Class에 대한 분포를 Labeled Data의 분포와 맞추는 것을 목표로 하는 과정이다. Distribution Alignment를 통해 나온 Logit값은 그대로 사용하지 않고, 어떤 특정 임계값을 넘는 데이터만을 사용하는 Thresholding 과정을 거치게 된다.

마지막 논문 (Attract, Perturb, and Explore: Learning a Feature Alignment Network for Semi-supervised Domain Adaptation)은 Intra-domain Discrepancy 문제를 뚜렷하게 지적하고 체계적으로 해결해나간 연구이다. 본 논문은 네 가지 과정인 Supervision, Attraction, Perturbation, Exploration을 거쳐 Loss를 산정하여 문제를 해결하고자 하였다. Supervision은 일반적인 Cross-entropy 과정이 아닌, x를 통해 예측된 y와 class별 prototype과의 Cross-entropy를 활용한다. Attraction은 Align 되지 않은 Target Unlabeled Domain sample을 Align하는 과정이다. Intra-domain Discrepancy d(·)를 최소화하는 방향으로 학습한다. Pertrubation은 Align이 되어있는 데이터와 Align되어있지 않은 데이터를 Intermediate Region에 가까워지도록 하여 서로 뭉쳐지도록 만들고자 하는 과정이다. Exploration은 Pseudo-labeling을 통해 모델을 학습시키는 일반적인 준지도 학습 과정이다.

본 세미나를 통해 Semi-supervised Domain Adaptation이라는 분야를 처음 접할 수 있었다. 수식적으로 완전하게 이해가 되지는 않았지만, 본 세미나를 통해 각 방법론들이 어떤 컨셉을 가지고 문제를 해결하고자 하는지를 알 수 있었다. 이처럼 유익한 세미나를 준비해준 황순혁 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 Semi-Supervised Domain Adpatation에 대한 내용으로 진행되었다. Semi-Supervised Learning은 수집이 용이한 Unlabeled Data를 활용해서 일반화 성능을 높이는 방법론이며, Domain Adaptation은 서로 도메인이 다를 때, 즉 분포가 다른 데이터 셋 간의 일반화 성능을 높이는 방법론입니다. 이에 Semi-Supervised Domain Adaptation은 source data와 함께 소량의 labeled target data와 대량의 unlabeled target data를 사용하여 일반화 성능을 높이는 방법론입니다. 해당 방법론은 도메인 내 분포 차이와 도메인 간 분포 차이를 줄이는 방법을 통해서 진행됩니다. 본 세미나에서는 총 3개의 방법론에 대해서 설명하고 있습니다.

1.Semi-Supervised Domain Adaptation via Minimax Entropy : source data와 소량의 labeled target data가 전체 target data를 대변하지 못하는 문제를 해결하고자 하는 방법론이다. Entropy를 최소화 최대화를 적대적으로 학습하는 과정을 활용한다. Entropy 최대화 과정을 통해 전체 타겟의 prototype을 찾고자 하며, Entropy 최소화 과정을 통해 prototype으로 unlabeled target data를 Alignment 하도록 특징 추출기를 학습한다. 이를 통해 도메인 내 분포 차이와 도메인 간 분포 차이를 줄이는 것이 가능한 방법론이다.

2.AdaMatch:A Unified Approach to Semi-Supervised Learning and Domain Adpatation : 해당 방법론은 FixMatch에 ReMixMatch의 Distribution Alignment 방식을 사용한 Semi-Supervised learing을 수행하며, Random Logit Interpolation을 통해서 domain shift를 해결하고자 한다. source/target data를 모두 사용하여 구한 ligit과 앞선 단계를 통해 batch-norm을 수행한 모델을 통한 source data의 logit값을 사용하여 학습을 진행한다. 이를 통해 batch-norm 전후의 logit 값의 차이를 줄여나감으로써 도메인 간 분포 차이를 줄이고자 한다. 이후 distribution Alignment를 통해 unlabeled data의 class를 예측 분포를 source data의 예측 분포와 맞추고, Fixmatch의 pseudo labeling방법을 사용하게 된다.

3.Attract, Perturb, and Explore : 도메인 내 분포 차이가 생기는 문제의 해결에 집중한 방법론이다. 일부 labeled target data를 사용함에 따라서 unlabeled target data 내의 분포 차이를 더욱 악화 시킬 수 있는 문제를 해결하는 것이 가장 주요한 특징이다. 해당 방법론은 Supervision/Attract/Perturb/Explore의 4단계를 통해서 문제를 해결하고자 한다.

본 세미나를 통해서 일부 labeled target domain 데이터를 효과적으로 사용할 수 있는 Semi Domain-Adaptation에 대해서 공부할 수 있었다. 좋은 세미나를 준비해준 황순혁 연구원님께 고맙다는 인사를 전하며, 세미나 후기를 마친다.