이번 세미나는 Universal Domain Adaptation을 주제로 진행되었다. 대부분의 (domain adaptation) DA는 소스 도메인과 새로운 타겟 도메인의 레이블이 동일하다고 간주하며 이를 closed set DA를 가정한다. 하지만 실제로는 타겟 도메인의 레이블이 다른 경우가 많기 때문에 모든 상황에 대해 해결할 수 있는 Universal domain adaptation이 등장되었다.

관련하여 첫 번째 논문은 Universal domain adaptation인 처음 Universal domain adaptation 개념에 대해 소개한 방법론으로 transferability criterion을 추가하여 unknown을 탐지하였다. 하지만 unknown 임계치를 수동으로 설정한다는 한계를 가지고 있다. 두 번째 논문은 소스 도메인에 대한 분류 의존도가 높은 문제를 해결하는 Universal domain adaptation through self supervision 방법론이 소개되었다. 해당 논문은 레이블이 없는 타겟 데이터를 활용하기 위해 클러스터링 분류 모델을 활용하였고, known class와 unknown class를 멀게 분리하였다. 세 번째 논문은 unknown의 임계치를 자동으로 설정하여 첫 번째 논문의 한계점을 극복한 논문이다. One-vs-all 분류기를 통해 unknown을 식별하여 자동으로 분류가 가능했다.

최근 DA로 개인 연구를 확장하고자 하고 있기에 세미나를 관심 있게 청취하였다. 기존에 내가 알고 있던 DA 방법론은 closed set이며, 레이블에 대한 분포가 다른 경우에 대해 해결하는 Universal domain adaptation을 해당 세미나를 통해 처음 접할 수 있었으며, 실제 상황을 해결하는데 도움이 되고 기존에 알고 있던 방법론인 out-of-distribution이 DA에 접목된 것 같다는 생각이 들었다. 현재 DA를 연구하기 위해 데이터셋을 탐색 중인데 레이블 분포에 따라 Universal Domain Adaptation을 고려해야 한다는 주요한 인사이트를 얻었다. 유익한 내용의 세미나를 해준 정용태 연구원에게 수고했다는 얘기를 전하며 세미나 후기를 마친다.

이번 세미나는 Universal Domain Adaptation 이라는 주제로 진행되었다. Domain Adaptation의 개략적인 소개를 하며 세미나를 시작하였는데 앞서 김지현 연구원의 관련 세미나를 들었던 기억이 나서 편하게 세미나를 청취할 수 있었다. 첫번째로 Universal Domain Adaptation이라는 제목의 논문을 소개하였다. 본 논문에서는 Transferability Criterion을 추가하여 Unknown을 탐지하였다. 이 Criterion은 소스와 타겟에 대한 가중치이며 이를통해 학습함으로써 소스 도메인과 타겟 도메인의 차이는 줄이고 Unknown을 식별할 수 있다고 한다. 하지만 앞서 방법론에도 2가지의 한계점이 존재하는데 우선 레이블 분류기의 학습이 소스 도메인 데이터만 사용된다는 점이며 이를 극복하기 위하여 두번째 방법론인 Universal Domain Adaptation through Self-Supervision을 소개하였다. 해당 방법론은 타겟 도메인의 데이터도 추가하여 네트워크를 학습 시킴으로서 첫번째 방법론의 한계를 개선하였는데 Entropy Separation이라는 과정중에 Threshold가 여전히 필요하기에 첫번째 방법론이 가지는 한계점 중에 두번째인 Unknown의 Threshold를 수동으로 설정해야하고 이 값이 성능에 큰 영향일 끼치는 것은 여전히 문제점으로 가지고 있다. 따라서 이 또한 해결한 OVANet 이라는 방법론을 소개하였다. 해당 방법론은 Threshold를 사용하는 대신에 One-vs-All 분류기를 통해서 Unknown인지 아닌지를 구별하는 또 하나의 네트워크가 추가된 것으로 이해하였다. Domain Adaptation 분야는 2개 이상의 분포를 가진 데이터셋을 다루고 있어서 굉장히 흥미로운 분야인것 같다. 개인적으로 단순히 모델의 성능만 올리는 느낌이 아니라 실생활에 좀 더 적합한 AI를 연구하는것 처럼 느껴져서 관심 가지고 공부해야겠다는 생각이 든다. 이처럼 유익한 세미나를 준비해준 정용태 연구원에게 고맙다는 말을 전하며 이상으로 세미나 후기를 마친다.

Universal DA는 target domain의 class가 source domain의 class와는 다른 상황을 가정한다. 이는 (1) source domain의 classes ⊃ target domain의 classes (Partial DA), (2) target domain에 open set class가 존재하는 경우(Open Set DA), 총 2가지로 구분할 수 있다. 이때 위 두 가지를 모두 해결하고자 하는 방법론이 universal domain adaptation이며, 현실적이지만 어려운 상황을 가정하기에 관심을 가지고 청취하였다.

일반적인 DA 방법론은 domain-invariant feature를 잘 추출하는 것이 관건이지만, 해당 분야는 target domain discriminative features를 잘 보존하여야 partial alignment 수행과 private target class 식별을 잘 해낼 수 있다. 따라서 기존의 DA 테크닉을 그대로 활용할 수 없다는 점에서 특히나 어려운 방법론이라 할 수 있겠다. 더불어 Conventional UDA, Partial DA, Open Set DA에 대한 이해가 선행되어야 수월하게 읽히는 논문들이어서 상당히 어려웠을 텐데, 용태가 메소드의 핵심들을 잘 설명해주어서 흥미롭게 들을 수 있던 것 같다.

최근 x의 shift뿐 아니라 label에도 shit가 발생하는 practical setting에 대한 알고리즘에 많은 관심을 가지고 있는데, 오늘 관련 세미나를 들으면서 좋은 공부를 할 수 있었다. 그리고 SSL과 같은 타 딥러닝 분야의 기술을 잘 융합하여 개발된 알고리즘들을 보고 공부에는 끝이 없다는 사실을 뼈저리게 느꼈다... 연구의 기폭제가 되어준 세미나를 찍은 용태에게 고마움을 전하며, 용태의 개인연구인 Domain Generalization도 잘 마무리할 수 있기를 응원한다.


(+) 이번 세미나에서 다룬 알고리즘에 대한 후기. (1) Partial DA, (2) OpenSet DA 두 가지를 어떻게 해결했는 지를 중심으로 정리하였다.
덧붙여 2) DANCE와 3) OVANet의 1저자는 동일 인물이고, MCD라는 좋은 UDA 방법론도 개발하신 분이다.. DA의 신인듯?

1) Universal domain adaptation
- Partial alignment: domain discriminator의 output을 이용하여 도메인 유사도를 계산하였는데, 해당 테크닉은 "Importance Weighted Adversarial Nets for Partial Domain Adaptation(2018)"에서도 활용된 방법론이라 관심 있는 분들은 참고하면 좋을 것 같다. 해당 테크닉의 골자는, 잘 수렴한 domain discriminator는 'target sample을 커버할 수 없는 outlier class를 가진 source sample'은 잘 구분(can almost perfectly discriminate it from target)할 수 있을 것이란 직관에 기반한다.
- Open-set: Unknown class(private target)는 logit의 엔트로피가 높을 것이란 직관에 기반하여 uncertainty를 활용하였다. 해당 테크닉은 2) DANCE에서도 활용된다.

2) DANCE
- Partial alignment: source class의 프로토타입과 이웃 target sample과의 유사도를 계산하고, 이에 기반해 클러스터링을 수행한다. 이로써 source와 target을 무작정 모두 alignment 하지 않고 class에 맞게 alignment가 가능하게끔 한다. 다만, target sample을 저장하기 위한 메모리 뱅크를 필요로 한다는 점에서 computational cost가 클 것이라는 생각이 들었다.
- Open-set: 1)의 방법론과 마찬가지로 logit의 엔트로피가 높은 샘플을 잘 걸러내는 방법을 이용한다. 이때 엔트로피가 "높다"는 기준을 하이퍼파라미터로 설정하는 대신, 자동적으로 계산 가능하게끔 한 것이 장점이다. 세미나에서 직접적으로 언급되지는 않았으나 원문을 읽어보면 log(source classes의 개수/2)로 threshold boundary를 설정했으며, 이로써 manual threshold에 대한 한계까지도 모두 극복했다는 장점을 가진다.

3) OVANet
- Partial alignment: 같은 class sample은 positive, 다른 class smaple은 negative로 정의하자는 관점에 기반한다. 이때 hard negative와의 거리도 잘 넓혀서 class 별 alignment를 가능케 하는 것이 관건인데, 이를 위해 Open-set classifier를 추가한 것이 흥미로웠다. 원문을 읽어보면 왜 추가적인 분류기를 통해 성능을 높일 수 있는지까지 설명되어 있으니 관심 있으신 분들은 직접 읽어보시면 좋을 것 같다.
- Open-set: 해당 클래스에 속할 지 아닐 지를 더 잘 분류하여 Unknown class를 효과적으로 탐지할 수 있도록 entropy minimization 테크닉을 활용한다.

이번 세미나는 Universal Domain Adaptation을 주제로 다양한 논문과 방법론들에 대한 내용을 다루었다. Universal Domain Adaptation은 일반적인 Domain Adaptation(DA)에서 소스 도메인과 타겟 도메인의 레이블이 다른 경우를 고려하는 주제이다. 이번 세미나에서는 3가지 논문을 설명해준다. 첫 번째는 Universal Domain Adaptation 개념을 처음 소개한 논문이다. 이 논문은 Transferability Criterion을 도입하여 unknown을 탐지하였다. 그러나 unknown 임계치를 수동으로 설정하는 한계가 있다. 두 번째는 Universal Domain Adaptation을 위한 Self-Supervision 방법론이 소개되었다. 이 방법론은 레이블이 없는 타겟 데이터를 활용하기 위해 클러스터링 분류 모델을 활용하며, known class와 unknown class를 멀리 분리한다. 세 번째는 첫 번째 논문의 한계를 극복하기 위해 자동으로 unknown의 임계치를 설정하는 방법이 제안되었다. One-vs-all 분류기를 활용하여 unknown을 식별하고 자동으로 분류하는 기능을 구현하였다. 이번 세미나를 통해 Universal Domain Adaptation의 개념에 대해 자세하게 접할 수 있었고, 이를 통해 다양한 상황을 해결할 수 있는 방법론들을 배웠다. 또한 기존에 알고 있던 DA 방법론과의 차이를 이해하면서 실제 상황에서의 적용 가능성을 고려하게 되었다. 이처럼 유익한 세미나를 준비해준 정용태 연구원에게 고맙다는 말을 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 Universal Domain Adaptation에 대해 진행되었다. 일반적인 Domain Adaptation은 X데이터의 분포가 상이한 상황을 가정하여 학습 데이터와 타겟 데이터의 분포가 다를 때, 효과적으로 데이터 분포를 조정할 수 있다. 하지만, 현실에서는 X데이터 뿐만 아니라, Y데이터의 분포도 상이할 수 있다. 이러한 상황에 활용한 것이 바로 Universal Domain Adaptation이다. 본 세미나는 Universal Domain Adaptation를 소개하면서, 이에 대한 한계를 극복한 2가지 방법론을 추가적으로 설명한다.

1) UDA: Domain Adaptation의 Adversarial Learning 구조에 Transferablility Criterion을 추가적으로 적용한 방법론이다. 이는 공통 Label의 분류 결과에 대한 엔트로피는 높을 것이며, 도메인 유사도는 낮을 것이라는 것에서 기인하여 구성된다. 이렇게 계산된 Transferablility Criterion와 Threshold를 비교하고, 만약 Threshold보다 작다면, 이는 Unknown으로 분류된다.
2) UDASS: 하지만, UDA는 소스 도메인을 통해서만 학습된다는 한계를 가지며, 이를 Prototype을 활용한 Neighborhood Clustering과 Entropy Separation으로 해결한다. Neighborhood Clustering은 타겟 데이터가 각 Class의 Prototype이나 이웃하는 타겟 데이터와 가깝도록하여 데이터들이 뭉칠 수 있도록 구성한다. 이후, Entropy Separation으로 각 Clustering 간 거리를 멀게 구성하여 뚜렷한 결정경계를 만들어준다.
3) OVANet: 이는 UDA의 수동으로 설정된 Threshold를 극복하기 위한 방법론이다. 이는 Threshold를 One-vs-All Network를 활용하여 정의한다. 이때, 각 모델은 Hard Negative Sample들로 학습된다. 이후, Entropy Minimization을 적용한다. 이때, 각 OVA결과들로 Entropy를 산출한 후, Unknown을 식별하게 된다.

이번 세미나를 계기로 Universal Domain Adaptation이라는 분야에 대해서 접할 수 있었다. 어떻게 보면 기존의 Domain Adaptation보다 훨씬 넓은 범위이며, 상당히 실용적인 분야라는 생각이 들었다. 추가적으로 최근 세미나들을 청취했을 때, 연구 흐름이 Domain Adaptation  Universal Domain Adaptation  Domain Generalization 순으로 발전하고 있다는 것까지 종합적으로 알 수 있었다. 유익한 세미나를 준비해준 정용태 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

Domain Adaptation은 Closed Set, Partial, Open Set, Open-Partial 4가지 부류로 나뉠 수 있으며 이때마다 적용되는 방법론의 가정이 다르기 때문에 각기 다른 방법론들이 제시되었다. 하지만 Real-world 에서는 어떠한 setting인지 알 도리가 없다. 오늘 세미나는 이러한 setting을 알 필요없이 '전반적으로' 사용하기 위한 Unsupervised Domain Adaption 방법론 3가지에 대해 알아보았다.

가장 큰 뿌리가 되는 Unsupervised Domain Adaptation (UDA)와 UDA의 한계점 두 가지 1. 독립적인 Unknown Classifier의 부재, 2. Unknown Class를 구분하기 위한 manual threshold setting을 각각 해결한 두 가지 논문에 대해 알아보았다.

첫번째 논문인 UDA는 기존의 Domain Adversarial Learning에 더해 Transferability Criterion이란 트릭을 추가한 논문이다. Transferability criterion은 소스와 타겟 도메인에 대한 가중치를 선정하는 방식으로써, 공통 분모를 가지는 소스/타겟 도메인의 차이를 줄이고 Unkown Target을 식별하기 위한 목적을 가진다. 이를 위해 Private Source, Common Source, Private Target, Common Target에 대해 각각 Domain Similarity와 Prediction Uncertainty의 부등식을 가정한다. 두 가지 부등식을 토대로 소스와 타겟 도메인에 대한 가중치를 설정하는데, 골자는 결국 Private Source/Target을 걸러내고 이에 대한 학습 가중치를 낮추자는 것이다.

첫번째 논문에 대한 두 가지 한계점이 존재하는데 이 중 두번째 한계점인 Manual Threshold Setting은 Domain Adaptation 계열 뿐만 아니라 다른 분야에서도 팁이 될 수 있을 것 같아 주의 깊게 들었다. 골자는 One-vs-All Classifier를 통해 Unknown을 탐지하되, 이때 Far away Negative Sample이 아닌 Nearest Negative Sample만을 추출해 학습에 활용하여 Class 별 Boundary를 타이트하게 학습하자는 것 같다.

좋은 세미나를 만드느라 고생한 용태에게 감사의 말을 전한다.

전통적인 머신러닝에서는 학습과 평가 데이터의 분포가 유사하기 때문에 학습 데이터를 통해 학습된 모델로 평가 데이터를 예측하는 것이 가능하였다. 하지만, 학습과 평가 데이터의 분포가 다를 때(domain shift) 기존과 같은 방식으로 모델을 학습하고 평가할 수 없다. 따라서, 학습과 평가 데이터의 분포가 유사해지도록 모델을 학습하여 예측 및 평가를 진행할 수 있도록 하는 것이 바로 "domain adaptation (DA)"이다. domain adatation은 소스 도메인(학습 데이터)과 타겟 도메인(평가 데이터)의 class(label)의 분포가 동일한 상황을 가정하고 있다. 하지만, 실제 현실에서는 소스 도메인과 타겟 도메인의 class의 분포 또한 달라질 수 있다. 이러한 관점에 따라, DA는 Closed Set DA, Partial DA, Open Set DA, Open-Partial DA로 분류될 수 있다. 이러한 여러 세팅과 레이블이 없는 상황, 즉 어떤 문제 상황인지 정의하기 어려울 때 활용하는 것이 "Universial Domain Adatation"이다. 본 세미나에서는 UDA를 기반으로 UDA의 한계점(1. 소스 도메인 데이터에만 높은 분류 의존도, 2. Threshold 수동 설정에 따라 성능이 민감함)을 개선한 논문 두 가지를 차례로 소개해 주었다.

먼저, UDA는 기존 domain adversarial learning 구조에 공통 레이블을 갖는 소스 도메인과 타겟 도메인의 차이는 줄이면서 동시에 타겟 도메인의 "unknown" 레이블을 식별하기 위한 목적을 가진 transferability criterion을 샘플과 레이블의 분포 차이를 해결하였다. 하지만, 해당 방법에는 2가지 한계점이 존재하고 그 중 첫 번째 한계점을 개선하기 위한 방법이 두 번째로 소개되었다. 해당 방법은 소스 도메인 데이터를 활용하여 먼저 각 클래스의 Prototype으로 설정하고 타겟 도메인을 활용한 클러스터링 기반 분류 모델을 활용하여 분류를 진행한다. 추가로, Known과 unknown 클래스 간에 확실한 분리를 위해 Entropy Separation을 진행한다. 마지막 논문은 One-vs-all 분류기를 활용하여 unknown을 자동으로 분류함으로써 UDA의 두 번째 한계점을 개선하였다.

최근 domain adaptation과 domain generalization 방법에 관해 관심을 두고 있었는데, 지현이의 세미나에 이어 용태의 세미나까지 들으면서 개념과 관련 용어를 배울 수 있었다. 유익한 세미나를 준비해 준 용태에게 고마운 마음을 전하며 이상으로 세미나 후기를 마친다.

기존 Domain Adapation 방법론들은 Source 데이터와 Target 데이터의 클래스 분포 차이의 가정에 따라 사용할 수 있는 방법론들이 여러 가지로 나뉘어진다. 하지만, 현실적인 문제 상황에서는 가정하였던 클래스 분포 차이가 어떤 모습으로 변화할 지 모르며 일일히 확인하는 것에 번거로움이 많다. 이러한 단점들을 극복하고자 Universal Domain Adaptation 방법론이 연구되고 있으며, 금일 세미나에서는 용태가 해당 방법론에 대한 여러 가지 설명들을 해주고 있다. 본 방법론들의 목표는 Target 데이터에 한하여 분류 성능을 높이는 것이며, Source 데이터와 클래스 분포가 일치하는 데이터에 한하여 분류하고, 아닐 경우 Unknown 데이터로 인식한다. Source와 Target 사이의 분포 alignment 과정에는 기존 domain adapation 기법들을 베이스로 하고 있고, Target 데이터 내에서 unknown 데이터 탐지 성능 향상을 위해서는 Open-set recognition 연구 성과물들을 베이스로 하고 있다. 도메인 차이와 신규 클래스 데이터 등장 문제는 모두 현실에서 만나기 쉽기 대문에, 이런 식으로 결합하면서 연구 되기도 하는구나를 알게 되었다. 좋은 내용의 세미나를 준비하느라 고생하신 용태에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.