- 2024년 3월 29일 오전 11:33
- 조회수: 29011
REFERENCES
INFORMATION
- 2024년 3월 29일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
김지현
TOPIC
On-Line Video
OVERVIEW
모델의 일반화 (generalization)란 유한한 데이터 표본을 기반으로 학습된 모델 (predictor)이 새로운 데이터셋에 대해서도 정확하고 신뢰 가능한 예측을 수행하는 과정을 일컫는다. 하지만 만일 모델을 학습 시키기 위해 사용한 데이터셋 (source domain)이 새로운 데이터셋 (target domain)의 분포를 반영하지 못한다면, 모델은 target domain에 대해서 일반화 되지 못할 것이다. 이러한 문제 상황에서, target domain의 (little or no labeled) samples을 확보하여 source domain과의 분포 차이를 완화하는데 이용할 수 있다면, 분포가 다른 도메인에서도 모델의 일반화 성능을 향상시키는 것이 가능하다. Domain adaptation (DA)은 위와 같은 상황을 해결하고자 하는 연구 갈래이며, 선행연구 [1], [2]는 '어떠한 조건에서 학습을 수행해야 source domain으로 훈련된 모델이 target domain에서도 좋은 성능을 낼 수 있을까?'라는 물음을 기반으로 target domain의 예측 오류를 최소화 할 수 있는 이론적인 배경을 제안한다. 본 세미나에서는 이러한 이론적 배경을 짚고, 최근의 딥러닝 기반의 DA 연구들은 어떻게 이론을 발전시켜 왔는지 살펴보는 것을 목적으로 한다.
발표자 후기
김지현
Timestamp
0:00:00 - 0:00:57 세미나 소개
0:00:57 - 0:01:32 발표자 소개
0:01:33 - 0:02:09 목차 소개
0:02:10 - 0:05:04 Domain Adaptation 필요 배경
0:05:05 - 0:10:02 Domain Shift 설명
0:10:02 - 0:11:36 Related Works (Fine Tuning)
0:11:37 - 0:13:31 (Unsupervised) Domain Adaptation Research Idea
0:13:33 - 0:18:11 Domain Adaptation 기본 학습/테스트 방식
0:18:12 - 0:20:06 Cross-Domain Generalization 개념
0:20:07 - 0:24:07 Moment Matching-Based (MMD)
0:24:08 - 0:25:59 본 세미나에서 다룰 논문들 선정 배경
0:26:00 - 0:26:58 [논문 1] Analysis of Representations for Domain Adaptation (Ben-David et al., 2006)
0:26:59 - 0:28:25 [논문 1] L1-Divergence 소개
0:28:26 - 0:31:55 [논문 1] L1-Divergence 기반 Cross-Domain Generalization
0:31:56 - 0:33:15 [논문 1] L1-Divergence 한계
0:33:16 - 0:38:16 [논문 1] H-Divergence 소개
0:38:16 - 0:47:03 [논문 1] Empirical H-Divergence 소개
0:47:04 - 0:47:50 [논문 1] Proxy A-Distance (PAD)
0:47:51 - 0:49:43 [논문 1] Empirical H-Divergence 기반 Cross-Domain Generalization
0:49:44 - 0:50:46 [논문 1] 핵심 내용 리마인드
0:50:47 - 0:52:28 [논문 2] Domain Adversarial Training of Neural Networks (Ganin et al., 2016)
0:52:29 - 0:54:26 [논문 2] 연구 배경 (Motivation)
0:54:27 - 1:01:50 [논문 2] 학습 및 최적화 방식
1:01:51 - 1:02:40 [논문 2] 핵심 내용 리마인드
1:02:41 - 1:03:43 [논문 3] A Theory of Learning From Different Domains (Ben-Daivd et al., 2010)
1:03:44 - 1:04:28 [논문 3] Symmetric Difference 설명
1:04:29 - 1:09:03 [논문 3] H△H-Divergence 정의 설명
1:09:03 - 1:11:27 [논문 3] H△H-Divergence 의미 설명
1:11:28 - 1:12:44 [논문 3] Empirical H△H-Divergence 기반 Cross-Domain Generalization
1:12:44 - 1:14:07 [논문 3] 핵심 내용 리마인드
1:14:08 - 1:15:02 [논문 4] Maximum Classifier Discrepancy for Unsupervised Domain Adaptation (Saito et al., 2018)
1:15:03 - 1:18:13 [논문 4] Discrepancy Loss 소개
1:18:14 - 1:20:42 [논문 4] 연구 배경 (Motivation)
1:20:43 - 1:25:25 [논문 4] 학습 및 최적화 방식
1:25:26 - 1:27:56 세미나 요약 및 결론
청취자 후기
김성수
이번 세미나는 Domain Adaptation에 대해 진행되었다. Domain Adaptation은 “타겟 도메인의 에러는 소스 도메인의 에러 및 이들 간 도메인 차이의 합으로 표현할 수 있다.”는 것에서 출발한다. 이때, 도메인 간 차이를 Divergence라고 하며, 이들을 어떻게 정의하느냐가 Domain Adaptation에서 핵심 중 하나이다. 본 세미나에서는 이러한 Divergence의 대표적인 척도인 H-divergence에 대해 소개하고, 해당 지표의 발전사를 소개한다.
1) H-divergence: L1-divergence를 특정 사건으로 정의한 지표이다. 이때, H는 Hypothesis(=모델)를 의미한다. 또는 “소스 도메인 데이터에서 모델의 출력값 – 타겟 도메인에서 모델의 출력값”으로 정의 가능하다. 만약 H-divergence가 작으면, 이는 모델이 도메인에 국한 받지 않고 Feature를 잘 표현하는 것을 의미한다.
2) DANN: DANN은 H-divergence를 활용하여 Domain Adaptation을 달성하였다. 적대적 학습 구조를 활용하며, 도메인 간 차이를 정의할 때, H-divergence가 활용되었다.
3) H△H-divergence: 이는 두 개의 Classifier에서 나온 Output을 활용하여 Divergence를 정의한다. “(소스 도메인 데이터를 두 Classifier에 넣은 차이) - (타겟 도메인 데이터를 두 Classifier에 넣은 차이)”로 식을 정의하며, 이들이 작다는 것인 Representation 차이를 두 Classifier가 잘 구분하지 못한다는 것을 의미한다. 즉, Domain Adaptation이 잘 달성된 것이다.
4) MCD: H△H-divergence를 활용하여 Domain Adaptation을 수행한 방법론이다. 2개의 Classifier를 가지는 형태이며, Divergence로 H△H-divergence를 활용한다. 크게 3단계의 최적화 과정을 거치며, Step2와 Step3는 Adversarial하게 학습하는 특징을 갖는다.
이번 세미나를 통해 Domain Adaptation을 새로운 관점에서 바라볼 수 있게 되었다. 그저 하나의 개념이라고 받아들였던 지표의 증명 과정을 살펴볼 수 있었고, 깊은 속 뜻을 이해할 수 있는 계기가 되었다. 뿐만 아니라, Notation에 대한 이해 및 세미나 흐름 등 세미나 내용 외적으로도 많이 배워갈 수 있었다. 유익한 세미나를 준비해준 김지현 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.
배진수
Domain adaptation에 대한 이론 세미나를 청취하였다.
Unsupervised domain adaptation을 공부해본 사람이라면 누구나 한번쯤은 보았을 수식(Target error <= Source error + Discrepancy + ~)이 있다. 해당 수식은 Target error의 상계에 대한 모양세를 살펴볼 수 있는 중요한 수식이며, 해당 상계는 UDA 상황에서도 얻을 수 있기 때문에 해당 상계를 최소화함으로써 UDA 상황에서도 Target error를 최소화할 수 있게 해준다. 해당 상계는 크게 Source error와 Discrepancy로 이루어져 있는데, 본 세미나는 Discrepancy에 대한 수리적 이론들과 미분 가능한 형태의 추정량을 구하는 방법을 소개해주고 있다. Domain adaptation에서 많이들 활용되는 직관적 아이디어들이 사실은 이렇게 깊은 내용의 수리적 이론을 배경하고 있다는 사실들 알고 나니 더욱 매력적인 분야라는 생각이 든다.
좋은 세미나를 준비해주느라 고생했을 지현이에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.