이번 세미나는 Deep Domain Adaptation에 대해 진행되었다. Domain Adaptation은 다른 도메인에서 동일한 Task를 수행할 때 활용되는 Transfer Learning의 하위분야로 정의할 수 있다. 기존의 예측모델은 학습 데이터와 테스트 데이터의 분포가 동일하다는 가정을 갖지만, 현실에서는 그렇지 못하기 때문에 Domain Shift가 발생한다. 이러한 Domain Shift를 최소화하는 것이 바로 Domain Adaptation이다. 본 세미나에서는 딥러닝을 활용하여 Domain Adaptation 수행한 연구를 3가지 소개한다.

먼저 DANN은 Target Domain의 Label이 없을 때 Domain Adaptation을 수행하는 방법론이다. Source Domain에서 예측성능은 향상시키고, Domain Gap은 줄이는 방향으로 학습한다. 이때, GAN의 아이디어와 유사하게 Domain Loss로부터 Weight를 Update 할 때는 음수를 곱해주어 Source와 Target의 구분을 어렵게 하는 것이 특징이다. 두 번째로 CCSA Loss는 Target Label이 소수 있는 상황을 다룬다. 이는 각 Target 데이터를 모든 Source 데이터와 쌍을 이루어 동일 Class는 가깝게, 다른 Class는 멀게 학습하는 Contrastive Loss개념을 활용한다. 마지막으로 SagNet은 Domain Shift에 큰 영향을 미치는 Style Bias를 제거하는 아이디어에서 출발한다. 이미지에서 Content와 Style 요소를 분리할 수 있다는 개념이 아직 잘 와 닿지는 않지만, Style요소를 추출하여 Adversarial하게 학습한다는 특징을 갖는다.

개인연구를 하는 Scene Text Recognition에서는 데이터가 많이 부족하기에, 합성이미지로 학습하는데 이때 실제 이미지와 Gap을 줄이기 위한 방법론으로 Domain Adaptation에 대해 잠깐 접해본 적이 있었다. 오늘을 계기로 이러한 Domain Adaptation에 대해 더 가까워진 것 같다. 특히 GAN처럼 Adversarial하게 학습하는 아이디어가 인상깊었고, SagNet에서 Style만 따로 추출하여 진행한다는 것이 흥미롭게 다가왔다. 추후 기회가 된다면 이러한 Adversarial Learning의 아이디어를 개인 연구에도 반영해보고 싶다. 유익한 세미나를 준비해주신 김태연 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 Deep Domain Adaptation에 대해서 진행되었다. Domain Adaptation은 기존의 정보로 학습된 모델이 새로운 도메인에서도 우수한 성능을 유지하기 위한 연구 분야로서 실생활의 데이터를 분석하는데 빈번하게 일어나는 환경으로 연구가 활발히 진행되고 있다고 한다. 특히 Deep Learning을 활용하여 Domain Adaptation을 해결하고자 하는 방법론에 대해 세미나가 진행되었다. Deep Learning을 적용하려는 모든 분야에서 데이터를 완벽히 갖추어져서 학습과 검증을 진행할 수 있는 상황은 많지 않은 것이 당연하기에 기존에 학습한 모델을 새로운 Domain에 적용하고 우수한 성능을 얻고자 하는 것이 Transfer Learning이다. Transfer Learning 중에서도 본 세미나는 특히 Domain은 서로 다르지만 Task는 같은 Transductive Transfer Learning을 다루고 있다. 이어서 Deep Domain Adaptation의 DANN/CCSA-loss/SagNet 3가지의 방법론을 설명해 주었으며 DANN과 CCSA-loss는 본래의 분류 성능은 높이는 동시에 Domain의 변화는 구분할 수 없도록 만드는 것을 공통적인 개념으로 사용하는 것으로 이해하였다. SagNet은 Domain별 Bias(Style)를 일으키는 부분을 줄이는 방향으로 모델이 개발되었다. 동일한 이미지를 학습하면서도 Style과 Contents를 나누어 모델을 만들 수 있다는 것이 새로웠다. 또한 방법론 별로 Label의 존재 유무에 따라 다양한 Model 구조를 확인할 수 있어서 정확히 다 이해하지는 못하였지만 흥미로웠고 반대 방향의 Gradient를 사용하는 것에서 부터 Contrastive loss 활용, Adversarial Learning을 진행하는 등 Domain Adaptation을 위하여 다양한 방법이 활용되는 것이 신기하다고 느껴졌다. 개인 연구를 진행 함에 있어서도 이처럼 다양한 방법을 활용할 수 있도록 공부를 지속해야겠다는 생각이 들었으며 Domain Adaptation에 대해서도 이해도가 높아질 수 있었던 것 같다. 유익한 세미나를 준비해주신 김태연 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 Deep Domain Adaptation을 주제로 진행되었다. Domain Adaptation은 훈련 데이터와 테스트 데이터의 도메인 차이가 있는 경우 모델의 정확한 예측이 불가 하기 때문에 이를 해결하는 연구 분야이다. 이러한 도메인이 다른 문제를 도메인 시프트라고 하며, 간단한 해결 방법으로는 테스트 도메인의 데이터를 추가 수집하여 훈련 데이터에 포함 시켜서 학습 시킬 수 있다. 하지만, 양질과 다량의 데이터를 추가 수집하는 것에는 어려움이 있기 때문에 기존 데이터를 활용하여 새로운 도메인 데이터에도 우수한 성능을 보이는 Transfer learning을 수행한다.
Deep Domain Adaptation 관련 3가지 방법론이 소개되었는데, 첫 번째는 DANN은 Target domain에 label이 없는 unsupervised domain adaptation(UDA) 방법론으로 domain label 분류기를 추가하여 도메인에는 영향을 받지 않고 각 class의 특징 추출이 가능한 학습 방법이다. 두 번째 CCSA-loss는 Target domain내 소수 labeled data가 존재하는 경우 labeled data를 활용하는 Supervised domain adaptation(SDA) 방법론으로 동일 class인 경우 도메인 간의 분류 성능은 낮추고(=거리 가깝게), 다른 class인 경우 도메인 간의 분류 성능을 높이는(=거리 멀게) 학습 방법이다. 세 번째는 SagNet style bias를 줄이는 방법론으로 contents는 유지하고 style은 random하게 변경하여 학습하는 학습 방법이다.
Domain Adaptation 관련 정의가 제대로 되지 않은 배경을 갖고 있었는데 해당 세미나를 통해 정의 및 종류를 배울 수 있어서 유용했고, 내가 관심 있는 분야에 적용할 수 있는 부분이 있는지 추후 검토할 수 있을 것 같다. 세미나를 준비하느라 고생했다는 감사의 말을 김태연 연구원님께 전하며 세미나 후기를 마친다.

Domain Adaptation은 Transfer Learning의 한 갈래로서, 학습 데이터와 평가 데이터 간 분포가 다를 경우에도 우수한 성능을 내는 것을 목표로 하는 방법론이다. 즉, 다른 도메인이지만 관련이 있는 새로운 데이터(Target Domain)에 기존 영역(Source Domain)의 정보를 '적응'시켜 예측 Task 성능을 높이는 것을 골자로 한다.

본 세미나는 Domain Adpatation의 방법론 중 Deep Learning을 이용한 방법론에 대해 포커스를 맞추어 진행되었다. 더불어 Domain Shift가 일어난 상황에서 Distribution을 어떻게 Alignment 해 나가는지에 따라, 그리고 Target Domain의 Label 정보 유무/양에 따라서 (1) DANN, (2) CCSA-Loss, (3) SagNet 세 가지 방법론을 구분하여 소개하고 있다.

먼저 DANN은 2016년에 발표된 연구임에도 불구하고 최신 Domain Adaptation 연구의 근간이 되는 가장 유명한 방법론이다. 네트워크 구조를 살펴보면 Classification Task 성능을 높이는 것과 동시에 Source와 Target Domain은 구분하지 못하도록 하는 것을 목적으로 학습이 진행된다. 이것이 가능한 이유는 Domain Discriminator에서 Feature Extractor로 Gradient가 역전파 되는 과정에서 Gradient Reversal Layer를 거쳐 업데이트가 진행되기 때문이다. 이로써 Feature Extractor는 Domain을 구분하지 못하지만, Domain Discriminator는 Domain 구분을 잘 해내려 하기에 'Adversarial(적대적) Neural Network'라는 이름이 붙었다. 간단한 아이디어처럼 보이지만 실제로 Domain Divergence가 줄어듦을 수식적으로 증명한 효과적인 방법론이기에 현재까지도 기본 아키텍처로서 응용되고 있다.

Target Domain에 Label이 없는 Unsupervised 상황을 가정한 DANN과 달리, CCSA-Loss는 Supervised 상황을 가정한 방법론이다. Confusion Alignment Loss(도메인을 구별할 수 없게 만드는 Loss)를 도메인에 따라 두 가지로 구분하여 제안한 점이 특징적인데, Semantic Alignment Loss와 Separation Loss가 그것이다. 이때 Semantic Alignment Loss와 DANN의 Confusion Alignment Loss가 다른 점은, Semantic Alignment Loss는 같은 Class 내에서만 Source와 Target 도메인을 구분하지 못하도록 한다는 점이다. 그리고 Separation Loss는 다른 Class의 경우에는 아예 도메인을 더 잘 구분하도록 하여 Supervised 상황에서 Domain Adaptation 성능을 높이고 있다.
SagNet은 본 세미나를 통해 처음 접한 연구인데, Domain 별로 Bias를 일으키는 Style을 제거하여 Domain Shift를 최소화하는 방법론으로서, 매우 흥미로운 아이디어를 적용한 연구라는 생각이 들었다.

최근 시계열 데이터를 이용한 Domain Adpatation 연구를 진행 중에 있기 때문에 특히 흥미롭게 들었던 세미나였다. 그리고 Unsupervsied Domain Adaptation 상황에서 DANN 아키텍처를 기반으로 하는 방법론을 중심으로 공부했었는데, CCSA-Loss 및 SagNet과 같은 다른 경향의 연구들도 참고할 수 있던 좋은 기회였다. 본 세미나에서 다루지 않았지만 Source 및 Target Doamin이 여러 개인 Multi-Source/Target Domain Adaptation, Unsupervised Domain Adaptation 중에서도 Adversarial Methods 기반 방법론과 더불어 Self-Supervised 기반 Methods 등 여러 연구 흐름에 대해서도 개인적으로 정리하고 싶은 욕심이 생겼다. 또한 Computer Vision 분야의 Classification Task에 특화된 주류 연구 뿐 아니라, 시계열 등의 데이터를 바탕으로 Regression Task를 풀어가는 연구의 동향도 개인적으로 짚어보고 싶었다.
Domain Adaptation에 대한 이해도를 높이고 개인 연구에 매진할 수 있는 기폭제가 되어준 세미나였던 것 같다. 수고하여 준비해주신 태연 오빠께 감사하다는 말씀 드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 domain adaptation이라는 주제로 진행되었다. 딥 러닝은 분류 모델에서 학습 데이터와 테스트 데이터 간에 분포 차이가 존재하지 않는다는 큰 가정을 기반으로 진행된다. 만약, 분포가 다르다면 domain shift 문제로 정확한 예측이 불가능하다는 문제가 발생한다. 이러한 분포 차이로 인해 발생하는 문제를 해결하기 위해서는 데이터를 재수집하여 모델을 재학습해야 하는데 양질의 데이터를 얻기 어렵다는 점에서 한계가 존재한다. 따라서 기존의 정보만을 사용하여 새로운 도메인에서도 우수한 성능을 보이기 위해 transfer learning을 사용하고 있다. 본 세미나에서는 domain adaption에 관련된 방법론 3가지를 소개하고 있다.

먼저, DANN은 모델이 궁극적으로 하고자 하는 task인 classification task에서는 좋은 성능을 보이고 sample의 feature representation은 어떤 도메인에 속하는지 구별하지 못하게 domain discriminator를 약화하는 방향으로 학습한다. 두 번째로 CCSA-loss는 Target domain 내 소수의 labeled data를 활용하는 supervised domain adaptation 방법론이다. 기존의 DANN과 동일하게 classification은 잘하도록 학습이 진행되지만, 전자의 방법론과 달리 도메인을 구분하는 능력인 domain divergence를 좀 더 세분화하여 정의한다. 마지막으로, SagNet은 특징 추출과정에서 content가 아닌 style에 집중해 발생하는 style bias를 줄임으로써 domain shift 문제를 해결하려는 방법론이다. 이 방법론의 경우 train과 test를 진행할 때 각각 모든 네트워크를 사용하거나 Content-biased Network만을 사용한다는 차이가 존재한다.

Domain Adaptation 연구에 다소 생소했지만 본 세미나를 들으면서 domain adaptation이란 무엇인지에 대해 알 수 있었다. 본 연구가 시작하게 된 계기도 함께 설명해주어 흥미롭게 들을 수 있었고 각 방법론에서 사용된 loss에 대한 자세한 설명으로 어떻게 domain shift를 해결하는지에 대해서 이해하는 데 큰 도움이 되었다. 좋은 세미나를 준비해주신 김태연 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

데이터 도메인 이동간에도 강건한 성능을 가질 수 있는 딥러닝 학습 방법론 세미나를 청취하였다. 세미나에서 소개된 쉬운 예제를 이용하자면, 실제 동물들 사진으로 학습한 딥러닝 모델이 캐릭터 동물들 사진에 대해서도 올바르게 작동하게끔 하는 방법론이 오늘 세미나에서 소개되었다. 방법론에 대한 구체적인 설명 전, p21~22, p26와 같은 개괄적 연구 계층도 설명이 나에게는 큰 도움이 되었다. Domain Adaptation 계열의 연구 세부 특징을 알아가는 것도 중요하지만, 방법론에 대한 큰 그림을 먼저 이해하고 출발하니 마음이 편안하였다. 오늘 소개된 방법론들에 대한 공통된 특징은 Source Domain에 대한 이해 능력을 높이는 동시에 Source와 Target 도메인간의 구분 능력을 떨어트리는 것이었다. SagNet이라는 방법론이 인상 깊었는데, 데이터 특성을 본질적 특성 + Style 특성(=도메인 고유의 특성으로만 발생하는 데이터 특성, ex) 그림체.)으로 구분 짓고, 위에서 언급한 공통된 특징을 구체적으로 모델링하였다. 이처럼 인상 깊은 구조는 잘 기억해두고 싶다. 좋은 세미나를 준비해 준 태연이에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

해당 세미나는 Deep Domain Adaptation에 대한 내용을 다루었다. Domain Adaptation이란 데이터 셋의 도메인이 다르지만 동일한 task를 수행할 때 사용하는 transfer learning의 일종이라 볼 수 있다. 이러한 domain shift를 최소화하는 것이 바로 domain adaptation 이며 해당 세미나에서는 총 3가지 방법론에 대해 소개한다.

[1] DANN 은 Target domain내 대량의 unlabeled data를 활용하는 unsupervised domain adaptation 중 하나이다. 이때 DANN의 목적은 target domain에서 잘못 예측할 확률을 줄이도록 모델을 학습하는 것이 목표이다. 이를 위해 source domain의 예측확률을 높이면서 target 과 source domain을 구분하기 어렵게 만든다.
[2] CCSA Loss는 Target domain내 소량의 labeled data만을 활용하여 성능을 높이는 supervised domain adaptation의 방법론이다. CCSA Loss의 핵심은 source와 target domain을 구분하는 domain divergence를 세분화하였다는 것이다. Target 과 source 데이터를 쌍으로 하여 두 데이터가 동일한 클래스인 경우 도메인 분류 성능을 높이고, 다를 경우 도메인 분류 성능을 낮추는 것을 목적으로 한다
[3] 마지막으로 SagNet은 feature extractor가 class를 예측할 때 이미지의 content보다는 style에 의존한다는 점에서 시작되었다. 학습시에는 content에 집중하는content biased network 그리고 style에 집중하는 style biased network를 모두 사용하지만, 테스트 단계에서는 content biased network만을 사용한다는 특징이 있다.

해당 세미나를 통해 domain adaptation에 대한 전반적인 개념 그리고 기초적인 모델들에 대해 배울 수 있어 정말 좋았다. 유익한 세미나를 준비해주신 김태연 연구원님께 감사 인사드리며 세미나 후기를 마친다.

Domain Adapation의 전반적인 개요, 분류, 그리고 Unsupervised Domain Adapation과 (Semi-)Supervised Domain Adaptation의 대표적인 논문에 대해 알아보았다. Domain Adaptation 분야는 Target Domain의 X와 Y 확보 가능성 유무에 따라 크게 4가지로 나누어지며, 이러한 데이터 가정이 다르기 때문에 적용하는 방법론들이 차이가 존재한다. 그럼에도 불구하고 해당 분야의 큰 목적은 'Source Risk Minimization + Domain Divergence Minimization' 이라는 큰 골자로 진행 되는 것 같다.

DANN 같은 경우 가장 직관적인 방법으로 해당 목적을 이루고자 한다. Source Risk Minimization은 Source Data의 CE Loss를 단순히 최소화하면 되는 것이며, Domain Divergence Minimization은 Gradient Reversal Layer를 통해 Domain Discriminator의 gradient의 역방향으로 학습한다.

CCSA Loss 같은 경우 DANN과 달리, Target Domain의 Labeled Data가 일부라도 존재하는 상황에서만 사용할 수 있다. 그 이유는 CCSA Loss의 특징 때문인데, 해당 Loss는 Domain Divergence를 DANN보다 좀 더 세분화하여 1.Labeled Source에 대한 분류 성능 증가 2. 동일 Class간 Domain 분류 성능 감소(Feature 유사도 증가) 3. 다른 Class 간 Domain 분류 성능 증가(Feature 유사도 증가)를 위해 3가지 Loss Term을 증가하는 것이 골자다. 2번과 3번을 이루기 위해 보통은 Contrastive Loss를 사용할 것이라고 기대하겠지만, 2번은 MSE Loss 최소화 그리고 3번은 MSE Loss 최대화로 볼 수 있다. 단, 3번의 경우 주어진 Threshold 이상의 Divergence는 무의미하다고 판단하여, Max(0, M-f(x)) 방식의 Loss를 도입한다.

Sagnet은 Content와 Style을 분리하자는 목적을 가지고 있으며, Content-biased Prediction을 위해 Adaptive Instance Normalization이라는 Technique을 통해 Style을 변경하는 방식을 채택한다.

간결하고 직관적인 세미나였던 것 같다. 어쩌다보니 후기가 토의나 생각보다는 요약 같은 느낌으로 적게 되었는데, 다음 DA 쪽 세미나 후기는 좀 더 다방면으로 분석하는 능력을 갖추어야겠다는 생각이 든다. 열심히 세미나를 준비한 태연이형께 감사의 말을 전한다.