이번 ICML은 코로나의 영향으로 온라인으로 진행되었다. ICML은 인공지능 분야에서도 탑티어의 컨퍼런스로 유명한 논문들이 많이 발표되었던 학회이다. 연구실에 들어와서 처음 참석하게 되는 학회인 만큼 기대감이 컸다. 학회가 온라인으로 진행되어 다양한 발표를 공간과 시간의 제약 없이 접할  수 있어서 다양한 분야에 대해 살펴볼 수 있었다. 현재 전이학습을 활용하여 코로나 환자를 예측하는 연구를 진행하고 있는 만큼 이번 ICML에서 전이학습과 관련된 연구들에 관심이 갔다. 전이학습 중에서도 현재 진행하고 있는 연구에 적용할 수 있는 "Domain Adaptation(DA)"과 관련된 연구를 중점적으로 살펴보았으며 흥미로웠던 연구를 몇 가지 소개하고자 한다.

[Continuously Indexed Domain Adaptation]
기존의 DA 연구들은 source 도메인과 target 도메인이 정해진 상황(Categorically indexed domain)에서 지식의 전이가 이루어졌다. 하지만 도메인의 변화가 연속적으로 이루어지는 경우(시간 혹은 나이 등)가 많이 존재하며 현재 진행된 연구들은 연속적인 도메인 변화(Continuously indexed domain)에 적용하기 어려운 측면이 있다. 따라서 해당 연구에서는 연속적인 도메인 변화에 적용할 수 있는 모델을 제안하고 있다. 관련된 연구 분야로는 "Incremental Domain Adaptation"과 "Adversarial Domain Adaptation"이 있다. Incremental domain adaptation은 기존 DA 모델을 활용해 연속적인 도메인의 변화에 적용하고자 하는 연구이다. 하지만 여러 모델을 연쇄적으로 적용하는 만큼 앞의 모델이 제대로 작동하지 않으면 뒤쪽 모델이 연속적으로 실패하게 되는 단점이 있다. Adversarial domain adaptation은 입력값을 인코딩하는 encoder와 인코딩된 벡터를 통해서 기존의 입력값의 도메인을 예측하는 discriminator를 활용한다. 두 모델이 경쟁적으로 학습해 나가면 최종적으로 도메인을 구분할 수 없는 인코딩 벡터를 만들 수 있게 된다. 인코딩된 벡터는 도메인의 특성의 특성을 반영하지 않기 때문에 인코딩된 벡터로 모델을 학습하면 모든 도메인에서 잘 동작하는 모델을 만들 수 있게 된다. 해당 연구에서는 Adversarial domain adaptation 모델을 발전 시켜 새로운 모델을 제안한다. 기존의 DA 모델은 도메인이 얼마나 변하는지에 대해 알 수 없기 때문에 연속적인 도메인 변화에 대해서 제대로 작동하지 못한다고 지적하며 입력값으로 도메인의 인덱스를 넣어주게 된다. 실험 결과 기존의 DA 모델보다 연속적인 도메인 변화에서 좋은 성능을 보이는 것을 확인할 수 있다. 하지만 해당 연구에서도 몇 가지 한계점이 보였다. 먼저 도메인의 인덱스 사이의 차이가 클수록 도메인 사이의 변화도 크다는 전제가 필요하다. 또한 연속적인 도메인에 인덱스를 붙이기 위해서는 사용자가 직접 설정하는 것이 필요하며 이에 따라 모델의 성능에도 변화가 있을 것으로 생각된다.  하지만 연속적인 도메인 변화에 적용할 수 있는 새로운 모델이라는 점에서 굉장히 흥미로운 연구였으며 단순한 아이디어로도 좋은 성능을 보일 수 있다는 것이 인상적이었다.

[Understanding Self-Training for Gradual Domain Adaptation]
기존 연구는 도메인의 변화가 작을 때만 사용 가능 하다는 단점을 지적하며 도메인의 변화가 클 때에도 적용할 수 있는 "Gradual Self-Training"을 제안한다. Gradual self training은 source 도메인에서 학습된 모델을 활용해 인접한 도메인에서 정답 값이 없는 입력값에 정답 값을 생성하게 된다. 생성된 정답 값을 바탕으로 다시 모델을 학습한 후 전과 동일하게 인접한 도메인에 활용하게 된다. 이런 과정을 반복적으로 수행하게 되면 결국 도메인 사이의 변화가 크더라도 잘 동작하는 모델을 최종적으로 만들 수 있게 된다. 해당 연구에서는 gradual self training에 있어서 regularization이 중요하다고 이야기한다. Gradual self training은 기존 모델을 통해 변화된 도메인의 데이터에 정답 값을 생성하게 되는데 모델에 제약을 가해주지 않는다면 생성된 정답 값이 모두 기존 모델에 의해 잘 구분되는 값이 되게 된다. 따라서 도메인의 변화가 있어도 모델이 변화하지 않게 되어 모델에 제약을 가해주는 것이 필요하다고 강조한다. 해당 연구는 도메인의 변화가 클 때 적용해 볼 수 있는 재미난 연구라는 생각이 들었다. 하지만 도메인의 점진적인 변화를 위해서 중간단계의 데이터들이 필요하게 되고 이런 데이터를 확보하는 것이 어려운 경우 적용하기 어려운 방법론이라는 점에서 한계점이 보였다.

이번 학회는 DA 분야의 전체적인 공부 및 연구 트렌드에 대해 살펴볼 좋은 기회였다. 현재 DA는 지식의 전이가 단순히 하나의 도메인에서 다른 도메인으로 이루어지는 것을 넘어 연속적인 도메인의 변화 혹은 큰 도메인의 변화 등 현실에 적용 가능성이 큰 방법론들이 연구되고 있음을 확인할 수 있었다. 처음 공부해 보는 분야인 만큼 방법론들에 대해 깊게 이해하기는 어려웠지만, 앞으로의 연구에 큰 도움이 될 것이라 생각된다.