본 세미나는 비지도 학습 기반 domain adaptation을 회귀 task에 적용한 방법론들에 대해 소개해주었다. 학습 데이터와 평가 데이터간 분포 차이가 많이 발생함에 따라 domain adaptation 분야 및 domain generalization 분야가 발전하기 시작했고 labeled data를 구하기 어려운 상황 속에 비지도 학습 기반 방법론들이 등장하였다. 이를 회귀 task에 적용한 두 가지 방법론들에 대해 소개해주었다.
첫 번째 방법론은 회귀 task가 분류 task보다 feature scaling에 민감한 것을 실험적으로 증명하였고, domain 사이의 새로운 기하학 거리를 정의하여 좋은 성능을 도출하였다. 프로베니우스 놈을 통해 분류 task에서는 그것에 따른 성능 차이가 거의 없지만 회귀 task에서는 엄청난 기복이 존재함을 시각화를 통해 보여주었다. 따라서 feature scale을 변동 시키지 않으면서 domain간 차이를 줄여야 한다고 주장하였다. SVD(특이 값 분해)를 통한 열 기반 직교 행렬을 사용하여 source와 target이 서로 유사해지게, 각각의 주 각도를 통해 각 domain의 기저를 반영하는 두 가지 loss를 제안하여 기존 지도 학습 loss와 결합하여 사용하였다.
두 번째 방법론은 수식을 통해 역행렬이 중요한 요소임을 보여주었고, 유사 역행렬을 사용하여 좋은 성능을 도출하였다. 여기서는 SVD를 통한 대각 행렬을 사용하여 각 domain별 유사 역행렬을 정의하였다. 대각 행렬에서 특정 threshold 이상의 분산을 가진 특이 값 만을 선택하는데, 이 threshold가 최종 모델 성능에는 얼마나 영향을 미치는지가 조금 궁금했었다. 유사 역행렬을 통해 코사인 유사도 loss, 그리고 domain 간 scale을 맞춰주는 loss를 기존 지도 학습 loss와 결합하여 사용하였다.
나도 평소에 다양한 분야에서 분류보다는 회귀가 까다롭다는 느낌을 가지고 있었는데, domain adaptation 분야에서는 이러한 방식들로 해결할 수 있구나를 본 세미나를 통해 알게 되었다. 방법론들에서 세부적인 이론들도 중간에 세세하게 되짚어 주어서 큰 도움이 되었고 발표하는 템포가 급하지 않아 충분히 이해하면서 청취할 수 있었다. 마지막 느낀점 부분에서, 나도 또한 통계 및 수학 이론들에 대해 더 많은 공부가 필요하다는 것을 느끼게 되었고 세진 누나 말에 공감했다. 좋은 세미나를 준비하느라 고생한 세진 누나에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.

이번 세미나는 회귀 문제에 있어 Unsupervised Domain Adaptation 연구들을 소개한다. 기존 Unsupervised Domain Adaptation 방법론들은 주로 분류에 초점을 맞추어 왔고, 그런 방법론들을 직접 회귀 문제에 적용하는 데는 종종 어려움이 발생한다. 그렇기 때문에 회귀 문제에 적합한 방법론들이 필요했고, 다음 두 가지 방법론을 소개한다.

1) Representation Subspace Distance for Domain Adaptation Regression: 회귀가 분류에 비해 feature scaling에 민감한 것을 두 가지 실험을 통해 증명하고, 회귀에서는 feature scale을 변동시키지 않으면서 도메인 간의 차이를 줄이는 Unsupervised domain adaptation 학습의 필요성을 주장한다. 이를 위해, 본 논문에서는 특이값 분해(SVD)를 활용한 Loss를 제안하여 도메인 사이의 새로운 거리를 정의하며 차이를 줄이 돼 feature scale은 유지하여 좋은 성능을 달성했다.

2) DARE-GRAM: 회귀 문제는 Inverse gram matrix(역행렬)를 통해 모델을 학습해야 한다는 근거를 제시하는데, 이는 첫 번째로 최소제곱법(OLS)의 Inverse Gram Matrix를 구하는 식을 통해 두 번째로 소스와 타겟 도메인의 feature인 Zs와 Zt의 cosine 거리를 통해 제시한다. 이를 위해, 본 논문에서는 Pseudo-inverse gram matrix(유사 역행렬)을 모델 학습에 사용하여 도메인간 거리를 줄여 성능을 높였다.

이전에는 회귀에서 Unsupervised Domain Adaptation 문제에 접근할 때 기존에 알고 있던 분류를 위한 방법론들을 그대로 적용하면 되지 않나라는 생각을 했다. 하지만 생각보다 많은 조건들이 다르고 그렇게 간단한 문제가 아니였다는 걸 알게 되었다. 이처럼 겉으로는 간단한 문제처럼 보이지만 데이터의 특성이나 도메인의 특성 등 다양한 제약으로 풀기 어려운 문제들이 많다고 생각한다. 앞으로는 다양한 문제들을 만날 때, 보다 문제의 가정이나 조건들을 신경쓰고 고민하여 접근해야겠다는 생각이 들었다.

이번 세미나는 Unsupervised Domain Adaptation in Regression에 대하여 진행되었다. 분류문제에 대해서는 Unsupervised Domain Adaptation(UDA)에 대한 연구가 활발하게 진행되고 있으나, 회귀문제에 대해서는 많이 진행되고 있지 않다. 본 연구에서는 이러한 회귀문제의 도메인 분포 차이 문제를 UDA로 해결한 방법론 2가지를 소개한다.

1) RSD: 해당 방법론은 회귀문제가 분류에 비해 Feature Scaling의 변동이 크기 때문에 학습이 원활하지 않다고 주장한다. 따라서, 이러한 Feature Scaling의 차이를 줄여주는 것에 대한 중요성을 주장한다. 이를 달성하기 위해, 본 논문은 특이값 분해를 적용하여 얻은 U행렬을 활용한다. U행렬은 원본 Feature 행렬의 구조적 형태를 충분히 추정 가능하기 때문에 Source와 Target의 U행렬을 활용하여 도메인 차이를 줄이도록 학습하면 유의미하다는 주장이다(Golub & Van의 식을 활용하면 대각행렬에서 두 도메인 간 차이를 정의할 수 있도록 정의가 가능). 추가적으로, Source와 Target의 U행렬의 차이를 보정해주기 위한 스케일링 손실함수도 함께 활용한다.

2) DARE-GRAM: 이는 회귀모델이 역행렬을 활용하여 학습해야 하는 필요성을 주장한다. 역행렬을 적용할 경우, 기존 Feature Vector보다 Source 및 Target 간 차이를 더 명확하게 볼 수 있기 때문이다. 본 논문은 이러한 역행렬을 구할 때, 특이값 분해를 활용한다. 이때, 역행렬은 특정값 이상의 분산을 갖는 특이값만을 선택하여 유사 역행렬을 구성한다. 또한, 이러한 유사 역행렬의 스케일을 보완하는 손실함수 또한 함께 활용한다.

이번 세미나를 통해 Unsupervised Domain Adaptation in Regression에 대하여 새롭게 접할 수 있었다. 생각보다 UDA를 Regression에 적용하기 까다롭다는 문제상황도 알 수 있었고, 연구 방향도 살펴볼 수 있었다. 특히 특이값 분해를 활용하는 것이 와닿았다. 두 방법론 모두 특이값 분해를 활용하지만, 서로 다른 값에 집중하여 연구하였다. 추후 이러한 특이값 분해 결과 나온 행렬들의 의미를 조금 더 심도 있게 공부하여 내 연구에 적용해보고 싶다는 생각이 들었다. 유익한 세미나를 준비해준 심세진 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 회귀 문제에서 unsupervised domain adaptation을 적용한 연구에 관해 소개되었다. Unsupervised domain adaptation을 분류 문제에 적용하는 것에 주로 초점을 맞추었으며, 이를 회귀 문제에 적용하는 것에 어려움이 있다고 한다. 본 세미나에서는 회귀 문제에 unsupervised domain adaptation을 적용한 2가지 연구에 관해 소개되고 있다.

(1) Representation Subspace Distance for Domain Adaptation Regression (ICML, 2021)
: 회귀가 분류 문제에 비해 백본에서 나오는 피처 스케일의 민감함을 실험으로 증명하기 위해 프로베니우스 놈을 사용하며, 분류 작업에서는 피처 스케일 변동이 성능에 영향을 미치는 영향이 적지만 회귀 작업에서는 변동이 크며, 이는 큰 성능 기복을 초래하게 된다. 이를 근거로, 피처 스케일은 유지하면서 도메인 간의 차이를 최소화하는 것이 중요하다고 주장하고 있다. 도메인 간의 차이를 줄이기 위해 특이값 분해(SVD)를 활용하며, 이를 통해 얻은 열 기반의 직교 행렬(U 행렬)을 사용하여 소스와 타겟 도메인이 서로 유사해지게 하며, 각 도메인의 기저를 반영하는 두 가지 손실 함수를 새롭게 도입하고 기존의 지도 학습 손실과 결합하여 사용한다. 이를 통해, 피처 스케일 변화 없이 도메인 간의 거리를 줄이는 방법을 제안함으로써 학습 모델의 일반화 능력을 향상시켰다.

(2) DARE-GRAM: Unsupervised Domain Adaptation Regression by Aligning Inverse Gram Matrices (CVPR, 2023)
: 본 논문은 회귀 모델 학습에 역행렬의 중요성을 강조하며, 특히 특이값 분해(SVD)를 이용해 선택된 특이값만을 포함하는 유사 역행렬 사용을 제안하고 있다. 이 방법은 소스와 타겟 도메인 간의 코사인 거리를 최소화하고, 기존 특성 벡터 간의 차이를 명확히 하며, 스케일을 조정하는 손실 함수와 결합하여 모델의 일반화 성능을 향상시켰다.

이번 세미나는 분류 문제에 초점이 맞춰어져 있던 unsupervised domain adaptation 방법에서 벗어나 회귀 문제에 적합한 방법에 관해 소개되었다. 다소 난해한 용어가 많았지만 세진이가 중요한 부분만 설명해주어 핵심적인 부분을 이해하는 데 큰 도움이 되었다. 또한, 회귀 문제에서 해당 방법 적용은 접한 적이 없었는데 이번 세미나 덕분에 새로운 지식을 습득할 수 있었다. 유익한 세미나를 준비해 준 세진이에게 고마운 마음을 전하며, 이상으로 세미나 후기를 마친다.

이번 세미나는 Unsupervised Domain Adaptation Regression을 주제로 진행되었다. 일반적인 Unsupervised Domain Adaptation 방법론은 주로 classification task에 대해 수행되어왔으나, regression task에는 어려움을 겪어왔다고 한다. 따라서 이러한 문제점을 타개하기 위해 고안된 방법론에 대해 소개한다.

[1] Representation Subspace Distance for Domain Adaptation Regression: 회귀 모델이 feature scaling에 민감하다는 것을 실험을 통해 증명하였으며, 따라서 회귀 모델의 경우 feature scale을 변동하지 않으면서 도메인 간 차이를 줄이는 학습이 필요하다고 주장하였다. Feature scale에 민감하지 않도록 feature 공간이 아닌 SVD를 사용하여 새로운 특징 공간상에서 도메인 간 거리를 정의하여 모델을 학습하였다.

[2] DARE-GRAM: 회귀 모델이 inverse gram matrix를 통해 모델을 학습해야 한다는 근거를 제시하며, 이를 통해 도메인 간 거리를 줄여 좋은 성능을 달성하였다. OLS 수식을 전개하여, OLS가 inverse gram matrix를 이미 포함하며, inverse gram matrix 사용 시 두 분포 간 차이를 명확하게 구분할 수 있다 주장한다. 최종적으로는 inverse gram matrix를 모델 학습에 사용하여 기존 방법론들 대비 좋은 성능을 달성하였다.

오늘 세미나를 통해 Unsupervised Domain Adaptation Regression에 대해 배울 수 있었다. 특히 Domain Adaptation이 주로 분류에 사용된다는 것과, 회귀에 사용되는데 어려운 부분들이 있다는 것은 처음 알게 된 사실이었다. 더하여 두 방법론 모두 feature 공간이 아닌 SVD를 사용해 새로운 차원에서 loss를 구한다는 점이 신기하였으며, 연구를 진행하는데 있어 SVD를 적용해보고 싶다는 생각도 하게 되었다. 유익한 세미나를 준비해준 심세진 연구원에게 고맙다는 말을 전하며 세미나 후기를 마친다

Unsupervised Domain Adaptation for Regression를 주제로 한 세미나를 청취하였다.

방법론 개발 측면에서 회귀 및 분류 사이의 차이점을 깊게 생각해 볼 기회가 없었는데, 이번 세미나를 통해 자세히 고민해볼 수 있게 되었다. 특히, Feature scaling이 회귀 문제에서 중요하게 다루어져야 한다는 인싸이트를 건내 준 논문 소개가 인상적이었는데, 해당 논문에서 본인들의 가설을 입증하기 위해 밟았던 실험 절차의 경우 머리 속에 깊이 기억해두려고 한다. 본 세미나에서 소개한 두 가지 방법론은 특징 공간 상에서의 SVD 분해, Pseudo-inverse Matrix 등을 산출하여 두 도메인 상의 분포 차이를 없애려고 시도하였는데, 선형 대수 지식들을 잘 겸비하고 있어야 이렇게 연구 확장이 가능하겠구나 생각하며 좋은 자극을 받을 수 있었다. 개인적으로는 해당 방법론들을 분류 태스크에 다시 적용해보면 어떤 결과가 나올지도 궁금하였다. 세미나 중간 중간에 쉬운 용어로 방법론들을 다시 한번 정리해주는 구간이 있었는데, 청자 입장에서 이해에 큰 도움이 되었다. 많은 사람들이 살펴보면 시청하면 좋을 것 같다.


좋은 세미나를 준비하느라 고생한 세진이에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.