이번 세미나는 Transfer Learning 에 관련된 논문인 "EASY TRANSFER LEARNING BY EXPLOITING INTRA-DOMAIN STRUCTURES" 을 리뷰하는 시간을 가졌다.
최근 meta-learning, online-learning 등 매우 인기 있는 주제이고 많이 사용되고 있는데 이것들의 기본이 되었던 transfer learning 은 어떻게 진화 하고 있는지 알고 싶어서 주제를 선정하게 되었다. 일반적으로 transfer learning 이란 기존의 만들어진 모델을 이용하여 새로운 모델을 만들시 학습을 빠르게 해주며 또한 예측력 또한 더 높이는 방법이다. 시간과 인력과 자원의 소모를 극단적으로 줄여줄수 있다. 이미 잘 훈련된 모델로 유사한 문제를 해결시 사용 할 수 있지만 실제적으로 데이터 셋이 유사하지 않더라도 잘 훈련된 모델을 이용하는것이 더 결과가 좋다는 실험 결과가 있는것처럼 왠만하면 가지고 와서 사용하면서 "조금만 튜닝"을 해주는것이 더 좋은 방법이다.
이번 논문은 "조금만 튜닝" 도 하지 않아도 괜찮은 성능을 보여주는 방법을 보여 준다.
두단계에 거쳐서 논문이 설명을 해 주었는데 1)intra-domain alignment : CORAL(correlation alignment) 방법과 2) intra-domain programming 이다.
1) 에서 전처리 과정으로 source 데이터셋 과 target 셋 이 있을 경우 두개의 데이터 셋 모두 PCA 를 통해 차원 축소를 진행 해준다. (pca 를 진행 할 경우 기본 평균0,분산1로 노말라이즈를 해준다) 이 때 pca 를 진행 한 source 데이터셋의 공분산을 1로 만들어 주어 타원 모양이 원형 모양이 되도록 whitening (화이트닝) 을 시켜준다. 여기서 source 데이터셋에 target 데이터셋의 상관값을 다시 곱해주어 re-coloring 을 해주면 source 와 target 데이터셋의 correlation 이 맞추집니다. 이로인해서 transfer learning 이 잘 동작을 하게 됩니다.
2) 에서는 probability annotation matrix (M)(like softmax) 의 개념을 적용하여 내부적으로 계산이 잘 되도록 하여 어떠한 parameter 를 변경하지 않아도 잘 동작 하도록 해준다.

이번 논문을 공부하면서 우리 랩 연구원들이 얼마나 많은 시간을 준비해서 세미나를 발표하는지 깨닫게 되었다. 단어, 문장 모두 하나하나 다 읽어서 준비하고 발표를 해야 하는데 잘 준비 하지 못해우리 랩 사람들에게 잘 전달을 못해줘서 매우 아쉽게 느껴졌다. 다음번 발표에는 더욱 노력해야 겠다는 생각이 들었다. 그래도 이번 세미나를 통해 이런 연구주제들도 있다는것을 알려주었고 나중에라도 도움이 되었으면 한다.

​

오늘의 ‘Easy Transfer Learning’ 세미나가 있기까지 관련 주제로 충협이의 Meta-learning, 지윤이의 Online-learning 세미나가 있었어서 다시 한번 recap하기 좋은 기회였다. 여태 알고 있던 Transfer Learning은 model-based learning 이였던 반면, 이번 논문은 오히려 instance-based learning에 가까웠다. 먼저 whitening을 통해 소스 도메인과 타겟 도메인 데이터를 재정렬시키고, 타겟(클래스값)이 있는 소스 데이터의 중심으로부터의 거리가 먼 타겟 도메인의 확률값은 낮게, 가까운 데이터의 확률은 높게 만드는 loss function을 제시하여, 결과적으로 target input이 미리 정의된 class에 속할 확률을 뜻하는 행렬을 Gradient Descent로 학습하는 것이 목표인 알고리즘이다. 보다시피 inference와 train단계가 구분되지 않아 많은 instance-based learning이 그렇듯이 (e.g KNN) 계산 복잡도가 비교적 높은 단점을 안고 있으나, data alignment 단계에 한해서는 타 instance-based learning 알고리즘과 비교해서 좋은 성능을 갖는다고 저자는 주장한다. 아쉬운 점은 새로운 class에 대해서는 inference가 불가하다는 것인데, instance-based method로도 meta-learning이 가능할지 궁금하다. Model-based learning이 딥러닝 계의 헤게모니인데 저자가 상반된 관점을 제시해서 유연한 사고의 필요성을 느끼고 가는 세미나였다.

금일 세미나는 승섭오빠가 ‘EASY TRANSFER LEARNING BY EXPLOITING INTRA-DOMAIN STRUCTURES’라는 주제로 진행해주셨다. 제목에서 Transfer learning이라는 키워드를 보고 익숙한 듯 인공신경망 구조를 떠올리며 파라미터 업데이트에 대한 연구일 것이라 자연스럽게 생각했지만 해당 연구는 target data공간에 source data를 매핑시키고, 각 instance가 가까운 source data의 class로 예측함으로써 transfer learning을 적용시키는 instance based learning의 접근을 취하는 연구였다. 세미나를 들으며 해당 연구에서 핵심적으로 다루어진 Whitening과 re-coloring에 대한 개념이 생소해 intra-domain alignment에 대해 이해하는데에 어려움이 있어 matrix연산 이해의 필요성을 다시 한번 깨달을 수 있었다. 더불어 transfer learning의 목적을 갖는 연구들이 비단 딥러닝 뿐만 아니라 다양한 학술 도메인에서 각기 다른 방식으로 접근한다는 사실이 흥미로웠고, 실제 기술적 구현은 어떻게 할 수 있는지 궁금했다. 현실적으로 다양한 산업에서 분석 알고리즘을 상용화/서비스화 하는 과정에서는 domain adaptation이슈는 매우 중요한 요소라고 생각한다. 나 또한 이러한 연구들을 흥미롭게 살펴보는 중인데 다른 관점에서 새로운 연구를 소개해준 승섭오빠께 감사하다.

이번 세미나는 EASY TRANSFER LEARNING BY EXPLOITING INTRA-DOMAIN STRUCTURES 라는 주제로 진행되었다. 기본적으로는 transfer learning의 한 가지 방법론이었으며, target 데이터의 label이 없거나 부족할 때 기존의 source을 이용하여 label을 생성하는 방법이다. 차원축소(PCA)시킨 source 데이터를 공분산 역행렬을 이용하여 whitening을 진행하고, 차원축소(PCA)시킨 source 데이터의 공분산 행렬을 이용하여 다시 re-coloring 작업을 시킨다. 이러한 과정을 거치면, 기존의 source 데이터가 target 데이터 차원에 표현이 된다. 그 결과 label이 있는 데이터가 기존의 source 데이터에 추가되며, 이 label들의 중심을 이용하여 가까운 레이블로 분류를 할 수 있게 된다. 이 논문에서 중요하다고 생각되었던 것은 source 데이터를 target 데이터의 영역으로 바꾸는 과정이었고 논문에서 target을 source 데이터 영역으로 바꾸거나, 둘 다 변환하여 합치는 방법보다 더 잘 나왔다고 하였으며 아마 target 데이터의 변환을 적게 할 수록 잘나오지 않았을까 라는 생각이 들었다. 주로 딥러닝에서 transfer learning을 많이 사용하는데 통상적인 방법돌과 달리 이러한 방법의 장점은 데이터의 특성(공분산)을 이용하기 때문에 다른 파라미터나 모델이 필요하지 않다는 점이다. 간단한 방법론에도 실험 결과가 좋았던 것 같다.

이번 세미나는 EASY TRANSFER LEARNING BY EXPLOITING INTRA-DOMAIN STRUCTURES를 주제로 진행되었다. 최근 딥러닝이 발달하면서 여려 도메인에서 많은 적용을 하려고 하고 있지만 데이터의 한계로 높은 성능을 가지는 모델을 학습하기는 힘들다. 데이터 부족에 따른 한계를 극복하는 방안으로 트랜스퍼 러닝이 있다. 많은 양의 데이터셋에서 학습된 모델을 그와 유사하지만 데이터의 제약이 있는 데이터셋을 이용하는데 사용한다. 기존에 학습된 모델에서 약간의 수정으로 현제 데이터셋을 잘 설명하는 모델을 만들수 있기 때문에 학습에 필요한 데이터가 적어도 되며 학습하는 시간도 줄일 수 있는 장점이 있다. 추가적으로 트랜스퍼 학습을 더 잘되게 하는 방식으로 사용되는 데이터의 correlation 을 맞추어 더 높은 성능을 얻을 수 있는 방법론도 알 수 있었다. 이와 유사하게 probability annotation matrix 를 이용하는 방법도 소개해주었다. 지난번에 메타 러닝에 대한 세미나를 듣고 이러한 트랜스퍼 러닝에 대한 관심이 있었는데 오늘 세미나에서 자세하고 쉽게 접할 수 있어 많은 도움이 되었다. 실제 문제 상황에서 데이터 부족이 가장 큰 이슈인 만큼 앞으로 유용하게 많이 사용될 수 있는 내용이라 더욱 도움이 많이 된 세미나였다.

오늘은 ‘Easy Transfer Learning by Exploiting Intra-Domain Structures’를 주제로 승섭 오빠의 세미나가 진행되었다. Transfer learning의 한가지 방법으로 기존에 내가 가지고 있던 Tranfer learning이라고 하면 틀에 박혀 생각하던 것과 차별적인 instance-based learning 알고리즘을 알 수 있어서 좋았다. 오늘 소개된 내용은 제약적인 상황, 즉 목표하는 데이터의 레이블이 부족하거나 없을 경우 사용될 수 있는 PCA기반 새로운 transfer learning 방법으로 source 데이터를 target 데이터 차원에 표현하여 source 데이터를 사용하는 아이디어였다. intra-domain alignment와 intra-domain programming 내 세부적인 작동 방식이 완전하게는 이해되지 않아 아쉬웠지만 큰 흐름이 최근 들어 연구실에서 많이 다뤄지는 주제인 만큼 이쪽 분야의 새로운 논문들을 하나 둘 읽어볼 필요를 느꼈다.

이번 세미나는 ‘EASY TRANSFER LEARNING BY EXPLOITING INTRA-DOMAIN STRUCTURES’에 관하여 연구실 동기인 정승섭 연구원님께서 발표해 주셨다. 최근 Transfer Learning과 관련된 세미나가 연이어 나와서 트랜스퍼러닝(Transfer Learning)에 개념을 정립하는데 큰 도움이 되었다. 이번 세미나는 최근 자주 접했던 인공신경망의 파라미터를 업데이트하는 방식이 아니어서 더 흥미로웠다. 본 세미나에서는 부족한 타겟(Target) 데이터를 생성하는 방법으로 소스(Source) 데이터를 이용한다. 타겟과 소스 데이터를 PCA를 통해 차원축소하고 공분산을 1로 만들어주는 화이트닝(Whitening)작업을 진행한다. 이후 소스 데이터에 타겟 데이터의 상관값을 곱하는 리칼라링(Re-coloring)을 통해 두 데이터의 코릴레이션(Co-relation) 맞추는데 이를 통해 타겟이 없는 소스 ㄷ데이터의 레이블(Label)을 만들 수 있게 된다. 제조업계에서는 생산성을 이유로 계측을 많이 할 수 없는데, 이러한 방법을 제조공정에 적용하면 훨씬 효율적으로 공정 관리를 할 수 있겠다는 생각이 들었다. 흥미로운 주제를 공부해서 전파해 준 정승섭 연구원님께 감사하다는 말을 전한다.