이번 ICML 세미나는 코로나 바이러스로 인하여 온라인으로 학회가 진행되었다. 두번째 외국 학회를 경험하는데 솔직히 처음 학회때는 너무 어려웠어서 듣기만 해도 벅찼었는데 온라인으로 학회를 듣게 되니 여러 번 들을 수 있어서 좋았다. 특히 영상과 발표자료를 함께 보여주어 보기도 편하고 잘 들을 수 있었다. 덕분에 완전 생소한 분야도 한번씩 보게 되는 좋은 경험을 할 수있었던거 같다. 더 좋은점은 지금도 계속 볼수 있게 되어 있어서 참고하기에 좋다는 것이다.

이번 학회에서 내가 본 영역은 Transfer Learning 부분이다.  그중 "Meta Variance Transfer: Learning to Augment from The Others" 이 가장 눈을 끌었다. 이 논문은 목적은 대량의 데이터 수집 필요성을 완화시키고 희소한 데이터 수를 일반화 하여 분류 성능을 향상시키는데 목적이 있다. 즉 각각의 소스 데이터들 사이에서 어떤 class는 pose에 대한 데이터가 주로 있고 어떤 class는 expression에 대한 데이터가 주로 있으며 어떤 class는 illumination에 대한 데이터가 주로 있을경우 각각의 class 에서는 보여주고자 하는 다양성이 부족할 수 있다. 이를 해결하기 위해 소스도메인에서의 feature space에서 나온 파라미터와 타겟도메인에서의 feature space에서 나온 파라미터들을 활용하여 평가하고 이를 타겟도메인에서 사용하여 타겟도메인의 부족한 다양성을 채워서 분류를 잘 할 수 있게 도와준다. 여기서 중요하게 사용되는 것이 regularization과 transfer learning 이다. 계속 공부하는 부분이라서 자세하게 읽어보았는데 나중에라도 도움이 될거 같다는 생각이 들었다.

두번째는 "Representation Learning Without Labels" 이라는 논문을 청취했다. 이 논문은 딥마인드에서 발표한 영상인데 잘 알지 못하는 representation learning이라는 것을 잘 설명을 해주어서 참 좋았다. Representation을 잘 하려면 각 class의 labels를 지정하고 각 데이터들과 label들의 조합이 잘 되어 있어야 하는데 이렇게 하기에는 너무나 어렵기에 label이 없는 다량의 데이터들을 활용하여 학습을 하고 이렇게 학습한 특징들을 활용하여 더 좋은 결과를 보는 것이다. 이번 발표영상은 representation learning의 역사를 한번에 보여주면서 또한 현재 잘 사용되고 있는 contrastive learning 등에 대해 알게 되었다. 해당 분야을 공부할때 참고할 수 있는 부분이 많아서 참 좋았다.

 이번 학회를 통하여 정말로 빠르게 연구들이 발전하고 있음을 볼 수 있었다. 너무나 방대한 영역에서 또 많은 논문을 통해 안일하면 안되겠다는 마음이 들었다.  이번 온라인 학회로 인해 다시 한번 세상이 많이 넓다는 생각을 가지게 되었다.