이번 ICML 학회가 오스트리아에서 열릴 예정이었지만, 코로나로 인해 온라인으로 진행되었다. ICML은 머신러닝 학회 중 탑티어여서 항상 참여해보고 싶었던 학회였다. 오스트리아에서 진행되었다면 참가하지 못했겠지만 온라인으로 진행된에 따라 참가할 수 있게 되었다. 온라인 학회 참석은 처음이었지만, 지식의 전달에 있어서는 여러움이 없었다. 시간대가 조금 이른 새벽이라 live로 참가하지는 못했지만, 녹화본을 볼 수 있어서 실제로 학회 참가했을 때 보다 오히려 더 집중할 수 있었다. 하지만 실제 학회의 분위기나 발표자들을 직접 보지 못해서 조금 아쉽긴 했다.앞으로도 내년 ICML 전까지 영상 업로드가 유지된다고 하니까 시간이 날 때마다 찾아서 보면 좋을 것 같다.

 이번 학회에서 가장 먼저 들었던 주제는 Representation Learning Without Labels이었다. 딥마인드에서 여러 발표자가 번갈아가면서 Into부터 차근차근 설명해 주었다. 최근 논문이 많이 발표되는 주제이고 관심이 많은 분야라 많은 사람들이 보았을 것으로 예상된다. 발표자료를 보면서 여러 논문들을 그림으로 요약하여 표현한 것들을 보면서 많은 생각이 들었다. 특히 기존에 알고 있던 알고리즘들을 요약한 것을 보고 이해가 잘 되도록 잘 요약했다는 생각을 했다. 복잡한 아이디어들을 다른 사람들에게 설명해야 하는 일이 많아지고 있어 항상 고민을 하는데, 앞으로 이러한 부분들을 참고해야 겠다 라는 생각이 든 부분들이 많았다. Representation Learning이 각광받는 이유는 데이터 수집이 원할한 시대이기 때문에 많은 데이터가 축적되는데, 그에 따라 label을 구성하기 어려운 일이 많기 때문이다. 실제로 산학 프로젝트를 진행하다 보면 데이터는 많은데 label이 애매하거나 부족한 경우가 대부분이다. label이 부족한 것은 사실 대부분의 머신러닝 알고리즘에서 극복해야 할 문제이기 때문에 상당히 중요한 연구라고 생각한다.

Self-supervised label augmentation via input transformation

 이 논문은 represntation learning에 관한 논문이며, 기존에 나온 self-supvervised 방법론 중 하나에 대해서 문제점을 지적하고 더 나은 방법을 제시하였다. 우선 기존의 방법론은 Input image에 대해 data augmentation을 진행한다. 이 논문에서는 두 가지를 예시로 들었는데, 하나는 90도씩 회전하여 사용하는 것, 두 번째는 RGB조합을 바꾸어 가며 이미지를 변형한 것이다. 이 때 data augmentation을 통해 새롭게 생성되는 레이블이 있다. 회전이동의 경우 0, 90, 180, 270 네 가지의 레이블이 새롭게 생성된다. multitask 관점에서 loss를 단순히 합하게 되면, 학습해야 할 데이터가 4배로 증가한다. 데이터가 증가하긴 했지만, 오히려 레이블 수도 증가하게 되어 비효율적이다. 이 때 조건부 확률을 이용하면, 학습해야하는 레이블 수가 감소한다. 변형된 이미지와 변형 방법을 조건부 확률로 사용하여 학습의 효율성을 증가시킬 수 있다. 하지만 이 방법 또한 data augmenation 하기 전 보다 계산량이 많아지기 때문에 self-distillation을 사용하여 계산량을 줄였다.

 Data augmentation은 실제로도 딥러닝 학습 시에 매우 흔하게 사용되고 있다. 학술적으로 더 효율적으로 활용하기 위한 아이디어가 많이 있는데, 이러한 아이디어 중 하나인 것 같다.

CURL: Contrastive Unsupervised Representations for Reinforcement Learning

 강화 학습에서 고질적인 문제점은 딥러닝 모델이 학습하여 수렴하는데 상당히 오래 걸린다는 것이다. 이러한 문제점을 극복하기 위해 transfer learning, meta-learning 등 여러 방법론들이 연구되고 있는데, 이 논문에서는 Representatation learning, 그 중에서도 Contrastive learing을 활용하였다. 이번 학회에서 강화학습과 representation learing을 많이 보았는데, 이 논문은 두 가지 모두를 키워드로 포함하고 있었다.

 key, query 두 개의 네트워크를 만들고 Input에 대해서 임의로 자른 이미지를 각각의 네트워크를 지나가게 한다. 이는 Contrastive learning을 활용하는 SimCLR 등 다른 방법론들과 비슷하다. 다만 강화학습과 지도학습에서의 차이는 강화학습이 temporal consistency를 이용한다는 것이다. 지도학습의 경우 Input image만 고려하지만, 강화학습은 지금 시점의 image와 바로 이전 시점의 image 둘 사이의 연관성을 학습에 활용한다. 이전 시점의 이미지와 지금 시점의 이미지가 어떻게 달라졌는지 집중을 해야 하며, 이를 위해 represnetation learning을 활용하였다.

 query 네트워크를 통과한 이미지와, key 네트워크를 통과한 이미지를 이용하여 contrastive loss를 구한다. 같은 이미지에서 나오면 가깝고, 다른 이미지에서 나오면 멀어지게 한다. query 네트워크 기준으로 contrastive loss가 구해지기 때문에 key 네트워크의 경우 gradient가 전달되지 않는다. 그렇기 때문에 key 네트위크는 query 네트워크 나온 파라미터가 soft하게 전달이 되어 학습을 시킨다.

 사실 이 논문은 그렇게 새로운 개념이 많은 것은 아니다. 강화학습에 contrastive learning을 어떻게 적용할 것인가를 보여준 여러 개념이 혼합된 논문인 것 같다.

요새 코로나로 인해 지식 전달 및 의사소통의 채널이 많이 다양해지고 있다. 강의도 온라인으로 진행되고, 회의 및 학회도 온라인으로 진행되고 있다. 온라인으로 진행할 수 있는 인프라가 충분하기 때문에 이번 계기로 오프라인을 고집할 필요는 없다는 것을 느꼈다. 각각의 장단점이 명확하기 때문에 꼭 한가지를 고집할 필요는 없는 것 같다. 아마 당분간 많은 학회들이 온라인으로 진행될 것 같은데, 어쩌면 더 많은 학회에 참여할 수 있는 기회가 될 수도 있을 것 같다.