International Conference on Machine Learning (ICML)이 지난 7월 12 ~ 18일 동안 진행되었다. 세계적으로 유명한 학회에는 NeuRIPS, ICLR, ICCV, ECCV 등이 있지만 개인적으로 가장 참가해 보고 싶었던 학회였다. 많은 학회들이 computer vision을 집중적으로 다루고 있고, INFORMS와 같은 산업공학회에서는 오히려 기계학습, 딥러닝 쪽으로는 심도있게 다루지는 않는다. 하지만, ICML은 이 2가지를 모두 균형 있게 가져가는 학회이기 때문에 연구적인 측면에서 가장 도움을 많이 얻을 수 있다고 생각한다. 특히, 어느정도 기본적인 공부가 되어 있고 앞으로 어떤 방향으로 연구를 진행해야 할지 고민이 많은 대학원생일수록 많은 도움과 영감을 얻을 수 있을 것이라고 생각이 들었고, 일전에 경험하지 못했던 것에 대한 아쉽기도 했다.

COVID-19 때문에 온라인으로 개최가 되었기 때문에 직접 현장 분위기를 느낄 수는 없었지만 다른 사람들의 연구를 살펴보는 측면으로는 오히려 많은 이점이 있기도 했다. 이전에 개최되었던 CVPR도 같은 형식으로 진행이 되었고 포스터와 발표 슬라이드, 영상을 제공했는데 사용하기 상당히 편리했다. 또한, 온라인으로 진행했기 때문에 발표가 겹치더라도 스케줄을 내가 관리해서 따로따로 들을 수 있다는 것이 좋았으며 놓치는 발표 없이 전부 들을 수 있었다. 다만, 학회에 참가하여 발표자와 소통하는 것은 zoom으로 이루어졌는데 아무래도 좀 텐션이 지루해지는 것은 어쩔 수 없었던 것 같다.

여러 흥미로운 분야에 대해서 많은 발표가 있었지만 개인 연구 주제와 맞는 분야를 몇 개 선정하여 집중적으로 청취했다. 1) Representation Learning 2) Uncertainty and Robustness 3) Open Set이 주요 키워드였으며 ICML에서는 1), 2)에 관련된 내용들이 많았다. 특히 이러한 큰 학회에서 구성되는 tutorial이나 workshop은 퀄리티가 상당히 높기 때문에 포스터보다 이런 프로그램을 위주로 청취하려고 했다. 포스터 세션의 경우 따로 읽기 위해 저장해둔 논문들이 몇몇 있는데 연구를 진행하면서 같이 살펴 볼 예정이다.

Representation Learning Without Labels라는 제목의 튜토리얼를 DeepMind에서 조직했다. DeepMind에서 관련된 많은 연구들을 하기도 했었고, 특히나 contrastive learning을 사용한 SimCLR도 이번 ICML에 발표했다. 다만, 처음에 생각했던 것처럼 최근 기법을 집중적으로 다루기보다 representation learning의 근본부터 하나하나 설명을 해주는 세션이었기 때문에 약간 당황스럽기도 했다. Representation이란 어떤 객체에 대한 정보를 명시적으로 제시하는 시스템이며, 이 시스템이 어떻게 작동하는지 까지도 포함해야 한다. 이를 지도학습 방법으로 해결하려면 클래스 레이블을 지정하고, 각 변수를 지정하고, 많은 양의 데이터-레이블 쌍을 모아야 한다. 하지만 분석을 위해서 매번 이런 과정을 거칠 수 없기 때문에 최근에 많이 각광을 받는 작업이 unsupervised representation learning이며 pre-text task, contrastive learning이 좋은 성능을 내고 있다. 워낙 큰 분야이기 때문에 간단간단하게 설명하고 넘어간 부분도 많이 있었지만, 지금까지 연구된 핵심 연구들을 하나의 큰 흐름으로 엮어서 설명해주어서 어느정도 감은 잡을 수 있었다고 생각한다. 개인적으로 representation learning 자체에서 가장 애매하다고 생각되는 부분은 representation에 대한 평가방법이다. 레이블을 없이 모델을 만들었지만 일반적으로 classification 성능을 갖고 비교하고는 하는데, 충분하지는 않다고 생각을 해왔었다. 튜토리얼에서도 딱 기준이 되는 방법은 없지만 ‘다양한 task에 도움이 되는지’, ‘데이터 효율성이 좋은지’에 대한 관점으로 우선 평가를 해야 하며 정성적으로는 representation을 시각화해야 한다고 했다. 결국에는 연구를 위해서 computer vision과 많은 연관이 지어질 수 밖에 없는 것 같다는 점을 다시 한번 느꼈다.

Uncertainty and Robustness in Deep Learning Workshop (UDL)을 청취했다. 최근 참고하고는 있지만 그 효용성에 대해서 의문이 있었던 outlier exposure와 관련된 논문을 많이 낸 저자가 organizer로 있어서 선택을 했었다. Outlier exposure와 직접적으로 많이 관련된 내용은 없었지만 robustness에 대해서 많이 생각해 볼 수 있었던 세션이었다. Robustness는 상당히 여러 의미를 담고 있으며, 이번 워크샵에서 사용된 robustness의 개념도 조금씩은 달랐었다. 데이터의 조그마한 변화에 민감하게 반응하지 않는 것이 일반적인 robustness의 역할이라면, 아예 다른 데이터가 들어왔을 때는 rejection을 하는 out-of-distribution detection (anomaly detection)도 robustness와 관련이 있다. 통계학적인 접근방법들을 딥러닝에 적용한 연구도 몇몇 보였지만, 주로 adversarial learning과 관련된 연구가 많았다. Adversarial learning은 파라미터에 대해 매우 민감하기 때문에 개인적으로 좋아하는 분야는 아니지만 연구에서 주장하는 아이디어는 재미있게 청취할 수 있었다. 키노트 중에서도 좋은 내용이 많았는데 Stanford의 Percy Liang이 발표한 Tradeoffs between Robustness and Accuracy가 인상 깊었다. Over-confidence를 줄여서 adversarial attack이나 out-of-distribution에 대한 rejection을 수행해야 하는 task를 추가하면, 현재 수행하고 있는 task에 대한 성능은 떨어지기 마련이며 이를 최소화 하는 것이 중요하다. Distributionally robust optimization, overparametrization, regularization 등 이와 관련된 여러 연구 및 토픽들에 대해서 하나의 흐름으로 소개를 해주었는데 다시 한번 들어보는 것도 좋을 것 같다.