지난 7월 12일부터 18일까지 국제머신러닝학회 ICML 2020이 진행되었다. ICML(International Conference on Machine Learning)은 국제학회 중에서도 NeurIPS, ICLR와 함께 rank1 conference로 알려져 있다. 평소에도 ICML에 게재된 연구들을 살펴보며 전반적인 연구 동향에 대해 살펴보고, 개인연구에도 활용할 수 있는 연구들 특히, 흥미로운 아이디어 관점으로 수준 높은 연구들을 접할 수 있는 유수한 학회이다.

올해는 COVID 19의 영향으로 인해 ICML이 온라인으로 개최가 되었다. 내가 참여한 학회 중 이례적이게도 온라인으로 개최된 학회인만큼 갖춰진 제반환경에 대해 여러 선진된 환경을 접하는 것이 이색적이었다. 먼저, 공간적 시간적 제약 없이 청취가 가능했던 점이 많은 이점이 되었다. 물론 시차로 인해 한국기준으로 대부분의 워크샵 발표들은 새벽에 진행이 되었지만, 실시간 진행되는 발표 녹화본들이 주최측의 빠른 대처로 동영상으로 바로 업로드가 되어 일상시간에 듣는 것이 가능했다. 또한, chat창으로 casual하고, 명확하게 서로 질의를 받는 부분이 이색적이었다. 기존 학회를 돌이켜보면 실시간 발표를 듣기 때문에 내용을 놓치거나, 제대로 이해를 하지 못한 상황에서 질문을 하는 경우에서 질문을 하는 경우가 많았는데 아무래도 영상을 다시 볼 수 있어서 좀더 의미있는 질문이 오고갈 수 있던 점이 좋았다. 다음으로 학회 스케줄 확인을 위해 학회 책자본을 찾았었는데, schedule배너에 가서 schedule자료를 다운로드 받으니 휴대폰 캘린더에 스케줄이 입력되어 신기했다. 빠른 기술변화들을 이러한 학회 제반환경에서도 느낄 수 있어 이례적인 환경에서도 사람들이 편하게 학회를 즐길 수 있었던 것 같다.

다음으로, 평소 관심있는 연구에 대한 키워드는 크게 (1)interpretability, (2)uncertainty, (3)continual learning이었다. 해당 키워드들과 직접적으로 연관된 workshop들이 개설되어 효과적으로 해당 연구들을 살펴볼 수 있었다. 더불어, 내가 평소에 관심 있는 주제의 연구들이 이렇게 활발히 연구가 되며, workshop으로 개설되었다는 점에서 좋은 reference를 많이 접하게 된 것 같아 매우 흥미로웠으며 다른 의미로는 좋은 동기부여가 되었다고 생각한다.

위 세 키워드와 연관된 workshop 토픽들을 살펴보면 다음과 같다. 먼저, interpretability와 관련이 있는 ‘human interpretability in machine learning(WHI)’이다. 모델에 대한 해석력을 다루는 연구들이 꾸준히 활발하게 진행되는 것을 살펴볼 수 있었다. 특히, 기억에 남는 연구는 ‘Time Series Interpretability Using Temporal Fusion Transformers’이다. Autoregressive한 time series 문제상황에서 시계열 특성을 반영하여 미래시점을 예측을 하되, 미래 시점에 대한 attention score를 도출함으로써 prediction interval형때까지도 함께 제공하는 연구이다. 또한 backbone model을 Transformers를 활용하여 masked multi-head attention을 활용하였다는 점, prediction interval을 극단 값과 중앙값 (0.1, 0.5, 0.9 quantile)값들 자체를 예측하는 방식으로 수행했다는 점이 신선했다. 모델 사이에 있는 모듈로 활용된 gated residual network, variable selection network들까지 복잡하게 설계되었지만, 이를 이해하는 과정자체가 의미 있었다고 생각한다. 다음으로 ‘Visualizing Transfer Learning’연구도 흥미로웠다. 이전에 style transfer를 적용시킨 연구를 수행한 적이 있는데, 기본적으로 style transfer는 layer마다 도출되는 feature map, gram matrix를 유사하도록 학습시키는 개념을 갖고 있다. 해당 문헌은 실제 layer마다 도출되는 결과값을 visualization하고, 해석적으로 접근했다는 점에서 흥미로웠다.

다음으로, 최근 연구에 적용시키고 있는 uncertainty와 관련이 있는 ‘uncertainty and robustness in deep leanring workshop (UDL)’이다. Uncertainty에 대한 연구들 그리고 나에게는 생소했던 ‘robustness’와의 접점을 다루는 점을 파악해볼 수 있었다. 흥미롭게 본 연구는 ‘Neural Ensemble Search for Performant and Calibrated Predictions’가 있다. 기존의 ensemble기반 uncertainty estimation연구에서는 모델 구조를 동일하게 사용하며, ensemble로 모델링을 함으로써 각 모델마다 서로 다르게 학습된 weight matrix를 사용하여 각 예측 결과를 취합하는 과정에서 uncertainty를 도출했다. 해당 연구에서는 다양성 확보를 위해 아키텍쳐의 네트워크간 다양성을 활용하고자하는 것이 핵심 아이디어이며, 이전 연구들에 반해 explicitly define diversity라고 표현하고 있다. 결과적으로 우수한 성능(accuracy, uncertainty calibration)을 보인다. 기저가 되었던 ensemble기반 알고리즘에서는 scalability를 강조했던 만큼, 해당 연구가 실효성 관점에서 효과적인지에 대한 실험이 추가되었으면 하는 바람이 있다. 다음으로 ‘Depth Uncertainty in Neural Networks’연구는 기존에 Bayesian approach방법론에서 stochastic feed forward passes단계를 모델이 크다는 가정하에 어떻게 효과적으로 연산하여 computation cost를 줄이는지에 대한 연구였다. 실제로 feed forward의 횟수를 한번만 수행하되, 순차적인 구조를 활용하여 최종 결론을 도출한다는 점이 신선하였다.

마지막으로, 평소에 주기적으로 관심있게 리뷰하고 있는 continual learning / lifelong learning과 관련이 있는 ‘workshop on continual learning’이 있었다. Continual learning은 추가적인 task가 확장하되는 상황에서 모델의 성능은 이전 task에 대해서도 유지 혹은 향상이 되는 것을 목표로 한다. 연구 동향의 관점에서 최근 꾸준히 상승세를 보이는 주제이지만, 실제 적용과 실험 사이의 간극이 있는 분야이기 때문에 범용적인 성능을 보이는 것으로 CL분야 연구의 기여점이 두각되는 추세로 발전하는 것 같다. 기존에 conference paper에 대한 선입견과는 달리 매우 탄탄하고 흐름 있는 실험들을 잘 구성한 연구들이 많은 것 같아 인상깊었다.

이외에도 일부 기간동안 영상과 자료들이 공유가 되기 때문에 수시로 관심 연구에 대해서는 찾아 읽어볼 계획이다. 이전에는 단순히 공부하는 의미로 conference를 접해왔다면 이번 ICML을 기점으로 내가 관심있는 주제를 정리하고, 채택하며 또 개선방향을 고민할 수 있었다는 점에서 더욱 유익하고, 의미있는 시간이었다고 생각한다. 특히나 한번씩 눈에띄는 한국인의 이름을 보면 나도 모르게 한번 더 읽어보게 되었던 것 같다. 언젠가는 나도 이러한 유수한 국제학술대회에서 나의 연구를 공유할 수 있는 날이 오길 소망하며 세미나 후기를 마친다.