2018년 International Conference on Machine Learning (ICML)은 스웨덴의 스톡홀름에서 열렸다. ICML은 Conference on Neural Information Processing Systems (NIPS)와 함께 기계학습/인공지능 분야에서 최신 연구 트렌드를 선도하는 학회로, 그동안 참석했던 학회들 중 가장 유명하며, 발표 주제도 다양하고 기간도 긴 학회였고, 가장 기대가 큰 학회이기도 했다. 동시에 다양한 주제로 많은 세션들이 진행되기 때문에, 학회를 듣기 전부터 각 세션의 주제와 발표 제목, 초록을 확인하고 어떤 발표를 들을 것인지 미리 결정해두어야 했다.

 ICML에서는 neural network와 reinforcement learning과 관련된 연구가 대부분이었다. Deep learning 세션이 총 30개, reinforcement learning이 총 17개로 전체 140개 세션 중 30%에 해당했, 이외에도 대부분의 세션들이 deep neural network와 관련된 주제들이어서 체감으로는 절반 이상이 neural network와 관련된 연구인 것 같았다. 이외에도 machine learning에서 필수적인 optimization과 관련된 세션들이 상당히 많았으며, statistical learning theory와 같은 이론과 관련된 세션들을 많이 찾을 수 있었다. 학회에서 발표되는 모든 논문들을 간단하게라도 다 들을 수 있으면 좋았겠지만, 시간의 한계로 인해 좀 더 관심이 가는 주제들을 위주로 들을 수 밖에 없었다. 이번 학회에서 관심있게 들었던 연구 주제는 Deep Generative Models, Variational Inference, Reinforcement Learning, Adversarial Examples이었다.

Deep generative model은 2013년 발표된 variational autoencoder(VAE)와 2014년 발표된 generative adversarial network(GAN)가 대표적이며, 실제 이미지와 유사한 이미지를 생성해내는 모델로 잘 알려져 있다. VAE와 GAN은 단순히 실제와 유사한 이미지들을 잘 생성하기 위한 모델로 알려져 있지만 실제로는 high-dimensional multimodal distribution을 neural network를 이용하여 잘 학습하는 데 목적이 있다. VAE나 GAN에 대한 연구가 지속적으로 이루어지고 있다는 것은 어느정도 알고 있었지만, ICML에서 많은 비중을 차지할 정도로 연구되고 있는 주제라고는 생각하지 못했었다. Deep generative model과 관련된 연구들은 크게 두 가지 주제로 나눠지는 것 같았는데, 한 가지는 deep generative model을 어떻게 하면 잘 학습시킬 수 있는가에 대한 내용이었고, 다른 한 가지는 deep generative model이 잘 학습되었다는 것을 어떻게 정량화 할 것인가에 대한 내용이었다. VAE는 objective function을 변경하여, GAN의 경우에는 구조를 수정하여 성능을 개선하기 위한 연구들이 주로 발표되었다. 또한 기존에는 VAE와 GAN 모두 모델 성능을 평가하기 위해 모델로부터 생성된 이미지가 얼마나 실제 이미지와 얼마나 유사한 지를 사람이 직접 확인하거나 이미지 간 유사도를 계산하였는데, VAE나 GAN의 성능을 적절하게 평가할 수 있는 measure를 제안하는 연구들도 활발하게 수행되고 있는 것 같았다.
Deep generative model은 대부분의 연구에서 이미지를 잘 생성하는 것을 목적으로 하고 있고, 그 결과를 보여주고 있기 때문에 단순히 유사한 이미지 또는 유사한 데이터를 생성하기 위한 모델로 생각하기 쉽다. 하지만 VAE와 GAN 모두 다양한 unsupervised/supervised learning task에 이용될 수 있다. VAE에 기반하여 GMM clustering을 수행하거나 topic modeling을 하는 모델, GAN을 이용하여 anomaly detection을 하거나 missing data imputation을 수행하는 등 다양한 machine learning task를 수행할 수 있다. 이처럼 다양한 곳에서 활용 될 수 있기 때문에 deep generative model을 잘 학습하고 그 성능을 평가하기 위한 연구들이 활발하게 진행되고 있는 것 같다. 현재에는 deep generative model을 잘 학습하기 위한 방법론들이 주로 연구되고 있는 만큼, 그 결과를 활용할 수 있는, 특히 이미지 이외의 분야에서 잘 활용할 수 있는 연구를 진행할 필요가 있을 것이라는 생각이 들었다.

Variational inference는 Bayesian inference에서 posterior distribution을 추정하는 방식 중에 하나로, analytic solution을 통해 posterior를 구할 수 없고 MCMC를 사용하기에 문제가 많은 high dimensional data에 대해 approximate posterior distribution을 구할 때 사용하는 방법론이다. Approximate inference에서 posterior density function을 approximate 하는 경우, 크게 두 가지 이슈가 있다. 하나는 어떤 종류의 함수로 posterior density function을 approximate 할 것인가와 posterior density function과의 유사도를 어떻게 정의할 것인가 인데, variational inference는 Kullback-Leibler divergence를 통해 posterior distribution과의 유사도를 정의하여 approximate inference를 수행한다. Variational inference는 statistical inference 문제를 KL divergence를 minimize하는 optimization 문제로 변환한 것으로 Markov chain Monte Carlo 방식에 비해 빠르다는 장점이 있으며, 특히 high-dimensional 문제에 대해 tractable하기 때문에 Bayesian inference에서 상당히 중요하게 다루어지는 방법론이다. Variational inference에서 posterior density function을 근사하는 데는 전통적으로 mean-field variational Bayes 방법론이 많이 사용되었는데, 최근에는 deep neural network를 이용하여 function approximation을 수행하는 variational autoencoder에 대한 연구가 활발하다. 이외에도 approximate inference 세션에서는 다양한 시도들이 발표되었다. 가장 인상깊었던 발표는 variational inference 문제를 semi-definite programming으로 formulation하고 convex relaxation하여 풀어낸 연구였는데, optimization 문제인 variational inference를 optimization스럽게 풀어낸 재미있는 주제인 것 같다. 짧은 발표 만으로는 자세한 부분까지 이해하기는 어려웠지만, 시간을 들여 공부해볼만한 주제라고 생각된다. Policy search를 이용하여 Gaussian mixture model에 대한 variational inference를 시도한 연구도 발표되었는데, 이 주제에 대해서는 background가 충분하지 않아 자세히 알아듣기는 어려웠지만, gradient-free algorithm이어서 non-differentiable 문제를 해결하는 데 사용할 수 있다는 점이 인상적이었다.
Statistics와 machine learning에서 Bayesian inference의 비중이 상당하고, 최근 Bayesian inference에서 핵심적인 역할을 하고 있는 variational inference에 대해 좀 더 자세히 알아보고, variational inference가 어려운 non-convex optimization 문제를 포함하고 있는 만큼, variational inference와 관련된 연구 주제를 찾아보는 것도 재밌을 것 같다.

Deep reinforcement learning은 최근 아주 뜨거운 연구 주제로, reinforcement learning에서 functional approximator로 deep neural network를 사용해서 좋은 결과를 얻으면서부터 많은 연구가 진행되고있는 주제이다. Reinforcement learning 세션은 많이 듣지 못했지만, 전반적으로 deep reinforcement learning을 학습하는 데 있어 variance를 줄이기 위한 다양한 시도들이 진행되고 있는 것 같았다. 또한 reinforcement learning과 관련해서 deep reinforcement learning 이외에도 다양한 시도들을 하고있다는 점이 재밌었다. Deep neural network를 사용하지 않는 다른 접근 방식은 거의 연구되지 않을 것이라고 생각했는데, 생각보다 활발해서 놀라웠다. 많은 기업들이 reinforcement learning에 관심을 갖고 reinforcement learning을 이용하여 다양한 문제를 해결하고 싶어 하는 만큼, 많은 연구가 진행되고 있는 것 같다.

Adversarial example 역시 reinforcement learning이나 image recognition 등의 분야에서 중요하게 다루어지고 있는 주제로, 사람이 보기에는 차이가 없지만 neural network는 전혀 다르게 인식하는 데이터를 말한다. Adversarial example의 개념이 등장한 것은 생각보다 상당히 오래전이지만, 학계에서 이렇게 많은 관심을 갖고있다는 것은 이번 학회를 통해 처음 알게되었다. Deep neural network를 이용한 supervised learning이나 reinforcement learning등이 security 분야나 무인자동차에 탑재된 image recognition model에 적용되었을 때 adversarial example은 큰 문제가 될 수 있는데, 아주 미세한 차이 만으로도 neural network가 의도하지 않은 방향으로 작동하기 때문이다. 가장 기억에 남는 예시는 image recognition에서 stop sign을 40mph 속도 제한으로 misclassification 한 것이었다. 무인자동차에 탑재된 image recognition 시스템이 이와 같은 misclassification에 기반하여 작동한다면 큰 사고로 이어질 수 있을 것이다. Adversarial example에 대한 연구 역시 다양하게 진행되고 있었는데, adversarial example을 의도적으로 만들어내는 방법론, 즉 adversarial attack에 대한 연구가 진행되는 한편, adversarial attack을 막아낼 수 있는 robust한 network를 학습하는 연구들도 진행되고 있었다. Adversarial example이 등장하는 이유에 대해서는 다양한 추측이 진행되고 있으며, 아직까지 명확한 설명은 없는 것 같았다. 어떤 발표에서는 adversarial example이 단순히 의도적인 adversarial attack에 대해서만 발생하는 것이 아니라, 실제 생활에서 의도치 않게 발생할 수 있다는 case study를 제시하기도 했다. 분명 neural network가 machine learning 분야에서 뛰어난 성과를 이룬 것은 맞지만 현실 문제에 완벽하게 적용되기까지는 아직도 해결해야 할 문제가 많은 것 같다.

세션 이후에도 다양한 workshop들이 개최되었는데, 학회 기간 동안에는 볼 수 없었던 Yoshua Bengio와 David Silver의 발표와 토론을 들을 수 있었다. 발표를 통해서 machine learning 분야에서 대가라고 불리는 사람들이 어떤 주제에 관심이 있고 중요하게 생각하는지 들을 수 있었다.
ICML 참석을 통해 현재 machine learning의 트렌드를 확인할 수 있었으며, 앞으로는 ICML, NIPS, ICLR 등의 학회에 참석하지 않더라도, 프로그램을 한번쯤 확인하면서 어떤 연구들이 주로 발표되는지 확인할 필요가 있다는 것을 느꼈다. 특히, 막연하게만 알고있던 주제에 대해서 한번씩 다시 생각하게 되고, 별 것 아니라고 생각했던 주제들에 대해 다양한 연구가 발표되는 것을 보면서 machine learning이라는 분야를 바라보는 시각 넓힐 수 있었다.
​