1. ICML (International Conference on Machine Learning) 학회 참가 차 스웨덴 스톡홀름을 방문했다. 기대 이상으로 학회 내용이 다양하고 알찼다. 이번 학회의 주 후원업체는 Facebook, Nvida, Intuit, Intel, Graphecore, Baidu, Tencent, Voleon, Google AI, Montreal International, DeepMind, Microsoft, Amazon, Ant Financial이다. 우리나라 기업은 Naver와 SK Telecom이 눈에 띈다. 후원업체를 보면 현재 AI 분야 선두기업이 어디인지 쉽게 알 수 있다. 제출된 논문이 무려 2,473개 였고 이 중 621개가 채택되었다 (채택률: 25%). 작년보다 제출된 논문 수가 무려 47%가 증가하였다고 한다 (2017년1,676개 제출).


2. 가히 뉴럴네트워크의 전성시대다. 뉴럴네트워크 관련 연구발표가 전체의 최소 60%는 차지하는 것 같다. 네트워크의 구조, 이론, 파생방법론, 응용 등 관련 연구가 쏟아졌다. 강화학습 관련 연구 역시 뉴럴네트워크와 더불어 매우 활발하게 진행되었다. 그 밖에 on-line learning, transfer learning, multitask learning, active learning 등의 연구도 활발하게 진행됨을 알 수 있었다. 무엇보다 learning algorithm의 기본이 되는 optimization분야도 convex, nonconvex, combinatorial로 나뉘어 세부적으로 연구발표가 진행되었다. 본 학회가 응용보다는 이론 및 방법론에 초점을 맞추고 있기 때문에 전통적인 머신러닝 기법 (Tree, Random Forest, SVM, Clustering,…) 및 이들을 이용한 응용 연구는 거의 찾아볼 수 없었다.

3. 관심 있게 보았던 내용은 뉴럴네트워크를 이용한 generative model이였다. 대표적인 방법론은 GAN (generative adversarial model)과 VAE (variational autoencoder)이다. 특히, 최근 관심을 받는 VAE는 Bayesian 통계와 optimization이 절묘하게 맞물려 있는 방법론이다. VAE에는 데이터 분포를 추정해야 (marginal 분포 계산 문제)하는 과정이 있는데 매우 복잡하다. 이를 해결하기 위한 기존 방법론으로는 Markov chain Monte Carlo 등이 있는데 데이터가 복잡할 경우 (특히, 고차원데이터) 비효율적일 때가 많다. 이를 해결하기 위해 최근 주목 받는 방법이 variational inferene이며 VAE의 핵심 아이디어이다. 이론적으로나 응용적으로나 관심이 가는 분야로 열심히 연구해볼 계획이다.

4. 관심 있게 보았던 또 다른 내용은 adversarial examples이다. Adversarial example은 원 관측치에 노이즈를 섞어 모델로 하여금 착시현상을 일으키게 하는 관측치를 의미한다. 즉, 사람이 보기에는 같은데 모델은 다르게 판단하는 관측치를 일컫는다. 여기서 모델은 대체로 뉴럴네트워크 모델을 의미하며 다른 일반적인 머신러닝 모델은 기본적으로 adversarial example에 너무 취약하기 때문에 관심 밖이라고 보면 된다. Adversarial example은 인공지능 시대에 매우 중요한 개념이다. 불순한 마음을 먹고 있는 attacker들이 생성한 adversarial example을 이용해 학습된 모델은 치명적인 오류를 일으킬 수 있기 때문이다. 궁극적으로는 adversarial example에 강건한 뉴럴네트워크 모델을 만드는 것이 최종 목적이다. 연구 방향은 크게 두 가지이다. Attacker입장에서는 어떻게 하면 모델을 속일 수 있는 adversarial example을 만드는지가 중요하고 defender입장에서는 adversarial example의 강력한 공격에도 강건한 모델을 만드는 것이 중요하다. 우리나라에서는 아직 활발하게 연구가 되지 않은 분야인 것 같은데 도전해 볼 계획이다.

5. 학회에 오면 교과서나 온라인 강의를 통해서만 볼 수 있었던 이 분야 거장 (guru)을 만날 수 있다. 이번 학회에서는 딥러닝의 거장 Yoshua Bengio 교수와 알파고 프로젝트 팀리더인 강화학습의 거장 David Silver 교수를 볼 수 있었다. 나도 그랬지만 동행했던 학생들은 마치 유명 연예인을 만난 것처럼 들뜬 모습을 보였다. 학회라는 것이 관심 내용을 배울 기회이기도 하지만 연구의 자극을 받을 수 있는 매우 좋은 기회인 것 같다.

6. 스웨덴 하면 떠 오르는 것들… 이번 월드컵 조별 첫 번째 상대, 이케아 (IKEA), 볼보 (Volvo), 노벨, 전설적인 그룹 아바, 잉그리드 버그만, 아니카 소렌스탐 (골프), 비에른 보리 (테니스), 발트너 (탁구), 말괄량이 삐삐 등. 일주일간 스톡홀름에 머물면서 스웨덴 사람들에게 완전히 반했다. 내가 경험한 다른 유럽국가 사람들과 달리 매우 친절했으며 그렇다고 그 친절이 과하지도 않았다. 얼굴만 서양인이지 성격은 우리나라와 매우 비슷했다. 음식은 보통 서양 음식과 크게 다르지 않았으나 과하게 짜거나 느끼하지 않아 먹기에 좋았다. 외국 출장 중에 한국음식이 한 번도 생각나지 않은 적은 처음이었다. 스톡홀름의 6월~9월은 거의 환상적인 날씨다. 학회 기간 내내 미세먼지 하나 없는 화창한 날씨… 아침저녁으로는 15도 이내, 낮에는 이상 기온으로 30도까지 올라갔지만, 습도 없는 쾌청한 날씨. 밤 11시가 되어서나 주위가 완전히 어두워졌고 새벽 3시가 되면 서서히 밝아지기 시작하니 온전한 밤은 4시간 정도밖에 없는 셈이다.