온라인으로 개최된 2020년 국제머신러닝학회(International Conference on Machine Learning, ICML)에 참가했다. 그동안 국제학회는 비행기를 타고 공항에 도착해 학회장 근처 호텔까지 이동하고, 노곤한 상태로 다음날 학회 참가에 설렘을 갖기 마련이었다. 그 수고스러움에 소소한 즐거움도 많았지만 온라인으로 개최된 국제학회는 예상 외로 장점이 많았다. 오프라인 학회는 집중력을 잠깐 놓치거나 관심 연구 발표 시간이 겹치면 다음에 논문으로 찾아봐야겠다 다짐하고 보지 않았다. 또는 그 세션장까지 이동하기 피곤해서 듣고있던 세션장에 내내 있는 날도 있었다. 물론, '백문이불여일견'을 체감하기엔 오프라인 학회를 이길 수 없지만 연구실 내 자리에서 제약없이 청취한다는 점과 저렴한 학회비용에 부담없이 학회참가할 수 있는 건 큰 이득이다. 

ICML발표는 정제돼있고 간결했다 (사람BY사람). 초반엔 기업발표로 청취를 시작했다. Apple, IBM, Google, Baidu 등 들으면 아는 일류기업이 발표예정이어 단정히 차려입은 발표자가 기대됐는데 정반대었다. Google의 한 연구자는 "Google Dataset Search"을 주제로 요즘 구글 데이터셋이 어떤 구조로 이루고 있는지 설명해주었는데 집 거실에서 편한차림으로 덤덤히 발표했다. Apple의 발표자는 한 흑인 청년이었는데 Airpods를 착용했다. 역시 Apple인가 생각했고 "On-Device Machine Learning with Apple"를 주제로 발표했다. 인공지능 시대를 맞이하여 사용자 데이터는 모델학습에 좋은 원천이 된다. 모델을 향상시키기 위해선 사용자 데이터를 전부 활용해 학습하면 좋지만 User privacy 와 인공지능 기술 활용은 항상 긴장 관계에 있었다. Apple은 각 user 휴대폰마다 머신러닝 모델이 내재돼있다. 휴대폰에서 데이터를 수집하고 학습을 이룬 후 클라우드에 전송 및 모델을 업데이트 하는 방식이다. 그리고 여러 개의 휴대폰에서 학습된 모델이 통합하여 성능을 개선한다. "Private federated learning"이다. Federated learning (연합학습) 연구분야가 흥미로웠다. Federated learning으로 표현되는 연구가 있다는 점도 이번 기회에 알게 됐다. 요즘 개인정보 위협없이 활용할 수 있는 학습 방법으로 주목 받고 있다고 한다.

 

관심갖고 살펴본 연구는 "Concise Explanations of Neural Networks using Adversarial Training"다. Deep learnining 모델이 각광 받고 있지만, (1) lack of explainability, (2) adversarial attack 은 딥러닝 모델의 근본적인 취약점이다. adversarial training 을 이용해 robust 한 성능을 보는 모델은 explanations도 강건하게 할 수 있다는 가설을 다룬 논문이다. 개인적으로 time-series data에 딥러닝 모델을 기반으로 해석하고자 하는 연구를 진행중이기도 하며 관심 두고 있는데 adversarial training을 적용하면 어떨지 생각했다. 학회후기를 쓰고 있는 지금 살짝 검색해보니 저명한 저널과 학회에서 2개정도 찾았다. 역시 누군가는 생각했는데 차별점을 찾아 연구해 볼 수 있을 것 같다. 

"CAUSE: Learning Granger Causality from Event Sequences using Attribution Methods" 라는 흥미로운 논문을 발견했다. 그랜저 인과관계(Granger Causality)란 이전 시점의 설명변수들이 종속변수를 예측하는 데 통계적으로 유의미함을 뜻한다. Multiple time-series data (연속형 순차데이터)에 관해 Causality를 주제로 논문을 스터디하며 Granger Causality 개념에 대해 접했던 적이 있다. ICML에서 등장할 줄은 몰랐다. 그 이유는 오래전 등장한 개념이었고 누가 사용하겠냐는 이유였는데 비참했다.  Multiple type의 Event sequence (범주형 순차데이터)에 Granger Causality를 적용했다. 지금 보니 앞 연구와 본 연구 모두 Universitiy of Wisconsin-madison 논문인데 나중에 포닥으로 고려해볼까라는 우스갯생각도 해봤다.

이처럼 ICML은 ICCV, CVPR과 같은 학회와는 달리 Decision tree, K-NN 등 전통적인 머신러닝 기법들로부터 확장된 방법론("Deep k-NN for Noisy Labels", "Generalized and Scalable Optimal Sparse Decision Trees" 등)을 소개하는 논문도 큰 비중을 이루었고 더 기초적인 문제를 다루는 연구도 많았다. 머신러닝 학회다웠다. 각 연구자마다 본인들 분야에서 갈 길 간다는 느낌이 들었다. 그런 연구를 하고 싶다. 비슷한 느낌의 연구를 진행중인게 하나 있는데 최신 알고리즘과는 거리가 있는 연구로 생각했다. 하지만 가치를 올리는 건 내가 어떻게 만들고 글을 쓰느냐 인 듯 하다. 일단 해봐야겠다 (해보고 ICML 제출해봐야지, 판단은 reviewer가..). 

코로나19로 전 세계가 언택트(untact) 위기를 맞았지만 오히려 수년간의 발전을 앞당긴 온택트(ontact) 시대를 열게됐다는 기사를 본적이 있다. 많은 것을 앗아간 코로나19의 어려움 속에서 역시 인류는 발전하게 되어 있는 것 같다. 유명 학회에 저렴한 가격으로 온라인으로 진행하는 학회가 계속되었으면 하는 바람이다. 현장에서 놓치는 부분을 바로 되돌아 볼 수 있고, 편한시간에 편한 자리에서 학회에 참여할 수 있는 장점은 대면의 장점을 이기기 충분했다. 온라인으로 진행된 학회부터 학교 수업, 우리가 자주 이용하는 배달의 민족까지 극변한 사회에 적응해가며 점차 발전하고 있다. 팬데믹 사태를 극복하고 난 우리 사회 모습은 어떨지 기대된다.