[학회 후기]

포스트 코로나 시대에 맞추어 2020 ICML (International Conference on Machine Learning) 학회를 인터넷을 통해 듣게 되었다. 작년에 서울 코엑스에서 진행된 2019 ICCV (International Conference on Computer Vision)도 세계적으로 명성있는 컴퓨터 비전 학회를 심지어 한국 서울에서 들을 수 있게 되어 감회가 새로웠는대 영상으로 진행되는 ICML은 내가 생활하는 연구실, 자취방 구석탱이에서 들었다는 면에서 다른 의미로 새로웠다(?). 많은 해외 학회 경험은 없지만 일본 도쿄에서 진행되었던 나의 첫 해외 학회 ICIEA (International Conference on Industrial Engineering and Applications), 미국 시애틀에서 참가했던 INFORMS (The Institute for Operations Research and the Management Sciences)는 직접 발표도 하고 해외에 나가는 만큼 긴장되었던 탓인지, 혹은 내 비루한 영어듣기 실력 때문이었던지 다른 발표자들의 발표를 깊게 이해하기까지는 어려웠는대 그런 면에서 ICML은 다시 돌려보고 멈춰서 듣고 할 수 있다는 점에서 나에게 적합하지 않았나 생각이 든다. 또한 새로웠던 것은 그동안 학회들은 시간의 제약 때문에 질문과 답변의 수가 제한적일 수 밖에 없었으나 ICML은 채팅으로 자신의 소감과 질문은 남기고 그에 대한 답변도 누구나 달 수 있게 되어있어서 이런 점은 실제 오프라인으로 진행되는 학회보다 훨씬 더 훌륭했던 것 같다.

매우 많은 논문이 발표되는 학회인 만큼 관심 주제에 대해서 추려서 듣는 것도 어려웠다. 하지만 들었던 대부분의 발표 자료들이 굉장히 간단하게 잘 정리되어 있었고 논문만 보았다면 이해하기 어려웠을 부분도 발표자료를 본 이후에 논문에서 더 궁금했던 사항을 논문에서 찾아보니깐 이해가 더 쉬웠다. 교수님께서 발표 장표로 왜이리 우리를 구박 하시는지 몸소 느낄 수 있었다(?). 난 주로 Bayesian 관련 논문 및 튜토리얼을 청취했다. 다른 주제에 대해서도 다양하게 알고 싶지만 선택과 집중을 했기 때문에 다른 연구원들의 ICML 후기가 굉장히 기대된다. 다른 연구원들의 후기를 통해 관심가는 주제는 영상으로 찾아볼 예정이다.

[청취 후기]

<Bayesian Optimisation over Multiple Continuous and Categorical Inputs>

Bayesian Optimization (BO)은 내가 최근 세미나를 했던 주제이기도 하고 세미나 했을 때 다른 연구원이 Categorical 변수에 대해서 BO가 수행되는 경우에 대해 질문을 주었기 때문에 해당 논문에 시선이 갔다. 최근 deep neural networks의 최적 하이퍼파라미터를 탐색하기 위한 방법 중 하나로 BO가 많이 사용되고 있다. 하지만 연속 그리고 범주형 변수가 섞여있는 데이터에 취약한 성능을 보인다. 그동안 따라서 one-hot encoding방식과 Multi-armed bandits (MABs)등의 방법 등으로 이 문제를 해결하기위한 연구들이 진행되었다. 하지만 기존 연구들에서 one-hot encoding은 범주가 많은 경우 데이터 차원이 극심하게 늘어나기 때문에 BO에 적합한 해결방식이 되지 못하며, MABs를 사용해서 Categorical 변수를 선택한 이후 Gaussian Process를 사용한 BO를 계층적으로 적용하는 경우에도 여러 개의 GP모델을 학습해야하는 한계를 지닌다. 본 연구는 MABs가 사용되어 해당 문제를 해결했던 EXP3BO의 한계를 joint reward function의 사용과 범주형, 연속형 변수를 보두 반영할 수 있는 커널을 디자인해 사용함으로써 극복하였다. 본 발표는 제안 알고리즘을 설명하는 장표가 굉장히 한눈에 이해되기 쉽게 만들어져 있다. 약간 우리 연구실 스타일(?)의 장표라고 해야 할까? 관련해서 꼭 발표 장표를 찾아보길 바란다.