[학회 후기]

7월 12일부터 18일까지 일주일간 온라인으로 International Conference on Machine Learning, ICML 2020 학회에 참석하게 되었다. 드디어 생애 첫 학회를 참석할 기회가 생겼는데, 온라인으로 참석하게 되어 혼란스러우면서도 기대가 되는 시간이었다. 학회에 참석한 경험도 없기 때문에 온라인으로 진행되어 모든 학회의 내용이 한 웹사이트에 포함되어 있었음에도 불구하고 어떤 것을 어떻게 듣고 공부 해야할지 혼란스러웠다. 하지만 주변에 많은 선배님들의 조언과 교수님의 메일 내용 등을 참고하여 최대한 다양한 분야의 논문들을 접하고자 노력하였다.

여러 분야를 살펴보기 위하여 다양한 주제를 먼저 선정하고자 하였다. 하지만, 이번 ICML 2020 학회에서 핫하게 다루어지고 있었던 강화학습 등과 같은 주제들의 경우 기본 이론에 대한 지식이 충분히 갖춰지지 못하였기 때문에 이에 대한 발표를 듣기에는 조금 어려움이 있어 큰 아쉬움을 느끼게 되었다. 다음 학회 때에는 이런 분야까지도 충분히 기초를 다진 후 발표를 참고하며 들어보아도 좋을 것이라는 다짐을 하게 되었다. 최대한 기존에 들어본 적이 있는, 또는 익숙한 분야 (Deep Learning, Unsupervised / Semisupervised Learning, Application 등)를 약 7개 선정하였고, 이 중에서 흥미롭게 여겨지는 논문 발표들을 선정하여 총 11개의 발표를 들어보았다. 모든 발표를 들어보면서 충분히 이해할 수 없다는 아쉬움과 어려움을 느낄 수 있었으며, 다음 학회 전까지는 나의 지식의 한계를 넘어서고 더욱 다양한 내용을 이해할 수 있도록 공부의 의지를 더욱 다지는 계기가 되었다.

특히, 다양한 발표를 들으면서 내용뿐만 아니라 발표자들의 자세와 발표 내용에 대해서도 자연스럽게 비교하게 되었다. 어떤 사람은 영어 발음을 이해하기 어려워 발표를 계속 듣기가 힘겨웠던 반면, 어떤 발표자는 기본 개념부터 차근차근 설명해주어 영어의 장벽을 벗어나서도 쉽게 이해할 수 있었다. 이를 통하여 다른 사람이 발표 자료만 보아도 직관적으로 내용에 대한 이해가 가능하도록, 그리고 발표를 들으면서는 더욱 내용에 대한 이해도가 높아지도록 발표를 준비하고 진행하는 자세가 중요함을 다시 한 번 깨달을 수 있었다.

[청취 후기]

1) NGBoost : Natural Gradient Boosting for Probabilistic Prediction

해당 주제는 지난 1학기 교수님의 다변량 통계 분석 및 데이터 마이닝 수업을 통하여 개념을 접하였던 Gradient Boosting와 관련된 내용이라 관심이 생겨 청취 및 공부하게 되었다. 해당 연구는 제목에서 알 수 있듯이 특정 데이터들이 들어왔을 때 하나의 y에 대한 예측을 진행하기 보다는, 해당 점에 대한 분포를 반환하는 것을 목표로 하고 있다. 이러한 probabilistic 방법론들은 기존에 충분한 연구가 진행되었지만, 실제로 활용하기에는 다양한 단점을 갖고 있어 이를 개선하기 위하여 NGBoost를 제안하였다. Multiparameter distributional boosting과 natural gradient update를 활용하는 해당 방법론은 우선 Loss function과 유사한 역할을 하는 Scoring rule을 선정한 후, P(Y|X=x)가 특정 parametric form을 따른다고 가정한다. 이 때 필요한 파라미터인 μ(X)와 σ(X)를 추정하기 위하여 Gradient Boosting 알고리즘을 활용하게 된다. Boosting 알고리즘을 여러번 반복하면서 해당 파라미터들 값들을 동시에 업데이트 시키는 것이다.

하지만 해당 알고리즘은 좋은 성능을 보이지 못하고 평균과 분산 값에 대한 파라미터 추정이 명확하게 되지 않음을 확인하여 Natural gradient이라는 방식을 활용하여 실제 optimal 값에 도달하도록 도와준다. 이전까지 활용하던 Gradient Descent의 parameter search space에 대한 조정을 진행하여 새로운 공간 상에서 gradient 값과 방향에 대한 탐색을 진행하게 된다. 이렇게 제안된 모델은 특정 점에 대한 분포를 반환하는 다른 모델들에 비하여 훨씬 빠르며 다양한 분야에서 활용될 수 있으며, 쉽게 활용이 가능하다는 특징을 갖고 있다.

Natural gradient 이라는 방식에 대하여 처음 들어보아서 생소한 개념도 많이 있었지만, 기존 모델들의 단점을 해결하기 위하여 새로운 모델을 제안하고, 더 나아가 제안한 모델의 단점을 해결하기 위하여 추가적인 아이디어를 덧붙인 것을 보며 다양한 방면으로 생각하고 적용하는 자세가 얼마나 중요한지 확인할 수 있었다.

2) Self-supervised Label Augmentation via Input Transformation

해당 주제는 Self-supervised Learning이란 분야에 대하여 세미나 등을 통하여 접하고, 이에 대한 궁금증이 생겨 공부해보고 싶은 마음에서 선택하게 되었다. Self-supervised Learning 방법론들은 인풋 데이터를 기반으로 data augmentation을 진행하여 이에 대한 여부를 예측하도록 학습한다. 기존에는 실제 레이블과 data augmentation을 진행한 레이블을 각각 예측하는 Multi-task Learning 방식을 채택하고 있다. 하지만, 이는 계산의 복잡성이라는 단점을 갖고 있어 이를 더욱 효율적으로 진행하기 위하여 Multi-task Learning이 아닌 Joint-label Classifier로 예측하는 방법론을 제안하였다. 즉, (실제 레이블, data augmentation을 진행한 레이블)의 한 쌍으로 함께 계산하여 계산량을 줄이면서도 기존에 달성하고자 하던 목적인 두 레이블을 모두 맞추는 것은 그대로 진행하는 방법론이다. 이 외에도 추가적으로 self-distillation을 적용하여 더 높은 예측력을 보이고 있다.

해당 발표를 들으면서 명확하게 알지 못하는 내용이 더 많았지만, 전반적으로 제안하는 구조에 대해서는 직관적으로 이해할 수 있는 발표였다. 또한, 해당 아이디어는 Multi-task Learning이 활용되는 다양한 분야에서 사용 가능할 것이라는 생각이 들었다. 다음에 기회가 된다면 해당 발표에 대한 내용을 더욱 명확하게 파악하고, 다양한 연구에 함께 적용시켜보면 좋을 것 같다.