[학회 후기]

7월12일, ICML 학회가 개최되었다. 올해는 이례적으로 코로나 바이러스로 인한 문제로 온라인 학회가 진행되었다. 지금껏 대한산업공학회에 경험만 있었던 나는 개인적으로 대학원 입학 후 첫 외국 학회였기 때문에 설레는 감정이 들었다. 학회 측에서는 온라인 학회의 장점을 살려 포스터 발표 일정이 시작되기 전에 미리 발표 영상과 자료를 업로드해주었다. 덕분에 원하는 분야와 이론을 검색해서 나에게 맞는 연구 발표를 골라 들을 수 있어서 좋았다. 이번 학회 발표 자료들을 모아보니 최근 AI 연구의 동향을 알 수 있었다. 모든 발표를 다 보지 못했지만 강화학습에 관련된 발표들이 많았다. 강화학습 분야 발표에는 항상 이야기로만 들었던 DeepMind, Facebook, Google 등 유명 연구소의 발표를 실제로 볼 수 있어서 개인적으로 신기했다. 강화학습 같은 경우에는 기존의 모델을 고도화시킨 모델을 소개하는 자료들도 있었지만, 기초적인 부분을 개선한 알고리즘을 소개하는 자료들도 많았다. 이런 것들을 보면 현재 강화학습 분야에서 활발한 연구가 진행되고 있고, 앞으로도 더 다양한 알고리즘 및 고도화된 모델이 나올 수 있겠다는 생각을 가질 수 있었다. 어플리케이션 적용 분야 발표에서는 자율 주행과 의료 분야가 많이 보였다. 자율 주행은 컴퓨터 비전 발표에서 두드러지게 보였고 의료 분야는 분자 구조를 다루는 문제가 주를 이루었고, 비지도 학습, 강화 학습 등 다양한 연구 분야에서 다루었다.

학회 자료는 내년 ICML 학회가 개최되기 전까지 온라인으로 계속 볼 수 있어서 프로젝트나 연구를 진행하면서 인사이트를 얻고 싶을 때 꾸준하게 들어와서 찾아볼 수 있을 것 같다. 그리고 개인적으로 이번 학회를 통해 크게 느낄 수 있었던 것은 청취자를 위한 발표 준비가 꼭 필요하다는 점이였다. 발표 영상을 보면 친절하고 직관적으로 이해할 수 있도록 준비를 해준 자료들이 있었던 반면에, 다소 이해하기 어려운 자료들도 많았다. 물론 외국 유명 학회인만큼 기본적인 배경 지식이 많이 필요한 것 일수도 있지만, 매주 진행하는 연구실 세미나를 보면 쉽고, 어려운 난이도의 문제를 떠나서 발표자가 청취자들에게 전달하고 싶은 부분을 확실하게 전달하고 필요한 부분에서는 자세하게 다루면서도 이해하기 쉽게 설명할 수 있는 자료들을 준비해오는 것을 알 수 있다. 나에게 연구실에 있으면서 외국 학회 발표에 기회가 생길지는 모르겠지만 다양한 국적의 사람들이 모이는 외국 학회의 경우에서 청취자들이 내가 전달하고자 하는 것을 확실하게 이해할 수 도록 자료를 만들어야 된다는 생각을 한 것 같다. 그래도 첫 외국 학회를 보면서 아직 이해하기 어려운 발표들도 많았지만, 다양한 연구분야와 유명 연구소의 자료들을 볼 수 있어서 값진 경험을 했다고 생각한다.

[청취 후기]

1.     Approximating Stacked and Bidirectional Recurrent Architectures with the Delayed Recurrent Neural Network

RNN 모델은 시계열 특성을 갖는 데이터를 다룰 수 있으면서 데이터의 표현 능력을 잘 반영할 수 있다는 장점을 갖는 모델로 알려져 있다. 이러한 RNN 모델은 다양한 방식으로 고도화되었고, 본 논문에서는 대표적으로 2가지 모델을 소개하였다. 첫 번째로는 입력된 데이터에 비선형 구조를 반영할 수 있는 구간의 수를 확장해서 보다 데이터의 특성을 잘 표현할 수 있는 Stacked RNN과 두번째는 입력되는 데이터들 간의 인과관계를 더 잘 표현할 수 있도록 도와주는 bidirectional RNN을 설명해주었다. 본 논문에서 소개하고자 하는 모델은 Delayed RNN으로 기존에 RNN과 같이 입력과 동시에 출력이 나오는 것이 아니라 입력과 출력 간의 특정 시간만큼 지연을 시켜주는 특성을 가지고 있다. Delayed RNN은 실험을 통해 기존 RNN에서 고도화된 모델 중 Stacked RNN과 bidirectional RNN보다 계산 속도와 계산 복잡도를 줄이면서 이들과 비슷한 성능을 보이는 것을 입증한다. 실험 뿐만 아니라 수식적으로 어떻게 Stacked RNN과 bidirectional RNN에 근사할 수 있는지도 보여주고 있다. 개인적으로 흥미로웠던 점은 일부 태스크에서는 Delayed RNN이 Stacked-bidirectional RNN 보다 더 좋은 성능을 보이기도 했다는 점이였다. 아직 다양한 RNN을 실제로 구현해서 사용해보지는 못했지만, 본 논문을 통해 기존에 연구되었던 Stacked RNN, bidirectional RNN을 공부함과 동시에 이들과 비슷한 성능을 보이는 Delayed RNN까지 공부할 수 있게 되어서 좋은 경험을 했다고 생각한다.

2.     Growing Action Spaces

 본 논문은 Facebook AI에서 진행된 연구였다. 강화 학습의 기본적인 원리는 에이전트가 주어진 state에서 가장 좋은 action을 취해 사전에 정의해둔 보상을 최대로 하도록 학습을 하는 것이다. 실제 산업 분야에서 강화 학습을 적용했을 때의 여러 문제점 중 하나는 action space가 너무 크다는 것이다. Action space가 너무 크게 되면 학습 초기에 불필요하게 exploration하는 과정이 많아지고, 이러한 문제점으로 인해 모델이 쉽게 수렴되지 못하게 되고 불안정한 학습을 할 가능성이 커진다. 이를 극복하고자 제한하는 것이 학습 초기에는 Action space를 일부만 고려하는 것이 본 논문의 핵심이였고, 본 논문에서도 일부 Action space만을 고려하기에 Best Optimal은 얻기에 한계가 있지만 실험을 통해 보다 효율적으로 학습을 하는 것을 보여주었다. 나는 처음에 해당 논문 제목을 보고 시나리오가 진행될수록 Action space가 많아지는 환경에서 적용하기 위한 알고리즘을 제안하는 줄 알았다. 하지만 그것이 아니라 처음부터 큰 Action space 내 규제를 걸어 학습이 진행될수록 Action space를 넓게 보자는 것 이였다. TSP 문제나 물류 최적화 문제에서는 노드를 거쳐갈수록 또는 공정을 진행할수록 선택해야 되는 선택지가 더 많아지는 경우가 적지 않게 일어난다. 이러한 문제에서 해당 논문의 알고리즘을 적절하게 사용할 수 있을 것이라고 생각되었다.