2020 ICML은 오스트리아에서 개최될 예정이었지만, 세계적으로 COVID의 유행으로 온라인 상에서 진행되었다. ICML 학회에서 발표된 논문들은 읽어본 적은 많으나, 학회 자체에 대해서는 아는 바가 없었다. 온라인 상으로 진행되어 올해는 직접 참여할 수 있게 되었고 학회에 대해서도 파악할 수 있었다. ICML은 이름에서 볼 수 있듯이, Machine Learning 자체에 대한 연구와 Optimization과 관련한 연구가 많았다. Machine Learning에 대해서는 강화 학습과 관련한 연구 제목들이 다수 보였다. 강화 학습이라는 분야는 산업 공학, 특히 Operation Research에서 다루는 Stochastic process 문제를 컴퓨터 공학자들이 모델링하여 푸는 분야여서 해당 학회에서 많이 보이는 듯 했다. 또한, 최근 연구 주제로 선택한 Self-supervised Learning에 관한 연구 제목들이 다수 등장하였다. 해당 분야는 지도 학습을 위해 필요한 (입력 변수, 출력 변수)의 쌍을 만드는 것에는 많은 비용과 시간이 필요하다. 비용과 시간을 줄이기 위해 입력 변수 데이터 셋에 특징을 추출 가능한 신경망 모형의 파라미터를 학습하고, 이를 본디 해결하고자 하는 지도 학습 모형의 파라미터로 전이학습하는 분야이다. 마지막으로 신경망 학습의 근본적인 문제인 Local minimum에 빠지는 문제를 해결하기 위한 Gradient descent에 대한 연구들도 다수 등장하였다. 본인의 연구 주제와 관련한 두 편의 논문에 대해 서술해보고자 한다.

[Hénaff, Olivier J., et al. "Data-efficient image recognition with contrastive predictive coding."]

 해당 연구는 Google DeepMind에서 제출한 논문이다. 이 연구의 특징으로는 DeepMind가 2019년 NIPS에 제출한 Version 1이 있고, ICML에 게재된 논문은 Version 2이다. 입력 이미지(변수)에서 좋은 특징(Representation)을 추출하고자 하는 목적을 가지고 입력 이미지를 Patch단위로 분할한다. 분할한 Patch마다 Representation을 생성하는 신경망 모형을 구축하여 하나의 벡터를 형성한다. 생성된 벡터간 관계를 예측하는 다른 하나의 신경망 모형을 구축한다. 이 때 저자들이 제안하는 Contrastive Predictive Coding (CPC) 손실 함수를 이용해 두 신경망을 학습하고, Patch의 (Representation-벡터)을 추출하는 신경망의 파라미터를 저장한다. 다음으로 Linear classification, efficient classification, transfer learning을 시행하여 저자들이 제안하는 방법으로 학습한 파라미터의 성능 우수성을 증명했다. 특히 인상적이었던 부분은 transfer learning 부분이었다. Transfer learning을 시행하는 분야는 객체 인식이다. 입력 이미지 내 탐지하고자 하는 객체의 위치를 정확히 파악하는 파라미터를 학습해야 하는데, 전이 학습 없이 객체 인식 모형을 학습할 경우 입력 이미지와 가까운 CNN층은 학습이 되지 않는 문제가 있었다. 하지만 해당 논문에서는 입력 이미지내 탐지하고자 하는 객체의 위치를 정확히 파악 및 표현할 수 있는 파라미터를 찾았기에 기존 객체 인식 모형의 성능을 뛰어 넘었다고 생각한다. 나의 연구에서 CPC 손실 함수를 이용 및 변형하여 좋은 Representation을 찾기 위해 노력해야겠다.

[Chen, Ting, et al. "A simple framework for contrastive learning of visual representations]

 해당 연구는 Google의 다른 연구 조직인 Google Research 랩에서 제출한 논문이다. SimCLR이라 불리는 이 연구 역시 Contrastive learning을 이용했다. 미니 배치 내 하나의 이미지를 Positive sample로 정의한다. 해당 이미지에 세가지 데이터 증강 기법(Random crop, Gaussian Blurring, Color distortion) 중 두가지 기법을 적용하고, 두가지 기법이 적용된 이미지는 특징 공간(feature space)에서 가깝게 위치하도록 Representation을 생성한다. 미니 배치 내 다른 이미지는 Negative sample로 정의하고 이를 특징 공간에서 Positive sample과 먼 위치에 존재하게 Representation을 생성한다. 즉, CPC 손실 함수를 변형하여 Positive sample과 Negative sample의 Representation을 생성하며 좋은 파라미터를 학습하고 이를 이용해 이미지 분류 모형을 학습한다. 이 학습 방법 역시 데이터 증강 기법을 이용해 정확히 객체의 가장자리를 잘 파악할 수 있다고 생각한다.

 본인의 연구 분야인 Weakly supervised semantic segmentation과 관련한 논문 두가지를 소개하였다. 목적을 수행하기 위해서는 Multi label image classification 모형이 필요한데, 여기에 관한 논문들은 아직 읽어보지 못했다. 앞서 언급한 Gradient descent 방법론에 대한 이해와 문제점 파악을 진행하여, 나의 연구에서 성과를 낼 수 있도록 노력해야겠다. COVID 덕분에 온라인으로 ICML이라는 큰 학회가 온라인 상으로 진행되어 많은 연구를 볼 수 있었다. 또한 해당 학회를 청취할 수 있도록 해주신 교수님께도 감사하다는 말씀을 전하고 싶다.