지난 해 서울에서 열린 ICCV 2019 이후로 처음 접하는 Top Tier 학회였다. 작년에는 오프라인으로 발로 돌아다니며 발표 청취할때는 구석에서 까치발 들고 사람들 사이에 끼여서 발표를 듣게 되어 몇개 듣지 않아도 피곤한 감이 있었는데, 이번에는 웹 상으로 한 눈에 모든 발표를 주제별로 시간 제약 없이 볼 수 있어서 폭넓게 전체 흐름에 대해서 볼 수 있는 기회였다.  

[Graph Structure of Neural Networks (Facebook)]

Neural Network(NN) 상에서 뉴런간 연결 구조를 그래프로 바라보았을 때, 이러한 그래프 구조가 NN 모델 성능에 어떠한 영향을 끼치는지 여부와, 만약에 그렇다면 '어떠한 그래프 구조적 지표와 좋은 성능을 내는 NN는 어떠한 관계를 갖는가와', 마지막으로 이러한 지표가 임의의 작업과 데이터에 대해서 일반화될 수 있는가에 대해서 새로운 통찰을 준 논문이다. 구체적으로는 현존하는 많은 대표적인 Computational Graph(e.g MLP, CNN, GNN)의 노드 간 directed message flow를 relational graph의 bi-directional message exchange 로 치환해서 바라보는데, 이렇게 할 경우 기존 그래프 과학에서 그래프의 구조적 특성을 나타낼 때 자주 쓰는 average path length(L), clustering coefficient(C) 등의 measure로, 여러가지 computational graph를 한 이러한 measure를 기준 삼아 한 눈에 그 특성을 비교해볼 수 있게 된다. 저자는 실제로 5-layer MLP, ResNet 그리고 EfficientNet과 같은 간단한 computational graph에 대해서 C,L을 interpolate 해가면서  C-L  공간 중 어느 구간에서 일반적으로 좋은 성능이 나오는가 등 Network Architecture Search(NAS)에 통찰력을 줄만한 결과를 6가지 정도를 제시해준다. 이 중 흥미로웠던 부분은 C,L값이 (고양이 대뇌 피질 )<(원숭이 대뇌 피질)<=(Best 5-layer MLP) 으로 좋은 성능을 내는 NN구조는 우수한 생물의 NN의 C,L값에 가깝다는 점과, 기존 Network Science에서 L값은 네트워크 상에서 각 노드간 정보가 얼마나 잘 교류되느냐의 척도라는 점이다. 본 논문이 이러한 해석을 한 layer에 대해서만 소개하고 있다는 점과 비교적 간단한 구조의 computational graph에 대해서만 고찰한 한계점이 있지만, 기존 computational graph와 신경과학 및 네트워크과학 간의 연결고리를 제시하여 NAS 도메인에 신선한 인사이트를 주었다는 점에서, GNN을 공부하는데에 있어 기존 컴퓨터 과학 분야나 산업공학 쪽의 네트워크 과학 또한 폭넓게 봐야되겠다는 생각이 들게 한 논문이었다.

[Benchmarking Graph Neural Networks (Yoshua Bengio et al.) ]

그래프 신경망(GNN)은 그래프 데이터를 분석하고 이를 통해 학습하는 표준 도구가 됐다. 당연한 말이지만 분야가 성장함에 따라, 주요 아키텍처를 식별하고 더 크고 더 복잡한 데이터베이스로 일반화하는 새로운 아이디어를 검증하는 것이 중요해진다. 불행히도, 일관된 경험적 설정으로 표준화된 벤치마크가 없는 상황에서 새로운 모델의 효과를 측정하는 것은 점점 더 어려워지고 있다. 실제로도 이번 ICML2020 Graph 분야 논문 대부분에서 사용한 데이터셋들은 Cora, Citeseer 등 작은 데이터셋을 암묵적으로 벤치마크로 쓰고 있었으며, 제안된 새로운 모델의 성능과 기존 SOTA와의 성능은 기존 데이터 상으로는 둘 다 상향평준화되어 거의 우열을 가리기 힘든 느낌을 받았다. 일반적으로 기존 데이터셋(Cora, Citeseer, etc.)의 첫번째 문제는, 데이터셋에 포함된 그래프 수가 적어 모델의 과적합을 피할 수 없다는 점이다. 예를 들어, 데이터가 적은 상황에서 10-fold 교차검증(예를 들어)을 할 경우, 하나의 오분류(혹은 더 맞거나)는 1.67%의 큰 정확도 변화를 야기하게 되어 모델의 성능을 과소(혹은 과대)평가 하게 될 여지가 있다. 두번째, GNN 분야에서 실험설계에 대한 일관된 프로토콜이 없어서 실험결과를 재구현하는 것이 어렵다. 예를 들어, 10-fold 교차검증을 하여도 어떤 사람(Ying at al. 2018)은 성능 척도를 각 fold의 최고 validation accuracy의 평균으로 하고, 어떤 사람(Lee et al., 2019)는 early stopping을 걸어 마지막 epoch의 평균 test accuracy로 하는 등 재각각의 실험설계를 하고 있다. 마지막 문제로는, 현재 나와있는 대부분의 그래프 데이터셋은 분포특성이 단순한 편에 속해 모델이 현실 문제 네트워크 문제를 과소평가되는 경우가 있다. 이러한 문제 배경으로 본 논문에서는 중간 사이즈의 다양한 분포를 가지는 벤치마크 데이터셋 프레임워크를 Open Graph Benchmark(OGB)이라는 이름으로 공개하였다. 마지막으로, 평소 공부하던 Graph 분야에 적합한 실험 환경이 필요하던 마당에 좋은 프레임워크를 제공해준 저자들에게 감사한다.