이번 세미나는 Graph Neural Network에 대해 진행되었다. 특히 Graph에서 Spectral Graph Convolution에 대해 집중적으로 다루었다. Graph는 Node와 Edge로 구성된 자료형으로 추천시스템 등 다양한 분야에서 많이 활용되고 있다.

본 세미나에서는 이미지나 음성 데이터는 규칙적인 배열을 가진 데이터로 Convolution 연산이 가능하지만, Graph도 과연 그러할까라는 의문을 제기한다. 정답은 이미지나 음성데이터처럼 처리할 수 없다는 것이다. 이는 Spatial Domain이 아닌, Spectral Domain에서 Convolution Theorem에 입각하여 Convolution을 적용한다. 즉 각각 푸리에 변환 후 Pointwise하는 것이 Convolution과 동일하기에 이를 활용한다. 그렇다면 Graph에 어떻게 푸리에 변환을 적용할까라는 의문이 다시 한 번 제기된다. 확실하게 이해하진 못했지만 본 세미나에서는 Convolution 연산의 특성상 교환법칙이 성립하기에, 각 회전행렬(또는 라플라시안 행렬)은 동일한 고유벡터를 지니며 이는 푸리에 Basis와 동일하다고 설명한다. 그러기에, Graph에서 푸리에 변환은 기저를 바꾸는 것으로 정의될 수 있다. 위와 같은 과정을 거쳐 Graph에 Convolution Theorem을 적용하여 Convolution을 수행하는 것을 Spectral Graph Convolution라고 정의한다.

본 세미나에서는 Spectral Graph Convolution의 방법론에 대해서도 다루었다. SGCN은 Convolution이 불가능하니 푸리에 변환을 수행하고, Spectral domain에 넘겨서 이를 진행한다. 그러나 이는 많은 계산량이 존재한다는 한계가 존재한다. 이후에 나온 ChebNet은 Polynomial parameterization으로 연산량을 간소화하였고, Simplified ChebNet은 안정적인 학습까지 가능하도록 Renormalization trick을 제안하였다.

이번 세미나를 통해 Spectral Graph Convolution Network에 대해 처음으로 접할 수 있었다. 내용이 많이 생소하여 이해하기 어려운 부분이 많았는데, 추후에 Graph 공부를 다시 하게 되면 충분히 학습한 후 다시 청취하고 싶은 세미나였다. 특히 이번 세미나를 보면서 수식적으로 많은 설명이 포함되었는데, 스스로 연구할 때 이처럼 수식을 자세하게 하나하나 뜯어보지는 않는 자신에게 반성하는 계기가 되었다. 유익한 세미나를 준비해주신 김상민 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 Graph Neural Networks에 대하여 진행 되었다. 세미나 제목에서 알 수 있듯이 GNN에 대하여 기본 개념부터 시작하여 Spectral Graph Convolution 까지 차근차근 세세하게 설명해주었다. 덕분에 Graph에 대해서는 개략적인 그림밖에 알지 못했었는데 이번 세미나를 통해서 Graph에 대한 이해도가 조금 더 높아졌다는 생각이 들었다.
현재 많은 Deep Learning 방법론들이 Convolution Filter를 사용하여 높은 성능과 다양한 Task를 해결하고 있는데 Convolution은 Image등의 규칙적인 격자 데이터로 표현이 가능해야 사용 가능하다는 제약 사항이 있다. Graph에서는 Image 등의 데이터와 다른 특성을 가지기 때문에 Convolution을 그대로 적용할 수 없기에 GNN에서 Convolution Filter를 사용하려면 어떻게 해야하는지에 대한 물음으로 세미나가 전개되었다. 여기서 필요한 부분이 Convolution Theorem인데 이를 이용하여 Graph Fourier Transform을 통해서 Graph에 Convolution을 적용할 수 있다고 한다. Convolution Theorem을 적용하는 2가지의 방법이 있는데 본 세미나에서는 Convolution연산을 Circulant Matrix로 표현하여 계산하는 방법을 설명해주었다. 하지만 이는 직접적으로 Matrix를 구할 수 없기에 다른 방법을 거쳐서 간접적으로 구하게 되는데 이것이 Spectral Graph Convolution라고 한다. 간략하게 요약하자면 Signal이 주어질 때 다양한 방법을 적용하여 Spectral domain으로 만들 수 있고 이 또한 Spatial domain으로 만들 수 있어 위의 문제를 풀 수 있다. 그리고 다음으로 Spectral Graph Convolution Networks개념을 활용한 방법론 3가지를 설명해주었다.
어려운 부분이 꽤 있어서 세미나 내용을 확실하게 이해하지 못하였지만 굉장히 흥미로운 부분임에는 틀림 없다고 생각되었다. 현재는 Graph 관련 Task를 다루고 있지 않지만 향후 Graph 관련 공부를 시작한다면 좋은 참고 자료가 될 수 있을 것 이라는 생각이 들었다. 굉장히 긴 시간 동안 정성 들여 세미나를 준비해주신 김상민 연구원님께 감사드리며 세미나 후기를 마친다.

데이터 Point들 사이의 관계 또한 학습하는 Graph Neural Network(GNN)에 대한 세미나를 청취하였다. 점(데이터1개), 선(데이터간관계), Laplacian Matrix와 같이 GNN 이해에 있어 중요한 기초 개념부터 GNN 기반의 해결 가능한 Task 종류를 배울 수 있다. 흥미로운 부분은, 그래프 데이터에 Convolution 연산을 적용할 수 있도록 하는 원리와 이론이었다(격자(이미지, Spatial Domain)형 데이터에 적용되는 것과는 다른 원리에 기반). Convolutional thm, graph fourier transformation와 같은 여러 이론들을 기반하여, 그래프 데이터를 어떻게 convolutional 연산하는지 자세히 소개되어 있다. 결론적으로, 데이터간 관계성을 Spatial한 입장이 아닌 Spectral 도메인에서 그래프 데이터 convolutional 연산이 가능하게 되었고, 이러한 연구 흐름들을 시작해 GCN이 활발히 연구되기 시작한 것 같다. 이 때, Spatial 한 구조의 그래프 데이터를 어떻게 Spectral(푸리에 변환)한 관점에서 특징 표현할 수 있었는지는, 본 세미나에서 수식적으로 자세히 알 수 있다. 푸리에 기저 공간 상에서의, 첫 convolution 연산을 기반한 예측 모델부터 spatial 도메인에서의 합성곱 계열 연산까지 가능해지는 연구 트렌드 또한 세미나 말미에 함께 소개해주고 있다. 방대하고도 유용한 내용들을 잘 정리해준 상민이에게 감사의 말을 전하며 세미나 후기를 마친다.