금일 세미나는 2018년 구글 딥마인드에서 발표한 'Relational Inductive Biases, Deep Learning, and Graph Networks'의 내용을 공유하는 시간을 가졌다. 모든 기계학습 모델은 학습에 사용하지 않은 데이터에 대한 일반화 성능을 높이기 위한 고유한 가정(assumption)들의 집합인 inductive bias를 가진다. 가령, 선형 회귀에서는 예측변수(X)들에 대한 선형모델로 반응변수(y)를 모델링할 수 있다는 가정을 하고 있다. 또 다른 예시로 K-근접이웃 알고리즘에서는 거리 상 인접한 관측치끼리 같은 클래스일 확률이 높다는 가정을 하고 있다. 본 논문에서 말하는 relational inductive bias는 모델이 갖는 개별 개체(enitity)들 간의 관계(relation)를 표현하는 inductive bias들을 총칭한다. 그래프를 예로 들자면, 그래프의 노드(node)는 개체, 관계는 엣지(edge)로 표현할 수 있다.

Graph (Neural) Network(GNN)는 그래프 형태로 표현되는 데이터로부터 효과적인 graph representation을 학습할 수 있는 신경망 구조이다. GNN 관련 연구는 3~4년 전부터 활발히 진행된 바 있는데, 오늘 소개한 논문에서는 지난 몇 년 간 소개된 주요 GNN 관련 연구를 일반화하는 프레임워크 내에서 잘 정리하였다. 특정 모델에 대한 자세한 수식을 설명하기보단, 다양한 그래프 형태의 데이터에 적용되는 사례를 위주로 소개하고자 노력하였다. 자세한 내용은 논문을 참고하거나, pytorch로 구현된 코드를 살펴보는 것이 이해하기 수월할 것이다.

끝으로, 우리 주변에는 그래프 형태로 표현되는 데이터들이 아주 많지만, 이를 효과적으로 다룰 수 있는 도구는 아직 상대적으로 부족하다. 이미지, 텍스트 등의 분야가 CNN,RNN으로 요약되는 딥 러닝 모델들의 덕을 많이 보았듯이, 앞으로는 그래프 데이터의 분석에 GNN이 더욱 널리 이용될 것이라고 생각한다. 개인적으로는 그래프 데이터 연구를 진행하고 있기 때문에, 관심이 있는 분과 함께 연구할 수 있는 기회가 생기면 더욱 좋을 것 같다.​

​

금일 세미나에서는 Inductive bias의 개념과 neural network 모델에 기반한 relational inductive bias learning에 대한 연구를 소개했다. 네트워크 모형을 그대로 학습하기 보다는 네트워크 형태의 정보체를 bias로 두고 데이터로부터 의미있는 추론을 하기 위한 예측모델을 구축하는 연구였다. 노드, 링크, 패스, 그리고 네트워크의 글로블 정보 모두 예측대상이 될 수 있다. TSP, VRP 등의 다양한 최적화 문제를 학습방법으로 풀고자 하는 연구가 많이 나올 것으로 보인다. 특히 시간축을 추가로 고려한 동적 문제상황에 대한 연구도 많은 발전이 있을 거라 생각한다. 교통량에 따른 실시간 경로예측이 대표적인 문제라고 볼 수 있다. 재미있는 연구 분야의 trend를 잘 설명해준 현구에게 고마운 마음을 전하며, 개인 연구에도 큰 진전이 있기를 바란다.

오늘 전체세미나는 'Relational Inductive Biases, Deep learning, and Graph Networks'라는 논문을 주제로 현구가 진행하였다. 최종적으로 Graph Neural Network를 소개하는 주제로 그를 위한 개념을 Inductive Bias, Relational Inductive Bias, Graph Neural Networks 흐름으로 진행되었으며 그 응용까지 살펴보았다. 먼저 Inductive Bias의 사전적 정의는 다음과 같다. 'Inductive Bias: Any basis for choosing one generalization over another, other than strict consistency with the observed training instances'이다. 이 의미를 살펴보면 다음과 같다. Inductive Bias는 학습을 잘 할 수 있는 가정을 의미한다. 우리가 알고있는 여러 머신러닝 알고리즘은 각각 그들의 목적식을 가지고 주어진 데이터를 예측하고자 하는 값에 맞는 함수를 찾는다. 우리는 그것을 가설이라고 말한다. 그리고 가설 공간에 찾고자하는 가설이 반드시 포함되어있다는 것을 지정하기위해, 즉 가설에 적합한 해에 잘 도달하도록 지정해 주는 가설공간이 Inductive Bias다. 일반적으로 회귀모델에서는 error penalty(L1 norm, L2 norm)가 그 예다. Relational Inductive Bias는 여기에 각 entity 간(혹은 관측치, 변수 간) 상호 관계를 모델링하여 제약한 것이다. 이는 Graph Neural Network에서 사용된다. Graph Neural Networks는 주어진 데이터를 Graph형태로 보고, node와 edge를 학습하며 node와 edge를 모델링 하는 것은 주어진 문제상황을 기반으로 사용자가 지정할 수 있다.

오늘 세미나는 머신러닝 알고리즘 학습과정에서 가장 근간이 되는 개념 Inductive bias를 살펴보고 Graph neural netowrk의 여러응용사례를 알 수 있었다. 개인적으로 Graph Neural Network를 시계열 모델로 적용하면 어떨지 생각해보았다. 대표적인 딥러닝 기반 시계열 모델은 RNN(LSTM)이 있는데 다변량 시계열 모델을 학습할 때, 변수간 관계성을 Graph로 보고, 그 Graph들을 시간순으로 학습하면 다변량 관계를 좀더 면밀히 반영할 수 있을 것으로 생각한다. 요즘 시계열 예측 프로젝트를 진행중인데 적용해볼 계획이다.​

금일 세미나는 Relational Inductive Biases, Deep Learning, and Graph Networks 라는 주제로 현구가 진행을 하였다. Inductive Bias라는 것은 알고리즘에 대하여 원하는 해를 찾을 때 관측치와는 독립적으로 새로운 데이터를 잘 예측하게 하는 가정을 말한다. 가정에 대한 예시로 회귀분석, Ridge, Lasso, SVM, KNN을 언급해주었다. 또한 Inductive Bias를 신경망모형에 기반해서 설명을 해주었다. 특히 주된 부분이 Graph Neural Network에 관한 개념이었다. 특히 인상적이었던 내용은 전통적인 최적화 문제 중, NP-Hard문제들을 기계학습을 통해 해결해 나아가는 부분이었다. 예를 들어, 작은 사이즈의 최단경로문제를 살펴보면, 모든 갈 수 있는 경로에 대해서 Cost를 계산해보고 정답을 기록해서 이를 Graph Network문제로 변형해서 하는 과정을 설명해주었다. 또한 Box-World게임이나 Starcraft 2 게임의 데이터를 그래프 형태로 변환 후, 강화학습을 통해 해결 할 수 있는 것을 확인시켜 주었다.

해당 데이터의 형태는 준지도학습과 매우 연관성이 깊은 것으로 이해하였다. 준지도학습에서 정답을 확산시키는 과정들이 그래프의 형태로 퍼져나가기 때문이다. 논문을 전반적으로 이해해서 이를 이용해서 준지도학습 방법을 연구한다면 발전이 있을 것이라 생각한다. 영훈이형의 발표를 들으며 생긴 관심과 현구의 세미나의 내용과 결합하여 연구를 시작해야겠다는 생각이 들었다. 아직 연구 주제를 정하지 못하였지만, 세미나를 통해서 많은 분야를 알 수 있어서 연구실 동료들에게 또 다시 감사하게 되었다. 매번 다른 연구원들의 연구에 도움이 될 수 있는 소재를 선정해서 세미나를 진행해주는 현구에게 감사한다는 이야기를 전하고 싶다.​

금일 세미나는 관측치 또는 변수간 등의 관계 정보가 주어진 경우 효과적으로 데이터 분석을 모델링 할 수 있는 그래프 뉴럴네트워크 방법론에 대한 특징 및 응용분야에 대한 소개였다. 관측치 또는 변수간 등의 관계 정보가 실제 문제 상황에서 네트워크 형태로 주어진 경우, 그래프 뉴럴네트워크 방법론은 뉴럴네트워크 모델의 모델링 유연성을 활용하여 주어진 네트워크의 연결 및 연결 강도 등 다양한 네트워크 특성을 학습 할 수 있는 방법론이다. 물리, 바이오, 의학 등에서는 이미 알려진 분자 구조 및 의학 정보들을 그래프 형태로 반영하여 데이터 분석에 있어 좀 더 정교한 모델을 구축 할 수 있기 때문에 최근 연구자들의 많은 관심을 받고 있는 연구분야이다. 최근 의료데이터 분석에 관심을 두고 있는데, 앞으로 관심 있게 그래프 네트워크 연구동향을 살펴볼 예정이다.

금일 세미나는 graph neural network를 주제로 하여 진행되었다. 관측치와 관측치 간의 관계성까지 모델의 인풋으로 넣어지는 것이 특징인데, 이로 하여금 보다 정교한 분석이 될 것이라는 전망으로 연구가 이루어져 왔다. 대표적으로 이 관계성을 모델과는 독립적인 가정을 한다는 점에서 inductive bias라고 하는데, 결국 데이터의 과거 관측치 정보뿐만 아니라 추가 정보도 포함된다는 관점에서 모델의 성능을 높일 수 있다. Graph neural network는 node와 edge가 업데이트 되는 방식이 다른 모델과는 상이하며, 이 때 test data 즉 그래프에 존재하지 않았던 관측치들은 어떻게 처리되는지 궁금하다. 또한, 같은 그래프더라도 구성할 수 있는 layer의 조합이 각 모델마다 다를 텐데, neural network의 구조 상 layer를 어떻게 쌓을 것 인가도 추후에 생각해볼 만한 연구 주제 인 것 같다. 다양한 범위에 쓰일 수 있는 개념이기에 후속 연구에 많은 관심을 쏟아야 하겠다

​지금 까지의 neural network가 예측/분류 등의 문제 해결에 탁월한 성능을 보였지만, 복잡한 형태의 layer와 node가 연결되어 있기 때문에 결과에 대한 해석이 어렵게 되어 neural network는 black box 모델이라고 한다. 오늘 세미나에서 다룬 relational network는 각 객체 간의 관계를 추론하는 neural network 모델이다. 즉 graph 형태로 구성된 데이터를 입력값으로 하여 학습을 수행한다. 이때 객체는 CNN, LSTM 그리고 구조화된 state description, 자연어 등 다양한 형태가 될 수 있고, 이를 neural network로 표현 및 학습을 하여 각 객체 간의 관계 추정을 가능케한다. 따라서 응용가능성이 높다고 생각된다.

금일 세미나는 Relational Inductive Biases, Deep Learning, and Graph Networks에 대한 주제로 현구가 발표를 진행하였다. Inductive Bias는 알고리즘에 대하여 다른, 관측치와는 독립적인 원하는 하나의 해를 찾을 때 새로운 데이터를 잘 예측해주는 가정이다. Inductive Bias 가정이 있는 예로는 Linear regression, Ridge, Lasso, KNN, Svm 등 많이 접해볼 수 있는 것들로 예시를 들었다. 또한 Inductive Bias를 neural network 기반으로 설명해주었는데, Fully connected, Convolutional, Recurrent에서는 어떻게 적용되는지도 간단하게 언급해주었다. GNN(Grapy Neural Networks)에서 graph의 정의를 언급해주면서 Message passing에 대한 내용을 깊이 있게 보았다. 이 부분에서 Layer를 쌓을 때마다 어떻게 학습이 되는지 이해할 수 있었다. 또한 최적화 문제를 예로 들며 직접 손으로 풀어보았던 최단 경로 문제를 어떻게 풀어보았는지 알 수 있었다. 이 문제에서는 경로에 대한 cost를 계산하여 최소의 cost값을 가진 경로를 찾는 것이었고 GNN문제로 하는 과정을 보여주었다. 인상깊게 보았던 예시는 약품에 대해 어떤 조합이 가능한지 불가능한지에 대한 모델이었다. 실생활에서는 약품을 같이 먹을 수 있는지 없는지 접할 수 있는데, 수 많은 약품에 대해서 실험이 불가능할 수 있는 문제를 모델을 통해 학습이 가능하다는 것이 인상깊은 예시였다. 또한 발표에서 semi-supervised learning에 대해 언급을 하였는데 이론적인 부분만 이해해서 조금 더 공부할 필요를 느꼈다. 이번 세미나를 통해 GNN에 대해 알아볼 수 있었고 공부해볼 부분에 대해 생각해볼 수 있는 좋은 세미나였다. 발표를 해준 현구에게 고마움을 전한다.

금일 세미나는 Inductive Biases, Deep Learning and Graph Networks를 주제로 진행하였다. Inductive Bias란 training data에 독립적인 결과를 생성해내는 어떤 trick들이나 assumption의 집합이다. Linear regression과 Lasso regression, SVM 등의 Cost function들이 전부 Inductive Bias에 해당한다. Inductive bias가 entity들간의 relation 또는 interaction model을 학습하는데 부여되는 제약식들의 집합을 의미하면 이를 Relational inductive bias이다.

Neural Network에서, fully connected 같은 경우 노드 간 Relational Inductive bias가 존재하지 않는다. 즉, 모든 노드들 간에 동일한 weight를 준다. CNN에서는 위치가 가까운 노드에 weight를 더 주도록 Relational Inductive bias를 설정한다. RNN에서는 이전에 등장한 노드에 weight를 더 주도록 설정한다. 이러한 신경망 구조를 Graph network analysis에 적용한 것이 Graph Neural Network이다. Graph는 U로 표기되는 Global attribute, 노드 간의 relation을 나타내는 E(edge), edge로 연결되는 node인 V의 3가지로 구성된다.

GN은 Block별로 Edge update -> aggregate edge per node -> node update -> aggregate edge and node globally -> global update 순서로 진행되며 parameter들을 학습한다. 발표자는 recommender system, link prediction, shortest path prediction, video analysis 등 GNN이 연구되고 있는 다양한 사례를 소개해주었다. 특히 본인의 이전 세미나였던 transformer도 GNN을 적용할 수 있다고 소개해 준 것이 흥미로웠다.

개인적으로 Recommender system과 Medical data analysis에 관심이 있어 GNN이 해당 필드에 적용되는 사례가 매우 흥미로웠다. 문서 추천이나 웹 링크 데이터 분석 등에서 GNN이 좋은 성능을 보일 것 같아 공부해보고 싶어졌다. Medical data의 경우 이런 network analysis가 적용될 수 있을 것이라고 생각해본 적이 없었는데 medicine & protein의 side effect 연구에 적용이 되는 것을 보고 신기했고 흥미로웠다 좋은 주제를 소개해준 현구에게 감사하다.​

Relational Inductive Biases, Deep Learning and Graph Networks에 대한 세미나가 이루어졌다. Inductive bias에 대한 설명과 Relational Inductive Bias 그리고 Graph neural networks 그 활용에 대한 순서로 이루어졌다. ML에서 bias-variance tradeoff가 존재한다. 그동안 통계학 관점에서는 unbiased 추정량을 기본으로 모델을 제시하였다. 하지만 그럴 경우 variance가 커져서 일반화성능이 낮은 모델이 만들어질 수 있다. 따라서 inductive bias로 모델에 가정, bias를 주게 되면 variance가 낮아지는 효과를 볼 수 있다. 이것을 fully connected layer, convolution layer, recurrent neural net에 관해서 설명하자면 fully connected layer는 파라미터가 매우 많다. 따라서 복잡도가 커지고 각 데이터가 바뀔 때마다 예측의 variance가 커질 수 있다. 따라서 convolution layer는 인접 feature에 대해서 더 잘 반영하고 recurrent neural net은 나보다 앞선 feature들을 더 잘 반영하는 모델에 일종의 가정, bias를 더하게 된다. 이와 같이 relational inductive bias는 feature간의 관계를 graph로 반영하여 edge의 값이 더 큰 feature를 더 잘 반영하는 bias를 줄 수 있게 된다. 이를 활용한 graph neural network application이 상당히 많은 것을 보고 놀랐다. 깊게 설명되지 않고 간단하게 개요만 설명되었기 때문에 감을 잡기 위해서 하나라도 자세히 읽어보는 것이 필요하다고 느껴졌다. Additional paper로 보여준 조합최적화 문제를 ML로 해결하는 논문은 특히나 Bengio가 1저자로 썼다고 하니 다음에 꼭 읽어봐야겠다고 생각이 든다. 발표자가 세미나 시간 뿐만 아니라 평소에 최신의 핫한 논문을 알려줘서 항상 큰 도움을 받는다. 고맙다는 말을 이 기회에 전하고 싶다.

이번 세미나는 Inductive bias 부터 설명하여 Graph Networks에 관한 내용이었다. Inductive bias는 데이터와 상관 없이 학습알고리즘을 만들 때 사용하는 기본적인 가정들이다. Linear regression은 y값을 x로 나타낼 수 있다는 가정, knn에서는 주변과 가장 비슷한 것 일거라는 가정 등 Inductive bias는 학습에서 가장 기본적인 가정을 의미한다. Relational inductive bias는 학습에서 나타나는 Entities가 갖는 관계/작용을 의미하며 Neural networks를 Entities와 Relations으로 나타내면 Relational inductive bias를 찾을 수 있다. Graph neural networks(GNN)을 정의하고 적용을 시키며 Graph로 나타낼 수 있는 문제들에 적용할 수 있다는 것을 보였다. Relational inductive bias 뿐만 아니라 GNN도 새로운 내용이었지만, TSP 등 여러 예시를 통해 이미 알고 있던 문제들을 GNN으로 나타낼 수 있다는 것을 알았다. 그만큼 광범위하게 사용될 수 있고, 다른 최적화 문제에도 적용될 수 있다. 새로운 것을 설명하는 것 보다는 이미 있던 개념들을 다시 정리하는 내용이어서 기존에 알고 있었던 것들을 새로운 시각으로 볼 수 있었다. 또한 GNN의 개념이 부족한 상태였지만, 여러 예시를 통해 GNN의 범용성을 느낄 수 있었고 흥미롭게 다가왔다.

금주 세미나는 ’Relational Inductive Bias, Deep Learning, and Graph Networks’라는 주제로 현구오빠가 진행하였다. 머신러닝 모델은 Bias와 Variance error에 대해 trade-off를 지닌다. 이 때 과적합 모델의 Variance error 개선을 위해 모델의 일반화성능을 높이기 위한 다양한 방법론들이 연구되어오고 있다. 이러한 맥락에서 Inductive bias또한 bias error의 개선을 통한 generalization방법이라 할 수 있겠으며, 더 포괄적인 의미로 모델의 목적에 부합하기 위해 사용하는 추가적인 가정이라고도 표현할 수 있다. 대표적인 예시로 ridge, lasso regression는 해당 모델들은 파라미터 계수 크기에 제한을 두어 일반화성능을 높이는 모델이며, 이때 inductive bias는 penalty term(추가적인 가정)이 된다. 또한 CNN에서 이미지의 일부 영역은 주변부 영역과 유기성이 높을 것이라는 가정을 만족시키기 위해 Conv layer는 shared weight의 특징을 지닌다. 오늘 소개된 GNN은 entity간의 관계를 파악하기 위해 Neural Net구조에서 새롭게 제안하는 가정, inductive bias라고 할 수 있다. 이를 활용한 Shortest path, link prediction과 같은 다양한 application이 있으며, 공통적으로 기존의 관계를 학습하여 새로운 관계를 생성/제거하고 정의하고자 하는 시도였다. 발표를 들으며 개인적으로 그래프 데이터에 대한 이해가 있었으면 보다 많은 내용을 수용할 수 있었을 것 같다는 아쉬움이 남았다. 또한 오늘 다루어진 주제가 추상적인 만큼 현구 오빠는 각 개념들과 가정들을 구체적으로 규정하지 않으며 전달하기 위해 노력해준 모습에 감사하다. 더불어 앞으로 나도 이러한 태도로 학습에 임하기 위해 노력해야겠다.

금일 세미나는 Relational Inductive Biases, Deep Learning, and Graph Networks라는 제목의 논문에 대한 내용을 갖고 진행되었다. 구글 딥마인드에서 발표된 논문이며 Graph Networks 분야에서 소개된 다양한 논문들에 대한 기본 개념과 개괄적인 리뷰를 진행한 논문이었다. 워낙 다양한 분야에서 진행이 되었고 용어 등에 대한 기준이 명확하게 하나로 통일되어 있지 않은 분야였던 만큼 이 논문을 통해 앞으로의 논문들을 이해하는데 도움이 될 것이라고 생각된다. 세미나는 제목 중에서 Graph Networks에 대해 초점을 맞춘 내용으로 진행이 되었다. Graph Neural Networks의 정의와 구성, 다양한 표현 방식 등에 대한 소개를 하고, shortest path, matrix completion, polypharmacy side effects 등과 같은 다양한 분야에서 어떻게 적용이 되는가에 대한 설명을 들었다. 전체적인 흐름에 대한 설명을 들을 수 있어서 좋았지만, 문제 상황별로 데이터와 변수가 어떻게 구성이 되는지와 그래프 구조를 가진 뉴럴 네트워크가 어떻게 학습이 되는가에 대해 알 수 없었다는 점이 아쉬웠다. 그래프 구조에 대한 연구가 최근에 많이 진행이 되고 있는 만큼 해당 분야에 대해 관심이 있다면 한번쯤 정독하면서 관련 논문들에 대한 리뷰 방향을 잡아주기에 좋은 내용이었다고 생각된다.

​금일은 ‘Graph Network’를 주제로 한 세미나 내용을 들을 수 있었다. 본 세미나는 Graph Network에 대한 이해를 돕기 위해 Inductive Bias – Graph Network – Application 순으로 설명이 이어졌다. Inductive bias란 모델의 성능을 높이기 위해 ‘Training data로부터 독립적인 가정들의 집합’이라고 할 수 있다. Machine learning 알고리즘에서는 다양한 모습으로 존재하는 데, Linear Regression에서 MSE, Support vector Machine에서 Margin, Ridge, Lasso Regression에서 계수(beta)에 대한 제약식 등으로 말할 수 있다. 이는 모두 가장 성능이 좋은 Model을 만들기 위해 ‘최소화 하는 가정’들을 의미하기 때문이다. Graph Network는 Graph에서 Node(Graph에서 하나의 포인트), Edge(Node간의 연결선), Global feature(Graph 전체를 나타내는 하나의 feature) 3가지에 대한 업데이트를 통해 가장 성능이 좋은 Model을 찾는다. 이러한 Graph Model은 성분 간의 관계성을 확인해야 하는 ‘신약 개발’ 등에서 활용된다고 한다.

오늘은 Graph Network에 대해 전반적으로 지식을 습득할 수 있는 귀중한 세미나 시간이었다. 지난번에 비해 가볍게 준비한다고 말했음에도 불구하고 진정성 있게 세미나를 준비해 준 현구에게 또 한번 배움을 얻을 수 있는 자리였다. 자신이 알게 된 좋은 지식을 청취자들이 쉽게 이해할 수 있도록 열심히 준비해 준 현구에게 다시 한번 고마움을 전하고 싶다.​

금일 세미나에서는 현구가 'Relational inductive biases, deep learning, and graph networks' 논문을 소개했다. 논문의 제목에 포함된 relational inductive biases를 이해하기 위해서는 inductive bias 개념을 이해해야 한다. 합성곱신경망(CNN)은 이미지 데이터를, 순환신경망(RNN)이 텍스트 데이터를 모델링하는데 다른 기계학습 알고리즘보다 적합한 이유는 그만큼 데이터의 특성을 잘 반영하는 각 모델의 특징이 있는데 이를 inductive bias라 한다. Relational inductive biases는 연결 관계로 표현할 수 있는 데이터 즉 graph data의 특징을 모델링 하기 위해 만든 inductive biases이다. 이전의 세미나에서 현구가 소개했던 graph convolutional network가 Relational inductive biases가 반영된 대표적인 deep learning 모델이다. 논문의 저자는 graph data를 모델링 할 수 있는 기존의 다양한 모델을 일반화 하여 graph networks로 정리하였다. 세미나 후반에는 이러한 graph networks가 어떤 문제에 사용될 수 있는지 다양한 응용 사례를 살펴보면서 마무리 했다. 이미지, 텍스트, 시그널을 넘어 딥러닝이 모델링 할 수 있는 데이터 유형의 범위가 얼마나 넓어 졌는지 확인할 수 있는 시간이었다.

오늘 세미나에서는 Graph Neural Network에 대해서 공부할 수 있었다. Graph Neural Network는 Graph 구조가 관측치 간에 설정되어 있는 상황에서 좀 더 효과적으로 Graph 상에서의 분류 문제를 해결할 수 있는 방법론이다. Graph 형태가 주어졌다는 것은 각 Node 간의 연결 상태와 연결의 강도가 주어져 있다는 의미다. 즉 관측치 간의 유사도 정보가 주어져 있는 상황에서의 분류 문제를 해결을 하는 것이다. 기존의 Neural Network 분류 방법의 경우 일반화 오류를 낮출 수 있는 변수를 관측치 간의 관계를 고려하지 않은 채 추출했다. 하지만 관측치들 간의 유사도를 쉽게 계산할 수 있거나 이미 주어져 있는 상황, 예를 들면 소셜네트워크 분석, 단백질과 약물 간의 유사도 분석, 제품 구매 패턴 분석 같은 경우에서는 이러한 추가적인 유사도 정보를 반영했을 때 분류에 더 좋은 변수를 추출할 수 있게 된다. 그래프 기반 인공신경망 연구들이 흥미롭게 생각되는 이유는 이 방법론을 통해 유사도라는 개념과 딥 러닝을 이용한 변수 추출 개념을 통합할 수 있기 때문이다. 전통적으로 유사도에 기반한 방법론이라고 하면 KNN, SVM 같은 방법들이 있었다. 이러한 유사도 기반의 방법론의 중심 아이디어는 누구나 쉽게 이해할 수 있을 정도로 인간에게 익숙하다. 유사한 입력 패턴을 가진 관측치들은 같은 클래스에 속한다는 원칙이다. 그러나 이러한 방법은 고차원 데이터의 유사도 계산의 어려움으로 인해 이미지, 음성, 텍스트와 같은 데이터에서는 좋은 성능을 내기 어려웠다. 그런데 Graph Neural Network를 통해서 이러한 한계를 극복하는 유사도 활용법이 나올 수 있지 않을까 생각이 된다. 물론 관측치 간의 유사도 계산이 어려운 경우에는 이를 사용하지 못하는 한계는 여전히 존재한다. 그렇지만 딥러닝을 이용한 변수 추출과 유사도 개념 통합을 통해 고차원 데이터의 유사도를 잘 계산할 수 있는 연구의 실마리가 생길 수 있다고 생각된다. Graph Neural Network 관련해서 한 가지 더 흥미로웠던 점은 Shortest Path, TSP와 같은 전통적인 조합최적화 문제 해결에 적용할 수 있다는 점이다. Node들 간의 연결 관계가 정의된 상황에서 조합최적화 문제와 답을 End to End로 맵핑시켜 해결하는 연구들이 진행되고 있다. 기존에 최적화 문제는 수학적인 포뮬레이션과 이를 해결하는 전통적인 알고리즘들로 해결이 되었다. 이러한 문제들도 데이터화할 수 있고, 문제 해결의 패턴을 Deep Learning을 이용해서 찾아내고 해를 찾을 수 있다는 점이 매우 흥미로웠다. 소개된 내용들로 보았을 때 앞으로 Machine Learning과 Operations Research 간의 활발한 융합 연구가 예상된다. 개인적인 연구 방향 및 목표와 관련이 큰 만큼 좀 더 열심히 공부해야 겠다는 생각이 들었다.

​오늘 세미나는 ‘Relational Inductive Biases, Deep Learning, and Graph Networks’라는 주제로 진행 되었다. 이번 세미나는 Inductive Bias, Relational Inductive Bias, Graph Neural Networks, Applications 순서로 설명이 진행되었다. Inductive Bias는 흔히 우리가 많이 알고있는 알고리즘에서 찾아볼 수 있다. 예를 들어, Linear Regression, Ridge, Lasso, K-nearest neighbors, SVM 등에서 Bias를 찾아볼 수 있다. 더 나아가 Relational Inductive Bias는 데이터 간에 어떤 상관관계가 있는 것을 의미한다. Neural Networks에서 예를 들어 보면 Fully connected 부분은 Relational Inductive Bias가 존재 하지 않는다. Input Layer의 Node들이 각각 Output Layer Node과 연결되어 있기 때문이다. 하지만 Convolutional Layer나 Recurrent Layer는 Node들을 묶어서 학습하거나 순서에 대해 의미가 존재하기 때문에 Relational Inductive Bias가 있다고 말할 수 있다. 이러한 개념을 바탕으로 Graph Networks를 이해할 수 있었다. Graph Networks는 많은 분야에 적용되고 있다. 데이터 간 상관관계가 있는 Recommend system, Shortest Path, 등에서 활용되고 있다. 이러한 개념을 다른 분야에도 상관관계가 있는 다양한 분야에 적용시키면 매우 흥미로울 것 같다. 새로운 주제를 소개 시켜준 현구에게 감사하다는 말을 전하고 싶다.

금일 세미나는 relational inductive biases, deep learning, and graph networks라는 주제로 진행되었다. 기계학습에서 inductive bias는 기계학습 모델이 학습 데이터를 통해 접하지 않은 데이터에 대한 추론을 수행할 때 기반하는 가정들의 집합으로 정의된다. 간단하게는, 선형회귀분석에서 입력변수 X와 출력변수 Y간 관계가 선형으로 표현된다고 가정하거나, k-nearest neighbor algorithm에서 입력변수 X를 기준으로 가까운 위치에 있는 관측치들은 유사한 출력변수 Y를 갖는다고 가정하는 것이라고 볼 수 있다. 세미나에서 소개한 relational inductive bias는 개별 개체들 간의 관계를 표현하는 모든 inductive bias들을 의미한다고 한다. 이런 relational inductive bias는 개체를 node로, 관계를 edge로 하는 그래프로 표현될 수 있다. 세미나에서 소개된 논문은 graph neural network를 이용하여 relational inductive bias를 의미하는 graph를 학습하는 framework를 제안하고 있다. Relational inductive bias와 graph neural network에 대한 지식이 부족해서 정확하게 이해하기는 어려웠지만, 흥미로운 연구분야라고 생각한다.