이번 대한산업공학회 추계학술대회는 코로나19로 인해 비대면으로 진행되었다. ICML에서 온라인 학회를 경험해보기도 했고, 올해 일년동안 세미나나 미팅을 비대면으로 했기 때문에 익숙하기도 했지만 발표자로서 참여하게 되어 또 다른 긴장감이 있었다. 이번이 두번째 산공학회 발표이자 대학원에서의 마지막 학회 발표였는데, 아무래도 오프라인에서 청중들을 보면서 발표하는게 더 편하기도 하고 학회느낌이 나서 아쉬웠다. 단방향으로 정보를 전달하기만 하니까 청취자들의 반응을 좀 알수가 없어서 불안한 감이 있었다. 하지만 청취자 입장에서는 오프라인에서 듣고싶은 세션을 장소를 옮겨가며 듣기에는 제약이 좀 있었는데 온라인에서는 또 맘에 드는 세션을 골라서 들을 수 있는 점은 또 온라인이 좋기도 했다. 다음에 온라인으로 하게 되면 회사에 가서도 쉽게 참여할 수 있을 거라는 기대가 들기도 했고, 다양한 분야의 좋은 연구들을 청취하면서 나는 앞으로 어떤 연구를 해야되는지 한번 생각해 볼 수 있는 시간이였다.

[발표후기]

Graph Attention Networks for Emotion Recognition in Conversations

학위 논문으로 심사 예정인 개인 연구를 소개하였다. 대화형 데이터는 일반적인 문서 데이터와 달리 대화를 관통하는 주제와 그 흐름, 대화 참여자간 상호작용을 갖는다. 따라서 기존의 문서 형태의 텍스트 데이터에 대한 감성 분석과는 다른 감성분석 방법론이 필요하다. 기존에는 대화형 감성 분석(ERC) 문제를 대해 결하기 위해서 대화의 흐름을 고려하기 위해 RNN 기반의 연구들이 주로 수행되었다. 하지만 RNN 자체의 학습 문제와 상호작용을 고려하기 어렵다는 단점이 있다. 본 연구에서는 대화를 그래프를 표현하고, 그 그래프 구조를 학습하여 ERC 딥러닝 연구인 Graph Attention Networks 기반 모델을 제안하였다. 제안 모델은 대화형 자료에 대한 우수한 ERC 성능과 함께 Attention score 시각화를 통해 대화 내 전체적인 정보 전달의 흐름을 확인할 수 있었다. 사실 멀티모달 그래프를 구축하고 그래프를 잘 결합할 수 있는 방법론을 목표로 했었는데 기간 내 완료하지 못해서 아쉽기도 하다. 앞으로 기회가 되면 연구를 계속 해볼 생각이다. 

[청취후기]

1. Multi2OIE: BERT 및 Multi-Head Attention을 활용한 다국어 개방형 정보 추출 - 고려대학교 노영빈

문서 형태의 텍스트 자료로부터 의미있는(유용한) 정보를 추출해내는 정보추출에 관한 연구였다. 정보 추출은 개방형과 폐쇄형의 두가지가 있고, 해당 연구는 개방형 정보 추출에 BERT와 Multi-head Attention Block을 결합하여 주어진 문장 내에서 관계와 관계 대상을 추출해내는 모델을 제안하였다. 먼저 Pre-trained BERT를 사용하여 문장 내 모든 토큰들에 대하여 Relation과 Argument에 대한 포함 여부를 예측하게 되며, 예측된 토큰들에 대하여 hidden state의 평균값을 계산한다. 다음 스텝으로는 모든 토큰의 hidden state와 계산했던 평균값, 그리고 포함 여부를 의미하는 positional embedding vector을 결합한 임베딩 값을 Multi-head attention block의 인풋으로 사용하여 BIO tag를 예측하게 된다. NLP에서 정보 추출이라는 영역에 대해서는 잘 몰랐는데 해당 발표를 통해서 잘 이해할 수 있었고, 연구자들이 왜 이렇게 모델을 구성하였는 지에 대해서도 납득이 잘 가는 좋은 연구였던 것 같다. 특히 지난 산공학회에서도 인상깊게 발표를 들었던 DSBA 연구실 노영빈 연구원님의 연구와 발표는 이번에도 역시 보고 배울점이 많았던 훌륭한 발표와 연구였다. 

2. Deeper & Learnable Self-loop Graph Convolutional Networks- 고려대학교 최종현

마찬가지로 DSBA 연구실의 최종현 연구원님의 발표였다. Graph Convolutional Networks (GCN)은 여러 층을 쌓으면 oversmoothing 문제로 학습이 잘 되지 않음이 잘 알려져 있다. 해당 연구에서는 2개의 GCN 변형 모델과 이를 결합한 최종 그래프 신경망 모델을 제안한다. 첫번째로 Deeper GCN은 Gate controller parameter을 두어 hop 간의 message passing 정도를 조정하는 것을 특징으로 한다. 다음으로 Learnable Self-loop GCN에서는 일반적으로 Self-loop을 고려하기 위해서 Identity matrix를 adjacency matrix에 더해주게 되는데 이를 대각원소값을 parameter vector의 원소값으로 갖는 학습 가능한 matrix를 더해주는 형태로 개선한 모델이였다. 이렇게 self-loop을 구성하게 되면 자기 자신의 정보를 얼마나 반영할 것인지까지 학습하는 효과가 발생한다. 그리고 2가지 컨셉을 결합한 모델을 semi-supervised classification 문제에 적용하였다. 그래프 신경망 연구를 개인적으로도 진행하고 있는데 마찬가지로 1개 층만 쌓았을 때 가장 좋은 성능을 보였던 경험이 있다. 이는 GCN이나 GAT 연구에서 1~2개 층에서 가장 좋은 성능을 냈다고 리포트 한 것과 같다. 개인 연구에서는 이를 해결하기 위해서 residual connection을 적용하였는데 해당 연구에서는 gate controller을 적용한 것이 매우 흥미로웠다. 마치 elastic net에서 regularization term에 적용되는 하이퍼파라미터 같은 느낌이였다. 다만 Self-loop을 learnable하게 만든 것은 왜 굳이 self-loop만 그래야 하는지, 그리고 이는 GAT에서 어느 정도 해결을 한 것이 아닌지에 대한 의문이 조금은 들었다. 하지만 mask나 adjacency까지도 학습할 수 있다면 NLP나 GCN 영역에서 새로운 좋은 모델이 나올 것 같다는 생각을 평소에 했는데 이 연구에서 어느 정도 아이디어를 얻을 수 있었다. 좋은 연구를 들을 수 있어 좋았다.