이번 대한산업공학회 추계학술대회는 코로나로 인해 온라인으로 진행되었다. 공간적인 제약이 없어서 자유롭게 다른 세션에 들어가서 볼 수 있는 장점이 있었지만, 직접 보고 교류하는 장이 없어서인지 온전하게 발표자의 떨리는 호흡과 긴장된 눈빛까지 보지 못해서 다소 아쉬웠다. 나아가, ICML과 같이 큰 학회는 아니었지만, 같은 시기에 국내의 다른 학우들은 어떠한 연구를 하고 있는지 살펴볼 수 있어서, 내 자신을 다시 돌아볼 수 있는 좋은 기회였다. 

[Robust Hyperparameter Optimization with Population-based Training and Bandit Algorithm] (조억, 김성범)

딥러닝 모델들은 하이퍼파라미터 값에 성능이 들쭉날쭉하기에 최종 모델이 나오기까지 이 변수들에 대한 서칭작업이 반드시 수반된다. 하지만, 계산 자원이 제한된 환경에서는 ‘모든 조합에 대해 검사’(Parallel Search)하기 어렵고, 휴리스틱하게 설정된 하이퍼파라미터 셋을 시행착오를 통해 최적값을 찾아가는 방법(Sequential Optimization)은 많은 시간이 걸린다. 본 저자는 각 방법의 장점을 병합한 PBT(Population-Based Training)에서 새 generation에서 각 모델의 하이퍼파라미터를 바꿀지 말지를 강화학습의 Bandit Problem으로 바꾸어, Bandit 모델이 특정 조합의 Perturbation을 집중할 수 있게 함으로써 더 빠르고 성능이 좋은 모델 결과를 얻을 수 있었다. 발표에 나온 실험은 비록 간단한 MNIST와 Cartpole Problem이였지만, 실험결과가 baseline보다 상당히 좋은 Accuracy 잘 나와서 앞으로 더 복잡한 문제에 대한 성능 평가도 많이 기대된다. 다만, x축이 iteration 및 episode로 되어 있어 실질적으로 모델이 소모하는 컴퓨팅 자원(memory size, computing time)이 어느정도인지 알 수 없어 이 부분만 보충해준다면 더 좋은 설득력을 가질 수 있을 것으로 보인다. 마지막으로 분야를 막론하고 쓸 수 있는 알고리즘이므로 큰 파급력을 가질 수 있을 것이라고 생각한다. 

[Graph Attention Networks for Emotion Recognition in Conversations] (강현규, 김성범)

최근 NLP 기술 발전에 따른 다양한 인공지능 서비스가 도입됨에 따라 대화형 데이터에 대한 분석 필요성이 증가되고 있다. 서비스 제공자는 향후 사용자 개인에 적합한 서비스를 주기 위해 대화를 관통하는 주제와 흐름을 고려하여 발화자의 감성 분석(Emotion Recognition)해야 한다. 대화 흐름을 잡아내기 위해 일반적으로 RNN을 쓰는 기존 방법론과 다르게 저자는 이를 Self-Attention으로 대체하고, 다화자 간 대화 인식을 위해 GCN을 쓰되 RNN단계를 배제한 1-step으로 GCN을 사용하기 위해 Graph Attention Network를 사용하였다. GAT와 다른점은 한 발화자의 발화 내용 간(e.g t-1, t 시점간)에 대해 Masked-Self-Attetion을 사용함으로써 좀 더 한 발화자의 발화내용에 대한 정보가 소실되지 않도록 Self-dependency에 대한 설계를 한 점이 특징이다. 실험결과 기존 방법론인 Text-CNN, DialogueRNN 보다 우수한 성능을 보였으며 나아가 모델 자체가 Attention을 이용함으로써 필요시 attention score로부터 자연스레 모델에 대한 해석력을 얻을 수 있다는게 장점이다. GAT로부터 모델 구조가 크게 바뀌지는 않았지만, 실제 최근 수요가 필요한 분야에 딱 알맞는 특징을 갖는 모델인 'GAT'를 적절히 선택하여 적재적소에 쓴 저자의 응용력을 배우고 간다.