[학회후기]

이번 데이터마이닝학회는 고려대학교에서 개최되었을 뿐 아니라 발표도 하지 않아서 세미나 듣는 마음으로 편하게 참석할 수 있었다. 도형록선배와 강현규연구원이 SAS논문경진대회에 제출 및 발표를 하였고 도형록 선배가 최우수상 수상을 하게되었다. 그의 발표도 노련했지만 날카로운 질문에 매끄럽고 논리적으로 방어하는 모습에 감탄하였다. 나라면 저렇게 대답할 수 있었을까? 생각하게 하는 시간이었다. 이번 년도 많은 학회 참석으로 다들 정신없고 바쁜 한해를 보냈을 연구원들 모두 올 한해 마무리를 잘 지었으면 좋겠다. 나또한 이번학기가 끝나면 수료도 하는 만큼 새로운 마음가짐으로 올 한해를 마무리하고 내가 진행하는 연구도 방학동안 좋은 결실을 맺으면 좋겠다는 생각을 한다. 화이팅~!!

[청취후기]

Zero-shot knowledge distillation for regression, 강명인, 강석호, 성균관대학교

모델의 적용 단계에서 자원(계산, 메모리)의 제한이 있을 때 이 해결을 위해 모델 압축(distillation)연구가 이루어져왔다[Pruning, Quantization, Low-rank factorization, Knowledge distillation 연구 중 최근 Knowledge distillation연구가 많이 이루어지고 있음]. 그 중 원본 학습데이터의 이용이 불가능한 환경에서 우수한 큰 모델을 근사하는 작은 모델을 학습하는 zero-shot knowledge distillation이 최근 활발히 연구되고 있다. 하지만 이는 classification에 국한되어 연구되고 있다는 한계를 지닌다. 본 연구에서는 이를 regression문제에 적용하기위해 generator와 student의 적대적 학습을 활용하였다. classification은 softmax값을 knowledge로 여기지만 regression에서는 knowledge를 명확히 정의할 만한게 없다는 발표자의 말에서 연구 아이디어를 이부분에서 고민해보면 좋겠다는 힌트를 얻을 수 있었던 우수한 발표였다.

Active Learning of Graph Neural Network for Molecular Property Prediction, 윤수희, 강석호, 성균관대학교

그동안 물성예측은 기계학습으로 수행하는 연구들이 많이 이루어져왔지만, Molecular fingerprint라고 벡터형식으로 특징을 변환하여 모델의 입력으로 사용한다는 한계가 있었다. 하지만 최근 Graph neural network의 발전으로 정보 손실없이 Graph구조 그대로를 딥러닝에 입력하여 활용할 수 있는 많은 연구들이 진행되고 있다. 본 연구에서는 이 부분에 Active learning을 추가하였다. 이는 최근 Bayesian neural network의 발전으로 간단하게 GNN과 BNN의 결합으로 새로운 연구 결과를 도출했다는 점에서 개인적으로 참 아쉬움이 크다. 최근 이 두 논문에 대해서 세미나를 준비하며 공부했었기에 나는 어떤 부분이 부족하여 이런 생각을 하지 못하였는가 나를 뒤돌아 보게 하였다.