양재 엘타워에서 개최된 2022년 한국데이터마이닝 추계학술대회에 발표자로 참가하였다. 20,21년보다 넓고 시설이 좋은 홀에서 발표를 진행했는데 청취자도 훨씬 많았고, 설레는 마음을 안고 학회 분위기를 열심히 느끼고 다녔다. 동국대 이우진 교수님의 AI Cyber Attacks에 관한 오프닝 세미나를 들었는데, 연구실 바깥 사람의 세미나를 오랜만에 현장에서 청취하니, 재미 있었다. 개인적으로, 베이지안 딥러닝 이론이 AI Attack에 강건할 수 있다는 사실이 인상 깊었다. 

[Knowledge distillation with insufficient training data for regression - 강명인(성균관대), 강석호(성균관대)]

대부분의 지식 증류 연구는 이미지 분류 기법에 초점을 두고 연구되고 있는데, 본 연구는 회귀 문제에 초점을 두고 있었다. 지식 증류가 회귀 문제에서는 어떻게 전개되어야 하는지가 흥미로웠고, insufficient training data라는 연구 토픽도 흥미로웠다. 해당 토픽은 Mother Model의 지식을 전달 시키는 과정에 있어서, 사용할 수 있는 데이터셋에 제한이 있는 상황인데, 현실에서 충분히 일어날 수 있을법한 상황이라 인상 깊었다. 또한, Gradient Matching라는 기법으로도 지식 증류가 가능한 것을 새롭게 알게 되었는데, 직관적인 방법이여서 기억에 남았다. 

[Data-free Approach to Constructing Ensemble of Local Experts - 이선빈(성균관대), 강석호(성균관대)]

일반화 성능 향상에 탁월하게 효과적인 앙상블 기법 발표였다. 단순 혹은 가중 평균 방식의 앙상블(배깅) 기법만 알고 있었는데, 해당 발표를 듣고 앙상블 방식 안에서도 이렇게 다양한 토픽들이 꾸준하게 연구되고 있음을 새롭게 확인할 수 있었다. 앙상블 안에서의 Data-Free라는 토픽도 많이 흥미로웠는데, 이미 학습이 끝난 예측 모델들로만 앙상블을 해야하만 하는 상황을 의미한다. 그리고 Local Experts라는 토픽도 앙상블 안에서 꽤나 중요한 주제임을 알 수 있었는데, 여러 예측 모델들이 겹치지 않은 다양한 데이터 분포를 가진 데이터셋들로 학습되어 있는 상황에서는 어떤 앙상블 방식이 좋을까에 관한 주제였다. 이 토픽 또한 현실적인 주제를 반영하고 있기에, 흥미롭게 들을 수 있었다. 관련 연구 Section에서는 불확실성을 기반한 앙상블 투표 방식도 말씀 해주셨는데, 이 또한 인상 깊었다. 

[An uncertainty-based data processing method for reducing overconfidence in Bayesian Neural Networks - 본인발표]

딥러닝 예측 모델의 과대 확신 문제를 베이지안 불확실성 기반 데이터 변형 기법으로 해결하려는 연구를 발표하였다. 과대 확신이라는 문제점을 사람들에게 잘 알리고, 어떤 특성을 가진 모델이 과대 확신하지 않을까를 많이 고민하고 장표로 정리해볼 수 있었던 좋은 기회였다. 내가 사용한 데이터 변형 기법은 베이지안 불확실성을 이용하기 때문에, 과대 확신 문제점을 베이지안 도메인에서 설명하려 노력했는데, 기존 베이지안 도메인에서는 무언가 다른 느낌으로 과대 확신을 해결하려는 기존 연구 트렌드가 있어서(OOD 탐지를 위한 불확실성), 이것 저것 (공통점)비교하면서도 결국은 다름을 강조하려고 많이 노력한 발표였다. 완성된 연구가 아니다보니 발표 준비하면서 이런 저런 걱정을 많이 해왔는데, 발표를 하고 나니 많이 정리된 것 같아서 좋다. 두 세번의 학회 발표를 더 하고 나면 본 연구 또한 끝나있지 않을까 행복 회로 돌리며, 세미나 후기를 마치도록 한다.