[학회후기]

2021년 10월 24일부터 27일까지 4일간 진행된 INFORMS는 화상으로 진행하였다. 벌써 2년이 지난 첫 INFORMS에서의 이런 저런 기억이 때문에 비대면으로 진행하게 되어 아쉬운 마음이 있지만 어느새 익숙해진 화상미팅으로 진행되어 편안한 마음으로 준비할 수 있었다. 특히나, 공간적 제약이 사라지면서 다국에서 모인 연구원들이 각자의 시간에 맞추어 발표 및 청취를 하는 모습이 기억에 남는다. 내가 참여한 세션 VMD08. Data Mining I은 네 명의 연구원으로 구성되었으며, 한국시간 기준으로 아침 6시 45분 매우 이른 시간에 진행되었다. 시차로 인해 불편한 부분도 있었지만, 새벽에 학회를 진행하는 이색적인 경험을 할 수 있었던 것 같다. 훗날 직접 학회에 참여하여 청취 및 네트워킹을 할 수 있는 기회가 마련되었으면 하는 바람이다.

[발표후기]

제목: Out-of-distribution detection using uncertainty-aware hierarchical attention mechanism

센서 데이터로부터 수집되는 다변량 시계열 데이터를 대상으로 여러 연구가 수행되고 있다. 산업에서 수행되는 대표적인 문제상황으로, 수집되는 장비 센서데이터로부터 장비의 상태를 모니터링, 불량/정상에 대한 원인규명을 위해 해석 가능한 알고리즘 개발, 신규 장비의 도입, 공정 세분화로 인해 새롭게 규정되는 범주(class)를 탐지하는 것이 있다. 제안 알고리즘은 attention mechanism을 활용하여 우수한 상태 모니터링과 더불어 주요 인자 해석이 가능하며, Bayesian neural network구조를 접목시켜 도출되는 불확실성을 기준으로 unknown class탐지를 가능하게 한다. 추후 previous research에 대한 탐색과 더불어 추가적인 비교 실험이 필요하다고 생각한다.

질문1: 예측결과가 구간추정으로 도출되는 매커니즘이 무엇인지.

답변1: 모델의 파라미터가 지니는 prior distribution을 정규분포로 가정하였을 때, 네트워크에 dropout, L2정규화를 적용하여 Bayesian neural networks (BNNs)구조를 재현할 수 있다. BNN의 경우, 예측 결과 값에 평균값과 분산 값을 제공하기 때문에, 분포의 형태로 도출된다고 이해할 수 있다.

질문2: 제안 모델이 기존 모델보다 성능이 우수할 수 있었던 주요 요인은 무엇인가.

답변2: 먼저 attention mechanism을 통해 parameter관점에서 주요 요인의 영향을 많이 반영했기 때문에 이를 사용하지 않은 모델 대비 성능이 좋아졌다고 할 수 있다. 특히나, 노이즈가 많은 데이터 셋에서는 성능의 개선이 많이 이뤄진 것을 볼 수 있다. 더불어, 불확실성 정량화를 통해 Bayesian neural network구조를 반영하여 적용하였으며, 기존 문헌들에서 BNN은 overfitting을 개선한다고 알려져 있다. 실험적으로도 제안 모델의 일반화성능이 더 우수하게 나온 것을 확인할 수 있었다.