이번 세미나는 uncertainty quantification 방법론에 대해 지윤누나가 발표를 해주었다. 불확실성이라는 정보는 모델이 입력값에 대해서 예측값을 산출할 때 출력값을 얼마만큼 신뢰할 수 있는가에 대한 지표로 활용된다. 특히 모델의 잘못된 예측값이 위험한 상황을 불러올 수 있는 medical, facial detection, security 와 같은 도메인에서는 불확실성에 대한 정보가 매우 큰 도움이 될 것이다.

이 불확실성은 크게 epistemic uncertainty와 aleatoric uncertainty로 나뉘는데 전자는 모델의 일반화 성능과 관련된 줄일 수 있는 불확실성이고 후자는 데이터에 내재된 노이즈로 인해 발생하는 줄일 수 없는 불확실성이다.

불확실성을 계산하는 방법으로는 크게 bayesian-based approach, ensemble-based approach, GP-based approach가 있고, 이번 세미나에서는 각 방법 별로 1~2개의 방법론을 소개해 주었다. bayesian-based와 ensemble-based는 기존에 알고 있던 여러 기법들을 활용하여 불확실성을 계산하기 때문에 쉽게 이해할 수 있었다.

GP-based는 Gaussian Process는 처음 접하는 개념이었고 요구하는 배경지식 또한 많기 때문에 어려웠지만 out-of-distribution 문제를 중점적으로 해결하기 위해서 기존의 불확실성 방법론의 단점을 찾고 Gaussian Process를 통해서 문제를 해결했다는 컨셉 정도는 알 수 있었다.

이번 세미나를 통해서 uncertainty quantification이란 분야의 큰 흐름에 대해 알 수 있었고, 항상 모델의 성능에만 신경써 오다가 모델의 예측에 대한 신뢰도에 대해서도 생각해 볼 계기가 되었다. 좋은 세미나를 준비해준 지윤누나에게 감사를 전하며 세미나 후기를 마친다.

금일 세미나는 uncertainty quantification에 대해 진행되었다. Uncertainty는 모델을 통한 예측 값을 얼마나 확신하는지에 대한 지표이다. Uncertainty는 모델로 인한 경우와 데이터로 인한 경우로 나눌 수 있다. 모델로 인한 경우에는 모델이 데이터의 어떤 특징을 학습하는지에 대해 모르는 정도를 의미한다. 해당 uncertainty는 다양하고 많은 데이터를 학습하면 줄일 수 있다. 데이터로 인한 경우는 데이터에 내재된 노이즈로 인해 이해하지 못하는 정도를 의미한다. 학습되는 데이터의 수와 무관하지만 데이터 측정의 정밀도를 높임으로써 줄일 수 있다.
Uncertainty를 정량화하기 위한 대표적인 방법론으로는 bayesian-based approach, ensemble-based approach, GP-based approach가 있다. Bayesian-based approach는 bayesian neural network에 dropout을 적용하는 방식이다. 확률적 모델링을 통해 입력 값에 대한 다양한 출력 값들의 분산을 uncertainty로 정의한다. Ensemble-based approach는 uncertainty와 관련한 노드를 추가하여 앙상블을 수행하는 방식이다. GP-based approach는 out-of-distribution인 관측치에 대해서도 uncertainty가 잘 정의되는 것을 목표로 한다. 거리 정보를 잘 유지하며 차원 축소를 한 후에 GP layer에 적용하는 방식이다.
이번 세미나를 통해 uncertainty quantification의 연구 흐름에 대해 알 수 있었다. 특히 이해하기 쉬운 예시로 uncertainty의 개념을 잘 정의해주셔서 유익한 세미나였다.

금일 세미나는 지윤 누나가 불확실성 인식 가능한 여러 가지 딥러닝 학습 방법론을 소개해주었다. 불확실성은 예측에 있어 확신하는 정도를 정량화한 지표로, 예측 에러로 인한 기회 비용이 큰 분야에서 적극 활용될 수 있다. 불확실성에 대한 기본 개념을 포함하여 종류 또한 살펴볼 수 있었다. 가장 대중적이고 중요한 방법론들부터 최신 방법론까지 자세하게 리뷰되었다. 개인 연구 쪽에 베이지안 딥러닝을 사용하고 있는 와중에 본 세미나를 들어 기본적인 개념부터 탄탄하게 다질 수 있었다. 가장 최신 논문은 가우시안 프로세스를 활용해 기존 논문들이 OOD 데이터에 한하여 잘못된 불확실성 가짐 문제를 보완하였다. 세미나 끝에서는 불확실성과 관련된 연구 동향을 정리하고, 유의미한 자료들을 공개해주었다. 불확실성과 관련된 연구를 하는 연구원들에게는 꼭 추천하는 세미나였다. 좋은 세미나를 준비해주신 지윤 누나에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

모델의 예측에 대한 신뢰성을 정량적 지표로 알려주는 것을 Uncertainty Quantification 이라고 한다. 이전에 지윤 누나와 민정 누나가 진행했던 세미나에서 Bayesian Neural Network 를 통한 Epistemic/Aleatoric Uncertainty 를 다뤘던 기억이 난다. 금일 세미나는 BNN 뿐만 아니라, Ensemble 기반과 Gaussian Process 기반까지 총 3가지 접근 방법으로 Uncertainty 를 도출하는 과정을 알아보았다.

GP-based 방법론은 처음 접해본 개념이라 완벽히 이해되지 않았으나, 세미나에 제시된 히트맵을 통해 GP-based가 BNN-based 보다 OOD(Out-of-Distribution) 데이터의 Uncertainty 를 더 잘 정량화한다는 정도만 파악하였다.

최근 다중 채널 시그널 데이터 이상치 탐지 관련 프로젝트에 참여하게 되었는데, 이상치를 잡아내는 기준으로 Uncertainty 를 활용한 연구가 진행될 예정이다. 지윤 누나의 세미나를 양분 삼아 산학 과제를 잘 진행해볼 수 있을 것 같다. 세미나를 준비하느라 고생하신 지윤 누나께 감사의 말씀을 드린다.