허종국

금일 세미나는 In-distribution data의 클래스 정보를 활용해, 클래스 별 prototype을 학습하고, 해당 prototype과 데이터 간의 유사도를 기반으로 OOD를 탐지하는 prototype-based OOD detection 알고리즘 2가지, CIDER와 PALM에 대해 알아보았다.

CIDER의 경우, 학습 측면에서는 self-SL에서 사용된 supervised contrastive learning (SPC)와 상당히 유사하다. In-distribution 데이터에서, 동일 class간 유사도는 높여 응집력을 높이고 다른 class간 유사도는 낮추는 방식을 사용한다. 대신, SPC와 달리 개별 데이터 간의 유사도가 아니라 prototype과의 유사도를 계산하는 방식이기 때문에, 원래라면 EM algorithm을 통해 prototype 계산과, 해당 prototype에서 임베딩 벡터가 추출될 확률을 최대화 하는 과정을 번갈아 진행해야 하지만, ema 업데이트를 통해 이를 iterative하게 수행할 수 있게 하였다. 다만 기존 SPC loss를 그대로 사용할 경우, 클래스 prototype 간 거리, 즉 군집 간 거리에 대한 제약이 존재하지 않기 때문에 hard OOD를 탐지하기 어렵다. 이를 방지하기 위해 CIDER에서는 dispersion loss라는 것을 구하게 되는데, 간단히 말해 서로 다른 prototype간의 유사도를 낮추는, 형태적으로는 energy를 낮추는 loss를 추가하였다.

추후 소개된, PALM의 경우, CIDER를 고도화한 방법론이다. CIDER의 경우 동일 클래스 내의 다양성, 즉 multi-modality를 고려하지 않고, single modal인 gaussian을 예측 (정확히는 von-Mises-Fisher, vMF라고 한다)하는 방식이라면, PALM은 mixture model 형태로 개별 클래스에 대한 분포를 mixture of vMF로 모델링한다. mixture of vMF로 바뀌면서 고려해야 할 점은 개별 class에 대한 mixture를 계산 할때, 개별 modal에 대한 hard assignment를 수행하면 prototype collapse 문제가 발생할 수 있기 때문에, SwAV와 같이 sinkhorn-knop 알고리즘을 통해 optimal transport를 찾는 문제를 추가한다. 이는 유사도가 높은 특정 mode에 인스턴스를 할당하되, entropy를 고려하는 방식이다. 또한 dispersion loss 에서도, 기존의 unimodal prototype에 대한 거리를 최대화하는 대신, 동일 클래스의 서로 다른 mode는 가깝게, 다른 클래스의 mode 간에는 멀게하는 loss term으로 수정하였다.

간결하고 직관적인 세미나였던 것 같다. 세미나를 준비하느라 고생한 새린이형에게 감사의 말을 전한다.

이정민

이번 세미나는 학습이 필요한 OOD detection 방법론들 중 prototype을 기반으로 하는 CIDER, PALM 방법론들에 대해 소개해주었다. 기존 supcon loss는 클래스 군집 간 거리 규제가 없기 때문에, hard OOD에 대해서는 탐지가 어렵다는 한계가 존재하므로 이를 두 방법론이 해결하였다.
CIDER는 prototype을 통해 class간 compact를 높이는 방향으로 학습을 진행하며, EM 알고리즘과 더불어 EMA update 방식을 통해 학습 안정성을 더하였다. 추가적으로 prototype 간의 거리를 커지게 하는 dispersion loss를 통해 기존 supcon loss 와 같은 문제를 해결할 수 있도록 하였다. Ablation 결과를 보면, 두 loss 모두 중요한 역할을 하고 있는 것을 확인할 수 있으며, 메인 실험을 통해 결과적으로 hard OOD까지 잘 탐지할 수 있는 것을 보여주었다. 정성적 결과를 통해 cross-entropy loss를 사용했을 때보다 class간 더 잘 뭉치는 것을 보여주었는데, 이를 기존 supcon loss와 비교하거나, ablation에서도 이러한 정성적 결과를 보여줬으면 하는 아쉬움이 남기는 하였다.
PALM은 CIDER의 확장판으로, 쉽게 말하면 class 내 prototype을 하나로 설정하는 것이 아니라, class 내부에서도 각 샘플의 semantic을 잘 활용하도록 여러 prototype을 두었다. Mixture prototype을 통해 각 샘플의 semantic을 적절히 반영하며, entropy 규제를 통해 prototype collapse를 방지하였고, 결과적으로 soft assignment를 최적화 할 수 있었다. 메인 실험을 보면 기존 방법론들 대비 꽤 향상된 성능을 보여주었고, prototype 개수에 따른 실험을 통해 2개 이상의 prototype을 활용하는 것이 매우 효과적인 것을 추가로 보여주었다. 실험 구성을 보면, 제안 방법론을 잘 어필했다는 것을 알 수 있다.
요즘 연구실에서 OOD detection 분야를 많이 연구하고 있는데, VLM을 활용하는 등 접근 방식은 다를 수 있지만 이러한 기존 연구들을 잘 참고하면 더 좋은 방향으로 연구가 될 수 있지 않을까라는 생각이 든다. 방법론들을 수식적으로도 잘 설명해주어 이해하기 편한 세미나였고, 좋은 세미나를 만드느라 고생한 새린이형에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.