임새린

Out-of-distribution detection은 신뢰 가능한 인공지능 모델을 구축하기 위해 반드시 해결해야 하는 문제 중 하나이며, ID와 OOD의 차이가 드러나는 지점을 어떻게 발견하고 이를 score function으로 정의하는지에 따라 다양한 접근법이 존재한다. 이번 세미나에서는 Neural Collapse라는 하나의 현상을 공유하면서도 이를 전혀 다른 방식으로 활용한 두 논문을 소개하였다. NECO는 학습이 진행될수록 ID 특징이 저차원 부분공간으로 수렴하고 OOD는 그 공간과 직교하는 방향으로 향한다는 사실에 주목하여, 이 저차원 구조 자체를 OOD 탐지에 활용될 수 있는 자원으로 보았다. 반면 D-KNN은 같은 현상이 오히려 거리 기반 탐지 방법의 성능을 저해하는 편향으로 작용할 수 있음을 지적하고, 의미 공간과 잔차 공간을 분리하여 이 문제를 해결하고자 하였다. 이처럼 동일한 현상이라도 이를 바라보는 관점에 따라 전혀 다른 방법론으로 이어질 수 있다는 점이 이번 세미나의 핵심이었다. 앞으로도 AI 기술이 실제 환경에 폭넓게 적용되면서 OOD 탐지의 중요성은 더욱 커질 것으로 예상되며, 이번 세미나를 통해 Neural Collapse 기반 접근법의 개념과 최신 연구 동향이 잘 전달되었기를 바란다.

심세진

이번 세미나는 neural collapse(NC)를 활용한 OOD 탐지를 다뤘다. OOD 탐지 문제상황은 분류 모델이 학습하지 않은 OOD 샘플이 들어와도 무조건 학습한 ID 클래스 중 하나로 예측한다는 것이다. softmax 확률의 경우 신경망은 작은 변화에도 logit이 크게 흔들리고 softmax가 그 차이를 지수적으로 증폭시켜서 OOD 샘플도 우연히 높은 확신을 갖기에 확률 대신 feature space에서 거리를 재는 Mahalanobis와 KNN이 나왔지만, 이들은 ID 샘플이 어떤 구조를 이루는지를 가정하거나 추정할 뿐 설명하지는 못한다. NC는 학습이 수렴하면 FC layer 직전 feature space에서 같은 클래스의 특징은 클래스 중심으로 모이고, 중심 벡터들은 서로 등각, 등크기인 simplex ETF 구조로 결국 D차원 feature space 임에도 ID 샘플들은 C-1차원에 집중되어 있음을 의미한다.

첫 번째 논문인 NECO는 ID가 ETF 구조를 이룬다면 OOD는 어디에 있을지 확인했을 때, 학습이 진행될수록 OOD 샘플의 중심 벡터가 ID 클래스 중심 벡터들과 수직을 이루는 방향으로 수렴하는 것을 발견했다. PCA 관찰 시 ID는 클래스별로 퍼져 있고 OOD만 원점 주변에 뭉쳐 있는 것을 확인할 수 있었기에 이를 기반으로 OOD score를 계산한다.
두 번째 논문인 D-KNN은 NC를 교정해야 할 편향으로 본다. CIFAR이 ID인 상황에서 MNIST처럼 의미적으로 단순한 OOD를 오히려 걸러내지 못했는데 원인은 NC가 만든 축의 불균형이었다. 클래스를 가르는 의미 축 몇 개에만 분산이 몰리고 나머지 축은 납작해져서 OOD 샘플이 ID 샘플보다 클래스 중심에 가까운 즉, 거리지표가 왜곡되는 문제가 발생한다. 이를 해결하기 위해 의미 공간과 잔차 공간을 분리해 OOD score를 계산한다.

최근 NC를 통해 다양한 기존 문제를 효과적으로 해결하는 방법론들이 등장하고 있다, NC 기반 OOD 탐지도 이에 하나로 내 기존 연구에서도 NC 성질을 활용할 수 있는지 고민하는 계기가 되었다. 최신 동향을 소개해준 새린이에게 고맙다는 이야기를 전하며 세미나 후기를 마친다.