Out-of-distribution detection은 신뢰 가능한 인공지능 모델을 구축하기 위해 반드시 해결해야 하는 문제 중 하나이며, ID와 OOD의 차이가 드러나는 지점을 어떻게 발견하고 이를 score function으로 정의하는지에 따라 다양한 접근법이 존재한다. 이번 세미나에서는 neural collapse라는 하나의 현상을 공유하면서도 이를 전혀 다른 방식으로 활용한 두 논문을 소개하였다. NECO는 학습이 진행될수록 ID 특징이 저차원 부분공간으로 수렴하고 OOD는 그 공간과 직교하는 방향으로 향한다는 사실에 주목하여, 이 저차원 구조 자체를 OOD 탐지에 활용될 수 있는 자원으로 보았다. 반면 D-KNN은 같은 현상이 오히려 거리 기반 탐지 방법의 성능을 저해하는 편향으로 작용할 수 있음을 지적하고, 의미 공간과 잔차 공간을 분리하여 이 문제를 해결하고자 하였다. 이처럼 동일한 현상이라도 이를 바라보는 관점에 따라 전혀 다른 방법론으로 이어질 수 있다는 점이 이번 세미나의 핵심이었다. 앞으로도 AI 기술이 실제 환경에 폭넓게 적용되면서 OOD 탐지의 중요성은 더욱 커질 것으로 예상되며, 이번 세미나를 통해 neural collapse 기반 접근법의 개념과 최신 연구 동향이 잘 전달되었기를 바란다.

​

이번 세미나는 neural collapse(NC)를 활용한 OOD 탐지를 다뤘다. OOD 탐지 문제상황은 분류 모델이 학습하지 않은 OOD 샘플이 들어와도 무조건 학습한 ID 클래스 중 하나로 예측한다는 것이다. softmax 확률의 경우 신경망은 작은 변화에도 logit이 크게 흔들리고 softmax가 그 차이를 지수적으로 증폭시켜서 OOD 샘플도 우연히 높은 확신을 갖기에 확률 대신 feature space에서 거리를 재는 Mahalanobis와 KNN이 나왔지만, 이들은 ID 샘플이 어떤 구조를 이루는지를 가정하거나 추정할 뿐 설명하지는 못한다. NC는 학습이 수렴하면 FC layer 직전 feature space에서 같은 클래스의 특징은 클래스 중심으로 모이고, 중심 벡터들은 서로 등각, 등크기인 simplex ETF 구조로 결국 D차원 feature space 임에도 ID 샘플들은 C-1차원에 집중되어 있음을 의미한다.

첫 번째 논문인 NECO는 ID가 ETF 구조를 이룬다면 OOD는 어디에 있을지 확인했을 때, 학습이 진행될수록 OOD 샘플의 중심 벡터가 ID 클래스 중심 벡터들과 수직을 이루는 방향으로 수렴하는 것을 발견했다. PCA 관찰 시 ID는 클래스별로 퍼져 있고 OOD만 원점 주변에 뭉쳐 있는 것을 확인할 수 있었기에 이를 기반으로 OOD score를 계산한다.

두 번째 논문인 D-KNN은 NC를 교정해야 할 편향으로 본다. CIFAR이 ID인 상황에서 MNIST처럼 의미적으로 단순한 OOD를 오히려 걸러내지 못했는데 원인은 NC가 만든 축의 불균형이었다. 클래스를 가르는 의미 축 몇 개에만 분산이 몰리고 나머지 축은 납작해져서 OOD 샘플이 ID 샘플보다 클래스 중심에 가까운 즉, 거리지표가 왜곡되는 문제가 발생한다. 이를 해결하기 위해 의미 공간과 잔차 공간을 분리해 OOD score를 계산한다.

최근 NC를 통해 다양한 기존 문제를 효과적으로 해결하는 방법론들이 등장하고 있다, NC 기반 OOD 탐지도 이에 하나로 내 기존 연구에서도 NC 성질을 활용할 수 있는지 고민하는 계기가 되었다. 최신 동향을 소개해준 새린이에게 고맙다는 이야기를 전하며 세미나 후기를 마친다.

이번 발표는 OOD(out of distribution) 탐지의 기본 문제와 최대 softmax 확률(maximum softmax probability)의 한계에서 출발하여, neural collapse에 따른 특징 공간의 기하학적 구조를 설명하고 이를 NECO와 D-KNN으로 연결한 흐름이 좋았습니다. Neural collapse는 학습이 충분히 진행된 후 같은 클래스의 특징들이 클래스 중심으로 모이고, 서로 다른 클래스의 중심은 규칙적으로 배치되는 현상입니다. 이때 전체 평균을 기준으로 클래스 중심 벡터들이 같은 길이와 서로 동일한 각도를 이루는 구조를 simplex ETF라고 합니다.

NECO는 ID(in distribution)의 주성분 공간에 대한 투영 비율을 이용하여 OOD를 탐지하고, D-KNN은 주성분 공간의 큰 분산에 가려진 잔차 정보를 활용하기 위해 두 공간의 KNN 거리를 각각 계산한 뒤 표준화하여 결합합니다. 특히 동일한 neural collapse 현상을 NECO는 탐지에 활용할 구조로, D-KNN은 거리 계산의 편향을 보정해야 하는 배경으로 바라본다는 차이를 마지막에 정리한 점이 인상적이었습니다.

무엇보다 MSP의 한계를 본인이 직접 수행한 실험 결과를 통해 명확하게 보여 준 점이 훌륭하였습니다. OOD에도 높은 확률이 부여될 수 있다는 문제를 실제 결과로 설명하여, 왜 특징 공간을 활용하는 접근이 필요한지 설득력 있게 전달하였습니다. 이러한 방식은 논문의 내용을 스스로 확인하고 해석하려는 연구자로서의 좋은 태도라고 생각합니다.

발표 중 포인터로 설명하는 부분을 하나하나 짚어 주어 수식과 그림의 어느 부분을 보고 있는지 쉽게 따라갈 수 있었습니다. 발표 속도도 적절하였고, 전체적으로 차분하고 깔끔하게 전달한 발표였습니다. 다만 주성분 공간으로의 투영이나 잔차 공간의 역할처럼 부가적인 설명이 필요한 부분에서는 펜으로 방향이나 핵심 관계를 간단히 필기해 주었다면 이해에 더욱 도움이 되었을 것입니다.

복잡한 개념을 청중이 이해할 수 있도록 단계적으로 구성하고, 직접 실험한 결과까지 더한 준비가 잘 드러났습니다. 앞으로도 이러한 태도를 이어 가면서 두 방법이 각각 어떤 상황에서 유리할지에 대한 본인의 해석을 더해 간다면 더욱 깊이 있는 발표와 연구로 발전할 수 있을 것입니다. 수고 많았습니다.

이번 세미나는 neural collapse (NC)를 기반으로 한 OOD 탐지 방법론 두 가지에 대해 소개해주었다. 이번 세미나의 가장 큰 특징은 NC를 바라보는 시각과 활용하는 방식이 정반대인 두 논문을 소개해주었다는 점이다.
먼저 Neco는 NC를 OOD 탐지를 위한 신호로 바라봤으며, 학습 마지막 단계에 ID 데이터들의 특징이 simple ETF 구조를 이룬다는 점을 활용하였다. PCA를 하면 OOD 데이터는 ID 데이터와는 다르게 원점에 가까워지기 때문에, 이 정보를 OOD score에 반영하였고, 이 부분에 class별 정보를 담을 수 있는 max logit 값을 같이 반영하여 최종 OOD score를 정의하였다.
두 번째 논문인 D-KNN은 Neco와는 반대로 NC를 OOD 탐지를 방해하는 노이즈로 바라봤다. 의미 공간 거리만 반영하면 OOD가 오히려 ID와 구분이 안되기 때문에 이에 잔차 공간 거리를 같이 반영하여 보정하였다. 최종적으로는 두 공간 거리를 각각 표준화하여 스케일을 맞추어 준 뒤, 가중합을 하였고, 실험 결과 두 거리를 거의 동등하게 반영하였을 때 우수한 성능을 보여주었다. 실험 부분에서 인상 깊었던 점은, 의미적으로 ID와 OOD가 구분이 안되는 CIFAR-100-C가 OOD인 상황에서의 실험을 추가적으로 보여준 부분이였다. D-KNN의 핵심적인 특징이 "의미 공간 거리만 반영하면 안된다" 였기 때문에, 이러한 실험 세팅에서 Neco와 비교하여 D-KNN의 강점을 확실히 어필하였다.
이번 세미나를 통해 한 포인트에 대해서도 정반대의 시각을 가질 수 있다는 것을 확실히 느낄 수 있었다. 기초적인 개념부터 문제 상황, 각 논문의 시각과 활용법을 잘 설명해주어 큰 도움이 되었다. 특히, 발표자가 직접 실험을 하여 문제 상황을 설명해준 점이 가장 인상 깊었고 이 부분에서 특히 고맙다는 말을 전하고 싶다. 현재 ID와 의미적으로 유사한 hard OOD가 ID와 함께 학습 데이터에 혼재하는 상황에 대해 연구하고 있는데, 이번에 소개해 준 연구들을 잘 참고하면 도움이 많이 될 것 같다. 좋은 세미나를 만드느라 고생한 새린이형에게 고맙다는 말을 전하며, 세미나 후기를 마친다.

이번 세미나는 Neural Collapse (NC) 기반 OOD 탐지에 대해 진행되었다. NC는 잘 학습된 모델의 특징 공간이 특정 기하학적 공간으로 수렴하는 현상을 말한다. 구체적으로, ID 샘플들은 군집을 이루는 반면, OOD 샘플들은 ID 샘플과 수직에 위치한다는 것이다. 이러한 원리를 기반으로, 주성분 공간에 투영 시 ID 샘플들은 거리가 작은 반면, OOD 샘플들은 거리가 크다는 것으로 개념을 확장하여 OOD 탐지를 수행한다. 이러한 개념을 처음 제시한 연구가 첫번째로 소개한 NECO이며, 이러한 거리 개념을 의미적 거리와 잔차적 거리로 세부 해석한 것이 두 번째 연구이다.

어떻게 보면 딥러닝을 공부한 사람이라면 한 번쯤은 캐치했을 개념인데, 이를 연구로 확장한 점이 인상깊었다. 특히 개인적으로는 NECO 논문 저자의 연구 서술 방식이 눈에 들어왔다. 성능 측면에서 압도적인 SOTA를 달성한 것은 아니더라도, 제안하는 방법론의 노벨티와 필요성을 적절한 근거와 함께 설득력 있게 전달했다는 점에서 배울 점이 많았다. 유익한 세미나를 준비해준 임새린 연구원에게 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나에서는 neural collapse (NC)를 기반으로 하는 OOD 탐지 방법론들이 소개되었다. OOD 탐지를 처음 다룬 연구에서는 maximum softmax probability (MSP)만으로도 OOD 탐지가 가능하다는 것을 보였다. 그러나 분류 신경망이 일반적으로 softmax 함수를 사용하기 때문에 작은 노이즈에도 확률값이 크게 변하는 overconfidence 문제가 있다. 또한, softmax를 통과하면 ID 클래스 분류를 위해서 정보를 대부분 걷어낸 최종 출력값이 되므로, ID와 OOD를 구분할 정보가 거의 남아 있지 않게 된다. 이러한 한계를 해결하고자, logit vector로 압축되기 이전 특징 공간에서 OOD 탐지를 다루는 연구 흐름이 생기게 되었고, ID 샘플이 이루는 구조를 기준으로 Mahalanobis, KNN 등 거리 개념을 이용해서 테스트 샘플이 얼마나 떨어져 있는지를 측정하는 방법론들이 제안되어 왔다. 그러나 이러한 방법론들은 특정 분포를 가정하거나 추정에 의존하기 때문에 특징 공간 자체를 직접 설명하지 못한다는 한계가 있다. 따라서, 특징 공간 자체가 학습 수렴 시에 보이는 NC라는 기하학적 현상을 통해서 OOD 탐지를 수행하려는 연구가 진행되고 있다.
NC는 D 차원 특징 공간 상에서 특징들이 C-1차원 simplex ETF 구조로 분포하며 각 ID 샘플이 자기 클래스의 중심 벡터로 모이게 되는 기하학적 현상이다. 첫 번째 논문인 NECO는 이 NC 현상을 OOD 탐지의 신호로 활용하였다. 학습이 진행될수록 OOD 샘플들의 중심 벡터가 ID 클래스 중심 벡터들과 수직인 방향으로 밀려나며 수렴한다는 것을 발견하였고, 이를 ID 클래스의 주성분 공간에서 다시 보면 ID 샘플과 달리 OOD 샘플은 원점 근처에 위치하게 된다는 직관을 바탕으로 OOD score를 정의하였다. 두 번째 논문인 Breaking Semantic Hegemony는 반대로 NC가 거리 기반 OOD 탐지를 왜곡할 수 있다는 점에 주목하였다. 기존 거리 기반 방법론들이 MNIST 같이 오히려 단순한 OOD 샘플에서 망가지는 현상(simplicity paradox)을 관찰하였다. NC로 인해 ID 특징의 분산이 소수 축에 집중되면서 거리 지표가 왜곡되기 때문이다. 이를 해결하기 위해 특징 공간을 의미 공간과 잔차 공간으로 나누고, 각 공간에서의 거리를 따로 측정하여 OOD score로써 활용하였다.
세미나를 들으며 두 논문이 NC라는 같은 현상을 각각 OOD 탐지 근거와 방해 요인으로 해석한다는 점이 흥미로웠다. NC가 OOD 탐지에 유리하게 작용하는지 여부는 OOD가 어떤 종류 shift인지, 어떤 부분 공간에서 거리를 재는지에 따라 달라지는 것으로 보인다. 또한, 요즘 grokking이라는 현상과 신경망 일반화에 대해서 관심이 생겼는데, NC 현상과는 어떻게 연관 있는지도 고민해보는 계기가 되었다. 좋은 세미나를 준비해준 새린이에게 고맙다는 말 전하며 세미나 후기를 마친다.

Neural collapse (NC)라는 내용이 나왔는데 double descent와 유사한 점이 있어 흥미롭게 보았습니다. NC란 classification task를 수행하는 모델의 학습 마지막 단계에서 손실이 이미 0에 가까운데도 불구하고 손실을 계속 낮추려고 할 때 나타나는 현상을 의미합니다. 이 현상은 특징 공간이 특정 기하학적 구조 (simple equiangular tight frame; simple ETF)로 수렴하는 것을 의미합니다. 발표에서는 "특정 조건" 하에서 CE loss를 활용한 분류 모델의 global optimum임이 증명되어있다고 하는데, 그 특정 조건이 뭔지 정리해줬으면 좋았을 것 같습니다 (조금 찾아보니 여러 조건들이 있고 서로 조금씩 다른 것 같습니다).

각설하고, NC에 대한 설명을 들었을 때 왜 이름에 collapse가 있는 지 의문이었습니다. '특징 공간 상에서 특징 표현이 서로 구분하기 쉽게 뭉치고 멀어지면 classification 성능이 좋아지지 않나?'라는 생각을 했습니다. 하지만 collapse의 의미를 더 들여다보니 같은 class에서의 표현력이 상실 (공분산이 0에 수렴)된다는 문제가 있습니다. 즉, 같은 클래스이더라도 표현이 조금씩 다른 세부 정보들이 소실된다는 것입니다. 이는 전이 학습 등을 할 때 큰 문제가 됩니다.

하지만, 반대로 생각하면 모델이 학습한 분포 내에 존재하는 데이터가 입력되기만 한다면 모델은 최상의 성능을 보일 것입니다. 더불어, 소실 될 수 있는 세부 정보들은 class를 세분화하여 더 큰 모델로 학습시키면 될 일입니다. 즉, classification task에서는 NC가 긍정적인 효과로써 작용할 수 있다는 것 입니다. 이와 관련하여 발표에서 다룬 NECO는 NC를 잘 이용해보자는 관점에서 제안된 것 같습니다. NECO에 이어 소개된 MSP는 반대로 NC를 부정적으로 보고 편향이 더 적은 거리 메트릭을 제안하고 있습니다. 흥미롭고 많은 생각이 드는 발표였습니다.

좋은 발표 감사합니다.