이번 세미나는 Diffusion을 활용한 비지도학습 기반 OOD Detection방법론에 대해 진행되었다. OOD Detection은 학습된 데이터와 다른 데이터가 들어왔을 때, 이를 잘 탐지하는 것을 목표로 한다. 이를 탐지하는 방법은 여러가지가 있지만, 본 세미나에서는 Reconstruction Loss 기반 방법론 3가지를 소개한다.

1) CVPRW, 2023: 학습된 Diffusion Model이 있을 때, 여러 T에 따라 Diffusion Process를 진행한다. 이후, T에 따라 생성된 이미지들에 대해 기존 이미지와 모두 LPIPS를 산출한다. 이는 OOD데이터는 T가 커질수록 적절하게 복원되지 못한다는 가정을 활용한다. 즉, ID는 T가 커도 유사도가 높지만, OOD는 ID에 비해 T가 크더라도 유사도가 매우 낮은 것이 포인트다.

2) ICML, 2023: 이는 Masking 후, Inpainting 된 결과를 주어진 이미지와 LPIPS를 산출하여 OOD Detection을 수행한다. OOD Detection은 Inpainting이 잘 안될 것이라는 것을 가정한다.

3) NIPS, 2023: 해당 방법론은 OOD 데이터가 충분한 T시점이 지나서 생성된 결과, 배경은 유사하지만 Content가 잘 복원되지 않는다는 원리를 활용한다. 본 논문은 b시점 후 생성된 이미지와 a시점 후 생성된 이미지에 추가적으로 b시점 후 생성된 이미지를 비교한다. 하지만, 개인적으로는 발표자 의견처럼 동일한 이미지에 대해 비교하는 것이 더 나을 것 같다는 의견에 더 동의한다.

이번 세미나를 통해 Diffusion 기반 OOD Detection이 어떻게 수행되는지 알 수 있었다. 하지만 OOD는 현업에서 빠른 추론속도가 반드시 필요한 분야 중 하나인데, 이러한 측면에서 Consistency Model의 도입은 Diffusion OOD Detection에 큰 이점을 주었을 것이라고 생각든다. 또한 개인적으로는 이번에 LPIPS 지표의 활용도가 굉장히 와닿았다. 기존 논문들은 MSE로 Reconstruction Error를 많이 산출했는데, 최근에는 LPIPS가 하나의 대세가 된 것 같다. 유익한 세미나를 준비해준 문석호 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 Out-of-distribution(OOD) detection을 Diffusion 모델을 활용한 3가지 연구에 대해 소개하고 있다. 우선 연구 소개에 앞서 실험 세팅/ 목표에 따라 분류하고 있는 Out-of-distribution과 In-distribution에 대해 설명을 해주었다. Out-of-distribution detection 중 Unsupervised learning 기반으로는 Likelihood방법과 Reconstruction-based 방법론들이 있고, 그 중 Diffusion-based를 활용한 방법론들이 우수한 성능을 보인다고 한다.

먼저, Denoising diffusion models for out-of-distribution detection 연구는 In-distribution과 Out-of-distribution 차이를 정량화하는 것이 목표이며, In-distribution 데이터로 학습된 Diffusion 모델로 t step에 따라 Denoising을 수행하여 원본과 Reconstruction 이미지에 대해 LPIPS distance를 구하고 그것을 OOD 지표로 사용한다. 이 연구는 Diffusion 모델을 사용해서 최초로 OOD detection을 수행하고 Likelihood, autoencoder 보다 성능이 우수하다는 점이 있지만, t step에 대해 전부 계산을 수행하다 보니 시간이 오래 걸린다는 단점이 있다.

다음, Unsupervised Out-of-Distribution Detection with Diffusion Inpainting 연구는 In-distribution을 학습된 모델에서 Out-of-distribution 데이터는 Inpainting이 잘 안될거라는 가정을 가지고 진행하며, 역시 원본과 Reconstruction 이미지에 대해 LPIPS distance를 구하여 지표로 활용한다. 이 연구는 역시 성능은 우수하지만 어떤 Masking을 사용할지 사용자가 선택해야하는 단점이 있고, 역시 오래 걸린다는 단점이 있다.

마지막으로 Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models 연구는 Consistency 모델을 활용하였다. Background의 의존성을 제거하기 위해 semantic에 집중할 수 있도록 Projection regret score를 계산한다. 이를 통해 out-of-distribution의 Semantic 변화를 훨씬 잘 잡아낼 수 있게 한다. 이 연구는 성능이 우수하면서도 Consistency 모델을 활용하여 inference 속도도 빠르게 하였으며, Background의 의존성을 제거하는 새로운 OOD 지표 방식을 제안한데 의의가 있다.

Diffusion 모델을 활용하여 원본과 Reconstruction 이미지에 대해 LPIPS distance를 계산하여 지표를 정량화해 OOD detection을 한다는 점이 매우 흥미로웠으며, 특히 Diffusion 모델은 Inference 속도가 느리다는게 단점인데 Consistency 모델을 활용하여 그 속도를 개선하고 성능도 높인 마지막 연구는 앞으로 활용도가 높을 것 같다. 좋은 내용의 세미나를 준비해주신 문석호 연구원님께 깊은 감사를 전하며 세미나 후기를 마친다.

이번 세미나는 Out-of-distribution (OOD) detection에 diffusion을 적용한 연구에 대해 중점적으로 소개되었다. 배경지식으로 소개된 OSR detection, OOD detection과 AD detection에 대한 소개는 아래와 같다.
- OOD Detection: 전혀 다른 범주의 학습 되지 않는 데이터 셋을 탐지하는 방법을 말한다.
- OpenSet Recognition: 학습하지 않는 클래스를 찾음 (데이터 셋 내 학습된 클래스 분류 및 학습에 사용되지 않는 클래스 분류)
- Anomaly Detection (AD): 학습한 데이터(in-distribution data)와 본질적으로 특징이 다른 데이터(out-of-distribution data)를 탐지하는 방법

본 세미나에서는 3개의 diffusion 기반 OOD Detection 방법론에 대해서 살펴보았다.

소개될 1, 2 논문은 in-distribution으로 학습된 diffusion model이 있다고 하면, 특정 task(①reconstruction, ②inpainting)에서 OOD은 잘 안될 것이라는 가정을 설정하였다.

1. Denoising Diffusion Models for Out-of-Distribution Detection: 설정한 T 스텝에 따라 가우시안 노이즈를 추가하고 T 스텝에 대해 in-distribution dataset으로 학습된 diffusion model로 denoising을 수행했을 때, indistribution 데이터인 경우 원본 이미지와 잡음을 제거한 복원 이미지 간에 유사도(MSE or LPIPS)는 높을 것이고 OOD 데이터인 경우 유사도가 낮게 될 것이다. 이는 T가 커질 수록 더욱 두드러지게 된다.

2. Unsupervised Out-of-Distribution Detection with Diffusion Inpainting: 첫 번째로 소개한 논문과 비슷하다. 단지, task가 inpainting을 하는 것으로 바뀌었을 뿐, masking한 in-distribution 데이터인 경우 복원을 잘할 것이고, masking한 OOD 데이터라면 복원을 제대로 못할 것이다.

3. Projection Regret: Reducing Background Bias for Novelty Detection via Diffusion Models: 학습된 consistency model을 활용하여 노이즈가 첨가된 OOD 데이터에 denoising을 했을 때, in-distribution을 따라 복원되었지만 배경 정보가 너무 유사하여 LPIPS 평가 지표가 이를 명확하게 잡아내지 못한다는 문제가 있다. 즉, OOD지만 유사도가 생각보다 높게 나올 수 있다는 의미이다. 따라서, 배경 정보에 의존하는 부분을 지워 semantic 차이에만 집중할 수 있도록 하는 projection regret score를 제안하였다. (새롭게 제안한 score를 계산할 때, 알파 스텝만큼의 denoising을 했을 때 원본과 복원 이미지의 차이를 보고 싶어서이지 않을까 싶습니다(?).)

이번엔 diffusion 모델을 OOD detection에 적용한 연구를 확인할 수 있었다. 새로운 내용은 역시나 많았고 재밌게 들을 수 있었다. 유익한 세미나를 준비하느라 고생하신 석호형에게 고맙다는 말을 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 OOD(Out-of-Distribution) Detection에서 디퓨전 모델과 Consistency 모델을 사용한 방법론들에 대해 소개해주었다. 우선 OOD Detection은 in-distribution 과 다른 데이터를 탐지하는 분야이며, 실험 세팅에 따라 세부적인 문제 상황은 바뀔 수 있는 분야이다.
2023년 CVPR에 발표된 첫 번째 방법론은 일반적인 디퓨전 모델의 특징을 잘 활용하여 OOD Detection을 수행한다. In-distribution 데이터들로 학습된 디퓨전 모델에 테스트 데이터 샘플을 입력하고 가우시안 노이즈를 특정 스텝까지 부여한다. 그 후, 노이즈가 부여된 이미지를 다시 복원 시키는데, 매 스텝마다 노이즈 데이터와 복원 데이터간의 distance를 계산하여 해당 샘플이 in-distribution 인지 OOD인지 탐지한다. 이는 일반적인 이상치 탐지 알고리즘과도 매우 유사한데, 이상치 탐지에서 사용하는 이상치 스코어 개념을 여기서는 OOD 지표라고 지칭하며 MSE나 LPIPS를 사용한다. 그러나 이는 모든 스텝에 전부 재구축을 수행하기 때문에 디퓨전 모델의 단점이라고 할 수 있는 큰 추론 속도를 가진다는 한계점을 가진다.
2023년 ICML에 발표된 두 번째 방법론은 큰 방식은 첫 번째와 유사하다. 다만, 가우시안 노이즈 대신 마스킹을 사용한 후 이를 복원하는 방식으로 이루어진다. 해당 방법론에서도 LPIPS 메트릭을 사용하였고, 역시나 큰 추론 속도와 어떤 마스킹 방법이 적절한지 사용자가 선택해야 한다는 단점 또한 가지고 있다.
마지막으로, 2023년 NeurIPS에 발표된 방법론은 Consistency 모델을 사용한다. 데이터에 노이즈를 부여할 때, 배경 정보에 대한 문제점을 한계로 들며 진행된 연구이다. 이를 해결하기 위해, projection regret score라는 메트릭을 제안하였는데, 간단히 말하면 특정 데이터에 베타 스텝(배경이 유지되는 정도)까지 노이즈를 부여한 이미지와 원본 이미지간의 semantic difference를 특정 알파 스텝(베타보다 작은)까지 노이즈를 부여한 이미지와 그에 베타만큼 추가 노이즈를 부여한 이미지간의 semantic difference에 비교한다. 여기서 semantic difference만 사용하는 이유는 각 이미지마다 배경은 유사하다는 가정을 두기 때문이다. 그러나 석호형이 본인은 알파 스텝만큼 노이즈를 부여하는 과정에서 이미 semantic 변화가 일어날 수 있기 때문에 이 것 대신 원본 이미지를 사용하는게 더 맞지 않나라는 의견을 제시하였는데, 이는 나도 동의하는 바이다.
OOD의 방법론들에 대해서 세부적으로 잘 알지는 못하지만, 이번 세미나에서 소개된 방법론들은 내가 아는 일반적인 이상치 탐지 방식과 큰 틀이 유사하여 받아들이기 편했고 생성 모델 중 디퓨전 모델이 각광을 받으면서 정말 많은 분야에 사용되고 있다는 것을 다시 한 번 느끼게 되었다. 예전부터 불확실성 관련 연구를 진행하면서, 본 세미나에서 소개된 방법론들에도 불확실성이 같이 적용될 수 있지 않을까(이미 있을 수도 있지만) 궁금해졌다. 좋은 세미나를 준비해주신 석호형께 고맙다는 말을 전하며 본 세미나 후기를 마친다.

Diffusion모델을 활용한 Out-of-distribution(OOD) Detection에 관한 세미나를 청취하였다.

OOD Detection 세미나를 본격적으로 시작하기 앞서, OOD Detection과 혼동하기 쉬운 태스크들을 명확하게 소개해주는 구간이 있는데, 해당 구간은 많은 연구원들이 잘 살펴보면 좋을 것 같다는 생각이 들었다.

OOD Detection은 입력 데이터가 In-distribution으로 부터 얼마나 멀리 떨어져 있는지 정량화한 OOD Score를 잘 정의하는 것이 중요한데, Diffusion 모델은 본인 모델의 특성을(Forward --> Backward process 수행) 잘 살려 재구축 기반의 OOD Score를 이용하였다. OOD Score의 경우 재구축 결과의 이미지와 원본 이미지 사이의 차이를 정량화한 Metric(LPIPS, MSE, Projection Regret)들로 정의하였는데, 직관적이고 이해하기 편하였다.

좋은 세미나를 준비하느라 고생 했을 석호형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.