Diffusion 모델은 Forward Process를 통해 원본 데이터에 노이즈를 부여한 뒤, Backward Process 기반 디노이징하여 원본 데이터를 생성할 수 있다. 이 때, 정상과 다른 특성을 가진 이상 데이터의 경우, Backward Process 과정에서 이상 데이터 특성까지 디노이징 되어 정상 데이터에 가까운 데이터가 생성된다. 이러한 특성들을 이용해 생성된 데이터와 기존 데이터가 얼마만큼 다른지 정량화된 값으로 이상 데이터, 정상 데이터를 판별할 수 있게 된다. 오늘은 위와 같은 내용을 근거로 한 Diffusion 기반 3가지 이상 탐지 방법론에 관한 세미나를 청취하였다. 두 번째와 세 번째 방법론의 경우 본인들만의 Condition 정보를 정의하고 활용하여, 디노이징 단계 안에서 이상 데이터 특성들이 이전보다 더 효과적으로 제거되게끔 하였다. 이렇게 되면 기존보다 이상 데이터와 정상 데이터를 더욱 잘 구분할 수 있게 되는 이상치 스코어가 만들어 지게 된 것으로 굿굿이다. 특히, 세 번째 연구는 과거 행동을 Condition으로 사용하여 그럴듯한 미래 동작을 생성해내는 Diffusion 모델로 이상 행동을 탐지하는 연구를 수행하였는데, Condition 정보를 정의하는 방법이 아이디어가 가장 직관적이고 흥미로웠다. 좋은 세미나를 준비하느라 고생했을 시후에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

이상치 탐지를 위해 다양한 방법론들이 사용되고 있는데, 특히 최근 diffusion model이 주목 받으면서 diffusion model을 활용한 이상치 탐지 방법론들이 활발하게 연구되고 있다. 본 세미나에서는 diffusion model을 활용한 세 가지 이상치 탐지 방법론들에 대해 설명하고 있다.

1. AnoDDPM
뇌 종양에 관한 Anomaly detection을 수행하고 있다. 새롭게 생성된 샘플과 비교했을 때, 정상인 이미지는 낮은 오차를 보일 것이고 이상치는 높은 오차를 보일 것이라는 전제로 연구가 수행된다. 여기서 partial diffusion strategy라는 것이 사용된다. 원래 DDPM에서는 T step까지 noise가 주입된다면 AnoDDPM에서는 lambda 까지 noise가 주입되는데, lambda까지 3번 만에 도달할 수 있도록 사용된다. 기존 DDPM 대비 시간적으로 얻은 gain이 상당할 것으로 생각된다. 또한 가우시안 노이즈를 줬을 때, 이상치를 그대로 생성하는 경우가 발생하여 자연스러운 노이즈 패턴을 생성해주는 Simplex Noise를 사용한다.

2. DiffAD
특이한 점은 학습 시 정상 데이터만을 사용하지 않고 정상, 비정상을 모두 사용하는 것이다. 이 때 부족한 이상치 데이터 대체를 위해 noise 임베딩을 활용한다. 논문에서는 표면과 노이즈가 반영된 이미지, 보간 채널로부터 구축된 이미지, 재구축 이미지를 모두 넣어 마스크를 생성하고 기존의 마스크와 loss를 계산한다고 한다. 이렇게 복잡한 프로세스 대신에 비정상 데이터를 보완할 다른 방법을 찾아 보는 것도 의미 있을 것 같다.

3. MoCoDAD
HR-VAD 분야에 최초로 적용된 diffusion model이며 정상 데이터에 조건을 주고 재구축을 하는 것이 특이한 점이다. 과거 행동을 재구축 하는 과정에서 latent space가 발생하고, 미래 행동을 노이즈로 만들고 노이즈를 제거하는 단계에서 그 latent space를 활용한다. 미래와 예측된 미래를 loss1, 과거와 재구축된 과거를 loss2로 두고 섞어서 loss를 구축한다.

diffusion model을 공부하면서 해당 분야에도 관심을 두고 있는데, 모두 좋은 성능을 보인 훌륭한 연구들이다. 이 분야를 시작하면서 알아둬야 할 만한 좋은 연구들을 소개해준 안시후 연구원께 감사 인사 전하며 세미나 후기를 마친다.

이번 세미나는 Diffusion 기반 이상치 탐지에 대해 진행되었다. 다양하고 고품질의 이미지를 생성할 수 있는 Diffusion은 Computer Vision의 다양한 분야에서 활용되고 있다. 특히, 기존의 생성모델 역할에 충실할 뿐만 아니라, 본 세미나처럼 이상치 탐지 등 다양한 분야에도 함께 활용되고 있다. 본 세미나에서는 Diffusion의 다양한 분야 중 하나인 Diffusion 기반 이상치 탐지 논문 3가지를 소개한다.

[1] AnoDDPM: Noise를 원하는 수준까지 3번의 Forward만으로 도달할 수 있는 테크닉, 그리고 Gaussian Noise가 아닌, Simplex Noise를 활용했다는 의의를 갖는다. 재구축 오차를 만들기 위해 이미지를 생성할 때, Diffusion 모델이 활용된다.

[2] DiffAD: 정상 이미지와 인위적인 노이즈를 반영한 이미지를 학습에 함께 활용한다. 두 이미지에서 각각 Latent Vector를 뽑아낸 후, 모두 Forward를 거쳐 Noise화 한다. 두 Noise를 Concat 후, 한 이미지를 Reverse Process로 생성하며, 다른 이미지는 Noise Latent Vector를 Concat 후 이미지를 생성한다. 이후, 인위적인 노이즈가 반영된 이미지와 2개의 생성된 이미지를 Sub-Network에 넣어 이상치 여부를 탐지한다. 개인적으로 일반화 성능이 괜찮을지 궁금하다. 인위적인 Noise를 추가하는 만큼, 실제 Real-World Noise가 이러한 인위적인 이미지와 맞아야 하기 때문이다. 만약, 실제 Noise가 이와 다르다면, 결과가 왜곡될 수 있지 않을까라는 생각이 조심스럽게 들었다.

[3] MoCoDAD: 과거 행동을 Condition으로 삼아 미래 행동을 생성하고, 이에 대한 재구축 오차를 산출한다. 만약 과거 행동과 미래행동이 크게 다르다면, 잘 복원되지 않을 것이라는 가정을 가져간다. 먼저 과거 행동에 대한 Latent Vector (from AE)를 얻고, 이를 Diffusion Reverse Process 시, 함께 Concat하여 조건처럼 활용한다. 학습 시에는, AE의 Reconstruction Loss와 Diffusion의 Reconstruction Loss를 모두 활용한다.

본 세미나를 통해 Diffusion 기반 이상치 탐지에 대해 접할 수 있었다. Diffusion의 또 다른 활용 가능성에 다시 한 번 놀랐고, MoCoDAD처럼 Condition을 해당 방식처럼 줄 수 있다는 것도 새롭게 알아갈 수 있었다. 다만, 이상치 탐지는 실시간 활용이 중요한 분야인데, 추론시간이 긴 Diffusion이 Anomaly Detection에 적합할까 라는 의문은 들었다. 유익한 세미나를 준비해준 안시후 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 diffusion 모델 기반 이상 탐지 방법 3가지(AnoDDPM,DiffAD, MoCoDAD)가 소개되었으며, 모든 연구가 재구축 오차를 정량화하여 이상 또는 정상을 판별하였다.

1.AnoDDPM: 단 3번의 forward 과정으로 원하는 수준의 성능을 낼 수 있는 partial diffusion strategy와 가우시안 노이즈가 아닌 simplex 노이즈를 활용하여 생성한 데이터와 원본 데이터 간에 재구축 오차를 기반으로 이상 또는 정상 판단한다.

2.DiffAD: 정상과 이상 데이터를 모두 활용하는 이상 탐지 방법이다(이게 좀 신기했음). 인위적인 노이즈를 반영한 2개의 이미지(보간 채널로부터 재구축된 이미지, 표면과 노이즈가 반영된 이미지)와 재구축 이미지를 sub network에 입력하여 mask(random noise)를 생성하고 입력 데이터로부터 생성했던 mask와 loss를 계산하여 학습을 진행하며 sub network에서 출력한 mask를 활용하여 이상 또는 정상을 판단한다.

3.MoCoDAD: autoencoder를 활용하여 과거 데이터를 복원하는 과정에서 인코더로부터 얻은 latent vector를 손상된 미래에 대해 reverse process를 진행할 때 condition으로 활용한다. 그리고 생성한 미래 행동에 대한 데이터와 원본 데이터(미래 행동 데이터) 간에 비교 오차를 이상 스코어로 정의하여 활용한다.

diffusion 연구가 다양한 도메인에 걸쳐 진행되고 있음을 확인할 수 있었다. 특히, 세 번째 연구에서 과거 행동 데이터에 대한 latent vector를 condition으로 주어 reverse process를 진행하기에 과거 행동과 미래 행동이 많이 다르다면 생성된 미래 행동 데이터가 원본 데이터와 매우 다를 것이라는 부분이 직관적으로 이해되어 좋았다. 유익한 세미나를 준비해 준 시후에게 고마운 마음을 전하며 이상으로 세미나 후기를 마친다.

본 세미나는 anomaly detection 분야에 디퓨젼 모델을 적용한 방법론들에 대한 내용을 다루었다. 디퓨젼 모델은 입력 이미지를 복원하도록 학습되는데, Anomaly detection 분야에서 데이터는 정상 데이터가 주를 이룬다. 이로 인해 이상치가 입력으로 들어오더라도 이를 정상 데이터처럼 복원하게 된다. 입력 이미지로 들어간 이상치와 복원된 이미지 간의 차이가 크다면, 즉 재구축 오차가 크다면 이를 이상치로 판단하게 되는 것이다. 본 세미나에서는 이러한 특징을 활용한 방법론 3가지에 대해 소개하였다.

[1] AnoDDPM: 해당 모델은 뇌 이미지를 바탕으로 악성 종양 유무를 판단하는 task를 수행하였다. 일반적인 디퓨젼은 noise를 부여할 때 이를 여러 번 반복하지만 본 논문에서는 이를 단 세 step 만에 도달하도록 하는 partial diffusion strategy를 제안하였다. 더하여 gaussian noise는 균일한 노이즈를 주입하는데, 이상치가 입력되었을 때 재구축 오차를 높이도록 simplex noise를 사용하였다.

[2] DiffAD: 부품 이미지에서 이상 유무를 판단하는 task를 수행하는데, 정상 데이터와 정상 데이터에 인위적인 노이즈를 가한 데이터를 인코딩하여 얻은 노이즈 임베딩을 생성한다. 그리고 이노이즈 임베딩을 입력 받아 재구축한 이미지 2개를 얻는다. 이후 정상 데이터에 인위적인 노이즈를 가한 이미지와 재구축한 2개의 이미지를 subnetwork를 통과시켜 mask를 생성하고 최종적으로는 생성된 mask와 입력 데이터로부터 얻은 mask와 비교하여 이상 여부를 판단한다. 개인적으로 해당 과정이 상당히 복잡하여 이를 간소화한 방법론이 제안되면 좋을 것 같다는 생각을 하였다.

[3] MoCoDAD: HR-VAD 분야에 디퓨젼 모델을 적용한 방법론으로, 영상 데이터를 여러 프레임으로 나누어 특정 프레임을 기준으로 미래 프레임이 추세를 벗어날 때를 이상치로 정의한다. Forwar diffusion으로 손상시킨 미래 프레임을 입력으로 그리고 과거 프레임을 오토인코더로 재구축하는 과정에서 얻은 latent vector와 시점 정보를 condition으로 넣어 미래 프레임을 예측한다.

본 세미나를 통해 다시 한번 디퓨젼 모델이 이미지 데이터 특화된 모델이라는 것을 다시 한번 실감하였으며, 이미지 생성은 물론 이미지 기반 anomaly detection에서도 좋은 성능을 보인다는 것이 놀라웠다. 유익한 세미나를 준비해준 시후형에게 고맙다는 말을 전하며 세미나 후기를 마친다.