이번 세미나는 Score-based Generative Models과 Diffusion Models에 대해서 소개했다. 처음 해당 분야의 논문들을 접했을 때 수식이 복잡하고 수학적인 개념들이 많이 필요해 이해하기 어려운 부분들이 많았다. 수식에 대한 설명을 배제하고 직관적으로 설명하고자 노력했지만 완벽하게 설명하기에 어려운 부분들이 많이 있어 아쉬움이 남는 세미나였다. 이번 세미나를 통해 해당 연구에 관심 있는 연구원들이 조금 더 쉽게 관련 연구를 이해하고 연구를 수행해 나가는데 도움이 되길 희망한다.

​

금일 세미나 주제는 Score-based Generative Models and Diffusion Models로, GAN보다 뛰어난 성능을 가진 Score-based라는 방식과 Diffusion 방식의 최신 생성 모델 연구들을 한샘이가 소개해주었다. 중간 중간 설명해준 기존 생성 모델 리뷰들도 금일 소개된 생성 모델을 이해하는데 있어 많은 도움이 되었다.

Score-based 생성 모델은 임의의 노이즈에 확률 밀도 증가 방향에 대한 벡터 (확률 밀도 미분값)을 더하여, 실제 데이터 분포에서 샘플링 되었을법한 (확률 밀도값이 높음) 데이터에 가까워져보자 라는 신선한 아이디어를 가지고 있다. 확률 밀도 (분포)를 추정하자고 제안된 생성 모델인데 분포도 모르는 상황에서 어떻게 미분값을 찾을 수 있을지 의문이였지만, 세상 똑똑한 연구원들이 수학적으로 전부 해결해두었다. 수학적으로도 탄탄한 기초를 가진 새로운 생성 모델 연구 분야를 알게 되어 한샘이게 고마운 감사를 전하고 싶었다. 위와 같은 핵심 개념을 짚고, Score-based 계열의 여러 가지 생성 모델 연구 동향을 본 세미나에서 접해볼 수 있었다.

Diffusion-based 생성 모델은 VAE 생성 모델에서의 latent variable "Z"를 "X"와 연관된 가우시안 마코브 체인으로 변경한 모델이다. 기존에 알고 있던 VAE 모델를 적극 활용해 설명해줬기 때문에 이해하기 한결 쉬웠다. 가우시안 마코브 체인을 딥러닝 학습으로 대체하는 전략은 낯설어서 이해하기 어려웠는데 Appendix와 논문을 더 살펴보아야 겠다.

마지막으로 확률 미분 방정식 관점에서 Score-based와 Diffusion-based 모델이 동일한 것임을 입증하는 논문을 소개해주었다. 실제 데이터와 노이즈 사이에 변화 (차이) 구조를 확률 미분 방정식으로 표현해보았을 때, 비슷한 구조를 갖고 있다는 것이 골짜였다. 데이터 분포 추정을 수학적 모델링으로 표현한 것이 수학을 전공한 사람으로써 반가운 내용이였다.

방대한 양의 세미나를 준비해 준 한샘이에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

금일 세미나는 score-based generative models와 diffusion model을 주제로 진행되었다. Generative models는 discriminative models의 목적이 decision boundary 탐색인 것과 달리 데이터의 분포를 찾는 것을 목적으로 한다. 대표적인 generative models로는 GAN, VAE, Flow-based model이 있지만 각각 학습의 불안전성, 직접적인 likelihood 최대화 불가능, 역함수가 없는 구조에는 적용 불가라는 한계점이 있다. 이러한 한계점을 극복하고자 score-based generative models가 등장하였다. Score-based generative models의 기본 아이디어는 데이터 공간 상에서 noise를 생성하고 데이터 분포를 나타내는 확률밀도함수의 기울기를 계산하여 확률 값이 높아지는 방향으로 데이터를 업데이트 하는 것이다. Score-based generative models의 score는 확률밀도함수에 대한 미분을 의미하며 작동 원리는 다음과 같다. 데이터들에 대한 기울기를 추정하는 score matching을 수행하고 추정된 score를 바탕으로 새로운 데이터를 생성하는 langevin dynamics 단계를 거친다. 그러나 일반적인 score-based generative models 작동 방식은 확률값이 높은 부분에서 데이터가 샘플링되기 때문에 확률값이 낮은 공간에서는 score 정보가 부정확하다는 단점이 있다. 이를 극복하고자 데이터에 노이즈를 추가한 후 score를 추정하여 단계를 극복하고자 하는 방법론이 제안되었다. Diffusion models는 VAE의 latent variable으로 markov chain을 사용하며 최종적인 목표로는 gaussian distribution을 잘 추정하는 것이다. 마지막으로 diffusion model(DDPM)과score-based generative model(NCSN)이 동일한 모델이라는 것을 밝히는 논문을 소개해 주었다. 기존에는 generative model이라고 하면 GAN을 주로 떠올렸는데 본 세미나를 통해 score-based generative models와 diffusion models에 대한 이해를 높일 수 있었다.

오늘 세미나는 Variational Inference 를 Autoencoder 구조에 활용한 VAE, Generator-Discriminator 프레임워크를 통한 GAN, 이미지의 확률 분포에 대한 log likelihood의 미분을 score로 추정하는 Score-based Model, Denoising 과정을 마코프 프로세스로 정의하여 VAE를 개선한 DDPM까지 총 4 종류의 생성 모델에 대해 알아볼 수 있었다. VAE와 GAN 이외에도 다양한 접근 방식으로 이미지를 생성하는 것이 가능하다는 것을 알게 된 세미나였다.

처음 Variational Inference 를 공부할 때에도 이게 대체 무슨 소리인가 싶으며, 몇일을 곱씹어보았던 기억이 난다. Score-based Model 과 DDPM 또한 개념은 어느정도 이해가 갔으나, Loss Function 을 유도하는 과정이 쉽지 않아 보인다. 금일 세미나로 각 종류의 생성 모델의 동작 과정은 개괄적으로 이해를 했으니, VAE를 처음 공부했을 때처럼 머리싸매고 손실 함수 유도 과정을 살펴봐야할 것 같다.

세미나를 준비하느라 고생하신 한샘이형께 감사의 말씀을 드린다.

금일 세미나는 Score-based Generative Models and Diffusion Models 주제로 진행되었다. Generative model은 classification을 목적으로 하는 Discriminative model과 달리 x에 대한 label이 아닌 데이터 자체에 관심을 두어 데이터의 분포를 찾는 것이 목적이다. 대표적인 Generative model 종류인 GAN 과 VAE 등이 많이 사용되고 있으나 각 방법론 별 단점이 존재하여 이를 보완하고자 score-based generative models가 고안되었다.
Score-based generative model은 이름 그대로 score, 즉 확률밀도함수의 미분값을 base로 하여 데이터를 생성하는 모델이다. 이때 score는 parameter가 아닌 입력 데이터 x에 대한 미분값으로 데이터에 의해 정해지며 확률값이 낮은 공간에서 score정보가 부정확하다는 문제를 해결하기 위해 노이즈를 추가하기도 한다. Diffusion model은 DDPM 논문을 통해 소개되었는데 VAE와 markov chain 아이디어를 결합한 것이다. 학습 과정에서는 노이즈를 더해나가며 t시점의 데이터를 생성하고 테스팅 과정에서는 T 시점 데이터를 통해 T-1 시점 데이터를 생성하여 최종적으로는 t=1인 시점의 데이터, xzero를 생성하는 방법론이다. 결국 두 모델은 학습 과정에 목적식이 유사하고 테스팅 과정에서 데이터를 generate하는 방식이 유사하므로 Score-based framework 안에서 동일하다고 볼 수 있다.
본 세미나에서 소개된 알고리즘 들은 대부분 수학적으로 증명된 수식을 바탕으로 전개되어 바로 와닿는 부분은 적었지만 VAE 논문을 최근에 공부한 덕에 해당 부분은 비교적 쉽게 이해할 수 있었다. 발표 내용 중 U net 구조를 사용했다고 설명되었는데 U net 구조 개념이 생소하여 추가로 살펴 볼 예정이다.