이정민

이번 세미나는 디퓨전 분야에서 사용되는 Classifier-Free Guidance (CFG)와 CFG를 대체하기 위해 제안된 방법론들에 대해 소개해주었다. 사전 학습된 classifier가 필요한 classifier guidance 방식을 보완하고자, unconditional, conditional 모델을 같이 활용하는 CFG 모델이 제안되었다. 그러나, CFG는 conditional model에서 이미지를 생성하는 경우만 활용 가능하기 때문에 이를 극복하기 위해 Perturbed Attention Guidance (PAG)라는 방법론이 제안되었고, 이 방법론은 고려대학교 김승룡 교수님 연구실에서 연구 되었다. PAG는 self-attention을 약간 변형하여 원하지 않는 샘플을 unconditional, 원하는 샘플을 conditional model의 아웃풋으로 활용하였다. 다음으로, NVIDA에서 연구된 Autoguidance라는 방법론은 unconditional model 대신 conditional model에 degradation을 추가한 모델을 활용하였다. 이 때, degradation은 학습 iteration을 감소시키거나, 보다 작은 사이즈의 모델을 사용하는 방식으로 적용하였다. CM과 그것의 degradation 모델은 동일한 영역에서 에러가 발생하기 때문에, 모델이 필요한 영역에서만 guidance를 주게 된다.
이번 세미나를 통해, CFG 개념에 대해 알 수 있게 되었다. 디퓨전 분야에 정말 많은 테크닉이 존재한다는 것을 다시 한 번 느끼게 되었고, CFG를 대체하는 방법론이 이제 막 활발히 연구되고 있다고 하는데, 더 좋은 연구들이 이어서 많이 나올 것 같다. 좋은 세미나를 준비해준 한샘이형에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.

김성수

Classifier-free Guidance(CFG)를 활용하는 Conditional Diffusion Model에 대해 진행되었다. 초기 Conditional Diffusion Model은 Unconditional Diffusion Model에 사전학습된 Classifier를 활용하여 적용했었다. 하지만 이는 사전학습된 Classifier가 늘 필요하다는 한계를 갖는다. 이를 대체하기 위해 Classifier-free Guidance개념이 등장하였다. 이는 사전학습된 Classifier 없이 Unconditional Model과 Conditional Model을 함께 사용하는 방식이다(그냥 Conditional Model만 쓰면 되는 것 아닐까? 이 부분이 흐름 상 어렵다. 수식적으로 전개해서 증명된 부분인가 싶다.). 하지만 이때 두 모델이 모두 필요한 것은 또 다른 한계점이다. 따라서 본 세미나는 하나의 Conditional Model이 Unconditional Model 기능을 흉내내어 이를 간소화할 수 있는 연구 사례들을 소개한다.

크게 2개 방법론을 소개한다. PAG는 Self-attention Weight를 건드린다. 정교한 가중치들을 단위 행렬로 바꿔줌으로써 Unconditional Model처럼 활용한다. AutoGuidance는 기존 Condition보다 저하(Degraded)된 Condition을 적용하여 Unconditional Model처럼 활용한다. 이는 동일한 모델을 활용하기에, Guidance가 유리할 수 있다는 이점을 갖는다.

이번 세미나를 통해 CFG에 대해 알아볼 수 있는 시간이 되었다. 방법론이 극복하고자 하는 한계점이나, 이를 해결하기 위한 방향은 꽤나 명확해서 재미있게 청취할 수 있었다. Attention Weight를 건드린다거나, 저하된 Condition을 주는 아이디어는 향후 프롬프트 등을 결합하는 연구에서 유용하게 활용 가능할 것 같다. 유익한 세미나를 준비해준 조한샘 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.