Diffusion model은 고품질의 데이터를 생성할 수 있지만 생성 속도가 느리다는 단점이 있다. 이번 세미나에서 소개하는 Flow matching 모델은 데이터의 품질은 유지하되 생성 속도를 보다 빠르게 가져갈 수 있는 알고리즘을 제안한다. Flow matching 역시 처음 source 데이터에서 target 데이터까지 변환해가는 과정이 있기 때문에 중간에 생성되는 데이터의 분포가 존재하고 그것을 '(probability) path'라고 한다. 이때 source 데이터에서 t번째 데이터로 매핑하는 함수가 Flow 함수인데 이를 학습하기 위해서는 모든 path를 유지할 필요가 있어서 매우 비효율적이다. 따라서 Flow 함수 대신 그의 미분으로 정의되는 Velocity field 함수를 학습한다. 이는 변화량을 나타내기 때문에 ODE solver를 통해서 flow matching을 수행할 수 있게 된다.

사실 이번 세미나는 최근에 로보틱스 쪽으로 많을 관심을 갖고 있어서 더욱 흥미롭게 들었다. 로보틱스에서 주요하게 다루는 분야 중 하나는 planning이다. Planning은 목적 달성을 위해 최적의 행동 계획을 수행하는 것으로 보면 된다. 최근에는 데이터의 분포를 효과적으로 표현하는 diffusion 모델을 차용하여 성능적으로 큰 발전을 이루었지만 속도가 느리다는 치명적인 단점이 있었다. 이전 세미나에서 언급한 것처럼 로보틱스는 빠른 행동 역시 중요하기 때문이다. 따라서 이번 세미나에서 소개한 flow matching처럼 속도를 개선한 모델이 나오기 시작하면 이런 AI 로보틱스 분야도 보다 현실에 가까워지는 것이 아닌가하는 생각이 들었다. 매우 최신이고 어려운 주제이지만 친절하게 세미나를 준비해준 한샘이에게 감사한 마음을 전한다.

생성모델은 인공지능에 조금이라도 관심이 있다면 모르는 사람이 없을 정도로 발전을 이루고 있다. 상용화를 위해 필요한 요소인 속도, 퀄리티, 다양성 등을 위해 다양한 모델들이 제안되고 있다. 생성 속도는 빠르지만 퀄리티는 아쉬운 VAE, GAN 계열 모델도 있고 퀄리티는 좋지만 속도가 느린 Diffusion 모델도 많이 활용되고 있다.

오늘은 Diffusion 모델의 생성 퀄리티는 유지하면서 생성 속도는 발전 시킨 Flow 모델을 소개해주었다. Flow 모델은 diffusion 모델보다 확장된 개념으로 미분인 velocity field를 ODE를 통해 간접적으로 계산하여 Diffusion과 동일한 목표를 갖지만 probability path와 velocity field를 다르게 정의하여 문제를 해결한다. 이를 통해 계산 자체도 빨라지지만 sampling step이 작더라도 좋은 퀄리티의 이미지를 얻을 수 있어 생성 속도 측면에서 많이 발전을 이루었다.

물론 생성 속도를 diffusion과 비교하는게 맞지만, 속도가 중요한 분야에서 활용 할 수 있을지에 대한 지표 혹은 VAE, GAN 중에서 생성 퀄리티가 괜찮은 모델들과 어느정도 생성 속도 차이가 나는지 알 수 있었으면 좋을 것 같았다. Flow 모델을 기술적인 부분부터 풀어서 설명하고 디테일하게 짚어주어 흥미롭게 들었고 이해하기 수월했다. 좋은 세미나를 준비해준 한샘이에게 고마움을 전한다.

그동안 연구실 세미나에서 다양한 diffusion 모델들과 접근 방식들에 대해 소개해주었었다. 이번 세미나에서는 꾸준히 diffusion 모델의 단점으로 지적되었던 생성 속도를 flow matching 방식으로 접근하는 방법에 대해 소개해주었다. Source 분포를 target 분포로 변환시켜주는 flow를 찾기 위해서는 velocity field를 사용할 수 있는데, 이 또한 직접적으로 계산하기 어렵다. 이를 해결하기 위해 conditional flow matching을 사용할 수 있고, flow matching loss의 gradient와 conditional flow matching loss의 gradient가 같다는 것을 증명하여 이로써 학습을 수행할 수 있게 된다.
간단한 pseudo code를 통해서도 어떻게 학습되는지 설명해주어 이해하기가 훨씬 용이했다. 이번 세미나를 들으면서 diffusion 모델의 무궁무진함을 다시 한 번 느낄 수 있었다. 생성 속도 측면을 개선한다면 정말 다양한 문제 상황에 직접적으로 적용할 수 있을 것이고, 그 만큼 diffusion 모델이 산업에 끼치는 중요도도 올라갈 것이다. 좋은 세미나를 준비하느라 고생한 한샘이형에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

이번 세미나에서는 Diffusion 모델에서 Flow Matching이라는 개념에 대해 진행되었다. Flow Matching은 근본적으로 Diffusion 모델의 느린 생성속도 문제를 해결하고자 한다. 결론적으로 이는 빠르게 생성할 수 있는 Flow 모델을 찾고자 한다. Flow 모델이란, 주어진 분포를 타겟 분포로 변환해주는 모델을 의미한다. 그러나, 이를 직접적으로 학습하는 것은 어렵기에, Velocity Field라는 것을 정의하여 문제를 해결한다. 이는 Source에서 Target으로 변환할 때 어떤 방향으로 변환해야 하는지 알려주는 역할을 한다. 그러나, target 값을 모르기에, 이를 단순하게 학습하긴 어려움으로 Condition을 주어 이를 해결한다고 한다. 궁극적으로, 이렇게 Flow 모델을 활용하면 적은 Step만으로 우수한 이미지를 생성할 수 있다는 장점을 가지며, 이미지 생성에 대한 자유도가 높아질 수 있다는 장점을 갖는다.

몇 개월 전 세미나에서는 Consistency 모델이 이러한 Diffusion 생성 속도를 향상 시킬 수 있는 참신한 구조로 제안되었던 것 같은데, 벌써 또 다른 방향이 제시되었다는 것이 놀라웠다. 개인적으로는 Consistency 모델과 Flow Matching 간 비교를 한 결과도 궁금했다. 유익한 세미나를 준비해준 조한샘 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.