생성형 모델은 VAE, GAN, NCSN, DDPM, Score-SDE, Flow matching, Consistency Model, Mean Flow로 이어지는 흐름 속에서, 점점 더 깊은 수학적 기반 위에서 발전해왔다. 이러한 흐름을 따라가며 수식을 하나하나 직접 풀어보고 이해하려했던 과거를 생각해보면 무척이나 어려웠지만 그 과정 속에서 깊은 희열을 느끼게 해준 영역이다.

최근 우리 연구실에서도 diffusion model에 대한 필요성이 점차 커지고 있으며, 특히나 VLA 분야에서 Diffusion policy가 주목받으면서 관련 연구에 대한 관심이 높아지고 있다. 이에 본 세미나에서는 inverse problem뿐만 아닌, diffusion 자체에 대한 설명을 기하학적으로 다루며 manifold 상에서 실제로 diffusion이 어떻게 동작하는지를 직관적으로 담고자 노력했다. 본인의 설명이 부족하여 잘 전달이 되었을지에 대한 걱정이 남는다.

과분하게도 많은 연구원들이 열정적으로 세미나를 들으며 후기를 남겨줘서 진심으로 고마운 마음이다. 특히나 자리에 찾아와서 이해 안되는 부분을 하나하나 물어본 동기부터 학회로 인해 멀리 외국에 나가계신 선배님도 원격으로 많은 질문을 주시며 이렇게 연구적인 소통을 하는 순간들이 너무나 좋은 기억으로 남는다. 앞으로도 이런 교류가 활발히 이뤄졌으면 좋겠다는 개인적인 바람이다.

이번 세미나를 통해 diffusion model 및 inverse problem 연구에 관심 있는 연구원들이 조금 더 쉽게 관련 연구를 이해하고 연구를 수행해 나가는데 도움이 되길 바라며 발표자 후기를 마친다.

​

이번 세미나에서는 diffusion inverse problem의 기본 개념부터 DPS, MCG, DAPS 같은 대표 기법들까지 흐름 있게 설명해줘서 전체 분야를 이해하는 데 큰 도움이 되었다. 특히 inverse problem이 관측값만으로는 정답이 하나로 정해지지 않는 ill-posed problem이기 때문에, 관측 정보를 만족시키는 것과 자연스러운 이미지 prior를 함께 반영하는 것이 중요하다는 점이 인상적이었고, 이를 각 timestep에서 어떻게 균형 있게 조절하느냐에 따라 방법론이 달라진다는 점도 매우 흥미로웠다. 개인적으로는 diffusion model이 단순한 이미지 생성기를 넘어 posterior sampling을 수행하는 추론 도구처럼 활용된다는 관점이 특히 인상 깊었으며, 앞으로는 이런 방법들이 실제 복원 성능과 계산 효율 사이의 trade-off를 어떻게 개선해나갈지도 더 궁금하다는 생각이 들었다. 전체적으로 diffusion 기반 복원 방법들의 발전 방향과 남아 있는 과제를 함께 생각해볼 수 있었던 유익한 세미나였다.

금일 세미나는 diffusion inverse problem이라는 주제로 송하영 연구원이 진행하였다. 일반적인 diffusion process와 다르게, inverse problem은 초기 조건 y를 만족하는 원본 이미지 x를 생성하는 문제이다. Conditional diffusion(흔히 classifier guidance 혹은 classifier free guidance)과 무엇이 다르냐라고 할 수 있겠는데, 내가 이번 세미나를 듣고 이해한 바로는 아래와 같은 차이를 가진 것 같다 : Conditional diffusion에서 condition은 이미지의 클래스, 혹은 이미지를 설명하는 자연어 프롬프트 등 생성 방향을 유도하는 soft한 정보인 반면, inverse problem에서 condition은 저해상도 이미지 (super resolution), 혹은 주변 배경 (inpainting) 등 해당 semantic을 반드시 만족해야하는 hard constraint에 가깝다.

첫번째 소개한 DPS의 경우, 기존의 unconditional score function인 delta_p(x) 대신 사후 확률(posterior)인 delta_p(x|y)로 바꾼 다음, 이를 분해한다. 결론적으로 이전에 학습된 diffusion prior p(x)에다가, p(y|x_t)에 대한 gradient만 더하면 되는데, 이 transformation의 가정을 gaussian으로 가정하여 gradient를 쉽게 구할 수 있었다. 다 이해가 되긴하는데, 한 가지 궁금한 점은 delta_p(y|x_t)가 delta_p(y|x_hat_0)와 같다고 하여서 결국 x_0_hat에 대한 gradient만 바로 구하면 된다는 것이었다. 이 말이 맞다면, 결국 이와 비슷하게 classifier p(c|x_t)에 대한 기울기를 사용하는 classifier guidance도 똑같은 방식으로 쓰면 되는 것 아닌가? classifier guidance는 diffusion model을 추가학습하지 않는대신 classifier의 gradient로 sampling direction을 고치는 방법이지만, 모든 시점 t에 대한 classifier의 학습이 필요하기 때문에 현실적이지 않아서 CFG가 등장하기 된것으로 아는데.. 저 가정이 inverse problem에서만 적용되는 것인지 궁금하다.

두번째 MCG의 경우 순서상 DPS를 먼저 듣고나니 굳이 projection이 필요한가라는 생각이 들었다. DPS는 1. i에서 i-1 스텝으로 denoising, 2. condition y방향으로 이동으로 이루어져있다면, MCG는 여기다가 3번째인 projection step이 존재한다. 본 세미나에서 projection이 구체적으로 어떻게 적용되는지는 상세하게 설명되지는 않았지만, 본 세미나를 촬영한 송하영군에게 질척거리며 물어본 결과, 생성 후 기존 정보 y에다가 masking된 부분만 paste하는 방식으로도 할 수 있다고 한다. 무슨 말인지 이해는 하겠는데, DPS를 먼저 봐서 그런지, 아니면 기하학적으로 내 이해가 부족해서 그런지 MGC에서 굳이 이렇게 projection까지 해야 하는 이유는 잘 이해하지 못했다.

세번째, DAPS의 경우 x_t와 x_t-1 사이의 종속성으로 인한 error accumulation을 끊기 위해, 매 스텝마다 x_0_hat space(세미나 왈 manifold 0)상으로 옮긴 후, y=Ax 상으로 접평면 방향으로 이동한다. 그 이후 forward process를 약간씩 줄여가는 과정으로 한다. 결론적으로 manifold t 시점에서 y=Ax방향으로 이동하던 것을 manifold 0 방향에서 y=Ax방향으로 이동한다고 이해하였다. DAPS의 경우 forward process또한 매 iteration마다 처음부터 다시 발생하는 것으로 이해헀는데, 좀 더 정확한 것은 논문을 보고 이해해야할 것 같다.

오늘 세미나는 이 방법론 3개 뿐만 아니라 diffusion에서 흔히 사용하는 평가 메트릭 또한 소개되었다. 그동안 diffusion 연구하는 사람들 보면서 대강 저게 높으면 좋은거니 낮으면 좋은거니 정도로 알고있었는데, 수식에 대한 간결한 설명 덕분에 왜 그런지 이유를 알 수 있었다. 기깔난 세미나를 준비하느라 고생한 송하영 연구원에게 박수를 보낸다.

최근 VLA 에서의의 Diffusion Policy 를 읽으며 Diffusion 에 관심을 갖게 되며 본 세미나를 청취하게 되었으며, 본 세미나는 Diffusion 중에서도 Inverse Problem의 핵심 원리와 방법론적 진화 과정을 다루고있다. Inverse Problem 즉, 역문제란 노이즈가 섞인 관측 데이터 y로부터 원본 상태 x를 복원하는 과정으로, inpainting, super-resolution, MRI 복원 등이 대표적인 사례다. 이번 강연은 사전 학습된 디퓨전 모델이 보유한 강력한 데이터 분포 지식을 활용하여 이러한 복잡한 역문제를 수학적으로 어떻게 정의하고 해결할 수 있는지에 대한 명확한 방법을 제시했다. Diffusion 모델의 기초는 데이터의 확률 밀도가 가장 높은 지점을 찾아가는 과정에서 시작된다. 이는 산 정상에 오르기 위해 기울기가 가장 가파른 방향을 따라 이동하는 것과 유사하며, 이때의 기울기를 Score라 정의한다. 수식으로는 ∇xlogp(x)으로 나타내며, 모델은 이 스코어를 학습함으로써 임의의 노이즈 상태에서 데이터 밀도가 높은 방향으로 점진적으로 이동하며, 이 과정에서 Langevin Dynamics을 통해 품질 좋은 샘플을 생성해낸다. 역문제의 핵심은 관측치 y가 주어졌을 때 조건부 확률 p(x∣y)를 따르는 스코어 ∇xlogp(x∣y)를 구하는 것이다. 이는 베이즈 정리에 의해 ∇xlogp(x∣y)=∇xlogp(y∣x)+∇xlogp(x) 로 분해되며, 사전 학습된 디퓨전의 사전 지식(Prior)과 관측 과정의 정보를 결합하여 도출된다. 세미나에서는 이러한 역문제 해결을 위해 Manifold 라는 사전 학습된 이미지에서의 공간과 관측 제약 조건을 어떻게 수학적으로 정합시키느냐에 따라 단계적으로 발전해 온 네 가지 주요 방법론을 조명했다. 세미나에서는 설명을 위해 흐름을 바꾸었지만, 이를 정리하여 시간 흐름대로 적어보고자 한다.

첫째로, 가장 먼저 소개된 Score-SDE 방식은 Score 함수를 통해 sample을 매니폴드 방향으로 유도한 뒤, 관측치 y=Ax에 부합하는 결과물을 얻기 위해 Projection 기법을 사용했다. 그러나 이 방식은 Projection 과정에서 샘플이 Manifold 영역 밖으로 밀려나며 결과물이 왜곡되거나 생성 품질이 저하되는 근본적인 한계를 안고 있었다. ( [1] xi' ← s_theta(xi, I) / [2] Proj(xi') )

둘째로, 이후 등장한 MCG는 매니폴드의 접공간 방향으로 업데이트 step 을 설정하는 방식을 취함으로써, manifold 구조를 최대한 보존하면서도 제약 조건을 만족시키는 해를 찾아가 안정적인 생성 결과를 확보할 수 있었다. ([1] xi'← s_theta(xi, i) - ∇(y-A(x0_hat)) / [2] Proj(xi') )

셋째, 그 이후 DPS (Diffusion Posterior Sampling) 는 수학적으로 직접 계산이 어려운 사후 확률 분포를 Tweedie’s Formula( x0_hat≈E[x0∣xt] ) 로 근사하여 예측된 원본 이미지 x0_hat 과 관측치 사이 오차에 대해 경사하강법을 직접 적용하는 유연한 접근을 보여주었다. DPS는 이전의 projection 과정을 제외한 방향으로 업데이트를 진행하여 Projection 을 쓰지 않고도 좀 더 괜찮은 성능을 낼 수 있음을 보였으나, local error가 중첩되어 global error 가 나올 수 있다는 단점을 가지고 있었다. ( [1] xi ' ← s_theta(xi, i) - ∇(y-A(x0_hat) )

넷째로, 이러한 에러 누적 문제를 근본적으로 해결하기 위해 제안된 것이 바로 DAPS 방식이다. DAPS는 현재 시점 x_{t}와 차기 시점 x_{t−1} 사이의 종속성을 끊어내는 Decoupling 전략을 도입했다. 매 단계마다 현재 노이즈 상태에서 x0 manifold (=M0)를 추정하고 그 위에서 gradient update를 수행한 뒤 다시 차기 시점의 manifold 로 복귀하는 정교한 루프를 설계함으로써 에러가 중첩되는 현상을 효과적으로 방지했다. 이러한 구조적 혁신 덕분에 DAPS는 Phase Retrieval과 같은 nonlinear inverse problem 에서도 기존 방법론들을 압도하는 뛰어난 성능을 입증하였다.

Diffusion 에 있어 DDPM 과 같은 기초적 모델도 모르는 상태에서 보았음에도 불구하고 이해가 되었을 정도로 세미나가 청취자의 이해 흐름에 맞게 잘 구성되어 있어 좋았으며, 그간의 노력이 느껴졌다. 읽으며 Diffusion 을 다양하게 활용해볼 수 있다고 느껴졌는데, 이를테면 VLM 튜닝의 modal gap 해결을 위한 prototype 추출에 있어서 score-guided sampling 형태로 추출하도록 한다면 더 좋지 않을까 라는 생각도 할 수 있었다. 이렇게 좋은 세미나를 쉽게 설명하기까지 고생했던 송하영 연구원에게 고마움의 인사와 박수를 보낸다.

Diffusion 모델에 대해 궁금증이 생겨 본 세미나를 청취하게 되었으며, 이번 세미나는 diffusion 기반 inverse problem을 다룬다.

핵심 내용은 다음 세 가지로 정리할 수 있을 것 같다.
(1) Inverse problem은 관측값 y로부터 원본 x를 복원하는 문제로, 하나의 관측값에 대해 여러 해가 존재하기 때문에 prior(데이터 분포)와 observation(관측 조건)을 동시에 고려하는 것이 중요하다.
(2) 이를 diffusion 모델에서는 score ∇_xlogp(x)를 통해 데이터 분포가 높은 방향으로 샘플을 이동시키는 방식으로 이해할 수 있으며, posterior score는 prior와 likelihood의 결합으로 표현된다는 점이 핵심이다.
(3) 세미나에서는 이러한 구조를 설명하기 위해 Score-SDE, MCG, DPS, DAPS와 같은 방법들을 비교하며, 각 방식이 manifold를 유지하는 것과 관측값을 반영하는 것을 어떻게 다르게 처리하는지 보여주었다.

특히 MCG, DPS, DAPS의 차이를 통해 “sampling 과정에서 두 조건을 어떻게 조합할 것인가”가 핵심 문제라는 점이 인상 깊었다. DPS에서는 local error가 누적되어 global error로 이어질 수 있다는 한계가 있었고, DAPS에서는 이를 해결하기 위해 denoising과 data consistency를 분리하고 step 간 종속성을 줄이는 방식으로 접근한다는 점이 이해에 도움이 되었다.

전반적으로 복잡한 개념을 직관적인 흐름으로 설명해주어 diffusion을 처음 접하는 입장에서도 큰 흐름을 이해할 수 있었고, 관련 주제에 대해 더 탐구해보고 싶다는 생각이 들었다. 좋은 세미나를 준비해준 송하영 연구원께 고마움을 전하며 후기를 마친다.

이번 세미나는 Diffusion Inverse Problem이라는 주제로 진행되었다. 수많은 가능성(x) 중 관측 데이터(y)를 만족하는 최적의 해를 찾아가는 과정은 수식적으로나 직관적으로나 난이도가 높은데, 이를 manifold라는 기하학적 관점에서 풀어내 주어서 이해에 도움이 되었다.
이번 발표에서 가장 인상 깊었던 점은 역문제를 해결하기 위한 방법론이 진화하는 과정을 소개해줬다는 점이었다. 데이터가 존재하는 manifold를 이탈하지 않으면서도 관측치 y를 반영해야 하는 역문제에 대해서 알 수 있었다.

첫 번째 방법론인 DPS(Diffusion Posterior Sampling)는 Tweedie’s Formula를 활용하여 복잡한 사후 확률 분포를 근사하고, 각 time step에서 원본 이미지 x_0를 예측해서 gradient를 업데이트 하는 방법이 인상적이었다. 하지만 이 방법은 샘플링 과정에서 발생하는 local error가 누적될 수 있다는 한계가 존재한다.

두 번째인 MCG(Manifold Constraint Guidance)는 manifold의 접공간 방향으로 업데이트를 설정하는 방식을 사용했다. manifold 구조를 최대한 보존하면서도 제약 조건을 만족시키는 해를 찾아가도록 유도하는 것이다. 이 방법론에 대한 설명에서 생성 후 기존 정보 y에 마스킹된 부분을 다시 붙여넣는 식의 방식이 기하학적으로 어떻게 manifold 상의 이동으로 해석되는지 설명해주어 이해에 도움이 되었다.

마지막으로 DAPS(Decoupling Noise Annealing)는 DPS의 한계점인 종속성을 끊어내고 각 step에서 manifold 상의 최적화를 수행한 뒤 다시 프로세스로 복귀하는 decoupling 전략을 사용한다. 이를 통해 비선형적인 역문제에서도 error의 누적 없이 강건하게 복원이 가능하다.

시계열 예측 모델을 연구하는 입장에서 이번 세미나의 내용들을 어떻게 접목할 수 있을지 생각해봤다. 시계열 예측도 관측된 과거 데이터를 y로 두고, 이를 바탕으로 미래의 잠재적 분포인 x를 생성해내는 과정이라는 점에서 역문제와 비슷하다고 느꼈다. 특히 시계열의 장기 예측에서 발생하는 고질적인 문제인 예측 오차가 누적되는 문제를 DAPS의 decoupling 전략과 접목한다면 미래 시점의 예측값이 과거의 추세로부터 괴리되는 현상을 제어하면서 강건한 예측 분포를 형성할 수 있지 않을까라는 생각이 들었다.

수식적으로 어려울 수 있는 개념들을 시각적인 manifold 예시와 설명해주어 이해에 도움이 되었다. 좋은 세미나를 준비해준 송하영 연구원에게 뜨거운 박수를 보내며 본 세미나 후기를 마친다.

이번 세미나는 Diffusion Inverse Problem이라는 주제로 진행되었다. Diffusion model은 주로 이미지 생성 모델로만 이해하고 있었는데, 이번 세미나를 통해 diffusion 관측값으로부터 원본을 복원하는 inverse problem에서도 강력한 prior로 활용될 수 있다는 점을 배울 수 있었다.

Inverse problem은 관측값 y가 주어졌을 때 이를 만들어낸 원본 x를 복원하는 문제이다. 예를 들어 inpainting에서는 일부 픽셀이 가려진 이미지로부터 원래 이미지를 복원해야 하고, super-resolution에서는 저해상도 이미지로부터 고해상도 이미지를 복원해야 하며, deblurring이나 MRI reconstruction 역시 같은 틀에서 이해할 수 있다. 이때 중요한 점은 하나의 관측값 y를 설명할 수 있는 원본 x가 무수히 많다는 것이다. 따라서 inverse problem은 관측값을 만족하는 것뿐 아니라 사전 지식이 필요하다.

세미나 초반부에서는 diffusion model의 기본 원리를 score의 관점에서 설명해주었다. 데이터 분포 전체를 직접 아는 것은 어렵지만, 현재 샘플이 어느 방향으로 이동해야 데이터 밀도가 높아지는지를 알려주는 score를 학습할 수 있다. 이를 산 정상에 오르는 비유로 설명해주어 직관적으로 이해하기 쉬웠다. 즉 score는 현재 위치에서 확률밀도가 더 높은 방향을 알려주는 기울기이며, diffusion model은 이 score를 이용해 noise 상태의 샘플을 점차 데이터 분포 위의 샘플로 복원한다. 또한 Langevin dynamics를 통해 score 방향으로 이동하면서도 noise를 함께 주는 방식이 sampling 과정으로 이어진다는 점도 인상 깊었다.

Inverse problem에서는 단순히 p(x)에서 샘플링하는 것이 아니라, 관측값 y가 주어졌을 때의 posterior distribution인 p(x|y)에서 샘플링해야 한다. 결국 diffusion inverse problem의 핵심은 데이터 manifold 위에 있는 샘플을 유지하면서도 관측값 y를 만족하는 샘플을 얻는 것이다. 이번 세미나는 이 문제를 여러 논문들이 어떤 방식으로 해결해왔는지를 흐름에 따라 보여주었다.

가장 먼저 소개된 방법론은 DPS였다. Tweedie’s formula를 통해 x0_hat을 얻고, A x0_hat과 실제 관측값 y 사이의 차이를 줄이는 방향으로 gradient를 더한다. 별도의 model을 다시 학습하지 않고도 inverse problem을 풀 수 있다는 점이 특징이었다.
기존의 단순 projection 기반 접근에서는 관측값을 맞추는 과정에서 sample이 data manifold 밖으로 벗어날 수 있는데, DPS는 x0_hat 기반의 likelihood gradient를 통해 다양한 inverse problem에서 유연하게 적용될 수 있음을 알 수 있었다. 다만 각 step에서 얻은 x0_hat 추정이 완벽하지 않을 경우, 그때 발생한 local error가 다음 step으로 전달되고 누적되어 global error로 이어질 수 있다는 한계도 존재한다.

다음으로 소개된 방법론은 MCG이다. MCG는 inverse problem을 manifold의 관점에서 바라보는 방법으로, 세미나에서 소개된 기하학적 설명이 이해에 큰 도움이 되었다. 이미지 데이터가 존재하는 manifold가 있고, y = Ax가 있을 때, 우리가 원하는 해는 단순히 관측값만 만족하는 점이 아니라 data manifold와 y=Ax와 만나는 지점이라고 볼 수 있다. 따라서 MCG는 sample이 manifold 구조를 최대한 벗어나지 않도록 하면서 y=Ax을 만족시키는 방향으로 update를 설계한다.

마지막으로 소개된 방법론은 DAPS이었다. DAPS는 DPS에서 발생할 수 있는 local error accumulation 문제를 해결하기 위해 등장한 방법으로 이해했다. DPS에서는 각 step에서 x0_hat을 예측하고 이를 기반으로 likelihood gradient를 계산하지만, 이 과정에서 생긴 작은 오차가 다음 step으로 이어지면서 전체에 영향을 줄 수 있다. DAPS는 이러한 step 간 종속성을 줄이기 위해 decoupling 방법을 사용한다.
이는 이전 step의 error가 다음 step으로 누적되는 문제를 완화한다.

전반적으로 이번 세미나는 diffusion inverse problem이라는 주제를 발표 자료의 흐름에 맞게 설명해주었다는 점에서 매우 인상 깊었다. diffusion의 기본 개념, score 기반 sampling, posterior score 분해, DPS, MCG, DAPS까지 이어지는 흐름이 자연스럽게 연결되어 있어, 배경지식이 많지 않은 입장에서도 큰 그림을 따라갈 수 있었다. 특히 수식적 설명과 manifold 기반의 시각적 설명이 함께 제공되어 직관과 이론을 동시에 이해하는 데 큰 도움이 되었다.

좋은 세미나를 준비해주신 송하영 연구원께 고마움과 박수를 전하며 세미나 후기를 마친다.

이번 세미나는 사전 학습된 디퓨전 모델을 활용하여 다양한 역문제(Inverse Problem)를 해결하는 최신 연구 동향을 수학적, 기하학적 관점에서 심도 있게 다루었다. 역문제는 손상되거나 차원이 축소된 관측치 y 로부터 원본 데이터 x를 복원하는 태스크로, 인페인팅이나 Super-resolution 등이 이에 해당한다.
본 세미나를 통해 생성 모델의 확률적 근거부터 공간적 해석에 이르기까지 깊이 있는 통찰을 얻을 수 있었다.먼저 데이터의 완벽한 초기 분포를 알 수 없는 제약을 극복하기 위해 디퓨전 모델이 스코어를 학습하는 핵심 과정을 이해할 수 있었고, 스코어는 데이터 확률 밀도가 가장 가파르게 증가하는 방향을 가리키는 미분 기울기이며 단순히 기울기만을 따라가면 특정 모드에 갇혀 다양성이 떨어질 수 있으므로, 노이즈(epsilon)를 지속적으로 주입하는 랑제빈 다이나믹스(Langevin Dynamics)를 활용한다는 사실을 확인했다. 이를 통해 탐색 과정에 불확실성을 부여하고, 데이터 분포 내의 다양한 고밀도 신뢰 구간에 안정적으로 도달할 수 있는 디퓨전의 근본적인 생성 메커니즘을 이해할 수 있었다.
또한 역문제 상황에서 새로운 관측치 y가 주어질 때마다 모델을 재학습하는 것은 비용 측면에서 불가능에 가깝다. 이를 해결하기 위해 베이즈 룰을 적용하여 사후 스코어를 관측치 기반의 liklihood 스코어 와 사전 학습된 스코어의 합으로 분해하는 전략은 디퓨전을 모르는 사람도 직관적으로 이해할 수 있는 명료한 테크닉이었다. 특히 Diffusion Posterior Sampling (DPS)는 이 과정에서 발생하는 난제를 우회하는데, x_t에서 원본 x_0로 향하는 정확한 궤적을 알 수 없어 적분이 불가능한 문제를 해결하기 위해, 노이즈 상태에서 원본을 추정하는 Tweedie's formula를 적용하여 hat x_0을 도출할 수 있다고 한다. 이후 조건부 독립 가정을 세우고 Jensen's inequality를 활용하여 적분식을 기댓값 형태의 분포로 근사하는데, 이러한 궁극적인 목적은 계산 불가능한 궤적을 억지로 구하는 대신, 기댓값이 따르는 분포를 조건으로 제공하여 원본 생성을 유도하기 위해서인 것 같다.

위 세미나에서 가장 재밌었던 부분은 역문제를 기하학적 공간으로 확장하여 해석한 Manifold Constraints Gradient (MCG) 파트였다. Manifold Hypothesis에 따르면 원본 이미지는 비교적 좁고 단조로운 저차원 매니폴드 공간에 존재하지만, 노이즈가 더해질수록 차원이 확장되어 데이터가 위치할 수 있는 영역이 방대해진다. 이 때 Reverse process는 이 고차원의 노이즈 공간에서 원본 매니폴드를 관통하여 들어가는 과정인데, 단순히 기존(?) 방식처럼 관측 조건인 y=Ax 공간으로 강제 projection을 내리게 되면, 샘플이 목표하는 데이터 매니폴드 밖으로 벗어나며.. 그 결과 주변 맥락과 전혀 맞지 않는 엉뚱한 아티팩트가 생성될 수 있다고 한다. MCG는 이러한 기하학적 오류를 방지하기 위해, 현재 위치한 매니폴드에서 목표 관측치 y를 향하는 접공간 방향으로 디노이징 스텝을 취한다. 즉, 단순한 노이즈 제거를 넘어 관측 조건과 데이터 분포의 기하학적 일관성을 동시에 유지하며 y와 적절한 매니폴드 공간을 따라 하강하는 것으로 이해했다.

마지막으로 2025 CVPR의 DAPS (Decoupled Annealing Posterior Sampling)는 이전 최적화 과정에 대한 종속성을 배제해야한다고 주장한 연구이다. 기존 방법들은 이전 스텝(t+Delta t)에서의 노이즈 제거 이력에 크게 의존하는데, 이때 발생한 로컬 에러가 궤적을 따라 글로벌 에러로 눈덩이처럼 누적되는 치명적 문제가 존재했다고 한다. 반면 DAPS는 스텝 간의 종속성을 decoupling하여 매 순간 독립적으로 최적의 사후 분포를 재평가함으로써, 특히 궤적 예측이 까다로운 비선형 문제에서도 훨씬 뛰어난 복원 성능을 달성함을 확인했다

지금까지 디퓨전 지식이 전무했음에도 불구하고, 위 세미나를 통해 인버스 문제와 각 방법론의 메인 아이디어를 이해할 수 있었으며, 설명하기 까다로운 수학적 이론을 직관적인 기하학적 해석을 통해 이해하기 쉬운 설명을 해준 송하영 연구원에게 박수를 보낸다. 다시 한번 유익한 세미나를 촬영한 점에 대해 다시 한번 존경의 뜻을 표하며 후기를 마친다.