박성수

이번 세미나는 Diffusion을 활용한 시계열 예측 문제에서 Diffusion-centric 방법론들을 소개한다. Diffusion-centric 방식은 Enhanced process와 Reformulated process로 나눌 수 있다.

Enhanced process는 과거 데이터에서 적절한 feature를 추출한 후, 노이즈를 주입하는 과정에 함께 반영하여 무작위 노이즈가 아닌 정보를 포함한 노이즈를 생성하는 방식이다. forward 과정에서 정보가 반영된 노이즈를 주입하기 위해 설계된 접근이라고 볼 수 있다.

이 계열의 모델 중 하나인 REDI는 기존 Diffusion 기반 방법론들이 충분히 다루지 못했던 distribution drift와 temporal causality 문제를 recurrent forward diffusion process와 step-wise guidance를 통해 해결했다. 기존 Diffusion의 순방향 및 역방향 프로세스 구조를 유지하면서도 시계열 데이터의 특성을 반영하여 내부 메커니즘을 강화한 점이 인상적이었다. 또한 과거 관측값을 모델 구조에 보다 밀도 있게 통합하고, 샘플링 과정을 효율화함으로써 예측의 정확도와 속도를 동시에 개선하려는 시도가 흥미로웠다.

Reformulated process는 Diffusion 프로세스를 시계열 데이터에 맞게 재정의한 접근이다. 기존의 노이즈를 추가하는 forward 프로세스가 temporal 특성을 반영하지 못하고, 오히려 정보 손실을 초래할 수 있다는 문제가 있다.

이 계열의 대표적인 모델인 ARMD는 ARMA에서 영감을 받아 설계되었다. ARMD는 기존 Diffusion 프로세스가 시계열의 본질적인 특성인 시간적 의존성을 충분히 반영하지 못한다고 지적한다. 개별 시점들이 이전 값들과 가지는 의존 관계를 고려하지 않아 이웃한 값들 간의 구조가 훼손될 수 있다는 것이다. 이런 한계를 극복하기 위해 ARMD는 원본 데이터에 직접 노이즈를 추가하지 않고, 시계열을 슬라이딩 윈도우 방식으로 분해하여 중간 상태를 구성한다. 이러한 중간 표현을 Diffusion 과정의 상태로 활용함으로써 시계열의 중요한 구조적 정보를 보존한다. 이 접근은 Diffusion 메커니즘을 시계열의 실제 생성 과정에 자연스럽게 반영하여 예측 성능이 향상시켰다.

이번 세미나를 통해 시계열 예측 문제를 연구하는 과정에서 연구 시야를 넓힐 수 있었다. 유익한 세미나를 준비해주신 정구진 선배님께 고맙다는 말씀을 올리며 본 세미나 후기를 마친다.