이정민

이번 세미나는 시계열 예측(TSF)에 feature-centric diffusion model을 사용한 연구들에 대해 소개해주었다. TSF에 diffusion model이 사용되는 방식을 간단하게 짚어 보면, 과거 시점 정보들을 condition 으로 주면서 미래 시점 값을 denoising 하는 과정으로 이해할 수 있다. 여기서 조건 자체에서 조건의 feature를 잘 뽑아내기 위한 방식을 feature-centric 이라고 한다.
먼저 mr-Diff는 시계열이 여러 scale의 패턴을 가진다는 특징을 multi-resolution (mr) 구조를 통해 활용하였다. 미시적인 scale의 데이터에서는 상세한 패턴을, 거시적인 scale의 데이터에서는 전체적인 변동을 알 수 있을 것이다. 이렇게 여러 scale을 고려한 것이 가장 주요한 기여점이라고 할 수 있고, 트렌트 패턴이 복잡한 데이터에서 특히 우수한 성능을 보였다.
다음으로 D3U는 시계열 데이터에서 deterministic한 부분과 uncertain한 부분을 분리하여 예측하는 방법론이다.Trend와 seasonality만 사용하고 noise는 분리하는 것이 효과적임을 보여줌으로써, 해당 연구의 배경을 잘 설명하였다. 그렇기 때문에 확실성이 높은 성분은 점 예측 모델을, 확실성이 낮은 잔차는 diffusion model을 통해 처리하자는 아이디어를 가지고 연구가 시작되었다. 쉽게 보면, 점 예측 모델은 기존의 성능이 좋은 모델을 가져다 사용하고, 이 때 중간 feature를 conditional DDPM의 reverse process의 condition으로 넣어주게 된다. 또한, conditional DDPM 과정에서 patch embedding을 사용하는데, patch를 통해 각 노이즈의 지역적 정보를 잘 포함하여 학습이 안정적으로 이루어지게 된다. 사실 성능적인 부분이 확실히 좋지는 않은 것 같아서 조금 의아했는데, 메인 결과 표를 봤을 때, 점 예측 모델로 사용한 SparseVQ 모델보다 과연 성능이 더 좋다고 말 할 수 있나? 그리고 기존 다른 모델들보다 성능이 가장 좋다고 말 할 수 있나? 싶었다.
이번 세미나를 통해 TSF에 diffusion models가 사용되는 방식들에 대해 조금 더 알 수 있었다. 자료 구성이나 애니매이션들이 너무 잘 들어가서 집중 및 이해하기 좋았던 세미나였다. TSF를 diffusion models가 아닌 LLM을 통해 연구를 수행하는 분야도 많이 진행되는 것으로 알고 있는데, 이 부분도 한 번 공부해보고자 한다. 좋은 세미나를 준비하느라 고생하신 구진이형께 감사드리며, 본 세미나 후기를 마친다.

김성수

이번 세미나는 시계열 예측 시 좋은 Feature를 정의하는 방법에 대해 소개한다. 보통 예측 모델은 1) 좋은 Feature를 정의하는 방식 2) Feature를 잘 활용하는 방식 2가지로 접근 가능하지만, 본 세미나는 1번에 집중한다. 기존에는 이를 RNN이나 Transformer와 같은 좋은 모델을 써서 이를 해결했지만, 최근에는 이를 모델 구조적으로 접근하는 것이 아닌 “고도화 전략”을 활용한다. 본 세미나에서는 이러한 전략을 2가지 소개한다. 먼저, Feature 강화 전략으로는 Multi-resolution을 활용한다. 이는 Avgpooling을 통해 거시적인 Scale을 정의하여 Feature를 고도화했다. 두 번째는 불확실성을 활용한다. 해당 연구는 불확실성이 낮은 데이터는 점 예측 모델을, 불확실성이 높은 모델은 Diffusion 모델로 구분하여 활용한다. 이때, Codebook 예측 값이 Uniform하면 불확실하다는 원리에 기반하여 불확실성의 높낮이를 판단한다. 최근 진행하고 있는 산학 프로젝트도 좋은 Feature에 대한 니즈가 계속 있는데, 유익한 고도화 방향을 새롭게 알 수 있었다. 또한 이렇게 Codebook을 활용해서 불확실성 여부를 판단하는 전략은 처음 보았는데, 꽤나 흥미로운 접근법이었다. 유익한 세미나를 준비해준 정구진 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

** 왜 불확실성이 높으면 Diffusion 모델을 쓸까? 점 예측 모델은 평균적인 예측은 잘 하지만, 세부적인 예측에는 약함. 이러한 측면은 확률적 예측 모델인 Diffusion이 오히려 더 잘하는 부분임.