이번 세미나는 시계열 예측 딥러닝 모델의 패러다임 변화를 주제로 진행되었다. 변화의 흐름은 다음과 같다.

1. Informer(AAAI, 2021), Autoformer(NeurIPS, 2021), FEDformer(PMLR, 2022): 트랜스포머가 개발된 이후, 시계열 예측 모델은 트랜스포머의 인코더 디코더 구조를 기반으로 하고, 일부 모듈만을 변형하는 방식으로 발전해 왔다.

2. LSTF-Linear(AAAI, 2023): 간단한 선형 레이어와 channel independent 설정만으로도 유의미한 예측 정확도를 달성할 수 있음을 보여주며, 새로운 패러다임을 제시하였다.

3. PatchTST(ICLR, 2023): LSTF-Linear의 channel independent 설정, patching 전략과 트랜스포머의 인코더를 사용하여 효과적인 예측이 가능한 새로운 방향을 제안하였다.

4. TSMixer(TMLR, 2023): 간단한 선형 모델이 시간 정보를 잘 반영할 수 있다는 이론적인 근거를 기반으로, 변수 간 관계까지 모델링할 수 있도록 설계되었다. Time-mixer와 feature-mixer라는 두 개의 선형 모듈을 활용해 트랜스포머 기반 모델보다 우수한 성능을 입증하였다.

5. iTransformer(ICLR, 2024): 제목에서부터 LSTF-Linear에서 언급한 선형 모델의 우수성에 반박함을 느낄 수 있다는 발표자의 해석이 가장 인상 깊었다. 이 모델은 channel independent와 channel dependent의 원리를 합친 모델이라고 요약할 수 있다. channel independent 원리를 적용하기 위해, 먼저 입력 데이터에 변수 독립적으로 embedding vector를 생성하고 트랜스포머 인코더에서 multi-head attention을 통해 변수 간의 관계를 반영함으로써 channel dependent 원리를 적용하였다. 이를 통해, 기존 모델보다 우수한 성능을 입증하였다.

6. PITS(ICLR, 2024): Channel independent 세팅과 patching 전략의 효과가 여러 연구에서 입증되면서, 변수 간 독립성뿐 아니라 patch 간 독립성까지 학습해보자는 관점에서 출발한 연구이다. 이는 시계열 예측에 국한되지 않고, 범용적인 시계열 표현 학습을 위한 self-supervised 프레임워크로 제안되었다. 기존 patch 기반 모델들이 트랜스포머 구조를 통해 patch 간 관계를 학습한 반면, 본 연구는 간단한 MLP 구조를 사용하여 patch 간 독립성을 보장한다. 또한, 각 patch를 독립적으로 복원하는 patch reconstruction과 보완적인 두 view 간 표현의 일관성을 학습하는 contrastive learning을 결합하여, 정보 손실 없이 일반화된 시계열 표현을 효과적으로 학습한다.

이번 세미나를 통해 시계열 예측 딥러닝의 최근 연구 흐름과 방향성을 명확히 이해할 수 있었다. 유익한 세미나를 준비해준 광은이에게 고맙다는 말을 전하며, 세미나 후기를 마친다.

이번 세미나는 시계열 예측 모델에 대한 최신 트랜드를 소개한다. 이전에 PatchTST가 SOTA를 찍은 이후, 최근에는 정말 다양한 갈래로 연구가 진행되고 있다. 크게 세미나에서는 3가지 방향을 소개한다. 1) Transformer에서 다시 역행하여, MLP 기반 모델이 더 우세하다는 연구. 2-1) PatchTST가 채널 간 독립적인 모델링이 중요하다고 주장했었지만, 어느정도 관계성이 반영되어야 한다는 연구. 2-2) 채널을 넘어 패치 수준까지 독립적으로 진행되어야 한다는 연구이다. 이러한 연구 상황을 보면, 아직까지는 시계열 연구가 하나의 정해진 답으로 전진하는 것이 아닌 다양한 갈래로 연구되고 있는 것 같았다. 개인적으로는 시계열 데이터를 점점 독립적으로 취급하면 힌트가 될 수 있는 순차적인 정보를 점점 활용하지 못하는 것인데, 모델링이 잘 된다는 사실이 새롭게 다가왔다. 의외로 당연하다고 생각했던 것이 실제로는 반대로 작용할 수도 있는 것일까? 유익한 세미나를 준비해준 조광은 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 Beyond Channel Independence: New Paradigms for Time Series Analysis를 주제로 진행되었다. Transformer 이후 LTSF-Linear와 PatchTST의 등장으로 다변량 시계열 예측 연구의 패러다임이 바뀐 과정을 간단히 소개해 주었다. 이어서 TSMixer, iTransformer, PITS 세 논문이 channel independence를 어떻게 보완하거나 대체하는지의 관점에서 방법론을 설명해 주었다.

TSMixer는 Linear 모델이 temporal 관계를 잘 포착한다는 점에서 출발한다. 시간 축과 변수 축에 각각 MLP를 적용하는 구조로 temporal 관계뿐만 아니라 변수 간 관계와 보조 정보까지 고려한다. iTransformer는 입력을 transpose해 변수별 시계열 전체를 하나의 토큰으로 임베딩하고 attention에서 변수 간 관계를 반영함으로써 channel independent와 channel dependent의 장점을 모두 활용한다. 마지막으로 PITS는 변수뿐만 아니라 patch도 독립적으로 학습하자고 주장한다. 이를 위해 patch별 MLP와 reconstruction loss, 그리고 인접 시계열 정보를 보충하는 contrastive loss로 표현을 학습한다.

이전 Channel Independent Strategy for Time Series Forecasting 세미나에서 channel independent가 효과적인 이유를 distribution shift에 대한 강건성으로 설명해 주었다. 이번 세미나는 channel independent에서 출발해 변수 간 관계를 함께 고려하는 방향과 independence 성질을 patch까지 확장하는 방향의 흐름을 살펴볼 수 있었다. 두 세미나를 이어서 시청했는데, 연구의 흐름을 이해하는 데 큰 도움이 되었다.

좋은 세미나를 준비해 주신 조광은 선배님께 감사드리며 세미나 후기를 마친다.