김정인

이번 세미나는 시계열 예측 딥러닝 모델의 패러다임 변화를 주제로 진행되었다. 변화의 흐름은 다음과 같다.

1. Informer(AAAI, 2021), Autoformer(NeurIPS, 2021), FEDformer(PMLR, 2022): 트랜스포머가 개발된 이후, 시계열 예측 모델은 트랜스포머의 인코더 디코더 구조를 기반으로 하고, 일부 모듈만을 변형하는 방식으로 발전해 왔다.

2. LSTF-Linear(AAAI, 2023): 간단한 선형 레이어와 channel independent 설정만으로도 유의미한 예측 정확도를 달성할 수 있음을 보여주며, 새로운 패러다임을 제시하였다.

3. PatchTST(ICLR, 2023): LSTF-Linear의 channel independent 설정, patching 전략과 트랜스포머의 인코더를 사용하여 효과적인 예측이 가능한 새로운 방향을 제안하였다.

4. TSMixer(TMLR, 2023): 간단한 선형 모델이 시간 정보를 잘 반영할 수 있다는 이론적인 근거를 기반으로, 변수 간 관계까지 모델링할 수 있도록 설계되었다. Time-mixer와 feature-mixer라는 두 개의 선형 모듈을 활용해 트랜스포머 기반 모델보다 우수한 성능을 입증하였다.

5. iTransformer(ICLR, 2024): 제목에서부터 LSTF-Linear에서 언급한 선형 모델의 우수성에 반박함을 느낄 수 있다는 발표자의 해석이 가장 인상 깊었다. 이 모델은 channel independent와 channel dependent의 원리를 합친 모델이라고 요약할 수 있다. channel independent 원리를 적용하기 위해, 먼저 입력 데이터에 변수 독립적으로 embedding vector를 생성하고 트랜스포머 인코더에서 multi-head attention을 통해 변수 간의 관계를 반영함으로써 channel dependent 원리를 적용하였다. 이를 통해, 기존 모델보다 우수한 성능을 입증하였다.

6. PITS(ICLR, 2024): Channel independent 세팅과 patching 전략의 효과가 여러 연구에서 입증되면서, 변수 간 독립성뿐 아니라 patch 간 독립성까지 학습해보자는 관점에서 출발한 연구이다. 이는 시계열 예측에 국한되지 않고, 범용적인 시계열 표현 학습을 위한 self-supervised 프레임워크로 제안되었다. 기존 patch 기반 모델들이 트랜스포머 구조를 통해 patch 간 관계를 학습한 반면, 본 연구는 간단한 MLP 구조를 사용하여 patch 간 독립성을 보장한다. 또한, 각 patch를 독립적으로 복원하는 patch reconstruction과 보완적인 두 view 간 표현의 일관성을 학습하는 contrastive learning을 결합하여, 정보 손실 없이 일반화된 시계열 표현을 효과적으로 학습한다.

이번 세미나를 통해 시계열 예측 딥러닝의 최근 연구 흐름과 방향성을 명확히 이해할 수 있었다. 유익한 세미나를 준비해준 광은이에게 고맙다는 말을 전하며, 세미나 후기를 마친다.