김정인

이번 세미나는 시계열 예측 딥러닝 모델의 패러다임 변화를 주제로 진행되었다. 변화의 흐름은 다음과 같다.

1. Informer(AAAI, 2021), Autoformer(NeurIPS, 2021), FEDformer(PMLR, 2022): 트랜스포머가 개발된 이후, 시계열 예측 모델은 트랜스포머의 인코더 디코더 구조를 기반으로 하고, 일부 모듈만을 변형하는 방식으로 발전해 왔다.

2. LSTF-Linear(AAAI, 2023): 간단한 선형 레이어와 channel independent 설정만으로도 유의미한 예측 정확도를 달성할 수 있음을 보여주며, 새로운 패러다임을 제시하였다.

3. PatchTST(ICLR, 2023): LSTF-Linear의 channel independent 설정, patching 전략과 트랜스포머의 인코더를 사용하여 효과적인 예측이 가능한 새로운 방향을 제안하였다.

4. TSMixer(TMLR, 2023): 간단한 선형 모델이 시간 정보를 잘 반영할 수 있다는 이론적인 근거를 기반으로, 변수 간 관계까지 모델링할 수 있도록 설계되었다. Time-mixer와 feature-mixer라는 두 개의 선형 모듈을 활용해 트랜스포머 기반 모델보다 우수한 성능을 입증하였다.

5. iTransformer(ICLR, 2024): 제목에서부터 LSTF-Linear에서 언급한 선형 모델의 우수성에 반박함을 느낄 수 있다는 발표자의 해석이 가장 인상 깊었다. 이 모델은 channel independent와 channel dependent의 원리를 합친 모델이라고 요약할 수 있다. channel independent 원리를 적용하기 위해, 먼저 입력 데이터에 변수 독립적으로 embedding vector를 생성하고 트랜스포머 인코더에서 multi-head attention을 통해 변수 간의 관계를 반영함으로써 channel dependent 원리를 적용하였다. 이를 통해, 기존 모델보다 우수한 성능을 입증하였다.

6. PITS(ICLR, 2024): Channel independent 세팅과 patching 전략의 효과가 여러 연구에서 입증되면서, 변수 간 독립성뿐 아니라 patch 간 독립성까지 학습해보자는 관점에서 출발한 연구이다. 이는 시계열 예측에 국한되지 않고, 범용적인 시계열 표현 학습을 위한 self-supervised 프레임워크로 제안되었다. 기존 patch 기반 모델들이 트랜스포머 구조를 통해 patch 간 관계를 학습한 반면, 본 연구는 간단한 MLP 구조를 사용하여 patch 간 독립성을 보장한다. 또한, 각 patch를 독립적으로 복원하는 patch reconstruction과 보완적인 두 view 간 표현의 일관성을 학습하는 contrastive learning을 결합하여, 정보 손실 없이 일반화된 시계열 표현을 효과적으로 학습한다.

이번 세미나를 통해 시계열 예측 딥러닝의 최근 연구 흐름과 방향성을 명확히 이해할 수 있었다. 유익한 세미나를 준비해준 광은이에게 고맙다는 말을 전하며, 세미나 후기를 마친다.

김성수

이번 세미나는 시계열 예측 모델에 대한 최신 트랜드를 소개한다. 이전에 PatchTST가 SOTA를 찍은 이후, 최근에는 정말 다양한 갈래로 연구가 진행되고 있다. 크게 세미나에서는 3가지 방향을 소개한다. 1) Transformer에서 다시 역행하여, MLP 기반 모델이 더 우세하다는 연구. 2-1) PatchTST가 채널 간 독립적인 모델링이 중요하다고 주장했었지만, 어느정도 관계성이 반영되어야 한다는 연구. 2-2) 채널을 넘어 패치 수준까지 독립적으로 진행되어야 한다는 연구이다. 이러한 연구 상황을 보면, 아직까지는 시계열 연구가 하나의 정해진 답으로 전진하는 것이 아닌 다양한 갈래로 연구되고 있는 것 같았다. 개인적으로는 시계열 데이터를 점점 독립적으로 취급하면 힌트가 될 수 있는 순차적인 정보를 점점 활용하지 못하는 것인데, 모델링이 잘 된다는 사실이 새롭게 다가왔다. 의외로 당연하다고 생각했던 것이 실제로는 반대로 작용할 수도 있는 것일까? 유익한 세미나를 준비해준 조광은 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.