이번 세미나는 시계열 예측(Time Series Forecasting) 기술이 전통적인 통계 모델에서 딥러닝 모델을 거쳐 최근의 파운데이션 모델로 발전해 온 흐름을 한눈에 살펴볼 수 있는 시간이었다.

초기 시계열 예측은 Exponential Smoothing이나 ARIMA와 같은 통계적 모델을 중심으로 발전해 왔다. 이러한 방법들은 자기상관성이나 차분을 통한 비정상성 제거에 초점을 맞추며 오랫동안 시계열 분석의 표준으로 사용되어 왔다. 이후 딥러닝이 등장하면서 MLP, RNN, CNN 등이 시계열 예측에 활용되기 시작했지만, 각각 시간적 의존성 반영의 한계, 기울기 소실 문제, 국소 패턴 위주의 학습이라는 제약을 가지고 있었다. 그 이후 Transformer 기반 모델들이 등장하며 시계열 예측 분야에도 큰 변화가 일어났다. Informer, Autoformer 그리고 FEDformer등 다양한 Transformer 계열 모델들이 장기 시계열 예측에서 우수한 성능을 보이며 주목받았다. 하지만 DLinear가 발표되면서 복잡한 Attention 구조가 반드시 필요한 것인지에 대한 의문이 제기되었다. 특히 시계열 데이터를 Trend와 Remainder로 분해한 뒤 단순한 선형 모델만으로도 경쟁력 있는 성능을 달성한 점은 매우 인상적이었다. 이를 통해 모델의 복잡성보다 데이터의 본질적인 특성을 이해하는 것이 더욱 중요하다는 점을 다시 생각하게 되었다.

또한 다변량 시계열 예측에서 중요한 이슈인 Channel Independence(CI)와 Channel Dependent(CD) 전략에 대한 논의로 이어졌는데, CI 방식은 각 채널을 독립적으로 처리하여 분포 변화에 강한 장점이 있지만 변수 간 상호작용을 충분히 활용하지 못한다. 반대로 CD 방식은 변수 간 관계를 적극적으로 학습할 수 있지만 구조가 복잡해지고 특정 채널의 변화에 민감해질 수 있다. 이러한 두 접근법의 장단점을 비교하며 실제 문제에 따라 적절한 선택이 필요하다는 점을 이해할 수 있었다. 특히 SOFTS는 이러한 문제를 해결하기 위한 흥미로운 아이디어를 제시했다. 각 채널의 특성을 독립적으로 유지하면서도 중앙의 핵심 표현(core representation)을 통해 간접적으로 정보를 공유하는 STAR 모듈을 사용한다. 모든 변수를 직접 연결하는 대신 핵심 정보만 공유하는 방식은 계산 효율성과 성능을 동시에 고려한 영리한 접근으로 느껴졌다. 또한 SOFTS는 DL 모델에 CI/CD 전략을 접목한 반면 TimeXer는 Transformer예 CI/CD 관점을 접목한 방식이며, 예측 대상인 내생 변수와 외생 변수를 서로 다른 방식으로 처리하여 외부 정보를 효과적으로 활용하는 구조를 제안했다. 실제 산업 데이터에서는 날씨, 경제 지표, 이벤트 정보와 같은 외생 변수가 중요한 경우가 많기 때문에 이러한 접근이 실용적으로 활용될 가능성이 높아 보였다.

마지막으로 TimesFM은 시계열 파운데이션 모델의 등장이다. 자연어 처리 분야에서 대규모 언어 모델이 등장하며 패러다임이 변화한 것처럼, 시계열 분야에서도 대규모 사전학습을 통해 다양한 도메인에 적용 가능한 범용 모델이 등장하고 있다는 점이 인상적이었다. 특히 추가 학습 없이도 새로운 데이터에 대해 예측을 수행하는 Zero-shot 능력은 시계열 분석의 활용 범위를 크게 넓힐 수 있을 것으로 보인다.

이번 세미나를 통해 시계열 예측 연구의 방향이 단순히 예측 정확도를 높이는 것에서 나아가 데이터의 표현(Representation)을 어떻게 효과적으로 학습하고 활용할 것인가로 이동하고 있음을 느낄 수 있었다. 또한 외생 정보를 적극적으로 활용하는 방향과 범용성을 갖춘 파운데이션 모델 개발이 앞으로의 중요한 연구 흐름이 될 것이라는 점도 확인할 수 있었다. 시계열 분야 역시 NLP와 Computer Vision에서 나타났던 변화와 유사한 흐름을 보이고 있으며, 앞으로 관련 연구가 더욱 빠르게 발전할 것으로 기대된다. 추가적으로 이번 세미나를 들으며 시계열 예측 분야는 여전히 많은 연구 가능성을 가진 영역이라는 생각이 들었다. 가령, 다변량 시계열 예측에서 나타나는 CI/CD 논쟁은 결국 변수 간의 관계를 어느 수준까지 모델링해야 하는가에 대한 문제로 볼 수 있다. 이는 단순히 모델 구조의 선택을 넘어, 시계열 데이터가 가진 본질적인 특성을 어떻게 해석할 것인가와도 연결된다라고 생각한다.

반면 이미지나 자연어 처리 분야는 최근 수년간 활발한 연구를 통해 데이터 표현 방식과 멀티모달 즉 서로 다른 두 도메인을 어떻게 연결해서 아웃풋을 내놓을지에 대한 이해가 상당히 축적되어 왔다. 예를 들어 CLIP과 같이 서로 다른 도메인의 표현 공간을 연결하거나, 텍스트 프롬프트 기반 이미지 생성 모델들은 다양한 데이터 간의 관계를 효과적으로 활용하는 방향으로 발전하고 있다. 이에 비해 시계열 분야는 여전히 예측 성능 향상을 위한 문제들이 활발하게 연구되고 있으며, 특히 변수 간 상호작용을 어떻게 모델링할 것인지, 외생 정보를 어떤 방식으로 활용할 것인지, 그리고 범용적인 표현 학습이 가능한지에 대한 질문들은 아직 충분히 해결되지 않은 연구 과제로 보였다. 따라서 시계열 분야는 단순한 성능 경쟁을 넘어 데이터의 구조와 변수 간 관계를 어떻게 표현할 것인가에 대한 연구가 앞으로도 중요한 방향이 될 것이라고 생각하며 이런 과제들이 해결되고 다른 도메인들과 연결되면 이미지, 자연어, 시계열 서로 다른 세 모달이 연결되는 그러한 연구도 나올 수 있지 않을까라는 생각을 가지게 되는 세미나였다.

좋은 세미나를 준비하느라 고생했을 성수에게 큰 박수를 보내며, 위와 같은 고민에 대해서 깊이 있는 토론을 성수와 함께 고민하며 나누고 싶다는 생각을 가지며 이상으로 세미나 후기를 마친다.

이번 세미나는 고전적인 시계열 예측 방법부터 MLP, RNN, CNN 등의 딥러닝 초기 접근법, Transformer 계열 모델, 그리고 이 후 다양한 각도로 발전해온 방법론들에 대해 소개해주었다.
Channel Dependent(CD) 전략은 예전에 광은이의 세미나에서 소개해줬던 것처럼, 어떠한 변수에서 비정상적인 패턴이 발생하는 것처럼 채널들의 분포 변화에 취약하며, channel independent(CI) 전략은 이와 반대로 분포 변화에는 강건하지만 다변량이라는 측면에서 각 변수의 상호작용을 고려하지 못한다.
SOFTS와 TimeXer는 이 두 전략의 장점을 적절히 섞어서 잘 활용하였다. SOFTS는 Transformer 구조를 활용하지 않고도 좋은 성능을 낸 모델로, 각 채널을 독립적으로 임베딩하면서 CI 전략을, 각 채널의 임베딩 벡터에 전체 특징이 압축된 core representation vector를 concat 함으로써 CD 전략을 사용했다. TimeXer는 이와는 다르게 Transformer의 구조를 활용했다. 예측하고자 하는 내생 변수는 patch화 하여 self-attention을 수행함으로써 CI 전략을, 외생 변수는 global token과 cross-attention을 수행함으로써 CD 전략을 사용했다. 두 연구가 비슷한 시기가 나와 동등한 성능 비교는 없었다는 점이 아쉬웠다. TimesFM은 시계열 예측 task의 foundation 모델로써, GPT 모델처럼 decoder only 구조로 autoregressive하게 학습이 수행되었고, 지속적으로 긴 기간을 예측함으로써 효율성 측면의 장점도 가져왔다. 또한 다양한 도메인의 데이터로 사전학습되어 zero-shot으로도 우수한 성능을 이루어냈다.
이번 세미나를 통해 시계열 예측 task의 전반적인 발전 과정과 어떤 방식으로 최근에는 이어져오고 있는지를 알 수 있었다. 흐름상 너무 깔끔하게 설명해줘서 이해하는데 어려움이 없었고 성수가 첫 세미나인데도 너무 잘 만들어준 것 같다. 성수가 시계열 예측 연구를 하고 있는데, 기존 연구들을 잘 참고하여 좋은 결실을 맺었으면 한다. 끝으로 좋은 세미나를 만들어 준 성수에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

이번 세미나는 시계열 예측(Time Series Forecasting) 분야가 전통적인 통계 모델에서 출발해 딥러닝 모델, Transformer 기반 모델, 그리고 최근의 파운데이션 모델로 발전해 온 흐름을 살펴볼 수 있는 시간이었다. 시계열 데이터가 시간적 순서, 자기상관성, 비정상성과 같은 고유한 특성을 가진다는 점에서 어려움이 존재한다는 것을 생각해볼 수 있었다.

초기 시계열 예측 방법으로 소개된 Exponential Smoothing과 ARIMA는 시계열의 자기상관성이나 추세, 비정상성 문제를 통계적으로 다루는 대표적인 접근법이었다. 이후 MLP, RNN, CNN과 같은 딥러닝 기반 모델들이 시계열 예측에 적용되면서 비선형 패턴, 순차적 의존성, 지역적 패턴을 학습하려는 시도가 이어졌다. 하지만 MLP는 시간적 순서와 의존성을 충분히 반영하기 어렵고, RNN은 기울기 소실 및 시간축 병렬 처리의 한계가 있으며, CNN은 국소 패턴 학습에는 강하지만 긴 범위의 의존성을 포착하는 데 제약이 있다는 점도 함께 확인할 수 있었다.

이후 Transformer 기반 모델들이 등장하면서 시계열 예측 분야 도입되었다. 긴 시계열에서의 계산 효율성, frequency domain 정보 활용 등을 통해 장기 시계열 예측 성능을 높이고자 했다. 그러나 DLinear의 등장은 복잡한 attention 구조가 항상 필요한가에 대한 중요한 질문을 던졌다는 점에서 인상적이었다. 입력 시계열을 trend와 remainder로 분해한 뒤 단순한 linear layer를 적용하는 방식만으로도 경쟁력 있는 성능을 보였다는 점은, 시계열 예측에서 모델의 복잡성보다 데이터의 구조와 표현 방식을 잘 설계하는 것이 더 중요할 수 있음을 보여주었다.

또한 다변량 시계열 예측에서 Channel Independent(CI)와 Channel Dependent(CD) 전략을 비교하였다. CI 전략은 각 채널을 독립적으로 다루기 때문에 노이즈에 비교적 강건하지만, 변수 간 상호작용을 직접적으로 활용하지 못한다는 한계가 있다. 반대로 CD 전략은 여러 변수를 함께 처리하여 채널 간 관계를 학습할 수 있지만, 과거의 관계를 지나치게 강하게 학습할 경우 미래 예측에서 오히려 불안정해질 수 있다. 결국 다변량 시계열 예측에서는 각 변수의 개별적인 패턴을 안정적으로 유지하면서도, 필요한 경우 변수 간 상호작용을 적절히 활용하는 균형이 중요하다.

이러한 맥락에서 SOFTS와 TimeXer는 CI와 CD의 장점을 결합하려는 접근이었다. SOFTS는 각 채널을 독립적으로 임베딩하면서도 STAR 모듈을 통해 core representation을 만들고, 이를 다시 각 채널 표현과 결합함으로써 채널 간 정보를 간접적으로 공유한다. 모든 채널을 직접적으로 연결하지 않고 핵심 표현을 통해 정보를 주고받는 구조이다. TimeXer는 예측 대상인 내생 변수와 외생 변수를 구분하여 처리한다. 내생 변수는 시간적 패턴을 학습하고, 외생 변수는 필요한 외부 정보를 선택적으로 활용한다.

마지막으로 TimesFM을 통해 시계열 예측에서도 파운데이션 모델이라는 흐름이 등장하고 있음을 확인할 수 있었다. TimesFM은 실제 데이터와 합성 데이터를 활용한 대규모 사전학습, patching 기반 decoder-only 구조, zero-shot forecasting을 통해 파운데이션 모델을 가능하게 하였다. 추가 학습 없이 다양한 도메인의 새로운 시계열 데이터에 적용될 수 있다는 점을 확인할 수 있었다.

전체적으로 이번 세미나는 시계열 예측 분야의 발전 과정을 매우 깔끔한 흐름으로 정리해준 발표였고, 각 모델이 등장한 배경과 한계를 함께 설명해주어 이해하기 쉬웠다. 특히 전통적인 통계 모델부터 TimesFM과 같은 최신 파운데이션 모델까지 하나의 큰 패러다임 변화로 연결해 설명한 점이 인상 깊었다. 좋은 세미나를 준비해준 성수에게 고맙다는 말과 뜨거운 박수를 보내며 세미나 후기를 마친다.

전체적으로 multivariate time series forecasting의 발전 과정을 하나의 흐름으로 잘 구성한 발표였습니다. 전통적인 statistical method에서 MLP, RNN, CNN과 같은 deep learning model, transformer로 이어지는 발전 과정을 설명하고, 단순히 모델이 복잡해지는 과정이 아니라 “다변량 시계열의 여러 channel을 어떻게 처리할 것인가”라는 관점에서 최근 time series forecasting의 트렌드를 정리한 점이 좋았습니다. 특히 복잡한 transformer가 항상 필요한가라는 문제 제기에서 DLinear를 거쳐, 모델 구조 자체보다 시계열에 적합한 representation이 중요하다는 논의로 연결한 흐름이 자연스러웠습니다. 이후 channel independent(CI)와 channel dependent(CD)를 핵심 축으로 제시하여 최근 방법론의 발전 방향을 설명한 구성이 인상적이었습니다.

CI가 distribution drift에 상대적으로 강하지만 channel 간 상호작용을 충분히 활용하지 못하고, 반대로 CD는 channel 간 정보를 활용할 수 있지만 과거의 channel 관계를 지나치게 학습하면 미래 예측에서 불안정해질 수 있다는 trade-off를 명확하게 보여주었습니다. 특히 SOFTS와 TimeXer를 설명할 때 단순히 각각의 architecture를 소개하는 데 그치지 않고, 이들이 CI와 CD의 장점을 어떻게 결합하려고 했는지를 중심으로 설명한 점이 매우 좋았습니다. SOFTS가 각 channel을 독립적으로 embedding하면서 core representation을 통해 channel 간 정보를 간접적으로 공유하는 방식이나, TimeXer가 target의 temporal pattern은 독립적으로 학습하면서 cross-attention을 통해 exogenous variable의 정보를 선택적으로 활용하는 방식을 잘 설명하였습니다.

발표 방식에서도 좋았습니다. “시계열 예측 모델은 어떻게 발전해왔을까?,” “CI 전략만으로 충분할까?,” “CI의 안정성과 CD의 채널 상호작용의 장점을 동시에 가져갈 수 없을까?”와 같이 질문을 던지면서 슬라이드를 시작하여, 청중이 다음 내용이 왜 필요한지를 생각하면서 따라갈 수 있도록 한 점이 좋았습니다. 또한 발표 중 적절하게 펜을 사용하여 현재 그림이나 architecture의 어느 부분을 설명하고 있는지를 짚어 준 것도 내용을 이해하는 데 도움이 되었습니다.

다만 각 방법론의 특징과 장점을 설명하는 것에서 한 단계 더 나아가, 해당 방법론이 어떤 상황에서 한계를 가질 수 있는지도 조금 더 명시적으로 정리했으면 더욱 깊이 있는 발표가 되었을 것 같습니다. 예를 들어 SOFTS, TimeXer 등에서도 “이 방법이 무엇을 해결했는가”와 함께 “그럼에도 무엇이 아직 해결되지 않았는가”를 짚어 준다면 (본인의 생각이어도 좋습니다!) 최근 연구가 다음 방법론으로 발전하는 이유까지 더욱 선명하게 전달될 것입니다. 전반적으로 많은 방법론을 단순히 나열하지 않고 하나의 연구 흐름과 관점으로 연결하려고 노력한 점이 돋보였습니다. 수고했습니다!

시계열 도메인에 대한 발표는 처음 듣는데, 초심자도 이해하기 쉽게 설명을 하여 여러 번 반복해서 보지 않아도 되어서 좋았습니다. 인상 깊었던 것 중 하나는 발표 중간에 나온 dilated CNN입니다. 학부 수업에서 해당 방법론을 다룰 때 이미지에 왜 이런 걸 쓰는 거지라는 생각이 들곤 했는데, 이렇게 시계열 분야에서 목적과 의도가 잘 보이게 쓰이는 모습을 보니 새로웠습니다.

발표를 듣고나니 시계열은 정말 다양한 유형의 데이터를 다룬다는 특성 때문에 데이터에 대해 고려해야될 요소들이 너무 많다는 생각이 들었습니다. 특히, 변수 간 상관관계 즉, 어떤 변수끼리 좋은지 혹은 변수를 independent하게 다뤄야하는지에 대한 고려가 중요하다고 생각합니다. 그 외에는 입력의 가변 길이, 데이터의 값 분포, 시간적 상관성 등등이 있겠습니다.

하나 의문이 드는 것은 지금까지 모델 구조의 측면보다 시계열 도메인에 맞는 학습 방법이 중요하다고 했는데, 이후 소개하는 논문들의 방법론을 보면 정규화 기법이 없다는 게 눈에 띕니다. 인턴 기간 동안 Learning with noisy label (LNL) 분야 논문을 읽고있는데, 해당 분야에서 일관되게 언급되는 내용이 있습니다. 신경망은 일관적인 패턴을 학습하려는 경향이 학습 초반부에 나타나고 학습 후반부에는 노이즈들을 암기하려는 경향이 있다고 합니다. 이와 더불어 시계열 분야에 대해 개인적으로 생각해보니, 시계열 데이터 입력들은 길이가 길어질 수록 변동성이 커지는 경향이 있을 것이고 이와 같은 변동성 자체가 모델이 암기하는 노이즈가 되지 않을까라는 생각을 했습니다. 그래서 이 노이즈들의 영향을 줄이기 위해 모델 자체에 정규화 능력을 내재하는 것이 중요하지 않을까라는 의견을 한 번 조심스럽게 말해봅니다.

한편, 로봇 행동 모방 분야에서는 정해진 움직임만 수행하는 open-loop와 과거 정보를 바탕으로 다음 행동을 생성하는 closed-loop가 있습니다. 최근 어떤 연구 하나가 open-loop가 closed-loop보다 좋다고 하는데 그 이유를 모르겠다고 합니다. Distribution shift 때문인 것 같다고 하는데, 만약 시계열 예측이 범용적으로 잘 되는 모델이나 방법론이 나온다면 로봇 행동 모방 분야에도 적용하기 좋겠다는 생각이 들었습니다.

생각해볼 수록 time series forecasting은 굉장히 매력적인 도메인인 것 같습니다. 더불어 시계열 도메인에서의 기술 발전 과정을 짧은 시간 안에 정리하고 듣기 편하게 정리한 인상깊은 발표였습니다. 나중에 발표를 한다면 해당 발표 전개 흐름을 차용할 생각이 있을 정도로 깔끔한 발표였습니다. 그리고 어떻게 한 건지는 모르겠지만 진짜 연필로 필기하는 것처럼 발표가 진행되어 좋았습니다.

좋은 발표 감사합니다.

이번 세미나는 시계열 예측의 발전 흐름을 전통적인 통계 모델에서 출발해 딥러닝, Transformer, 그리고 최근의 파운데이션 모델로 이어지는 흐름을 하나의 관점에서 정리해 준 시간이었다. 그중에서도 Dlinear가 복잡한 attention 구조 없이도 경쟁력 있는 성능을 보여준 부분은 충격에 가까웠다. 사실 DLinear 논문을 처음 접했을 때 신선한 충격을 받았는데, 이번 세미나를 들으면서 그때 느꼈던 감정이 다시 떠올랐다. 그동안 모델이 복잡해질수록 성능이 좋아질 것이라고 생각해 왔는데, 중요한 것은 모델 구조 자체의 복잡도가 아니라 시계열 데이터에 맞는 표현을 얼마나 잘 설계하느냐에 있다는 것을 다시 한번 생각하게 되었다.

이후 단순히 transformer 모델이냐 linear 모델이냐가 아닌 채널 간 관계를 함께 볼 것인가 독립적으로 볼 것인가에 대한 논의가 이루어진다는 흐름으로 SOFTS와 TimeXer를 설명한 부분이 이번 세미나의 핵심이라고 느껴졌다. SOFTS가 채널을 직접적으로 연결하지 않고 core representation 하나를 매개로 정보를 주고받게 만든 방식이 인상 깊었다. TimeXer는 이와 달리 Transformer 구조 안에서 직접 예측하고자 하는 내생 변수는 patch 단위 self-attention으로 학습하고, 예측에 도움을 주는 외생 변수는 global token이 cross-attention을 통해 정보를 받아들이는 방식으로 처리해 CI와 CD를 동시에 구현했다는 설명이 두 모델의 접근 차이를 명확하게 이해하는 데 도움이 되었다.

TimesFM은 시계열 분야에 파운데이션 모델을 적용한 것으로, 지금까지 시계열 분야에서 범용 모델을 적용하기 어려웠던 이유를 설명하며 TimesFM을 소개해 주었다. 다만 학습에 사용된 데이터가 공개 forecasting dataset과 synthetic data로 구성되어 있고, 평가 역시 Monash·Darts·ETT 같은 범용 벤치마크에서 이루어졌다. 그렇다 보니 설비 센서 데이터처럼 도메인 고유의 주기성과 이상 패턴이 강한 데이터에서도 이 zero-shot 성능이 그대로 유지될지는 의문이었다. 사전 학습 corpus에 포함되지 않은 구조적으로 이질적인 도메인까지 일반화될 수 있을지가 궁금하다.

통계 모델에서 파운데이션 모델까지의 발전 과정을 하나의 관점에서 설명해 준 덕분에 각 모델이 등장한 배경과 한계를 순차적으로 이해할 수 있었다. 동시에 이 분야의 발전 속도를 실감하였고, 앞으로 어떤 한계점들을 더 깊이 파고들어 볼 수 있을지 고민하게 되는 시간이었다.

좋은 세미나를 준비해 준 박성수 선배님께 감사드리며 세미나 후기를 마친다.