금일 세미나는 Time Series 모델링에 대한 세미나로 구진이형이 진행하였다. 가장 최근에 있었던 Time Series 관련 세미나는 작년 10월 광은이가 진행한 세미나였는데, 두 세미나에서 중점적으로 바라보는 접근 방식은 차이가 있었다. 광은이가 진행한 세미나는 트랜스포머 모델 구조 및 학습 방식으로 인한 error accumulation과 이를 해결하기 위한 channel independent 전략, 그리고 어떤 상황에서 channel independency가 좋은지 channel dependency가 좋은지에 대한 내용이 중점적이었다. 하지만 금일 세미나에서는 가장 고전적인 시계열 분해 (decomposition)에서 출발한 세미나라서좀 더 이해가 편했다.

오늘 세미나에서 소개한 논문은 크게 2가지로 첫번째는 TimesNet 두번째는 TimeMixer이다. TimesNet의 경우 Fourier Transform에서 영감을 받아 시계열을 우선 FFT를 통해 상위 k개의 진폭을 추출한 후, 그에 맞추어 시계열을 분해한다. 이 때, 시계열의 주기성을 다양하게 잡기 위해 구간을 다양한 크기로 나눈다. 이후 Inception Block을 통해 주파수 별 특징을 aggregation하는 것이 특징이다.

TimeMixer 또한 시계열을 미세한 스케일부터 거시적 스케일까지 나누어 봄으로써 다양한 특성을 추출하는 방법론이다. 개별 scale에서 avg pooling을 통해 trend와 seasonability로 분해한 후, seasonability는 bottom-up, trendability는 top-down 방식으로 변환한다.

직관적이면서도 애니메이션에 신경을 많이 쓴 것 같은 세미나였다. 고생한 구진이형께 감사의 말씀을 전한다.

이번 세미나는 시계열 분석을 위해 주기성이나 스케일을 다양한 방법으로 다루는 과정과 방법론에 대해서 알 수 있었다. 원본 시계열 데이터로부터 계절성과 트렌드 등 통계적 기법이나 fourier 변화를 활용해 decomposition 시키는 전처리 방식에 대해서 설명해 주었다. 해당 방법들을 통해 전처리 후 multimodal 구조로 학습을 하게 되면 좋은 모델의 성능을 기대 할 수 있는 방식이다.
최근에는 딥러닝 모델 구조로 decomposition 하는 방식이 활용되고 있다. 세미나에서는 주기성을 잘 반영하기 위해 시간을 2D로 확장해 분석하는 TimesNet과 샘플링 별 차이가 나는 스케일을 여러 decomposition 과정으로 나눈 후 시계열성과 트렌드를 섞어서 분석하는 TimeMixer에 대해서 설명해 주었다.

이러한 방법론들이 내가 연구 중인 skeleton video data에는 어떤 방식으로 적용되고 있을지 궁금해지는 의미 있는 세미나였다. 이해되기 쉽게 설명해준 구진이형께 고맙다는 말 전하고 싶다.

이번 세미나는 시계열 분석을 multi-periodicity와 multi-scale 의 방식으로 접근한 방법론들에 대해 소개해주었다.
TimesNet은 multi-periodicity 특성을 반영하고자 여러 period 관점 별로 각각을 2D로 확장하여 Inception 모듈을 사용하였다. 각 period 별로, interperiod 정보와 intraperiod 정보를 통해 로컬한 정보와 글로벌한 정보를 함께 반영한 것도 큰 특징이다. TimesNet은 시계열 예측 뿐만 아니라 이상치 탐지 등 여러 가지 task에 모두 적용하였고 모든 task에서 SOTA를 달성한 것으로 알고 있는데, 그 만큼 시계열 연구에 매우 큰 영향을 끼친 연구이다.
TimeMixer은 1월에 진행되었던 연구실 내부 학회 세미나에서 구진이형이 발표하셨던 논문으로 기억한다. 그 때 내가 좌장이였어서, 그 때의 기억을 리마인드할 수 있어서 매우 좋았다. TimeMixer은 multi-scale 관점에서 적용되었으며, seasonal mixing은 bottom-up 방식으로, trend mixing은 top-down 방식으로 수행하였으며 두 가지의 mixing 결과를 합한 후, FFN과 projection network를 통해 최종 예측을 수행하게 된다. 가벼운 선형 layer들만 사용한 것도 TimeMixer의 큰 장점이라고 할 수 있다.
시계열 예측은 다양한 산업 현장에서 매우 중요하게 응용되는 연구 분야라고 생각하고, 그 만큼 개인 연구 분야가 아니더라도 자주 접해야 한다고 생각한다. 내용을 이해하기 쉽게 설명해줘서 듣기 편했던 세미나였고, 좋은 세미나를 준비하느라 고생하신 구진이형께 고맙다는 말을 전하며 본 세미나 후기를 마친다.

이번 세미나는 시계열 모델링 시 많은 주기와 많은 스케일이 존재할 때 모델링하는 방법들을 소개하였다. 시계열 데이터는 통계적인 기법으로 추세/계절성/랜덤성으로 구분하는 방법이 가장 일반적이었지만, 최근에는 FFT를 활용하여 다양한 주기 함수로 변환하는 등 다양한 기술들이 많이 활용되고 있다. TimesNet은 FFT를 활용하여 기존 시계열을 다양한 형태로 분리한다. 이후, 분리된 시계열들을 다양한 크기 커널에 입력하여 다양한 스케일 패턴을 추출하여 많은 주기 및 스케일을 함께 고려한다. 또한 TimeMixer는 서로 다른 샘플링 스케일의 시계열은 다른 특성을 보인다는 특징에 집중하여 샘플링 주기를 변동함으로써 다중 주기 및 스케일을 정의하였다. 본 세미나를 통해 시계열 모델링에서 이러한 자세한 변동을 고려할 수 있는 모델링 방향에 대해 청취할 수 있었다. 현대 시계열 데이터는 요인이 굉장히 다양하기에 패턴을 쉽게 파악하기 어렵지만, 이러한 기법을 적용한다면 쉽게 파악할 수 있을 것으로 생각된다. 또한 이러한 아이디어는 이미지 모델링에서도 유용하게 쓰일 것 같다. 이미지 또는 패치를 다양한 관점에서 모델링한다면 모델이 잘 이해하지 않을까 라는 생각도 들었다. 유익한 세미나를 준비해준 정구진 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.