김다빈

이번 세미나는 시계열 데이터에 언어 모델을 적용한 두 가지 예측 방법론에 대해 소개해주었다.

첫 번째 모델은 TIME-LLM이다. TIME-LLM은 두 가지 주요 기여점을 갖고 있는데, 우선 Patch Reprogramming은 시계열 데이터를 언어 모델이 이해할 수 있는 형식으로 변환하는 모듈이며, Prompt-as-Prefix는 시계열 데이터의 도메인 정보, 통계값, task instruction 등을 텍스트 형태로 제공하여 모델의 예측 성능을 향상시키는 방법이다. 특히 Prompt-as-Prefix는 시계열의 의미적 힌트를 자연어로 추가함으로써 성능 개선에 큰 기여를 했다고 한다.

두 번째 모델은 TIME-FFM이다. 이는 사전학습된 언어 모델을 활용해 시계열 예측을 수행한다는 점에서 TIME-LLM과 유사하지만, Federated Learning(연합학습) 환경을 고려했다는 점에서 차별점을 가진다. 해당 논문은 개인화 연합학습 상황을 가정하며, 각 클라이언트의 특성에 맞는 예측 헤드를 부착함으로써 개별 사용자 데이터를 반영하는 학습 구조를 제안했다. 이를 통해 클라이언트 간 데이터 분포 차이가 존재하는 상황에서도 보다 안정적인 예측 성능을 보여준다.

최근 FL 스터디를 하면서 수림이와 함께 개인화 연합학습 관련 논문을 많이 읽고 있는데, 오늘 발표한 내용도 그 연장선에서 흥미롭고 유익했다.
유익한 세미나를 준비한 김수림 연구원에게 고맙다는 말을 전하며 세미나 후기를 마친다.

김혜준

이번 세미나는 LLMs for Time Series에 대해 소개해주었다. 시계열 데이터는 대규모 데이터셋을 만들기 어렵고, foundation model을 학습하기 쉽지 않다는 한계가 있다. 이러한 문제를 해결하기 위해 사전학습된 언어 모델을 시계열 예측에 활용하려는 흐름이 흥미로웠다. 특히 자연어와 시계열이 모두 시간 순서에 따라 의미가 변화하는 sequential data라는 점에서, 언어 모델의 next token prediction 능력을 next time step prediction으로 확장할 수 있다는 설명이 직관적으로 잘 와닿았다.

Time-LLM에서 시계열 representation을 언어 모델이 이해할 수 있는 자연어 embedding 공간에 정렬하는 과정이 인상적이었다. 단순히 LLM을 그대로 가져다 쓰는 것이 아니라, 시계열 데이터의 특성에 맞게 여러 모듈을 설계했다는 점에서 LLM을 다른 modality에 적용하는 방식에 대해 많이 배울 수 있었다. 또한 Time-FFM처럼 federated learning과 결합하는 방향도, 실제 시계열 데이터가 기관이나 클라이언트별로 분산되어 있고 공유가 어렵다는 현실적인 문제와 잘 연결되는 것 같았다.

개인적으로 LLM을 시계열 데이터에 활용한다고 하면 처음에는 다소 억지스럽게 느껴질 수 있었는데, 이번 세미나를 통해 왜 언어 모델의 순차 패턴 학습 능력이 시계열 예측에도 활용될 수 있는지 이해할 수 있었다. LLM, time series analysis, federated learning이 자연스럽게 연결되는 흐름으로 설명되어서 좋았고, 최근 foundation model 연구가 다양한 데이터 형태로 확장되고 있다는 점도 다시 느낄 수 있었다. 좋은 세미나를 준비해줘서 감사하다는 말을 전하며 본 세미나 후기를 마친다.