LLMs for Time Series: TIME-LLM, TIME-FFM
- 2025년 11월 14일 오후 8:08
- 조회수: 73
INFORMATION
- 2025년 11월 14일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
김수림
김수림
TOPIC
LLMs for Time Series: TIME-LLM, TIME-FFM
On-Line Video
OVERVIEW
요약:
최근 대규모 언어모델(LLM)의 발전으로, 언어 모달리티를 넘어 시계열 데이터 분석 및 다양한 테스크에 활용하려는 연구가 활발히 진행되고 있다. 시계열 데이터를 언어적 시퀀스로 재해석하여 학습하는 방식은 기존 시계열 모델의 구조적 한계를 극복하고, 장기 의존성과 비정형적 맥락 정보를 효과적으로 포착할 수 있다는 점에서 주목받고 있다. 또한 산업 시계열 데이터의 민감성을 고려해 연합학습과 결합하는 시도도 이루어지고 있어, 프라이버시를 보존하면서도 안정적인 예측 성능을 확보할 수 있는 방안이 모색되고 있다. 이번 세미나에서는 LLM 기반 시계열 방법론과 이를 연합학습과 결합하여 확장한 연구를 소개하고자 한다.
참고자료:
[1] Jin, Ming, et al. "Position: What can large language models tell us about time series analysis." 41st International Conference on Machine Learning. MLResearchPress, 2024.
[2] Jin, Ming, et al. "Time-llm: Time series forecasting by reprogramming large language models." arXiv preprint arXiv:2310.01728 (2023).
[3] Liu, Qingxiang, et al. "Time-ffm: Towards lm-empowered federated foundation model for time series forecasting." Advances in Neural Information Processing Systems 37 (2024): 94512-94538.
청취자 후기
김다빈
이번 세미나는 시계열 데이터에 언어 모델을 적용한 두 가지 예측 방법론에 대해 소개해주었다.
첫 번째 모델은 TIME-LLM이다. TIME-LLM은 두 가지 주요 기여점을 갖고 있는데, 우선 Patch Reprogramming은 시계열 데이터를 언어 모델이 이해할 수 있는 형식으로 변환하는 모듈이며, Prompt-as-Prefix는 시계열 데이터의 도메인 정보, 통계값, task instruction 등을 텍스트 형태로 제공하여 모델의 예측 성능을 향상시키는 방법이다. 특히 Prompt-as-Prefix는 시계열의 의미적 힌트를 자연어로 추가함으로써 성능 개선에 큰 기여를 했다고 한다.
두 번째 모델은 TIME-FFM이다. 이는 사전학습된 언어 모델을 활용해 시계열 예측을 수행한다는 점에서 TIME-LLM과 유사하지만, Federated Learning(연합학습) 환경을 고려했다는 점에서 차별점을 가진다. 해당 논문은 개인화 연합학습 상황을 가정하며, 각 클라이언트의 특성에 맞는 예측 헤드를 부착함으로써 개별 사용자 데이터를 반영하는 학습 구조를 제안했다. 이를 통해 클라이언트 간 데이터 분포 차이가 존재하는 상황에서도 보다 안정적인 예측 성능을 보여준다.
최근 FL 스터디를 하면서 수림이와 함께 개인화 연합학습 관련 논문을 많이 읽고 있는데, 오늘 발표한 내용도 그 연장선에서 흥미롭고 유익했다.
유익한 세미나를 준비한 김수림 연구원에게 고맙다는 말을 전하며 세미나 후기를 마친다.