고려대학교 DMQA 연구실

Time Series Representation Learning

2022년 1월 14일 오후 1:57
조회수: 3809

REFERENCES

TimeSeriesRepresentationLearning-UkJo-upload-DMQA_Seminar.pdf

INFORMATION

2022년 1월 14일
오전 12시 ~
온라인 비디오 시청 (YouTube)

발표자:

조 억

TOPIC

Time Series Representation Learning

On-Line Video

OVERVIEW

표현학습(representation learning)은 데이터의 라벨 정보 없이 사전 단계에서 데이터의 특징을 잘 추출하는 목적으로 학습하는 방법으로 Pretext기법과 Contrastive Learning 방법으로 크게 나뉜다. Computer Vision, NLP, Video 분야에서 좋은 성능과 함께 많은 연구 결과를 내고 있다. 해당 분야에서 사용되는 기법들을 시계열 데이터의 접목하는 시도들이 있지만, 시계열 데이터 특성상 시간에 따라 데이터의 분포나 특성이 바뀌기 때문에 적용 가능하기 어려운 점이 있다. 그래서 이번 세미나에선 기존 사례를 살펴보고 기존 한계점을 개선하며 범용적으로 시계열 데이터의 특징을 잘 추출하기 위한 프레임워크를 제시하는 연구를 소개하고자 한다.

참고문헌은 다음과 같습니다.

[1] Tonekaboni, S., Eytan, D., & Goldenberg, A. (2021). Unsupervised representation learning for time series with temporal neighborhood coding. arXiv preprint arXiv:2106.00750.

[2] Fan, H., Zhang, F., Wang, R., Huang, X., & Li, Z. (2021, June). Semi-Supervised Time Series Classification by Temporal Relation Prediction. In ICASSP 2021-2021 IEEE International Conference on Acoustics, Speech and Signal Processing (ICASSP) (pp. 3545-3549). IEEE.

[3] Zerveas, G., Jayaraman, S., Patel, D., Bhamidipaty, A., & Eickhoff, C. (2021, August). A transformer-based framework for multivariate time series representation learning. In Proceedings of the 27th ACM SIGKDD Conference on Knowledge Discovery & Data Mining (pp. 2114-2124).

[4] Eldele, E., Ragab, M., Chen, Z., Wu, M., Kwoh, C. K., Li, X., & Guan, C. (2021). Time-series representation learning via temporal and contextual contrasting. arXiv preprint arXiv:2106.14112.

[5] Banville, H., Albuquerque, I., Hyvärinen, A., Moffat, G., Engemann, D. A., & Gramfort, A. (2019, October). Self-supervised representation learning from electroencephalography signals. In 2019 IEEE 29th International Workshop on Machine Learning for Signal Processing (MLSP) (pp. 1-6). IEEE.

[6] Mohsenvand, M. N., Izadi, M. R., & Maes, P. (2020, November). Contrastive representation learning for electroencephalogram classification. In Machine Learning for Health (pp. 238-253). PMLR.

[7] Wen, Q., Sun, L., Yang, F., Song, X., Gao, J., Wang, X., & Xu, H. (2020). Time series data augmentation for deep learning: A survey. arXiv preprint arXiv:2002.12478.

청취자 후기

임새린

이번 세미나는 다변량 시계열 데이터의 표현학습에 대해서 억형이 발표를 해주었다. 세미나 초반에도 언급이 되지만 다변량 시계열 데이터는 센싱 기술의 발전으로 다양한 분야에서 매우 많이 수집이 되고 있다. 하지만 이에 대한 labeling은 전문가가 아니라면 어렵고 그 비용 또한 많이 든다. 그렇기 때문에 다변량 시계열 데이터에서는 unlabeled data를 활용하는 unsupervised learning를 통해 좋은 representation을 학습하는 것이 중요하다.

Unsupervised learning에는 크게 pretext task기법과 contrastive learning 기법으로 나눌 수 있다. pretext task는 사용자가 task를 부여하여 그 task를 해결하기 위한 representation을 학습하고 contrastive learning은 positive pair와 negative samples를 정의하여 잠재 공간 상에서 positive pair 끼리는 가깝게, negative samples와는 멀게 representation이 학습된다.

다변량 시계열 데이터에서도 이 두 가지 기법을 적용한 연구가 활발히 진행되고 있는데 다변량 시계열 데이터는 일반적인 데이터와 달리 이질성, 정상성, 추세, 계절성 등 고려해야 할 요소가 많기 때문에 신중한 pretext task정의나 positive pair 정의가 필요하다.

현재 개인연구를 진행하고 있는 Human Activity Recognition(HAR) 분야 역시 여러 센서에서 수집되는 다변량 시계열 데이터이며 이를 self-supervised learning으로 해결하기 위해 연구하고 있다보니 이번 세미나에서 이미 알고 있던 논문도 있었지만 새로 알게 된 방법론들도 있어서 향후 개인연구에 큰 도움이 될 것 같다. 좋은 세미나를 준비해준 억형에게 감사를 전하며 세미나 후기를 마친다.

배진수

금일 세미나는 억형이 시계열 데이터에 적합한 자가지도학습법 및 이슈에 대해 다루어주셨다. 이미지나 텍스트 데이터에서는 자가지도학습이 활발하게 많이 연구되어 왔으나, 추세와 계절성, 랜덤성과 같은 특수성질을 가진 (다채널) 시계열 데이터의 경우 자가지도학습 적용이 어려워 연구가 (중요하지만) 덜 되어 왔다. 금일 세미나는 그만큼 특수하지만 중요한 연구 토픽을 다룬 세미나여서 많은 연구원들이 들어보았으면 좋겠다고 생각했다.

자가지도학습에 필수적으로 고려되어야 하는 요소로 데이터 증강 기법, query, positive, negative 샘플 정의법, 인코더 구조, pretext task 설정법이 있다. 금일 세미나는 이 요소들이 시계열 데이터에선 어떻게 다루어져야 하는지를 다뤘다. 개인적으로 시계열 데이터여서 가능한 positive, negative 설정법 및 계층적 구조의 자기지도학습 손실함수들이 흥미로운 내용들이였다.

세미나를 끝까지 듣고 다니 시계열 데이터 내에서도 도메인 특성에 국한되어 있는 프레임워크들이 많다고 생각했다. 억형이 말했듯 이미지나 텍스트 데이터처럼 시계열 데이터에도 범용적임 프레임워크가 빨리 등장하면 좋을 것 같다고 본인 역시 생각하였다. 좋은 세미나를 준비해 준 억형에게 감사의 말씀을 전하며 세미나 후기를 마친다.

조한샘

이번 세미나는 "Time Series Representation Learning"이라는 주제로 진행됐다. 이미지나 자연어 데이터에 대한 표현 학습 기법들이 많이 연구되면서 표현 학습을 통해 좋은 성능을 내는 모델을 구축할 수 있다는 것을 보여왔다. 최근에는 시계열 데이터에 대한 표현학습 기법들도 많이 연구되고 있으며 이번 세미나에서 몇 가지 방법론들이 소개되었다. 먼저 시계열 데이터에 적용될 수 있는 pretext task 기법들에 관해서 소개되었다. Masked prediction은 마스킹 된 데이터를 예측하는 태스크로 마스킹 전략이 성능에 영향을 미친다. Transformation prediction은 시계열 데이터의 순차성을 활용해 데이터의 순서를 맞추거나 anchor window와의 거리를 활용해 positive, negative pair를 정의하기도 한다. Instance discrimination은 유사한 데이터는 postivie pair, 유사하지 않은 데이터는 negative pair로 정의해 positive pair는 가까워지도록, negative pair는 멀어지도록 학습을 진행한다. 데이터의 단위를 샘플 전체, 샘플 내 일정 구간, 타임 스탬프 등의 단위로 바라볼 수 있다. 특히 타임 스탬프 단위로 바로 보는 TS2Vec은 데이터를 다양한 스케일에서 바라보기 위해 계층적인 contrastive learning을 진행한다는 점이 인상적이었다.