박성수

이번 세미나는 수집 간격이 불규칙한 시계열 데이터(ISTS)를 처리하는 두 가지 방법에 대해 소개해 주었다.

먼저 mTANs는 ISTS에서 직접 표현을 학습하면서 샘플링 빈도까지 반영하는 모델이다. mTAND과 mTAND-Full로 나눌 수 있다. mTAND는 연속적인 time point를 vector space로 임베딩하는 time embedding과 multi-time embedding을 통해 ISTS를 fixed representation으로 변환하여 모델의 input으로 넣는다. 이렇게 fixed representation을 일반적인 모델에 넣을 수 있는 상태가 되고, 다음 mTAND-Full에서는 VAE구조를 활용해 ISTS를 처리하게 된다. 여기서 중요한 점은 mTAND를 통해 나온 representation은 VAE구조 뿐만 아니라 다양한 일반적인 모델에 넣어 활용할 수 있다.

Neural CDE는 Neural ODE를 ISTS에 적용할 수 있게 바꾼 모델이다. 기존 Neural ODE를 활용할 때 문제점은 불규칙하게 수집한 입력 데이터를 그대로 hidden state로 가져가게 되면 불규칙한 데이터 사이의 hidden states의 continuous trajectory만 모사가 되고, 전체적인 data path를 고려한 hidden state를 모사하지는 못한다는 것이다. 이러한 문제를 해결하기 위해서 Neural CDE는 입력 데이터를 바로 사용하지 않고, 불규칙한 데이터를 cubic interpolation으로 보간을 한 continuous한 data path를 활용한다. 그래서 결국 불규칙한 데이터에서도 continuous한 data path를 활용해 hidden state를 ODE로 풀 수 있게 된다. 해당 방법은 불규칙한 시점 사이의 값을 결측치로 보지 않고 연속적인 함수 위에서 모델링하여 어떤 시점에도 예측이 가능할 것이라는 생각이 들었다.

이번 세미나를 통해 내가 연구하는 time series에 대한 이해를 높일 수 있다. 어려울 수 있는 개념과 수식을 그림을 활용해 설명해 주셔서 쉽게 이해를 할 수 있었다. 세미나를 통해 배운 개념을 향후 나의 연구에서도 활용해야겠다는 생각이 들었다. 좋은 세미나를 준비해 주신 조광은 선배님께 고맙다는 말씀을 올리며 본 세미나 후기를 마친다.