박성수

이번 세미나는 수집 간격이 불규칙한 시계열 데이터(ISTS)를 처리하는 두 가지 방법에 대해 소개해 주었다.

먼저 mTANs는 ISTS에서 직접 표현을 학습하면서 샘플링 빈도까지 반영하는 모델이다. mTAND과 mTAND-Full로 나눌 수 있다. mTAND는 연속적인 time point를 vector space로 임베딩하는 time embedding과 multi-time embedding을 통해 ISTS를 fixed representation으로 변환하여 모델의 input으로 넣는다. 이렇게 fixed representation을 일반적인 모델에 넣을 수 있는 상태가 되고, 다음 mTAND-Full에서는 VAE구조를 활용해 ISTS를 처리하게 된다. 여기서 중요한 점은 mTAND를 통해 나온 representation은 VAE구조 뿐만 아니라 다양한 일반적인 모델에 넣어 활용할 수 있다.

Neural CDE는 Neural ODE를 ISTS에 적용할 수 있게 바꾼 모델이다. 기존 Neural ODE를 활용할 때 문제점은 불규칙하게 수집한 입력 데이터를 그대로 hidden state로 가져가게 되면 불규칙한 데이터 사이의 hidden states의 continuous trajectory만 모사가 되고, 전체적인 data path를 고려한 hidden state를 모사하지는 못한다는 것이다. 이러한 문제를 해결하기 위해서 Neural CDE는 입력 데이터를 바로 사용하지 않고, 불규칙한 데이터를 cubic interpolation으로 보간을 한 continuous한 data path를 활용한다. 그래서 결국 불규칙한 데이터에서도 continuous한 data path를 활용해 hidden state를 ODE로 풀 수 있게 된다. 해당 방법은 불규칙한 시점 사이의 값을 결측치로 보지 않고 연속적인 함수 위에서 모델링하여 어떤 시점에도 예측이 가능할 것이라는 생각이 들었다.

이번 세미나를 통해 내가 연구하는 time series에 대한 이해를 높일 수 있다. 어려울 수 있는 개념과 수식을 그림을 활용해 설명해 주셔서 쉽게 이해를 할 수 있었다. 세미나를 통해 배운 개념을 향후 나의 연구에서도 활용해야겠다는 생각이 들었다. 좋은 세미나를 준비해 주신 조광은 선배님께 고맙다는 말씀을 올리며 본 세미나 후기를 마친다.

조문영

이번 세미나는 Two Paradigms for Irregularly Sampled Time Series를 주제로 진행되었다. Irregularly Sampled Time Series(ISTS)가 왜 문제가 되는지 짚은 뒤, attention 기반의 mTAND와 ODE 기반의 Neural CDE 두 계열의 방법론을 순서대로 설명하는 구성이었다. Irregular data라고 하면 보통 한 변수 내 timestep이 불규칙한 경우만 떠올리기 쉬운데, 이를 변수 간 timestep이 어긋나는 asynchronous 상황과 구분하여 설명한 후 이 둘을 통합한 개념이 ISTS임을 짚으면서 시작해서 좋았다.

mTAND는 결측치를 보정하는 기존 모델이 irregular한 표현을 직접 학습하지 못하고 asynchronous 상황에 취약하다는 한계에서 출발해 time embedding과 multi-time attention으로 이를 해결한다. query를 고정된 reference time point로, key와 value를 실제 수집된 시점으로 구성해 attention을 계산하는 방식은, irregular한 timestep을 그대로 두면서도 고정 길이 representation을 얻을 수 있다는 점에서 인상 깊었다.

Neural CDE는 Neural ODE가 initial state에만 의존한다는 한계에서 출발해 데이터를 cubic interpolation으로 보간한 continuous path를 따라 hidden state의 궤적이 조정되도록 한다. 이전에 ODE부터 Neural CDE까지의 논문을 읽어봤는데, 이번 세미나에서 continuous path 개념을 다시 한번 정리할 수 있어서 좋았다.

Irregularly sampled time series의 여러 task 중에서도 anomaly detection에 관심이 있어, 이 세미나의 두 방법론을 anomaly detection에 적용할 방법을 고민해 봤다. 하지만 두 방법론은 classification, interpolation, prediction에 초점이 맞춰져 있어 그대로 적용하기는 어렵다는 생각이 들었다. 우선 두 논문의 데이터셋은 대부분 classification 용도로 구축되어 있어 anomaly label이 존재하지 않는다. 또한 관측 간격이 일정하지 않아 관측되지 않은 시점이 존재하는데, 이런 시점은 값을 예측해도 비교할 관측값이 없어 오차를 계산할 수 없다. 해당 논문들처럼 좋은 representation을 학습하더라도, 이를 anomaly detection에 쓰려면 위에서 제기한 문제들도 함께 고려해야겠다.

좋은 세미나를 준비해 주신 조광은 선배님께 감사드리며 세미나 후기를 마친다.