김성수

이번 세미나는 시계열 데이터에서 발생하는 Domain Shift를 최소화할 수 있는 방법론에 대해 소개한다. 시계열 데이터에서는 입력 데이터 내부적으로도 Shift가 발생 가능하지만, 입력 및 출력 데이터 관점에서도 Shift가 발생할 수 있다. 본 세미나에서 소개하는 3가지 방법론은 모두 다음과 같은 해결책을 제시한다: 각 시계열 별 통계량 산출 → 시계열 정규화 → 시계열 예측 → 통계량을 기반으로 역정규화. 이때, 통계량으로 평균 및 표준편차만을 활용하는 것은 부족하다고 지적하면서, 이를 예측 모델을 기반으로 산출하거나 시계열을 조금 더 잘게 나누어 대표 값을 산출하는 방식 등으로 보완했다. 이러한 접근은 시계열 뿐만 아니라 비전 등 다양한 분야에서도 적용할 수 있을 것 같은데 (ex. 패치 수준 정보로 정규화 등), 다른 모달리티에도 어떻게 적용될 수 있을지 궁금하다. 유익한 세미나를 준비해준 고재영 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

허종국

시계열 데이터 내에서 발생하는 여러 가지 distribution shift의 형태를 정의하고, 이를 해결하기 위해 제안된 3가지 방법론에 대해 소개하는 세미나였다. 소개된 논문 3가지 RevIN, Dish-TS, 그리고 SAN은 디테일은 다르지만 모두 입력(lookback)/출력(horizon) 시퀀스의 통계량을 제거한 순수 패턴만을 학습한다는 공통점을 가지고 있으며, 이때 데이터의 통계량을 어떻게 정의, 추출, 혹은 학습할지에 대해 차이점을 보인다.

첫번째 논문인 RevIN은 가장 단순한 방법으로써, 시계열 데이터의 비정상성을 없애기 위해 lookback window와 horizon window의 통계량을 기반으로 normalization을 한 후, 예측, 역변환을 하는 구조이다. 구조 자체는 후술할 두 논문과 일맥상통한 부분이 있으나, 통계량을 추출할 때 학습 기반이 아닌 instance normalization을 쓴다는 점, 그리고 lookback window와 horizon window 모두 같은 통계량을 쓴다는 점이 요지이다.

두번째 논문인 Dish-TS는 1. 각각의 lookback window를 고정된 통계량으로 정량화 하는 문제(intra-shift problem), 2. lookback과 horizon이 동일한 통계적 특성을 가진다는 가정의 문제 (inter-shfit problem)을 해결하고자 하였다. 첫번째 문제를 해결하기 위해 lookback window의 주요 통계량(level, scaling factor)를 추출하는 학습 가능한 네트워크인 CONET을 제안한다. CONET은 learnable parameter를 통해 고정된 통계량이 아닌 개별 lookback에 특화된 통계량을 추출하고자 하였다. 또한, 두번째 문제를 해결하기 위해 horizon의 통계량을 추출하기 위한 CONET을 별도로 추가하였다. Lookback, horizon의 level coefficient는 linear combination + leaky ReLU 형태의 단순한 형태를 가지며, scaling coefficient는 학습 파라미터가 아닌 실제 데이터 값과 level coefficient에 대한 표준편차로 구해진다. 마지막으로, horizon을 위한 CONET의 학습 난이도를 완화하기 위해 soft target 기반 loss를 추가하였다.

마지막 논문인 SAN은 시계열 데이터의 fine-grained 변화를 포착하기 위해 긴 lookback을 여러개의 slice로 쪼개어 slice 별 통계량을 추출하는 방식을 제안한다. 또한 각 lookback slice의 통계량을 기반으로 horizon slice의 통계량을 예측하는 statistics prediction module을 제안한다.

3가지 방법론이 모두 distribution shift 해결을 위해 변화하는 통계량을 배제하고 패턴 학습을 하는 방식이라는 점에서 공통점이 있으며, 금일 세미나에 순서된 소개대로 차츰차츰 develop이 된 것 같다. 좋은 흐름의 세미나를 만든 재영이형께 감사의 말을 전한다.