이번 세미나는 시계열 데이터에서의 Change point detection에 대한 내용을 주제로 진행되었다. 시계열 데이터와 Change point detection에 대한 소개 후 이에 Contrastive Learning을 적용시킨 논문에 대한 소개로 진행되었다.
시계열 데이터에는 추세 변동, 계절 변동, 순환 변동, 무작위 변동의 특징이 있다. 현실에서는 단변량 시계열 데이터 뿐만 아니라 다변량 시계열 데이터 또한 많이 존재하는데 기술의 발전에 따라 다양한 동작을 갖는 데이터도 존재한다. 본 세미나에서는 공룡의 움직임을 예로 들어 생체 데이터를 통한 Change point detection을 설명해주었다.
본 세미나에서 소개해준 논문은 Temporal convolutional networks Encoder를 기반으로 Contrastive Representation Learning을 진행하여 Change point를 탐지하는 내용이었다. 한 시점에서 window size를 기준으로 앞의 데이터는 history, 뒤의 데이터는 future로 정의한다. 그 후 history와 future 샘플들을 batch size만큼 활용하여 negative samples를 생성한다. 그 후 dilation을 도입한 TCN Encoder를 통과시켜 representation을 진행하고 여기서 Contrastive Learning이 적용되어 positive pair는 가까이, negative pair는 멀게 학습을 시킨다.
움직임에 대한 데이터에 이러한 방식을 도입하여 행동 변화를 탐지할 수 있다는 부분이 매우 흥미롭게 느껴졌다. 최근들어 self-supervised learnig에 대한 내용을 학습 중에 있는데, 이것이 CPD분야에도 활용되고 있고 관련한 다른 논문들도 따로 읽어볼 계획이다. 흥미롭지만 어려운 내용을 이해하기 쉽게 설명해주신 안시후 연구원님께 감사드리며 본 세미나 후기를 마친다.

오늘은 시후가 흥미로운 내용을 설명해주었다. 시계열 데이터 내에서 급변하는 지점을 탐지하는 연구 분야였는데, 이름은 Change point detection in time series, CPD라고 불린다. 보통은 하나의 데이터 포인트마다 하나의 특성만이 담겨져 있다는 가정을 하는데, 본 연구에서는 하나의 데이터 포인트(시계열 데이터)에 여러 가지 특성들이(여러 레이블이) 동시에 담겨 있다는 가정을 하고, 이것을 탐지한다. 딥러닝이 점점 더 현실 세계에 적합한, 복잡한 데이터 분석에 도전하고 있다는 느낌을 받은 세미나였다. CPD에는 여러 가지 방법론들이 있겠지만, 오늘은 자가지도학습을 활용한 방법론을 소개 받았다. 개인적으로 positive와 negative 선정 방식이 CPD 태스크에 적합할까 생각해보았다. 이 부분은 시후에게 더 자세히 물어보아야겠다.

최신 연구 트렌트를 잘 따라가는 것도 좋은 연구를 위한 초석이 되는 것 같다. 좋은 세미나를 준비해준 시후에게 고마운 말을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 Change Point Detection(CPD)이라는 주제로 진행되었다. 이번 세미나를 통해 처음 접하게 된 연구분야이지만, 세미나를 들은 후 이름처럼 시계열 데이터에서 상태가 급격하게 변하는 시점을 파악하는 것이 목적이라는 것을 알 수 있었다. 하지만 CPD의 주 목적이 시계열 상에서 변하는 시점을 탐지하는 것이기에, Labeling의 소요가 크다는 단점이 있다. 본 세미나에서는 이처럼 Labeling에 큰 어려움이 있는 CPD를 위해 Self-supervised Learning을 활용한 방법론(TS-CP2)을 소개해주었다.

TS-CP2는 우선적으로 Negative Sampling을 활용하여 History 데이터와 Future 데이터를 구분한다. 이후 각각 Encoder에 통과시켜 Representation Vector를 뽑는데, History Representation과 Future Representation 간 Cosine유사도를 통해 Positive Pair와 Negative Pair를 정의한다. 마지막으로 Positive Pair는 가깝게, Negative Pair는 멀어지게 Contrastive Learning을 진행한다. 이러한 방법으로 TS-CP2는 Labeling에 대한 제약을 최소화하면서 좋은 성능을 도달할 수 있었다.

CPD 자체가 기존의 시계열 데이터보다 더욱 복잡한 Labeling을 필요로 하기에, 이처럼 Unlabeled Data를 학습할 수 있는 방법론에 대한 연구가 필요할 것으로 보인다. 시계열 데이터에서 Contrastive Learning을 적용한 논문들을 최근에 공부해보면서 Positive Pair와 Negative Pair를 정의하는 방법에 대해 아이디어가 참신하다는 생각을 많이 했었는데, 오늘도 역시나 똑같은 감정이 들었다. 유익한 세미나를 준비해주신 안시후 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 시계열의 Change point detection 주제로 진행되었다. 시계열 데이터는 일정한 시간 동안 수집 된 순차적 데이터셋의 집합이다. 시계열의 종류로 단변량 데이터와 다변량 데이터가 있으며 주요 패턴으로 추세 변동, 계절 변동, 순환 변동, 무작위 변동이 있음을 알 수 있었다. Change point detection의 예시로는 움직이는 개체에 센서를 부착하고 이를 통해 수집 된 생체 데이터를 진폭에 따라 레이블링 하는 방법이 소개되었다. 비디오, 음성, 센서 데이터 등 변화 시점이 존재하는 시계열 데이터에 사용할 수 있는 것이 주요 특징이다. 관련 논문을 발표해 주었는데, 인코더 기반 history와 future로 input data를 나눈 뒤 같은 시점의 history와 future는 가깝게, 다른 시점은 멀게 학습하는 대조학습이 주 내용이다.
해당 분야에 대한 지식이 전무하기 때문에 새로운 분야를 알게 되어 흥미롭게 시청하였고, 청취자가 관심 있는 이상치 탐지와 해당 분야의 연결 점에 대해 공부해보면 좋겠다는 생각이 들었다. 유익한 세미나를 준비하시느라 고생했다는 감사 말씀드리며 세미나 후기를 마친다.

이번 세미나는 시계열 데이터의 Change Point Detection(CPD) 이라는 주제로 진행되었다. CPD는 시계열 데이터에서 급격한 변화를 보이는 순간을 찾는 분야라고 할 수 있으며 CPD가 잘 이루어 진다면 label이 부족한 시계열 데이터 상황 속에서 원활한 labeling이 가능해져 이벤트 탐지, 시계열 이상 탐지 등에 도움이 된다고 할 수 있다. 특히, Self-supervised representation learning이 CPD에 적용되기 시작하였다고 하였으며 그 중 하나로 TS-CP2 논문을 소개해 주었다. 해당 논문에서는 시계열 데이터를 history와 바로 뒤에 따라오는 future로 나눈 뒤 future 데이터의 조합에 따라 positive/negative pair로 정의하고, 각 pair를 representate 하는 TCN 인코더를 통하여 contrastive learning을 진행, change point를 탐지하여 우수한 성능을 내는 것을 확인할 수 있었다. 본 세미나를 청취하면서 느낀점으로 positive/negative pair를 구성하는 방법이 인상적이였고 contrastive learning이 익숙하지 않지만 다양하고 창의적인 방법이 가능한 것 같다는 생각이 들었다. 그리고 CPD를 잘 하는 것은 변화/이상을 잘 찾는 것이라고 할 수 있을 것 같아 흥미롭게 느껴졌고 관심을 두고 있는 이상 탐지와 관련 있는 것 같아 재미있게 들을 수 있었다. 유익한 세미나를 준비해주신 안시후 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.