이번 세미나는 이상치 탐지에서 적용되는 대조학습 방법론에 대해 진행되었다. 이상치 탐지에서 대조학습은 정상 데이터를 한 점에 모이도록 학습한 후, 중심에서 일정 거리 이상 떨어져 있는 경우 이상치로 판단하는 방향으로 진행된다고 한다. 이에 대해 본 세미나는 3가지 연구를 소개한다. 먼저 GOAD는 Augmentation을 통해 새로운 Class를 정의한 후, Triplet Loss를 적용하여 학습한다. Instance Discrimination은 일반적인 Augmentation이 아닌, Distribution을 변형하는 Augmentation으로 Negative Pair를 정의함으로써 Normal 데이터를 더 밀집하도록 한다. 마지막으로 CSI는 SimCLR의 실험결과를 활용하여 Label을 정의한다. SimCLR에서 성능이 향상된 증강기법은 Positive로, 성능이 감소한 증강기법은 Negative로 정의하고, 이들을 대조학습을 통해 학습한다. 본 세미나를 통해 이상치 탐지에서 대조학습이 어떻게 이루어지는지 접할 수 있었다. 개인적으로 신선했던 부분은 Augmentation으로 무조건 Positive를 정의하는 일반적인 대조학습과 다르게, Augmentation에 따라 Positive와 Negative를 정의한다는 점이었다. 유익한 세미나를 준비해주신 목충협 연구원님께 고맙다는 말을 전하며 이상으로 세미나 후기를 마친다.

금일 세미나는 contrastive learning과 anomaly detection을 연계한 내용으로 진행되었다. Contrastive learning은 일반적으로 self-supervised learning에서 주로 활용되지만, 최근에는 semi-supervised learning 및 anomaly detection 등 다양한 분야에도 활용되고 있는 것 같다. 금일 세미나에서는 contrastive learning for anomaly detection을 위한 세 가지 모델을 소개하였고, 이를 요약하면 아래와 같았다.

1. GOAD (ICRL, 2020)
Classification 기반 contrastive learning을 활용한 anomaly detection 방법이다. 하나의 anchor 데이터에 다양한 augmentation을 적용해 새로운 class를 만들고, 각각의 class를 맞추는 cross-entropy loss를 산정한다. 여기에 더해, 해당 class의 중심점을 positive, 다른 클래스 중 가장 가까운 class의 중심점을 negative로 산정하는 triplet loss를 고려한다. 새로운 데이터가 들어올 때, 동일 augmentation을 적용하여 각 class의 중심점과의 거리를 통해 이상 탐지를 진행한다.

2. Learning and evaluating representations for deep one-class classification (ICLR, 2021)
2-stage의 framework로 제안된 anomaly detection 방법이다. 기존 잘 알려진 방법인 SimCLR에 negative sample을 추가하여 학습에 사용한다. negative sample을 추가하여 학습함으로써 normal data와 anomaly data가 더 잘 구분될 수 있는 feature space 학습이 가능하다.

3. CSI (NeurIPS, 2020)
One-class OOD detection 방법으로, augmentation을 적용했을 때의 성능 변화에 따라 positive/negative sample을 정의한다. 정의된 positive/negative sample을 바탕으로 SimCLR loss를 산정하고, 여기에 더해 적용된 augmentation을 맞추는 cross-entropy loss를 활용한다.

이번 세미나는 "Contrastive Learning for Anomaly Detection"을 주제로 진행되었다. 먼저 대조 학습에 관해 설명되었는데, Contrast라는 단어의 의미는 여러 대상을 비교할 때 나타나는 명확한 차이를 말하고 Contrastive Learning은 이러한 차이를 활용하여 학습하는 방법을 말한다. 대조 학습에서 사용되는 여러 loss에 관해서도 설명되었는데 앞서 설명된 3가지 손실 함수와 SimCLR에서 사용된 InfoNCE 손실 함수의 차이(데이터의 클래스 사용 유무)를 확인할 수 있어서 유익했다.

대조 학습을 활용한 이상 탐지 방법론 3가지에 관한 간략한 설명은 다음과 같다.
- GOAD
: 데이터 증강 기법을 활용해 새로운 클래스를 정의한다. 정의된 클래스 정보를 활용해 대조 학습을 진행하는데, positive sample은 해당 클래스의 중심점으로 negative sample은 해당 클래스와는 다른 클래스 중 가장 가까운 클래스의 중심점을 활용한다는 점이 특징이다.
- Learning and evaluating representations for deep one-class classification
: SimCLR처럼 negative sample을 정의하고 distribution augmentation을 활용해 추가적인 negative sample을 정의한다. 이를 활용한 대조 학습을 통해 feature extractor를 학습(1-stage)하고 이상 탐지(2-stage)를 진행한다.
- CSI
: 본 논문에서는 SimCLR에서 단일 데이터 증강 기법을 사용했을 때, 그리고 두 개 데이터 증강 기법을 함께 사용했을 때 얻은 성능을 통해 성능이 향상하는 경우 positive(soft augmentation 사용)로 감소하는 경우 negative(hard augmentation 활용)로 정의하여 학습에 활용하는 것이 특징이다.

본 세미나에서 대조 학습에서 사용되고 있는 손실 함수, 대조 학습을 적용한 이상 탐지 방법론, 그리고 방법론 마다 negative, positive sample을 정의하는 방법에 관해 알 수 있어 굉장히 유익했다. 유익한 세미나를 준비해 준 목충협 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 이상치 탐지에서의 대조 학습에 대해 충협이형께서 진행해주었다. 우선적으로 대조 학습에 대해 간단히 소개해주어 리마인드를 할 수 있었고 그 후, 대조 학습을 활용한 이상치 탐지 방법론 3가지에 대해 세미나가 진행되었다.
이상치 탐지는 기본적으로 데이터 불균형, 레이블 데이터의 부족, 이상 데이터의 다양성, 사전 지식의 부족 등의 데이터적인 어려움을 가지고 있다. 소개된 방법론들은 이러한 어려움을 대조 학습을 통해 해결하고자 했다. 먼저 첫 번째 방법론은 원본 데이터를 rotation하여 새로운 class를 생성해낸다. 이 때, 새롭게 생긴 class들의 중심점을 negative sample로 간주하고 일반적인 cross entropy loss와 triplet loss를 결합하여 학습을 진행한다. 새로운 데이터가 들어오면 각 class의 중심점과의 거리를 이용하여 이상치 탐지를 수행한다. 두 번째 방법론은 각 sample마다 두 가지의 augmentation을 취하고 SimCLR처럼 나머지 sample들의 augmentation sample들을 negative sample로 간주한다. 여기서 추가로, 원본 sample을 rotation한 후 기존 augmentation을 취한 sample들을 negative sample에 추가한다. 추가된 negative sample들을 통해 feature space는 더 넓어지면서 정상 데이터는 정상 데이터끼리, 이상 데이터는 augmentation data와 가깝게 위치하게 된다. 이런 식으로 feature extractor를 사전 학습 후, 간단한 이상치 탐지 모델을 통해 이상치 탐지를 수행하게 된다. 마지막 방법론은 CSI라는 방법론으로, 이 방법론은 one-class와 multi-class일 때 모두 적용 가능하며 본 세미나에서는 one-class일 때에 대해 설명해주었다. One-class 일 때, 한 sample에 대해 hard augmentation과 soft augmentation을 각각 취해주고 hard augmentation sample은 negative sample, soft augmentation sample은 positive sample로 정의한다. 그리고 그 외에 다른 정상 sample들은 어차피 같은 class이기 때문에, positive sample로 정의한다. 그 후, SimCLR loss와 cross entropy loss를 결합하여 학습을 진행한다.
본 세미나를 들으면서 positive/negative sample을 잘 정의하면 이상치 탐지에도 대조 학습을 충분히 적용할 수 있다는 것을 알게 되었다. 다른 task에서의 대조 학습에 대해서는 다른 세미나나 논문을 통해 학습한 경험이 있었는데, 이상치 탐지에 적용한 내용에 대해서는 처음 접해봐서 매우 흥미롭게 시청할 수 있었다. 현재 시계열 이상치 탐지에 대해 연구하고 있는데, 추후에 이미지 데이터에서의 이상치 탐지에 대해 연구하게 된다면 대조 학습도 적용해 봐야겠다는 생각을 하였다. 그리고 본 세미나에서는 CSI 방법론을 one-class일 때 적용한 것에 대해서 소개해주었는데, 추후에 multi-class에서는 어떻게 학습이 진행되는지도 공부해보고자 한다. 좋은 세미나 자료를 준비하느라 고생하신 충협이형께 감사하다는 말을 전하며 본 세미나 후기를 마친다.

이번 세미나는 anomaly Detection을 위한 contrastive learning을 주제로 진행되었다. 최근 contrastive learning은 데이터의 특성을 학습해 좋은 특징 공간 (feature space)을 만드는데 효과적으로 사용되고 있다. 본 세미나에서는 contrastive learning에 사용하는 loss function에 대해 레이블을 사용한 경우와 그렇지 않은 경우로 구분해서 소개하였다. 레이블 정보를 사용한 loss는 triplet loss, N-pair loss, supervised contrastive loss가 있다. 이러한 loss function은 negative sample을 사용하는지 여부와 positive sample을 한개 사용하는지, 여러개 사용하는지에 따라 나뉘게 된다. 레이블 정보를 사용하지 않는 loss는 대표적으로 SimCLR에서 제안한 InfoNCE가 있다. 이러한 contrastive learning은 기존의 cross entropy loss에 더하여 모델의 성능을 높일 수도 있고, 사전학습 모델에 사용되어 이후에 fine tuning한 모델 성능을 높일 수도 있다. 개인적으로 해당 세미나에서 재밌었던 내용은 classification-based anomaly detection for general data (GOAD) 연구였다. 해당 연구에서는 anomaly detection을 위한 더 좋은 특징 공간을 만들기 위해 augmentation한 정보를 기반으로 class를 생성하게 된다. 이러한 경우 동일한 이미지여도 augmentation한 정보에 따라 다른 class로 구분하게 되기 때문에 세부적인 특징도 더 잘 구분할 수 있는 특징 공간을 만들 수 있게 된다. 개인적으로 데이터가 소수인 경우에도 레이블 정보 없이 데이터 내 특징만을 학습해 더 잘 구분할 수 있는 연구를 진행하고 있다. 이번 세미나는 그러한 고민에 지식을 더 넣어준 것 같다. 좋은 세미나를 준비해 준 충협이에게 고맙다고 전한다.

이번 세미나는 Contrastive Learning for Anomaly Detection 주제로 진행되었다.
이상치 탐지에 대조 학습을 접목시킨 세 가지 연구가 소개되었는데,
이를 통해 대조 학습을 어떻게 이상치 탐지에 적용할 수 있을 지에 대한 인사이트를 얻을 수 있었다.

이상치 탐지는 데이터 불균형, 레이블 데이터 부족, 이상 데이터의 다양성, 사전 지식의 부족 등의 어려움이 존재한다.
이를 극복하기 위해 Contrastive Learning 을 적용해보는 연구가 활발히 진행중이며 특히 아래 세 가지 주요 방법론에 대한 자세한 설명이 진행되었다.

첫 번째로 소개된 GOAD는 augmentation을 통해 새로운 클래스를 정의하고, 각 클래스의 중심점을 기준으로 이상치를 탐지하는 방식을 사용한다.
이 방법론은 데이터의 rotation과 Triplet Loss를 사용해 새로운 class를 생성하고 이를 통해 이상치 탐지를 진행한다.

두 번째 방법론인 'Learning and evaluating representations for deep one-class classification'은
SimCLR에 negative sample을 추가하고, distribution augmentation을 활용해 추가적인 negative sample을 정의하는 방식이었다.
이를 통해 feature space를 넓혀 normal data와 anomaly data를 더욱 잘 구분하도록 한다.

마지막으로 소개된 CSI 방법론은 SimCLR의 실험결과를 활용하여 성능이 향상된 증강기법은 Positive로,
성능이 감소한 증강기법은 Negative로 정의하고, 이들을 대조학습을 통해 학습한다.
이 방법론은 데이터 증강에 따른 성능 변화를 기반으로 positive/negative 샘플을 정의하는 것이 특징이다.

이번 세미나를 통해 대조학습을 이상치 탐지에 적용하는 방법에 이해할 수 있었다.
특히, 데이터의 augmentation을 활용하여 positive와 negative를 구분하는 방식이 새로웠지만,
예시가 주로 이미지에 국한되어있어 증강 방법론 이 다른 시계열 데이터에 대해 대조학습 기반 이상치 탐지가 유효한 방법론일지 고민을 해볼 필요가 있을 것 같다.
이번 세미나를 준비해준 목충협 연구원께 감사 인사를 전하며 이만 세미나 후기를 마친다.

이번 세미나는 이상탐지에서의 대조학습에 대하여 진행되었다. Contrastive Learning 관련 세미나는 최근 여러번 진행되었기에 이상 탐지에서는 어떤 방식으로 대조학습이 적용되는지 호기심을 가지며 세미나를 청취할 수 있었다. 우선 데이터의 Class를 사용하는 대조학습으로 Loss 3가지(Triplet/N-pair/Supervised contrastive)를 설명하였고, 다음으로 Class를 사용하지 않는 SimCLR Loss를 설명하였다. 다음으로 본 목적인 이상탐지 Task를 살펴보면 데이터 불균형, 부족한 레이블, 이상 데이터의 다양성 등의 문제가 있으며 이를 극복하기 위한 방법론들을 소개하였다. 첫번째로 GOAD를 설명하였는데, Original 데이터를 Rotate하여 새로운 Class로 만들고 이를 활용하여 Cross-entropy Loss와 Triplet Loss를 사용하여 학습을 진행한다. 두번째는 Feature Extractor로 사용할 수 있는 방법론으로 2-stage로 구성되었고, Negative Sample를 추가하여 학습을 진행하게 된다. 추가된 Negative Sample들은 소수의 이상 데이터들이 입력되었을때 제대로 분류하기 위하여 이상에 해당 하는 데이터를 보다 많이 추가하여 학습하여 이상을 보다 잘 분리하기 위함이라고 이해하였다. 마지막 세번째는 CSI라는 방법론이며, Augmentation의 종류에 따라 Positive/Negative Sample을 정의하였다. 이러한 방법론은 좋은 representation을 학습할 수 있기 때문에 이상탐지 Task에서 유용하게 사용될 수 있지만, Augmentation에 의존적이기 때문에 이에 따른 한계도 있다고 한다. Augmentation 관련 연구를 진행하고 있어서 재밌게 들을 수 있는 세미나였던것 같다. 유익한 세미나를 준비해주신 목충협 연구원님께 고맙다는 말을 전하며 이상으로 세미나 후기를 마친다.

금일 세미나는 Anomaly Detection을 위한 Contrastive Learning을 효과적으로 활용한 방법론에 대한 내용이었다.
먼저 데이터 간 유사도를 정의하고 모델에 학습하는 방법인 Contrastive Learning에 대한 설명과 기존 방법론들 및 효과를 간략히 언급해주고 진행하셔서, 세미나를 이해하기 위한 리마인드에 도움이 되었다.
Anomaly Detection에 사용하기에는 심각한 데이터의 불균형과 레이블이 제한적이고 이상 데이터가 다양하며 새로운 이상 데이터가 나타날 수 있기 때문에 Contrastive Learning을 적용하기 어려운데 이를 극복한 방법론 세가지에 대해 세미나에서 설명하고 있다.

첫 번째, GOAD로 Augmentation을 이용하여 새로운 클래스를 생성하고 Cross entropy loss와 Triplet loss를 사용하여 이상 탐지를 하는 방법론이다. Positive Sample은 해당 클래스의 중심점, Negative Sample은 다른 클래스 중 가장 가까운 중심점으로 정의하고 학습한다. 이 때 새로운 데이터가 들어오면 동일한 Augmentation을 적용하고 각 Class의 중심점과의 거리를 이용하여 이상 탐지를 진행한다.

두 번째, Learning and evaluating representations for deep one-class classification은 2-stage framework 방식으로 진행되는 방법론인데 SimCLR에 Negative sample을 추가하여 학습에 사용하는 방법으로 Feature space가 훨씬 더 Normal끼리 잘 뭉쳐지는 효과가 있어 Anomaly Detecting을 더 잘할 수 있는 방법이다.

세 번째, CSI는 Distribution shift된 데이터에서 One-class OOD detection 개념으로 SimCLR에서 Augmentation을 적용했을 때, 성능이 향상하냐 감소하냐에 따라 Positive와 Negative sample을 정의하고, 나머지 정상 샘플들을 Positive sample로 정의하는 방법을 이용한다. SimCLR loss에 Cross Entropy loss를 더하여 사용하게 되고 Augmetation이 Hard하면 Negative Sample로 정의되기 쉽다.

Contrative learning은 강건하고 좋은 Representation을 학습할 수 있고 Positve/Negative sample을 잘 정의하면 Anomaly Detection에도 적용할 수 있지만, Augmentation에 의존적이기 때문에 일부 데이터에는 적용이 어려운 단점이 있다. Anomaly Detection에 관한 연구에 관심이 많은데, Contrastive Learning을 어떻게 활용하면 좀 더 좋은 성능을 낼 수 있을 지에 대한 인사이트를 얻을 수 있는 좋은 세미나였다. 바쁘신 와중에도 좋은 내용의 세미나를 준비해주신 목충협 연구원님께 깊은 감사를 드리며 세미나 후기를 마치도록 하겠다.

이번 세미나는 Contrastive Learning for Anomaly Detection를 주제로 진행되었다. 대조 학습이란 데이터 간 유사도를 정의하고 모델에 학습하는 방식으로 학습된 모델은 주어진 데이터들의 차이를 나타낼 수 있다. 데이터의 클래스를 활용하는 대조학습에는 Triplet loss, N-pair loss, Supervised contrastive loss가 있으며, 클래스를 사용하지 않는 대조 학습에는 SimCLR loss 등이 있다. 대조 학습은 정확도와 강건함을 높인다는 장점을 가지고 있다. 대조 학습에 이상치 탐지 적용을 위해서는 데이터 불균형, 레이블이 없음, 데이터의 다양성 등의 문제 상황을 갖고 있다.

첫 번째 소개된 논문은 GOAD로 증강을 통해 새로운 클래스를 생성하여 대조 학습을 적용한 방법론으로 각 클래스 중심점과의 거리를 이용한 이상탐지 방법론이다. 두 번재 논문은 2 stage로 이뤄져 있으며 첫 번째 stage는 SimCLR와 동일하며, 두 번째 stage는 rotation 후 증강을 한 샘플을 negative로 둔다는 특징을 가지고 있다. 세 번째 논문은 CSI로 증강 기법 적용 시 성능이 향상 하면 positive, 하락하면 negative로 정의하는 특징을 갖고 있다.

이번 세미나를 듣고 느낀 점은 이상치 탐지에서 대조 학습을 사용하기 위해 다양한 증강 기법이 제시되었다는 점이다. 특히, rotation 후 증강을 한 sample을 negative로 취급하는 연구를 시도한 점이 무척 신기했다. 유익한 내용의 세미나를 해준 목충협 연구원에게 수고했다는 얘기를 전하며 세미나 후기를 마친다.

이상 탐지는 정상 데이터와 이상치 데이터 사이의 구분을 명확하게 하여 수많은 정상 데이터들 가운데 이상 데이터만을 선별하는 태스크다. 이상 탐지 알고리즘은 이상 데이터들이 갖고 있는 이상적인 특징을 이상치 스코어라는 값으로 정량화 하여, 특정 값보다 이상치 스코어 값이 높으면 이상치 데이터로 분류한다. 이 때, 데이터가 워낙 고차원으로 구성되어 있을 경우 이상 탐지 알고리즘을 적용하기 어렵다. 본 세미나는 고차원으로 이루어진 이미지 데이터를 저차원 공간으로 맴핑하는 방법을 다루었고, 특히, 이상 탐지 알고리즘이 효과적으로 작동될 수 있는 저차원 공간 학습 방법을 다루었다. 정상 데이터들의 특징 벡터들이 이상 데이터와 동떨어져 있고 한 곳에 잘 뭉쳐져 있도록, 강한 증강 기법과 대조학습을 함께 활용하는 방식이 핵심 아이디어였다. 강한 증강 기법의 대표적인 예시로는 Rotation이 있었는데, Roation 증강 기법을 대조학습의 Negative 샘플로 활용하게 되면 정상 데이터들 사이의 거리가 기존보다 더욱 좁혀지게 하고 이상 탐지에 효과적인 특징 공간 학습에 큰 도움이 된다는 것이 흥미로웠다. 위와 같은 메인 아이디어를 가진 논문들이 세 건 이상 Top conference에 게재되었을 정도로 아이디어의 타당성이 충분하게 입증되었다. False Positive, Hard Negative 데이터와 관련된 최신 대조학습이 꾸준히 연구되고 있는 것으로 아는데, 이상 탐지 데이터들과 엮어져 더 좋은 논문들이 게재될 수 있을 것 같다. 좋은 세미나를 준비하느라 고생하신 충협이형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.