이번 세미나는 자기 지도학습 기반 이상 탐지 방법론에 대해 진행되었다. 먼저 이상 탐지란 다수의 정상 데이터와 다른 이상 데이터를 찾아내는 작업을 말한다. 실제 현실에서는 많은 양의 정상과 극소수의 이상 데이터로 구성되어 있고 이상 데이터의 분포를 정확하게 정의할 수 없다는 점에서 이상 탐지 방법론을 학습할 때 정상 데이터만을 사용한다. 정상과 이상을 판단할 때는 classification과 달리 anomaly score를 계산하여 설정한 임계 값을 기준으로 판단이 이루어진다. 기존에는 머신러닝 기반한 이상 탐지 방법론이 많이 존재했지만, 실제 현실에서 보이는 고차원 데이터에서 좋지 못한 성능을 보인다는 점에서 딥 러닝 기반 이상 탐지 방법론이 많이 연구되고 있다. 그중에서도 본 세미나에서는 자기 지도학습 기반 이상 탐지 방법론 총 5가지에 대한 간략한 소개가 중점적으로 이루어졌다.

먼저, GEOM에서는 pretext task로 주어진 이미지에 여러 각도로 회전시켜 생성한 데이터에 대해 다중 클래스 분류 작업을 진행한다. 이후, downstream task로 클래스별 예측 확률을 사용해 anomaly score를 계산하고 정상과 이상을 판단하게 된다. 두 번째로 GOAD에서는 pretext task로는 affine transformation 데이터 변형 방법을 적용한 이후 변형 클래스별로 중심을 정의하여 metric learning을 진행하고 downstream task로 입력된 데이터와 변형 클래스별 중심 간의 거리를 기준으로 정상, 이상을 판단하게 된다. 언급된 두 가지 방법론의 경우 이미지나 데이터 전체를 변형하기 때문에 정상과 이상 간에 미묘한 변화가 있는 실제 데이터와 유사한 Mvtec Dataset에서는 좋은 성능을 보이지 않는다. 이러한 데이터에 잘 대응하기 위해 연구된 방법론은 CutPaste이며, 본 방법론에서는 이미지 일부를 다른 위치에 붙여 원본과 변형된 데이터를 구분하는 Two-Class Classification을 사전에 진행하고 downstream task로 Gaussian Density Estimator를 사용해 정상, 이상을 판단하게 된다. 이외에도 SSD, CSI 방법론이 존재하는데 두 방법론에서는 Contrastive learning을 사용한다는 점이 특이점이다. 그중 SSD는 SimCLR를 사용하지만, CSI의 경우 SimCLR와 반대로 원본 이미지에 변형 기법을 적용한 데이터를 negative로 그리고 다른 이미지를 positive로 정의해 contrastive learning이 진행된다. 추가로 CSI는 사전 학습으로 다중 클래스 분류도 함께 이루어진다. 이후 SSD, CSI 방법론 모두 downstream task로 이상 탐지가 진행된다.

본 세미나를 통해 자기 지도학습 기반 이상 탐지 방법론의 기본 구조에 대해 명확하게 알 수 있었다. 그 외에도 소개된 방법론들에 대한 설명뿐만 아니라 왜 정상 데이터만을 사용하는지, 왜 딥 러닝 기반 이상 탐지가 나오게 되었는지 등 왜? 라는 질문을 할 수 있는 부분에 대한 간략한 설명도 포함되어 있어 세미나 전체를 이해하는 데 큰 도움이 되었다. 유익한 세미나를 준비해주신 목충협 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 자기지도학습 기반의 이상치 탐지에 대해 진행되었다. 자기지도학습은 크게 Pretext Task와 Downstream Task로 나누어 학습되는 것으로, Labeled data가 부족한 상황에서 활용할 수 있는 방법론이다. 더불어 이상치 탐지는 정상 데이터의 분포와 다른 분포를 갖는 샘플들을 찾는 것을 의미한다.

본 세미나에서는 이러한 두 가지 방법론을 결합한 연구사례를 소개한다. 크게 Self-predictive Method와 Contrastive Learning-based Method가 이에 해당한다. 먼저 Self-predictive Method는 GEOM 이나 GOAD가 이에 해당하는데, 입력 데이터에 변형을 주어 변형 방법을 예측하거나 기존 데이터를 복원하는 방식으로 진행된다. 이때 각각은 Downstream Task에서 Class별 예측 확률을 이용하여 이상탐지를 수행하거나, 변형 클래스 별 중심과의 거리를 기준으로 이상 탐지를 수행한다. 그러나 이러한 방법론은 이미지 전체를 변형하므로 세부적인 Anomaly에는 어려움을 겪는다는 한계가 존재한다. Contrastive Learning-based Method는 Positive Sample은 가깝게, Negative Sample은 멀게 학습하는 것으로 Pretext Task를 정의한다. 이러한 방법론에 속하는 SSD는 Pretext Task는 동일하게 수행하되, Downstream Task에서 마할라노비스 거리를 활용한다는 특징을 갖는다. 또한 CSI는 Rotation과 같이 Pretext Task를 정의한 후 코사인 유사도와 놈을 활용하여 이상치 스코어를 정의한다.

자기지도학습과 이상치 탐지 모두 입학한 이래로 깊게 공부해본 적이 없었는데, 이번 세미나를 계기로 각 방법론의 특징과 두 방법론을 결합할 수 있는 아이디어에 대해 알 수 있었다. 특히 이상치 탐지에 특화된 Pretext Task는 아직 명확하게는 없는 것 같고(기존 Image Classification과 유사하다고 느껴졌고), Downstream Task부분이 이상치 탐지에 맞게 변형되었다는 것을 느낄 수 있었다. 유익한 세미나를 준비해주신 목충협 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 자기지도학습 기반의 이상치 탐지에 대해 진행되었다.이상탐지는 다수의 데이터와 다른 이상한 샘플을 찾아내는 작업을 이야기한다. 이상치탐지에 대한 설명 시작전에 Anomaly detection,Outlier detection,Novelity detection,Out of Distribution Detection간의 차이를 설명을 해주었다. 또한, Classification과 Anomaly detection간의 차이를 설명해주었는데, Classification은 각 클래스에 속할 확률 중 가장 큰 값 기준으로 예측을 하는 것이고, Anomaly detection은 anomaly score를 계산하여 임계치기준으로 정상/이상 판단을 하는 것이다. Machine learning의 경우 고차원의 상태에서는 성능이 좋지 못하기 때문에, Deep learning의 방법으로 좋은 성능을 낼 수 있다. Deep laerning이상탐지 방법에는 차원 축소 기반(representataion learning), Reconstruction 기반(Autoencoder, GAN 등), End to end(차원 축소 및 이상탐지를 동시에 학습) 이상탐지 들이 존재한다. Self-supervised learning은 다량의 Unlabeld data 와 소량의 labeled data가 존재할 때 효과적인 방법론이다. 두가지 step으로 존재한다. 첫번째 step에서는 레이블이 필요가 없는 task(pretext task)를 수행한다. 두번째 단계에서는 step1에서 학습된 deep learning model을 사용하여 소량의 label이 있는 데이터를 가지고, 학습을 한다. Anomaly detection에 사용되는 Self supervised learning은 조금의 차이점이 있다. step1에서는 다량의 Normal data를 사용하여, 레이블이 필요없는 pretext task를 학습한다. step2에서는 기본 self supervised learning과 달리 레이블이 필요 없는 task 학습을 한다. step1에서 학습한 model을 가져와서, 다량의 normal data를 사용하여, anomaly detection을 진행을 한다. pretext task가 어떤 방식이냐에 따라서 여러방법이 존재한다.
Self predictive methods는 GEOM 이나 GOAD가 존재 한다. 입력 데이터에 변형을 주어 변형 방법을 예측하거나, 기존 입력데이터로 복원하는 방식이다. 이런 방법론들은 이미지/데이터 전체를 변형하기 때문에 sensory anomalies에 취약하다는 단점이 있다. 이러한 단점을 보완하기 위해서 CutPaste라는 방법론이 존재한다. 이미지 일부를 다른 위치에 붙여넣는 방식으로 변형을 하고 , 원본 데이터와 변형된 데이터를 구분하도록 학습을 한다. pretext task가 Contrastive Methods인 방법론으로는 SimCLR, SSD, CSI 등이 있다. Positive 샘플들은 가깝게, Negative 샘들들은 멀어지도록 학습을 하는 방법이다. SSD는 Pretext Task는 동일하게 수행하고, Downstream Task에서 마할라노비스 거리를 활용한다는 특징을 갖는다. 또한 CSI는 Rotation과 같이 Pretext Task를 정의한 후 코사인 유사도와 Norm을 활용하여 이상치 스코어를 정의한다. 이번 세미나를 통해서 Anomaly detection분야에서 Self-supervised가 어떻게 사용되는지 기본부터 상세하게 배울 수 있었습니다. 현재는 기본 Anomaly detection에 대해서만 연구를 하고 있지만, Self supervised anomaly detection에 대해서도 관심이 생기게 되는 세미나였습니다. 더 많은 논문을 찾아보고, 학습을 할 수 있도록 기본을 잡아준 유익한 세미나를 준비해주신 목충협 연구원께 감사를 드립니다.

이번 세미나는 Self-supervised Learning(SSL) 기반 Anomaly Detection에 대해 진행되었다. Anomaly Detection 주제는 입학 초기부터 관심가지고 있던 주제로 흥미 있게 세미나를 들을 수 있었다. 특히 세미나 초반부 이상탐지와 관련된 용어를 정리한 부분과 Classification과 Anomaly Detection을 구분하여 설명한 부분은 항상 헷갈리는 부분인데 이해하기 쉽게 깔끔하게 설명해주어 재밌게 들을 수 있었다. 기존에도 이상을 탐지하는 ML 알고리즘은 굉장히 많았는데 차원의 저주로 인하여 고차원 데이터에서는 좋지 않은 성능을 보이고 있다. 따라서 딥러닝 기반 방법론이 현실 데이터에 적용하고 문제를 해결하기에 더욱 적합하다고 할 수 있다. 본 세미나에서는 SSL 기반 Anomaly Detection 방법론 5가지에 대해 소개하였다.
우선 GEOM과 GOAD를 소개하였는데 각 방법론은 주어진 데이터를 회전 시킨 후 이를 예측하는 구조를 공통적으로 가지고 있다. 이미지에 대해서 적용한 GEOM과 달리 GOAD는 이미지 외의 데이터에서도(테이블 등) 적용할 수 있도록 변형 되었다는 차이점이 있다. 이러한 방법론은 이상 데이터가 입력되었을 때 애매모호한 결과를 내는 것을 캐치함으로서 이상을 탐지한다. 그러나 GEOM과 GOAD는 데이터 전체를 변형시키기 때문에 미묘한 이상을 탐지하는 문제에서는 좋은 성능을 내지 못한다고 한다. 따라서 CutPaste, SSD, CSI와 같은 방법론이 제안되었으며 가장 중요한 특징으로 Positive/Negative 샘플을 정의한 Contrastive Learning의 개념이 추가되었다고 볼 수 있다. 이러한 샘플을 어떻게 정의 하는지에 따라 굉장히 다양한 방법론이 파생되고 또 높은 성능을 내는 것이 인상 깊었다. 그 외에도 Cosine Similarity나 Norm, Mahalanobis Distance 등의 다양한 개념을 접목하여 이상을 탐지하는 방법론을 보고 신기함을 느낄 수 있었다. 적재 적소에 적절한 아이디어와 개념을 활용하는 것은 굉장히 생각하기 어려울것이라는 생각이 들었으며 이와 같은 다양한 방법론의 학습이 절대적으로 필요하다는 것을 새삼 느끼게 되었다. SSL 기반의 이상탐지에 대해 알기쉽게 설명해주신 목충협 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 self-supervised anomaly detection을 주제로 진행되었다. 이상치 탐지는 다수의 데이터와 다른 이상한 샘플을 찾아내는 작업이다. 보통 anomaly score를 계산하여 임계치 기준 정상/이상을 판단하고, 정상 데이터만 활용한다. 좀 더 세부적으로는 정상 데이터의 분포와 다른 분포를 갖는 샘플들을 찾아내는 것을 의미한다. 이는 outlier detection, novelty detection, out of distribution detection과는 구분되는 개념이다.

기존 머신러닝 기반 방법은 고차원 데이터에서는 좋지 않은 성능을 보인다는 치명적인 단점이 존재한다. 따라서 이미지, 텍스트, 센서 데이터와 같은 현실의 데이터를 사용하기 위해선 딥러닝 기반 방법론을 바탕으로 충분한 양의 데이터를 학습시켜야 한다. 본 세미나에서는 이 중에서도 self supervised 기반 이상 탐지 방법론이 소개되었다.

우선 GEOM은 pretext task 주어진 multi class classification을 수행하고 이후 정상과 이상을 분류한다. GOAD에서는 GEOM에서 사용한 데이터 변형 방법을 affine transformation으로 정의하였다. 따라서, 이미지 이외에도 다양한 데이터에 사용 가능하다는 장점이 있다. 하지만 GEOM와 GOAD는 이미지 전체를 변형하기 때문에 sensory anomalies(low-level)에 취약하다는 단점이 존재한다. 이런 문제를 해결하기 위해 나온 것이 CutPaste 방법론이다. 우선 이미지의 일부를 다른 위치에 붙여넣는 방식으로 변형하여 원본 데이터와 변형된 데이터를 구분하도록 학습하고, Gaussian density estimator로 정상과 이상을 구분한다. SSD는 pretext tast로 contrastive learning 방법론인 SimCLR와 k-means clustering을 함께 사용한다. CSI 또한 contrastive learning 기반 pretext task를 진행하지만 augmented data를 negative sample로 정의한다는 특징이 있다.

이번 세미나를 통해 이상치 탐지에 대한 전반적인 개요와 self supervised 기반 이상치 탐지까지의 발전 과정을 이해할 수 있었다. 특히 세미나 말미에 나온 self supervised 기반 이상치 탐지는 data에 따라 방법론의 성능이 크게 달라진다는 내용이 인상 깊었다. Mvtec Dataset을 제외하면 아직 실제 산업현장을 상황을 대표할 수 있는 데이터가 없다고 했는데, 현업에서 self supervised 기반 이상치 탐지를 바라보는 시각이 궁금해졌다. 매우 유익한 세미나를 준비해주신 충협이형께 감사드리며 세미나 후기를 마친다.

다수 데이터가 갖고 있는 데이터 특성을 갖고 있지 않은 데이터를 Anomaly 데이터라고 하며, Outlier, Novelty, Out-of-distribution 데이터와는 의미가 조금 다르다는 것을 이해하고 있어야 한다. Anomaly 데이터 탐지 방법론은 데이터가 다수 특성을 갖고 있느냐, 아니냐를 구분하는 것으로 Classifiaction Task와는 구분된다. Anomaly 데이터일수록 커지는 값을 Anomaly Score라 부르며, 이 값을 계산할 수 있는 여러 가지 머신러닝 및 딥러닝 방법론이 있다. 이 때, 데이터 차원이 큰 경우에는 차원 추출에 효과적인 딥러닝 방법론이 좋으며, 오늘 세미나는 딥러닝 기반 방법론이 주된 내용을 이루었다. 특히, 자가지도 학습을 기반한 이상치 탐지 방법론이 주된 내용였는데, 이상 탐지가 효과적으로 수행될 수 있도록 하는 저차원으로 데이터를 임베딩하고, 축소된 차원에 기존 머신러닝 계열 알고리즘을 적용하고 있다. 이상 탐지에 효과적인 저차원 임베딩 공간을 어떻게 획득하는지 잘 소개되어 있고, 세밀한 수준에서의 이상 탐지 방법론도 소개되어 있다. 좋은 세미나를 준비해주신 충협이 형에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.