이번 세미나는 Out-of-distribution Detection in image classification을 주제로 진행했다. 평소에 관심을 가지고 있던 분야였기에 세미나를 준비하면서 논문을 흥미롭게 읽었다. 또한 수식적인 부분들보다는 방법론을 직관적으로 설명하기위해 노력했지만, 첫 세미나를 준비하는 것이다보니 아쉬움이 남는 세미나였다. 이번 세미나를 통해, 해당 연구분야에 관심이 있던 연구원분들이 조금이나마 익숙하게 이 연구분야에 발을 들이고 연구를 하시길 희망한다.

​

이번 세미나는 이미지 데이터 분류 상황에서 OOD Detection에 대해 진행되었다. OOD Detection은 전혀 다른 범주의 학습하지 않은 데이터셋을 찾는 문제로, Open Set Recognition보다 더 넓은 범위에 속한다. 이러한 OOD Detection은 모델이 학습한 데이터는 정확하게 분류하고, 학습하지 않은 데이터셋은 걸러내는 것이 최종 목표가 된다.

본 세미나에서는 OOD Detection의 여러 방법론 중 Classification-based Method에 대해 다루었다. 가장 기초적인 MSP는 Softmax가 분류문제에서 가지는 문제점을 지적하면서, Thresholding을 통해 OOD Detection을 수행하고자 하였다. 또한 Confidence Loss를 활용한 방법론은 GAN을 활용하여 Classifier가 잘 학습할 수 있는 Sample을 생성함으로써 OOD Detection을 원활하게 수행할 수 있도록 하였다. 마지막으로 CSI는 OOD Detection에 Contrastive Learning을 적용한 방법론으로 아이디어는 SimCLR와 유사하지만, Negative Sample 정의 시 Shifting Transformation 계열의 Augmentation은 Positive가 아닌 Negative로 분류하여 활용하였다.

연구실에서 종종 OOD에 대해서 많이 들었었는데, 개념이 정확하게 와닿지 않았었지만 이번 세미나를 통해 잘 정리할 수 있었다. 처음 접해보는 주제였지만 이해하기 쉬운 장표들 및 설명들로 구성되어 오늘도 새로운 지식 한 스푼을 얻어갈 수 있었다. 유익한 세미나를 준비해주신 정재윤 연구원님께 감사드리며 이상으로 세미나 후기를 마친다.

실용적으로 딥러닝을 사용하기 위해 반드시 해결해야 하는 문제점을 오늘 재윤이가 소개해주었다. 학습 데이터 분포와 거리가 먼 'out-of-distribtuion' 데이터가 딥러닝 실사용에 어떠한 문제점을 일으키는지 세미나에서 자세히 알 수 있었다. 그리고 novelty-detection, anomaly-detection, open-set-recognition, OOD-detection와 같이 의미는 비슷하나, 사용되는 맥락이 다르고 좀 더 명확하게 구분할 개념들을 본 세미나에서 잘 이해할 수 있다. 개인적으로 이 부분은 재윤이가 첨부한 논문(Generalized out-of-distribution detection: A survey)에 정말 자세하게 소개되어 있으니, 궁금한 사람들은 읽어보면 좋을 것 같다. 기본적인 OOD detection 방법부터, 최근 활발하게 연구되고 있는 생성모델과 자가지도학습 기반의 OOD detection 방법론까지 상세하게 리뷰 되어 있으니, 관심있는 연구원은 꼭 이 세미나를 보면 좋겠다. (개인적으로 GAN 기반의 방법론이 좋은 인싸이트를 전달해주었다고 생각했습니다.) 좋은 세미나를 준비해 준 재윤이에게 감사의 말을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 이미지 분류 문제에서의 out-of-distribution(OOD) detection에 관하여 진행되었다. OOD detection은 학습된 데이터셋을 기반으로 정상적인 multi-class classification을 수행함과 동시에, 학습되지 않은 전혀 다른 범주의 데이터셋을 판별해내는 것을 목표로 한다. 본 세미나에서는 anomaly detection, novelty detection, open-set recognition 등 유사한 개념의 여러 연구분야와 OOD detection을 비교하며 해당 개념들을 명확히 정리해주었는데, 결과적으로 OOD detection이 가장 넓은 범위의 개념임을 알 수 있었다. OOD detection 방법론은 크게 classification, density, distance based method로 분류되는데 본 세미나에서는 classification based method에 해당하는 세 가지 방법론을 중심으로 소개해주었다. 각각의 방법론은 softmax를 통과해 얻은 확률값에 threshold를 적용하거나, GAN을 결합하여 유의미한 샘플을 생성해내거나, contrastive learning을 결합하여 좋은 성능을 이끌어냈다. 새로운 연구들을 살펴보며 요새 느끼는 점은, 한 가지 연구 분야가 아닌 여러 가지의 연구 분야를 믹스하여 좋은 성능을 도출해낸 경우가 상당수라는 것이다. 그 연결고리를 발견하기까지 각 분야의 깊이 있는 이해가 수반되어야 함을 다시 한 번 상기할 수 있었다. 마지막으로 좋은 세미나를 준비하느라 고생해준 재윤오빠에게 감사한 마음을 전하며 세미나 후기를 마친다.

이번 세미나는 'Out-of-distribution Detection in image classification'을 주제로 진행되었다.

이미지 분류 상황에서 모델이 학습한 데이터 셋은 정확하게 분류하되 학습하지 않은 데이터 셋은 걸러내는 것이 이미지 분류의 목표이다. 해당 목표를 위해 발전한 연구 분야로는 Anomaly Detection, Novelty Detection, Open Set Recognition, Out of distribution Detection 4가지를 들 수 있고 AD와 ND, OSR과 OOD Detection에 대한 비교 설명으로 혼동하기 쉬운 개념을 잘 설명해주었다. 그 중 OOD Detection이 본 세미나에서 언급하고 있는 핵심 내용이다.

OOD Detection에서 OOD란 모델이 학습한 데이터 셋과 전혀 다른 범주의 학습하지 않은 데이터 셋을 말하는데, 이러한 데이터 셋을 찾아내는 것이 바로 OOD Detection의 목표이다. OOD Detection은 크게 Classification based, Density based, Distance based Method로 구분될 수 있고 Classification based Method 중에서 image classification에 초점을 맞춰 OOD Detection과 관련된 3가지 방법론을 설명해주었다. 첫 번째 방법론(MSP)에서는 softmax를 적용했을 때 나오는 확률값이 설정한 threshold보다 높으면 in distribution, 낮으면 out of distribution으로 분류함으로써 OOD Detection을 진행하게 된다. 두 번째, 세 번째 방법론(CSI)은 각각 GAN과 Self Supervised learning을 한 방법인 Contrastive learning(SimCLR)을 활용해 OOD Detection을 진행하게 된다.

정재윤 연구원에게 OOD Detection에 대해서 평소에도 많은 설명을 들어 왔지만 본 세미나를 통해서 AD, ND, OSR과 OOD Detection 개념의 차이에 대해 명확하게 알 수 있었고 특히 OOD Detection과 관련된 여러 방법론에 대한 설명 덕분에 OOD Detection 이해가 굉장히 수월했다. 좋은 세미나를 준비해준 정재윤 연구원에게 감사드리며 이상으로 세미나 후기를 마친다.

이번 세미나는 이미지 분류 문제에서 OOD(Out-of-Distribution) Detection에 관하여 진행되었다. ML/DL 모델을 활용하여 실제 산업 현장에 적용하다보면 학습 때 사용하지 않은 데이터가 입력으로 주어지고, 해당 데이터를 기존의 class로 분류하는 문제로 인하여 다양한 문제를 야기시키는 경우가 있다. 따라서 모델은 학습 데이터셋과는 전혀 다른 데이터가 입력 되었을 때 이를 인지하여야 하므로 OOD Detection이 중요하다는 것을 알 수 있다. 본 세미나에서는 3개의 논문을 소개하며 OOD Detection 방법론을 설명해주었다. OOD Detection을 처음으로 정의하고 실험 세팅과 평가방식에 대해 서술한 논문을 시작으로 Softmax의 문제점을 개선한 방법론, GAN과 Confidence loss를 결합한 방법론, OOD-ness score와 contrastive learning을 사용한 방법론 등을 접할 수 있었다. 특히 Confidence loss와 GAN의 loss를 결합할 때 서로 반대의 역할을 하는 term(KL divergence)이 들어가게 되는데 학습이 잘 될까? 라는 생각이 들었으며 VAE에서도 동일하게 KL divergence term으로 규제하여 더 좋은 성능을 만드는 것과 동일한 역할을 하는 것으로 이해되었다. 본 세미나를 통해 말로만 듣던 OOD Detection의 개념에 대해서 쉽게 이해할 수 있었고 새로운 분야를 접할 수 있어서 좋았다. 유익한 세미나를 준비해주신 정재윤 연구원님께 감사의 말씀을 드리며 이상으로 세미나 후기를 마친다.