1. 진수님 세미나를 들으며 항상 느끼는 건, 기초 배경지식을 굉장히 친절하게+충분히 설명해주신다는 것이다. 덕분에 새로운 분야도 장벽 없이 쉽게 흥미를 가지고 공부할 수 있게 되는 것 같다.
2. SafeSSL은 unlabeled set에 OOD 샘플이 섞일 경우 성능이 저하되는 문제를 방지하기 위해 기존 SSL에 open-set detection을 추가적으로 수행하는 알고리즘들이다. 금일 세미나에서 다루었던 연구는 모두 FixMatch를 기반으로 하는 것들이었는데, OpenMatch와 IOMatch가 그것이다.
3. OpenMatch는 OvA classifiers로 OOD filtering을 시도하는데, 클래스 개수만큼의 보조 분류기가 필요한 게 명확한 한계점으로 느껴졌다. 그런데 저자의 이름과 방법론의 동작 방식이 너무 익숙해서 살펴보니 domain adaptation에서 이미 굵직한 연구를 했던 분들이었음... 다양한 분야에서 좋은 연구를 해낼 수 있다니 부럽고 대단한 것 같다.
4. IOMatch는 labeled data가 극히 적은 상황에서도 강건하게 ood filtering이 가능함을 내세우는 연구이다. 실험 결과를 보면 확실히 # of labels per class가 극히 적은(4개) 상황에서 좋은 성능을 보이는 것을 확인할 수 있는데, 다만 성능 표를 보면 간간이 FixMatch가 open-set을 해결하기 위해 제안된 SSL 알고리즘보다도 좋은 성능을 내는 경우를 확인할 수 있다. 이러한 결과를 보면 "SafeSSL이 필요한 상황에서, 기존 FixMatch 알고리즘을 어떻게 개선할 수 있을까?" 보다도, "FixMatch가 까다로운 시나리오에서도 여전히 강건하게 성능을 낼 수 있는 이유가 뭘까?"가 더 궁금해진다.
5. 향후 covariate shift+semantic shift를 동시에 해결할 수 있는 연구를 하고 싶은데, 관련하여 좋은 참고가 된 세미나였다.

준지도 학습은 소량의 labeled 데이터와 다량의 unlabeled 데이터가 존재하는 상황에서, 데이터(labeled & unlabeled)를 함께 활용하여 소량의 labeled 데이터로 학습하는 지도 학습 대비 우수한 성능을 보인다. 하지만, class distribution mismatch(unlabeled dataset내에 open set data가 존재) 상황에서 지도 학습이 더 우수한 성능을 보이는 경우가 존재한다. 본 세미나에서는 이러한 한계점을 개선하기 위한 2가지 연구를 소개한다. 두 가지 연구는 기존 fixmatch에 openset detection을 활용하는 큰 골자는 동일하지만, openset detection 관점에서 차이가 존재한다. OpenMatch(2021, NeurIPS)는 open set detection을 위해, unlabeled data에 대한 선형 분류기의 분류 결과(k)에 해당하는 이진 분류기(one-vs-all 분류기 중 k 클래스에 대한 이진 분류기)를 사용하여 unlabeled data가 해당 클래스인지 아닌지에 대한 확률값을 추출한다. 해당 클래스가 아닐 확률이 0.5보다 크다면 입력으로 사용된 unlabeled data를 open set data로 보고 fixmatch를 적용하지 않으며, 그 반대라면 적용한다. IOMatch(2023, ICCV)는 OpenMatch에서 실제로 closed set임에도 불구하고 open set으로 판단 및 학습 배제, 성능 저하로 이어지는 문제를 개선한 방법론이다. 이를 위해, closed data인지 open set data인지 분류하는 open set 분류기를 새롭게 제안함으로써 잘못된 판단으로 배제되는 문제를 개선하였다. open set 분류기의 학습을 위해 선형 분류기에서 나온 각 클래스별 확률값과 ova에서 나온 확률값을 활용하여 생성한 k+1개의 새로운 확률값을 정답으로 활용한다. 이때 k+1번째 확률값은 보지 못했던 클래스를 의미한다. 결과적으로, 본 연구에서는 지도 학습 측면에서 선형 분류기와 ova 분류기를 위한 손실 함수 그리고 비지도 학습 측면에서 unlabeled data 내에 존재하는 closed data(inlier)만 활용하는 손실 함수 그리고 closed와 open set data(outlier) 모두 활용하는 손실 함수, 총 4가지 손실 함수를 활용한다.

일단, 너무 재밌었다. 이해에 도움을 주는 설명이 잘 되어 있어서 막힘없이 들을 수 있었고 준지도 학습은 보면 볼수록 매력적인 분야라고 생각된다. 다음 진수의 세미나에서는 또 어떤 준지도 학습 관련 연구를 소개해 줄지 기대된다. 유익한 세미나를 준비해 준 진수에게 고마운 마음을 전하며 이상으로 세미나 후기를 마친다.

금일 세미나는 label data와 unlabel data내 클래스가 다른 Open set data가 존재하는 상황에서 예측 성능을 높이기 위한 hybrid semi supervised learning 방법론들을 주제로 진행되었다. 세미나에서 소개한 두 논문은 Open set detection을 통해 Open set data를 우선적으로 걸러내고 나머지 데이터에 대해 FixMatch를 수행하는 방법론들이다.

[1] OpenMatch: OpenMatch에서는 open set detection을 위해 one vs all classifier를 소개하였다. 이는 각 클래스에 대한 별도의 이진 분류기를 학습하여, 입력이 들어왔을 때 입력이 각 클래스 이진분류기를 통해 해당 클래스에 속하는지 판단하게 된다. 최종적으로 각 이진 분류기들의 결과를 종합하여 multi class classification을 수행하여 Open set data를 분류할 수 있는 능력을 갖추게 된다. Unlabel 데이터가 입력으로 들어왔을 때 데이터가 특정 클래스로 분류되지 않을 확률이 0.5 미만이라면 FixMatch를 수행하지 않으며 반대로 0.5이상이라면 FixMatch를 수행한다. 추가적으로 one vs all classifier 성능을 높이기 위해 unlabel data를 두 가지 형태로 augmentation한 입력에 대해 각 클래스 이진 분류기의 anomaly score가 유사하도록 open set consistency regularization을 적용하였다.

[2] IOMatch: 만약 open set detection 성능이 좋지 않은 상황이라면 Open set data가 아닌 중요한 데이터들 역시 학습에 사용되지 못하여 성능이 저하되는 상황이 발생할 것이다. 따라서 IOMatch 저자들은 이를 방지하기위해 선형분류기와 각 클래스별 이진 분류기의 예측 확률 값을 토대로 closed set data에 대한 확률 K개와 open set data에 대한 확률 1개 총 K+1개의 확률 값을 정답으로 정의하였다.

Semi supervised learning은 label data가 부족한 현실 상황을 잘 반영한 실용적인 분야라고 다시금 느끼게 되었다. 진수형의 탄탄한 설명 덕분에 잘 모르는 분야임에도 세미나를 재밌게 잘 이해할 수 있었다. 유익한 세미나를 준비해준 진수형에게 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 Unlabeled 데이터 내 OOD 데이터가 있는 상황에서 효과적으로 학습할 수 있는 준지도학습 방법론에 대해 진행되었다. 세미나에서 소개한 것과 같이 Unlabeled 데이터 내 OOD 데이터의 악영향은 생각보다 크다. 특히, FixMatch의 경우 굉장히 높은 0.95수준의 Thresholding을 함에도, 이들을 걸러내는 것은 쉽지 않아 보인다. 이러한 상황에서 어떻게 이들을 잘 배제하고 학습할 수 있을지에 대한 방법론을 2가지 소개한다.

[1] OpenMatch: OVA Classifier를 활용하여 OOD를 식별한다. 이는 Linear Classifier에서 간단하게 내린 결정에 대해 OVA로 이중검증을 수행하여 OOD 여부를 판단한다. 만약 ID면 OVA Prediction 결과를 Consistency Regularization으로 학습하고, OOD면 이들을 학습에서 제외한다.

[2] IOMatch: Labeled 데이터가 적은 상황에서 OpenMatch는 성능이 안 좋다는 것을 지적하며 출발한다. 왜 그럴까? 해당 논문에서는 OpenMatch가 ID데이터까지 함께 배제하기 때문이라고 말한다. 이를 위해 필터링 하는 로직을 강화하였다. 기존 Linear Classifier의 Output과 OVA Output에 대한 사칙연산으로 Class 여부 및 OOD 여부를 판단한다 (K+1 Class).

이번 세미나를 통해 Unlabeled 데이터 내 OOD 데이터 식별의 중요성을 알 수 있었다. OOD만 식별해도 우수한 성능을 보인다는 것이 흥미로웠다. 다만 두 방법론 모두 OVA를 활용하는데, 추후 Class가 많아질 경우, OVA를 활용하는 것은 Cost측면에서 한계를 가질 것 같다. 개인적으로는 OOD 데이터를 필터링하지 않고, 이들에서 유의미한 정보를 추출할 수는 없는지 궁금하다. 비록 분포가 달라 정보량이 적을 수 있지만, 조금의 정보량은 포함하고 있기 때문에 이들을 함께 활용할 수 있다면, 성능을 극대화할 수 있지 않을까? 라는 생각이 조심스레 들었다. 유익한 세미나를 준비해준 배진수 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

일반적으로 semi-supervised learning을 수행할 때, 특히 unlabeled 데이터 안에 OOD 데이터가 많으면 알고리즘에 부정적 영향을 준다. 이 문제를 해결하기 위해 hybrid한 방법론이 제안 되곤 하는데, 여러 가지 해결 방안들을 모두 결합한 기법으로 일종의 앙상블 같은 느낌으로 생각되었다. Open-set detection, 즉 label 데이터에 없던 클래스가 얼마나 있는지 인식 한 후 FixMatch를 활용한 방식이 제안되는데, 본 세미나에서는 OpenMatch와 IoMatch 두 가지 방법론을 소개한다.

먼저 OpenMatch는 Open-set을 잘 구분하기 위해 One-vs-all classifiers(이하 OvA)를 제안한다. OvA는 모든 클래스에 대해 이진 분류를 수행하는 multi-class classification인데 label을 잘 맞추는 경우 확률이 1에 가까워지고, 그렇지 않은 경우 0에 가까워진다. 이를 통해 결과적으로 OOD가 들어왔을 때, label에서 본 적이 없으니 OOD는 FixMatch에 활용되지 않는다. 더불어 SSL 상황에서 OvA 성능이 떨어질 수 있어 이를 극복하기 위한 consistency regularization 기법도 제안한다.

IoMatch는 label 데이터가 정말 적은 상황이라면 open-set를 구분하는 task의 성능도 저하된다는 문제 인식에서 출발한다. Valuable data가 제거되는 문제를 방지해서 성능을 높이는데, 핵심은 inliers와 outliers가 잘 사용되게끔 하는 것이다. Linear classifier와 OnA classifier를 결합하여 k+1 개의 새로운 확률값을 정답으로 활용한다.

상세히 공부해본 적은 없고 간단한 개념만 익혔던 분야인데, 잘 모르는 사람이 들어도 충분히 이해할 수 있도록 배경 지식에 대한 포인트와 흐름을 잘 설명해주어서 너무 좋은 세미나였다고 생각한다. 이런 부분은 나도 배울 수 있도록 노력해야겠다. 또한 semi-supervised learning도 점점 더 현실에 일어날 법한 여러 가지 상황(특히 OOD 상황에 있어서)을 풀기 위해 발전하고 있다는 것을 느낄 수 있었다. 좋은 세미나를 진행해 준 배진수 연구원께 감사 인사를 전하며 세미나 후기를 마친다.

Deep Learning이 발전하면서 연구 분야 및 문제 상황이 점점 더 현실 상황을 잘 반영하는 쪽으로 바뀌고 있는 것 같다. 초기 딥러닝 연구는 '한정된 카테고리 내에서 분류를 잘 수행하자' 였었고, 이후로는 Labeled Data를 수집하기 어려우니, 'Unlabeled Data를 잘 활용하여 분류 성능을 높이자'였다. 이때까지만 해도 Unlabeled Data가 Labeled Data와 동일한 범주를 가진다는 세팅 하에 연구가 활발히 진행되었다. 어느 정도 성능적 포화가 도달하였는지, 요즘은 'Unlabeled Data면 범주가 무엇인지 모를 텐데, Labeled Data와 같은 범주가 아닐 수도 있지 않냐'라는 의문이 제기되었다. 이에 따라 Unlabeled Data에서 Out-of-distribution (OOD) Data를 잘 탐지하여 걸러낸 다음 Semi-SL을 적용하는 연구 분야가 생겨났다. 금일 세미나는 이러한 추세에 따라 Open Set Recognition 혹은 OOD Detection에다가 Semi-SL을 적용한 두 가지 논문인 OpenMatch와 IOMatch가 소개되었다. Semi-SL 방법론이 그렇듯 (발표자가 잘 설명한 것도 있다), 수식이 복잡하지 않고 되게 직관적인 방법론들이었다. 특히 OpenMatch 쪽 설명을 보면서 In-Class Classifier와 OvA Classifier가 조금 따로 노는 듯한 느낌이 있었는데, 아니나 다를까 IOMatch에서는 In-Classifier와 OvA Classifier가 결합되어 학습되는 프레임워크가 제안되었다. IOMatch에서는 Open Match의 학습 방식이 Unlabeled Valuable Data를 제거하기 때문이라는 동기가 있었다고 한다. Open Match에서 데이터를 filtering하는 방식이 In-Class Classifier의 성능이나 예측값과 상관 없이 OvA Classifier에만 의존해서 그런듯하다. 발표를 준비하느라 고생한 진수형께 감사의 말을 전한다.