허종국

금일 세미나는 Label Noise 상황의 대표적인 알고리즘인 DivideMix와 그 variant 2가지에 대해 알아보았다. DivideMix의 핵심 아이디어는 간단하다. 우선, DivideMix는 noise data와 clean data가 섞여 있어 혼재된 상황을 가정하고, noise data의 cross entropy loss가 clean data의 loss보다 크다는 경험적 근거에서 기반한다. 이 때, 모델을 통해 나온 데이터의 loss 값을 기반으로 Gaussian mixture model을 fitting하여 개별 데이터가 clean할 확률을 구하고, clean이라고 판단된 데이터는 그대로 labeled data로 활용하고, noise라고 판단된 데이터는 unlabeled data로 활용한다. 이 때, 단일 모델의 잘못된 예측으로 인한 오류 전파를 방지하기 위해, 모델을 두 개를 활용하여 각 모델이 clean/noise라고 판단한 데이터들을 다른 모델이 학습에 활용한다. 그리고, label noise에 강건하다고 알려진 mixup 증강 기법과 이를 활용한 준지도학습 방법론인 mixmatch를 사용한다는 것이 핵심이다. 그리고 잘못된 필터링으로 인한 overconfidence를 방지하기 위해 clean probability 기반 label refinement를 활용한다.

Bayesian DivideMix++ 는 간단하게 말해 Divide Mix에다가 SimCLR 기반 사전 학습, strong augmentation을추가한 방법이다. 이 두 가지는 기존에 존재하는 방법들을 결합한 느낌이고, 실제로 해당 방법론의 핵심은 mixup 단계에서 mixing parameter를 어떻게 선정하느냐이다. 기존 mixup은 beta분포에서 랜덤하게 mixing parameter를 추출하지만, 해당 방법론에서는 모델의 예측 불확실성이 높은 샘플에 집중하기 위해, prediction logit의 entropy를 불확실성으로 정량화하여, 해당 불확실성이 높은 데이터의 mixing parameter를 높게하는 방식을 제안하였다.

Manifold DivideMix도 Bayesian DivideMix++와 비슷하게 SimCLR기반 사전 학습을 수행한다. 하지만 여기서 사전학습의 목적은 앞선 방법론과 달리, OOD 상황을 가정하기 때문에 OOD와 ID를 구분하기 위한 representation capacity를 높이기 위함이다. 또한 기존 mixup과 manifold mixup을 동시에 수행하여, hidden space에서도 강건한 표현을 학습하게 한다.

세미나를 준비하느라 고생한 정민이에게 감사의 말을 전한다.