이번 세미나는 실제 상황에서 발생할 수 있는 ID noise와 OOD가 함께 있는 상황을 해결하기 위한 두 가지 방법론인 RRL과 DSOS에 대해 소개해 주었다.
RRL은 이런 문제 상황을 최초로 정의하고 contrastive learning을 통해 강건한 표현 학습 방법을 제안했다. 특히 consistency contrastive learning을 통해 데이터 증간 간의 일관성을 유지하고, mixup prototypical contrastive learning을 통해 클래스 프로토타입 정보에 믹스업 전략을 합쳐서 label의 오염이 심한 상황에서 모델이 정교한 semantic을 추출할 수 있게 하였다. warm up 이후에 KNN 기반의 label smoothing으로 weakly-supervised subset을 만들어 의심스러운 샘플을 필터링하는 과정이 인상적이었다.
DSOS는 새롭게 제안한 메트릭을 통해 예측값과 ground truth label의 관계를 정의해서 Clean, ID noise, OOD 샘플을 구분해 내었다. OOD 샘플은 ID class 공간 내에서 정답이 존재하지 않기 때문에 어떤 방향으로 교정해도 의미가 없는데, 이 점을 짚어낸 것이 인상적이었다. 특히 OOD로 판별된 샘플에게는 uniform distribution을 할당해 학습을 방해하는 것을 최소화하고, ID 샘플에 대해서만 선별적으로 label connection을 수행하는 dynamic softening 전략은 안정성과 효율성을 동시에 잡은 좋은 접근 방식이라는 생각이 들었다. Interpolated label 분포를 시각화한 결과를 보며 실제 데이터의 특성을 얼마나 잘 반영하고 있는지 확인할 수 있어 흥미로웠다.
문제 상황에 대한 설명뿐만 아니라 수식과 실험에 대한 상세한 설명을 해주신 덕분에 이해하는데 큰 도움이 되었다. 좋은 세미나를 준비해 주신 이정민 선배님께 고맙다는 말씀을 전하며 본 세미나 후기를 마친다.

이번 세미나는 실제 환경에서 발생할 수 있는 In-Distribution(ID) noise와 Out-of-Distribution(OOD) noise가 동시에 존재하는 상황에서의 문제를 다루며, 이를 해결하기 위한 대표적인 방법론인 RRL과 DSOS에 대해 소개해 주었다.

RRL은 label noise와 OOD 상황이 결합된 상황을 처음 제시한 연구이다. 해당 방법론에서는 contrastive learning 기반의 표현 학습을 활용하여 embedding space에서 ID와 OOD 데이터를 점진적으로 분리하도록 학습하는 접근이 소개되었다. 특히 consistency contrastive learning과 mixup prototypical contrastive learning을 결합하여 noisy label 환경에서도 의미 있는 semantic representation을 학습하도록 설계한 점이 흥미로웠다.

DSOS 방법에서는 기존의 label correction 방식이 OOD 데이터에는 적절하지 않다는 점을 지적하고, clean / ID noise / OOD 샘플을 구분하기 위한 intermediate label과 dynamic softening 전략을 제안하였다. 특히 OOD로 판단된 샘플에는 uniform distribution을 부여하여 학습에 미치는 영향을 최소화하고, ID noise에 대해서만 label correction을 수행하는 방식이 실제 noisy 환경을 잘 반영한 접근이라고 느껴졌다.

이번 세미나를 통해 label noise learning 연구에서 단순한 label 오류뿐 아니라 데이터 분포 차이까지 함께 고려해야 한다는 점을 이해할 수 있었고, 실제 데이터 환경에서 발생할 수 있는 다양한 noise 상황을 어떻게 모델 학습 과정에서 처리할 수 있는지 살펴볼 수 있어 흥미로운 세미나였다. 양질의 세미나를 준비해 주신 정민 선배님께 감사의 말씀을 전하며 본 세미나 후기를 마친다.

금일 세미나 주제는 labeling noise problem + OOD detection 주제에 대한 내용으로 이정민 연구원이 진행하였다. 개별 문제에 대한 연구들은 이미 많이 존재하였으나, 현실적이지 못하다는 문제가 있었다. label noise + ood 상황은 좀 더 현실적인 상황, 예를 들어 인터넷에서 데이터를 크롤링할 경우 흔히 발생할 수 있는 상황으로써, VLM 등 모델 학습을 위한 data curation 에 대한 중요성이 점점 커짐에 따라 이러한 방법론에 대한 중요성이 커진다고 볼 수 있다.

Label noise + OOD detection 상황에서는 크게 전체 데이터 풀을 세 가지, id clean data, id noise data, OOD data 로 나눌 수 있으며, noise data에 대한 label correction과 ood filtering 테크닉에 따라 방법론이 결정된다. 오늘 세미나에서는 1. RRL, 2. DSOS 가 소개 되었다.

RRL은 CE 기반 지도학습, reconstruction + contrastive learning 기반 비지도 학습, 그리고 noise data 상황에서 robustness를 고려한 mixup 기반 지도 학습 손실 함수로 학습 프로세스가 진행된다. 이 4가지 손실 함수를 통해 초기에 warm up 학습을 진행한 후에, 기존 label의 confidence와 k-NN의 pseudo-label을 고려하여 weakly-supervised subset을 구축한다. 이후 weakly-supervised subset은 앞서 언급한 4가지 손실함수 중 지도학습 기반 손실 함수 2개만 사용하여 학습되며 warm-up 이후 weakly-supervised subset 구축과 추가 학습은 iterative하게 계속 진행되는 것으로 이해하였다. 해당 방법론에서 noise data는 filtering보다는 mixup을 통해 smoothness와 robustness를 확보하는 방향으로, 그리고 OOD filtering은 latent space에서의 인접 데이터의 레이블을 고려하여 filtering하는 방식으로 해결하였다.

DSOS는 앞서 말한 세 가지 데이터를 잘 분리할 수 있는 metric을 제시한 논문이다. 기존 noise 상황에서 흔히 사용하는 label correction의 경우, 예측값과 레이블값 간의 linear combination으로 이루어지는데, 이때 결국 linear combination이 in-distrubution의 데이터에 대해 높은 confidence를 가지게 되기 때문에, OOD 상황에서는 적절하지 않다. 그래서 OOD 상황에서는 correction을 위한 예측값을 uniform distribution으로 한 후 correction을 수행하고자 한다. 그렇다면 이에 앞서 ID/OOD를 잘 구분하는 것이 중요한데, 이 논문에서는 intermediate label과 이에 기반한 collision entropy라는 것을 제안한다. collision entropy는 clean 데이터에서는 낮은 엔트로피(예측과 레이블이 일치), ID noise에서는 중간 엔트로피(예측과 레이블이 강한확신을 가지는 불일치), OOD noise는 높은 엔트로피(예측 자체가 불확실)하게 되는 성질을 가진다. 최종적으로 RRL과 마찬가지로 warm up단계를 통해 전체 네트워크를 약하게 학습시킨 뒤, collision entropy를 통해 OOD를 filtering하는 단계를 거친다.

RRL은 기존에 나왔던 방법론들에 대한 aggregation 측면에 가까워 보이지만, DSOS에서 제안한 collision entropy의 경우 꽤 참신하고 논리적인것 같다. 두 상황을 복합적으로 보는 상황이 아니더라도 각각의 상황(label noise/OOD)에도 충분히 활용할 여지가 보이면서, 이에 파생된 추가 분석에도 용이해보인다.

세미나를 만드느라 고생한 이정민 연구원에게 감사의 말을 전한다.

Label noise learning은 정확한 정답이 주어지는 일반적인 지도 학습 (supervised learning)과는 다르게 학습 데이터에 오류가 있는 상황에서도 강건한 모델을 만드는 분야입니다. 해당 분야는 노이즈의 종류부터 시작하여 노이즈를 어떻게 분류하고 어떻게 처리할 것인지 등 정의하고 분석할 것들이 많습니다.

이번 세미나에서는 입력-정답 불일치 뿐만 아니라 사전 데이터에 없는 OOD 데이터가 주입된 상황을 다룬 초기 연구인 RRL을 소개합니다. RRL은 정상 데이터에 대한 손실과 노이즈 데이터에 대한 손실을 결합해 학습하는 전략을 취했습니다. 하지만 이러한 방식은 clean, ID noise와 OOD noise의 각 특성을 고려하지 않고 동일한 relabeling을 적용하고 있다는 한계가 있습니다.

RRL에 이어서 등장한 DSOS는 노이즈 데이터의 각 특성을 고려하여 clean, ID noise와 OOD noise 데이터를 사전에 잘 분류하도록 손실함수를 설계했습니다. 그 결과 성능이 좋아졌지만 하나 신기한 점이 있습니다. DSOS 학습 시에 노이즈가 한 가지 있을 때가 노이즈가 두 가지 있을 때보다 성능이 낮다는 것입니다. 직관적으로는 노이즈가 한 개인 상황에서 더 잘 맞춰야 하는 것이 아닌가라는 생각이 들었지만 결과는 그 반대라는 점이 신기했습니다.

발표는 label noise learning 분야의 과거 문제 정의 흐름을 볼 수 있어 좋았습니다. 최신 연구 흐름이 아닌 초기의 연구 흐름을 보게 되어 그 뒤에 이어지는 연구 흐름이 궁금해지는 발표였습니다.

좋은 발표 감사합니다.

이번 발표는 학습 데이터에 in-distribution(ID) label noise와 out-of-distribution(OOD) 데이터가 함께 포함된 상황에서 분류 성능을 높이는 방법을 다루었습니다. 먼저 문제의 배경을 설명하고, 대조학습과 label 정제를 통해 강건한 표현을 학습하는 RRL(ICCV 2021), ID noise의 label은 보정하고 OOD sample에는 특정 클래스에 대한 과도한 확신을 줄이는 softening을 적용하는 DSOS(WACV 2022)를 소개하였습니다.

이 주제의 핵심은 잘못된 label이 모두 같은 방식으로 해결되지는 않는다는 점입니다. 예를 들어 개와 고양이를 분류할 때, 고양이 사진에 ‘개’라는 label이 붙어 있다면 이를 고양이로 수정할 수 있습니다. 그러나 학습 대상에 없는 토끼 사진이 섞여 있다면 개나 고양이 중 어느 쪽으로 label을 바꾸어도 올바른 수정이 되지 않습니다. 웹에서 수집한 데이터에는 이러한 문제가 함께 발생하기 때문에, noise의 유형에 따라 학습 방식을 달리하는 것이 중요합니다. DSOS도 이러한 기존 label correction의 한계에서 출발한 연구입니다.

발표 초반에 예제를 활용하여 이러한 문제 상황을 이해하기 쉽게 설명한 점은 좋았습니다. 또한 포인터로 설명하고 있는 부분을 짚어 나가 청중이 내용을 따라가기 편했습니다. 관련 배경을 설명한 뒤 두 논문의 방법론과 실험으로 이어지는 구성에서도 준비한 노력이 드러났습니다.

다만 소개한 논문이 각각 2021년과 2022년 연구라는 점에서, 2026년 발표로서는 최근 연구와의 연결이 부족했습니다. 기초가 되는 논문을 깊이 있게 다루는 것은 의미가 있지만, 이후 어떤 한계가 제기되었고 연구가 어떻게 발전했는지까지 정리했으면 더욱 좋았을 것 같습니다.

발표의 흐름도 보완할 필요가 있습니다. 주요 설명을 질문으로 시작하지 않아, 다음 내용이 왜 필요한지 충분히 연결되지 않은 부분이 있었습니다. 가장 아쉬웠던 부분은 실험결과의 해석입니다. 대부분 “제안 방법론이 우수한 성능을 보였다”는 설명에 머물렀습니다. 대학원 세미나에서는 각 실험을 왜 수행했으며, 결과가 방법론의 어떤 주장을 뒷받침하는지 설명해야 합니다. 또한 그 해석이 해당 실험 조건을 넘어 어디까지 성립할지도 구분해야 합니다. 성능표의 순위를 읽는 데서 나아가, 결과를 근거로 방법론의 효과와 한계를 설명하는 것이 발표자의 역할입니다.

전달 방식에서도 개선이 필요합니다. 목소리가 작아 볼륨을 거의 최대로 높여야 했습니다. 앞으로는 녹화 전에 짧게 시험 녹음을 하고, 일반적인 볼륨에서도 명확하게 들리는지 확인하기 바랍니다. “~라고 이해해 주시면 되겠습니다”와 같은 표현도 반복적으로 사용하지 않는 것이 좋습니다. 관찰된 결과는 “~현상이 발생했습니다”, 방법의 원리는 “이 과정은 ~역할을 합니다”처럼 직접적이고 자신감 있게 설명하기 바랍니다.

문제 상황을 쉽게 풀어 설명하고 청중의 시선을 안내한 점은 좋은 강점입니다. 앞으로는 여기에 최근 연구와의 연결, 실험결과에 대한 비판적 해석, 명확한 전달력을 더하기 바랍니다. 논문을 충실하게 소개하는 수준에서 나아가, 그 논문의 기여와 한계를 본인의 판단으로 설명하기 바랍니다. 수고 많았습니다.

이번 세미나는 학습 데이터에 잘못된 라벨이 섞여 있는 상황에서 모델을 강건하게 학습시키는 Label Noise Learning을 주제로 진행되었다. 특히 라벨만 틀린 ID noise뿐 아니라 수집 대상과 분포 자체가 다른 OOD 샘플까지 섞여 있는 상황을 다룬 두 논문을 소개해 주었다.

첫 번째로 소개된 RRL은 noise에 강건한 표현 공간을 먼저 학습하는 접근이다. 같은 이미지의 두 증강 view를 일치시키는 consistency contrastive loss와 mixup으로 합성한 이미지의 embedding이 섞은 비율대로 두 클래스 prototype에 가까워지도록 하는 mixup prototypical contrastive loss를 사용한다. 이를 통해 클래스 구조는 학습하되 noisy label은 암기하지 않도록 한다. 이후 모델의 예측과 kNN 이웃의 라벨을 결합해 soft label을 만들고, 신뢰도가 높은 샘플만 지도 loss에 사용한다. 두 번째로 소개된 DSOS는 기존 label correction이 OOD에는 효과가 없다는 한계를 지적한다. 라벨과 예측을 섞은 분포의 collision entropy로 clean, ID noise, OOD를 구분한 뒤, ID noise는 모델 예측으로 라벨을 보정하고 OOD는 uniform 분포에 가깝게 softening한다.

RRL은 OOD를 별도로 판별하지 않지만, 신뢰도 threshold를 통과하지 못한 OOD가 지도 loss에서 제외되면서 OOD가 섞여도 성능이 크게 떨어지지 않는 방법이라고 이해했다. 반면 DSOS는 OOD를 판별해 따로 처리하지만, 그 판별이 모델의 확신 정도에 의존한다. 실제로 l_detect 분포 히스토그램(p.45)에서도 일부 확신이 낮은 clean 샘플이 OOD가 몰린 구간까지 분포하는 모습을 확인할 수 있었다. 경계 근처나 소수 클래스처럼 모델이 아직 확신하지 못하는 clean 샘플이 OOD로 판별된다면, uniform target으로 학습되면서 해당 샘플이 가진 정보를 제대로 활용하지 못하게 되지 않을까 하는 의문이 들었다. 해당 부분은 따로 찾아봐야겠다.

좋은 세미나를 준비해 주신 이정민 선배님께 감사드리며 세미나 후기를 마친다.