이번 세미나는 Noisy Label Learning 방법론 중 Noise Transition Matrix 및 Robust Loss Regularization에 대해 진행되었다. 학습 데이터셋을 구축하기 위해 데이터 레이블링은 필수적인데, 이때 발생가능한 Noise Label에 대해 강건한 모델을 구축하는 연구분야가 바로 Noise Label Learning이다.

먼저 Noise Transition Matrix의 경우, Class간 유사성으로 인해 발생할 수 있는 Noise Label을 극복하기 위해 제안된 방법론이다. Noise Transition Matrix는 모델이 예측하는 확률을 보정한다는 의의를 갖는다. 본 세미나에서는 두 가지 연구를 소개하는데, 두 연구 모두 비슷한 흐름을 따른다. 과정은 아래와 같다.
1) Noisy 데이터로 모델을 학습
2) Clean 데이터로 모델을 Inference하여 Noise Transition Matrix를 구축
3) Loss = Clean 데이터의 Cross Entropy + (Noise Transition Matrix) * (Noisy 데이터의 Cross Entropy)

두 번째는 Robust Loss Regularization이다. 이는 Class간 유사성으로 발생하는 Noise이외에 개별 Instance 자체의 Quality 등에 의해 발생 가능한 Noise Label까지 추가적으로 고려하여 학습하는 방법론이다. 이는 Loss Function에 Regularization을 추가하여 Noise Label의 학습 정도를 조절한다. 이는 해당 입력값에 대한 이전 예측값의 평균과 현재 예측값을 내적하여 어느정도 경향성이 유사한지 판단한 결과를 Loss에 반영한다. 이를 통해 일반적인 Cross Entropy는 Noisy Label에 Overfit되어 Noisy Label임에도 작은 Loss를 산출지만, 해당 Loss를 반영함으로써 학습 후기에도 Noisy Label이 잘못되었다는 것을 잘 반영할 수 있다.

본 세미나를 통해 Label Noisy Learning에 대해 폭넓은 관점을 얻을 수 있었다. 세미나를 청취하면서 Noise Transition Matrix은 준지도학습에서 Entropy Minimization 대신, 확률 보정 용도로도 활용 가능하지 않을까 라는 생각이 들었다. 추가적으로 Robust Loss Regularization에서는 이전 예측값을 계속 저장한다면 Computational Cost의 단점은 없을까 라는 의문도 함께 남았다 (각 Class 단위로 저장하는 것이 아닌, Instance 단위로 저장하기 때문에 학습 데이터 개수가 많아지면 곤란하지 않을까 싶었다.) 유익한 세미나를 준비해준 김상훈 연구원님께 고맙다는 말을 전하여 이상으로 세미나 후기를 마친다.

이번 세미나는 Noisy Label Learning 이라는 주제로 진행되었다. 크게 Noise Transition Matrix를 활용한 방법론과 Robust Loss Regularization 분야로 나누어 소개하였다. 첫번째로 소개한 방법론은 GLC(Gold Loss Correction) 알고리즘으로 Noise Transition Matrix(Corruption Probabilities)를 활용하였는데 Noizy Label의 종류 중 Instance-independent Label Noise를 해결하기 위한 방법론이다. 노이즈가 없는 데이터셋과 있는 데이터셋의 차이를 활용하는 것으로 Clean 데이터셋이 필요하다는 것이 한계로 보이나, Clean 데이터셋이 소수여도 학습 가능하기에 이를 활용하여 Noisy Sample에 대한 영향력을 낮출 수 있는 방법론이다. 두번째는 GLC 알고리즘과 유사한 방법론이었으며 Softmax Layer를 활용하여 Transition Matrix와 같은 역할을 수행하게 하였다. 이 외에도 관련한 연구가 진행되고 있으며 Clean 데이터셋과 Noisy 데이터셋의 차이를 이용한다는 전체적인 흐름은 동일하였다. 다음은 Noisy Label의 종류 중 Instance-dependent Label Noise도 있으며 이러한 경우 앞선 방법으로는 다루기 어렵다고 한다. 따라서 기존 Cross-entropy Loss에 ELR(Early-learning Regularization) Term을 추가하여 잘못된 Labeling으로 인하여 모델이 잘못 학습되는 것을 방지하였다고 한다. ELR Term은 정상적으로 Labeling 된 데이터보다 오 분류된 데이터로 인하여 모델이 크게 수정되는 것을 완화해주는 역할을 한다. 이는 모델이 초기에 제대로된 라벨을 빠르게 학습한다는 사실을 이용한 것으로 굉장히 인상 깊었다. Noisy Label과 관련한 Task를 접할 수 있어서 유익한 세미나였고, 특히 ELR Term을 제안한 논문은 학습 과정을 차근차근 잘 분석하여 도출된 결과인 것 같아 흥미로웠다. 유익한 세미나를 준비해준 김상훈 연구원님께 고맙다는 말을 전하여 이상으로 세미나 후기를 마친다.

이번 세미나는 Noisy Label Learning를 주제로 진행되었다. 일반적으로 지도 학습에서는 학습 데이터에 올바른 label이 붙어있음을 가정한다. 만약 잘못된 label 즉 Noise Label이 라벨링 된다면 이는 모델의 성능을 저하시키는 주요 원인이 된다. 랜덤 노이즈는 규칙 없이 일정 확률로 잘못된 레이블을 가지는 데이터를 뜻하고, 인스턴스 인디펜던트 라벨 노이즈는 유사한 클래스간 인식 오인으로 발생하는 데이터를 뜻한다. 인스턴스 인디펜던트 라벨 노이즈를 해결하기 위한 방법론으로는 Noise Transition Matrix를 이용하는 것이다.

첫 번째 소개된 논문은 Corruption probabilities matrix를 처음 정의 한 논문으로 레이블을 오인한 확률 관계를 학습하여 오염되지 않은 true 모델을 찾고자 하는 것이다. Clean data로 초기 모델을 학습 후 모든 dataset을 이용해 최종 모델을 학습하여 Noise sample에 대한 모델의 update 영향력을 낮춰서 모델이 올바른 방향으로 학습할 수 있게 한다. 두 번째 소개된 논문은 첫 번째 논문과 유사하지만 GLC(gold loss correction) 과정을 softmax layer로 구현했다는 특징을 가지고 있다.

클래스 관계만으로 설명되지 않는 발생하는 인스턴스 디펜던트 라벨 노이즈가 있으며, 이러한 데이터를 다루기 위해서는 앞서 설명된 방법론으로 문제를 풀 수 없으며, 이를 해결하기 위해 제안 된 세 번째 논문은 clean data가 빠르게 학습이 수렴하여 gradient가 Noisy data에 비해 크기가 작아지는 것을 방지하기 위해 ELR(Early-learning Regularization) 방법이 제시되었다. 예측 평균 값을 별도로 저장하여 기존과 별도로 저장한 값들이 크게 달라지는 경우 크게 변화되지 않게금 학습을 유도하는 방법이다.

본 세미나를 통해 Noisy Label Learning 분야에 대해 이해할 수 있었으며, 결국 Clean data 구축을 어느 정도 확보해야 한다는 것이 인상 깊었다. 강건한 모델이라는 것이 각광 받으며 해당 연구 분야도 앞으로 많이 발전 될 것으로 예상된다. 유익한 내용의 세미나를 해준 김상훈 연구원에게 수고했다는 얘기를 전하며 세미나 후기를 마친다.

이번 세미나는 Noisy Label Learning에 대해 상훈이형이 진행해주셨다. 본 세미나는 크게 Noise Transition Matrix 파트와 Robust Loss Regularization으로 구성되었다.
데이터셋의 label이 잘못 되어있는 경우를 noise label이라고 칭하는데 크게 random noise, instance-independent label noise, instance-dependent label noise로 구분할 수 있다. 유사한 특정 class간의 인식 오인으로 발생한 noisy label을 instance-independent label noise라 하는데 이 때 transition matrix를 통해 noisy label을 보정할 수 있다. 본 세미나에서는 이러한 방식을 사용한 GLC알고리즘에 대해 우선적으로 소개해주었고, 이어서 알고리즘은 거의 동일하지만 이를 softmax로 구현한 방법론에 대해 소개해주었다.
다음으로는 class간의 관계만으로는 설명이 되지 않는 instance-dependent label noise에 대해 소개해주었다. 해당 경우에는 transition matrix를 사용하기 어렵기 때문에 robust loss regularization을 활용하였다. 이는 간단히 설명하면 단순히 cross entropy loss만 사용하는 것이 아니라 loss term에 noisy label로 인해 학습이 방해되는 것의 규제를 두는 것이다. 해당 방법론을 ELR이라고 하는데 이를 co-learning, mix-up등의 방법론들과 조합하여 ELR+라고 하고 여러 가지 벤치마크 데이터셋에서 SOTA의 성능을 달성하였다.
Noisy label에 대해서는 학습해볼 기회가 없었는데 본 세미나를 들으면서 기본적인 컨셉과 어떤식으로 학습이 되는지 이해할 수 있었다. 불확실성을 결합하여 연구된 논문들도 존재할 것 같은데, 추후에 해당 부분에 대해 공부해보고자 한다. 좋은 세미나를 만드느라 고생하신 상훈이형께 감사드리며, 본 세미나 후기를 마친다.

딥러닝을 통해 좋은 결과를 얻고자 한다면 딥러닝 학습의 목표, 목적 및 정답을 올바르게 설정해야 한다. 따라서, 딥러닝을 효과적으로 활용하고자 하는 사람은 딥러닝의 학습 데이터셋에 대한 정답을 정확하게 마련해야 한다. 오늘 세미나에서는 학습 데이터셋의 일부 정답이 잘못되었을 때 딥러닝이 잘못된 정보를 학습하는 영향을 최소화하는 방법에 대해 다루었다. 현실 세계에서는 정답이 잘못 지정되는 경우가 흔히 발생하여 매우 실용적인 연구 분야 중 하나이다. 이러한 오류는 여러 가지 원인으로 발생할 수 있으며, 데이터 특성과는 전혀 관련 없는 오답이 아닌, 헷갈릴 수 있는 오답에 중점을 두어 이를 해결하는 방법론을 이번 세미나를 통해 이해할 수 있었다.첫 번째로 소개된 방법은 순수한(clean) 데이터셋이 제공될 경우 사용할 수 있는 방법으로, 노이즈 전이 행렬(noise transition matrix)의 개념을 정의하고 활용하는 방법을 제안했다. 이 방법은 잘못된 정보를 학습하는 영향도를 전이 행렬을 통해 최소화할 수 있는 장점이 있지만, 순수한(clean) 데이터셋에 의존해야 하는 한계점이 존재한다. 두 번째로 소개된 방법은 딥러닝이 올바른 정답을 먼저 학습하려는 경향을 최대한 활용한 것으로, 올바른 정답을 먼저 학습한 초기 학습 모델의 경향성(T_i)을 잘 저장해두는 아이디어를 활용했다. 그리고, 이것을 학습 후반 과정에 활용하며 초기 학습 모델의 경향성을 벗어나려는 경우 규제(regularization)하는 방식을 제안했다. 이는 딥러닝의 학습 특성을 꼼꼼히 기록함으로써 효과적으로 활용한 좋은 예시라고 생각한다. 바쁜 일정 속에서도 좋은 세미나를 준비하느라 고생하신 상훈이 형에게 감사드립니다!

이번 세미나는 Noisy Label Learning을 주제로 진행되었다. Noisy label은 데이터 셋에 정확하지 않은 레이블이 붙어 있는 것을 말하는데, 본 세미나에서는 Noisy label의 종류를 Random Noise, Instance-Independent Label Noise 그리고 Instance-dependent Label Noise로 소개해 주었다. 추가로, Instance-Independent Label Noise를 해결하기 위해 Noise Transition Matrix를 활용하는 방법론과 Instance-dependent Label Noise를 해결하기 위해 Lobust Loss Regularization을 활용하는 방법론에 대해 소개하였다.

먼저, 유사한 특정 클래스 간의 인식 오인으로 발생하는 Instance-Independent Label Noise를 해결하기 위해 Noise Transition Matrix를 활용하는 방법론 중 소개된 첫 번째 논문은 GLC 알고리즘을 사용한다. GLC 알고리즘의 과정은 아래와 같다.

1. Noisy Label 데이터가 포함된 데이터 셋으로 네트워크를 먼저 학습
2. 학습된 네트워크에 정확하게 레이블이 달린 데이터 셋을 입력하여 Noise Transition Matrix를 구축
3. 초기화된 새로운 네트워크에 정확하게 레이블이 달린 데이터 셋을 활용해 학습
4. Noisy label이 포함된 데이터를 활용해 네트워크를 학습

이러한 과정을 거쳐 정확하게 레이블이 달린 데이터 셋과 Noisy label이 달린 데이터 셋에 관한 손실 함수를 가중 합하여 전체 손실 함수를 계산하는데, 여기서 GLC의 핵심은 Noisy Transition Matrix를 활용해 Noisy 데이터에 대한 모델의 출력 확률을 보정해 줌으로써 네트워크가 올바른 방향으로 학습을 가능하게 해준다는 것이다. 관련 두 번째 논문은 GLC 알고리즘을 softmax-layer를 통해 구현했다는 점 외에 동일하다.

두 번째로, class 간의 인식 오인뿐만 아니라 Instance feature의 질(quality)에 의해서 발생할 수 있는 Instance-dependent Label Noise를 해결하기 위해 Robust Loss Regularization을 활용하는 방법론이 소개되었다. 해당 방법의 핵심은 모델이 학습을 하면서 Noisy label sample에 과적합 되는 것을 방지하기 위해 기존 손실함수에 Regularization(Early-learning Regularization)을 추가하는 것이다.

본 세미나를 통해 Noisy label의 정의, 종류, 관련 방법론 등을 알 수 있었고 Noisy Label Learning에 관한 기반을 다질 수 있는 좋은 세미나라고 생각한다. 유익한 세미나를 준비해 준 상훈이형에게 감사드리며 이상으로 세미나 후기를 마친다.