Mixup의 배경은 Empirical Risk Minimization(ERM) 원리에서 데이터 과적합 현상을 보완하기 위해 등장한 Vicinal Risk Minimization(VRM) 원리에서 나왔다. ERM은 현재 볼 수 있는 데이터인 empirical distribution을 통해 risk(error)를 최소화하는 것이다. 그런데 훈련 데이터에만 모델이 편향된다는 문제가 있다. 훈련 데이터셋의 규모가 커지면 ERM의 수렴성이 보장이 되지만, ERM 기반으로 학습한 신경망은 Out of distribution 데이터에 취약할 수 밖에 없다. 따라서, ERM 기반 학습 신경망의 일반화는 훈련 데이터셋과 약간 다른 분포를 가진 데이터셋에서 달성이 가능하다. 그렇게 등장한 방법인 VRM인데, 훈련 데이터셋 이외 훈련 데이터셋 근방(vicinal) 분포도 함께 활용한다는 것이다. 근방 분포는 Mixup 알고리즘의 작동원리인 훈련 데이터셋 내 두 데이터 샘플로부터 선형 보간하여 새로운 샘플을 생성하는 방식으로 구성할 수 있다. 간단한 동작 원리이나 좋은 일반화 성능을 보장하는데, 다양한 방면에서 그 효과를 보여준다. 이미지 데이터 이외 speech/ tabular 데이터에서의 예측 성능 향상, adversarial attack에도 강건한 성능을 보여주며, 모델 calibration에도 높은 효과를 보여준다.
이번 세미나는 비교적 단순한 Mixup 알고리즘이 어떻게 다양한 방면에서 우수한 성능을 낼 수 있는지에 대해 다루었다. 공부하면서 늘 잘되면 이게 왜 잘되고, 왜 나왔는지? 이런 부분들이 해소가 되어야하는데, 물음에 대한 답들이 세미나 곳곳에 설명 되어 있었다. 좋은 세미나를 준비해주신 기원이형께 감사한 마음이다.

금일 세미나는 MixUp 알고리즘과 이를 응용한 데이터 증강 기법에 관한 내용이었으며 기원이가 준비해주었다. MixUp을 시작으로 많은 데이터 증강 기법이 등장한 것으로 알고 있다. 과거에는 모델 구조나 학습 방식에서 어떻게 Regularization 할 지에 대해 관심이 많았다면 최근에는 입력 데이터의 붙포를 다양하게 가져가는 방식의 연구가 많은 듯 하다. MixUp부터 최근 등장하는 SaliencyMix, AttentiveMix 까지 일목 요연하게 설명해주었다. 나의 개인 연구에서 등장하는 과적합 문제를 MixUp을 이용하려고 고민 중인데, 고민의 정도를 줄여줄 좋은 세미나를 해준 기원이에게 감사를 표한다. 이제 졸업하고 사회로 나가는 기원이 화이팅!

ERM 방식은 가지고 있는 훈련 데이터 내에서 손실 함수의 기댓값을 최소화시킨다. 이론적으로 Real-World 상의 모든 데이터를 수집할 수 있다면 문제가 없지만, 실제 데이터 분포와 가지고 있는 훈련 데이터의 분포 사이의 discrepancy 는 항상 존재하기 마련이다.

Mix-up 은 하나의 인스턴스만 가지고 돌리거나 비틀거나, 채색을 바꾸는 등의 기존의 어그멘테이션 방법과 달리, 두 개 이상의 인스턴스를 보간하여 사용한다. 처음 Mix-up 을 접했을 때, 실제 세상에서 존재하지 않는 OOD(Out-of-Distribuition) 데이터를 생성하는 것 뿐 별 다른 이점이 없을 것이라 생각했다. 하지만 이러한 Mix-up 의 장점은 세미나에서 기원이형이 말했다시피, Model Calibration 에 상당히 부각된다. 기존의 데이터는 레이블이 0/1 로 나타냄으로써 Deterministic 했지만, Mix-up 을 통해 0과 1 사이의 label probability 에 대해서도 학습이 가능하기 때문에, deicision boundary 가 smooth 해지고, confidence 가 고르게 분포하게 된다.

또한 전에 다른 연구자료에서 Mix-up 은 데이터 레이블 오표기(mis-labeled)에도 robust 하다는 점을 본 적이 있다. 0과 1 사이의 레이블 확률에 대해서 학습하기 때문에 오표기된 데이터의 label 에 대해서 overconfident 하게 학습되지 않기 때문이다.

최근에는 기원이형의 연구 미팅을 들으면서, 원본 공간에서 데이터를 섞는 mix-up 이 아닌 manifold mix-up 과 attentive mix-up 또한 접하게 되었는데, 이번 세미나를 통해서 개념을 다시 한번 정립할 수 있었다. 세미나 준비하느라 고생하신 기원이형께 감사 인사를 드린다.

이번 세미나는 'Introduction to mixed sample data augmentation'을 주제로 진행되었다. Mixup은 두 데이터 샘플로부터 선형 보간법을 통해 새로운 샘플을 생성해내는 데이터 증강 기법이다. 이는 매번 새로운 샘플을 학습하는 것과 같은 효과를 불러오며, 결과적으로 ERM 학습 모델과 비교해 보다 부드러운 결정 경계선을 생성할 수 있게 한다. 간단한 동작 원리에도 좋은 일반화 성능을 보장하여 현재 다양한 딥러닝 연구 분야에서 사용되고 있다. 본 세미나에서는 Mixup 알고리즘의 적용 효과를 다양한 실험 결과를 기반으로 확인시켜주었다. 또한 변형된 형태로 Manifold Mixup과 CutMix 알고리즘, 더 나아가 CutMix 알고리즘의 한계를 극복한 Saliency Mix, Attentive Mix, Puzzle Mix 등을 소개해주었다. Mixup 알고리즘이 좋은 일반화 성능을 보장한다는 것은 익히 알고 있던 사실이지만, calibration 효과 또한 존재한다는 것은 새롭게 알게 되었다. 일반적인 현대 딥러닝 모델들은 예측 정확도에 비해 비교적 overconfident한 경향을 보인다. 이 때 calibration이란 모델의 출력값이 실제 confidence를 반영하도록 만드는 것을 말한다. Mixup 방법론이 calibration과 over-confident에 대해 강건한 성능을 보장할 수 있는 부분을 본 세미나에서는 실험적인 측면에서 입증하였지만, 더 나아가 보다 논리적, 수학적인 방법으로 입증하는 논문을 더 찾아보고 싶었다. 마지막까지 좋은 세미나를 준비해준 기원오빠에게 감사한 마음을 전하며, 연구실 밖에서의 향후 행보를 진심으로 응원하는 바이다.

이번 세미나는 ‘Introduction to mixed sample data augmentation’을 주제로 세미나가 진행됐다. Data augmentation이란 데이터 증강으로 모델이 Overfitting되는 문제를 해결하기 위한 방법이다. Data augmentation방법에도 여러 방법이 있지만 이번 세미나에서는 mix-up 방법을 소개한다. 일반적으로 ERM 기반의 학습을 하면 모델은 과적합 문제를 안을 수 밖에 없다. 과적합 문제를 방지하기 위해 VRM 기반 학습이 제시 됐으며, 이 때 필요한 근방 분포 데이터를 두 훈련 데이터 샘플에 선형 보간법을 통해 새로운 샘플을 만드는 mix-up 방법으로 만들게 된다. 실험을 통해 mix-up 방법은 성능개선 및 모델의 강건함을 증명했다. 이 후, 학계에서는 mix-up에 대해서 다양한 연구를 진행했으며, manifold mixup, cutmix 등의 알고리즘들이 나오게 된다. manifold mixup은 원래의 이미지를 mix-up하는 것이 아닌 모델의 특정 layer의 hidden vector끼리 mixup하는 방식이다. 또한 Cutmix는 특정 샘플의 일부 영역을 다른 샘플의 일부 영역으로 대체하여 새로운 샘플을 만드는 방식이다. 하지만 이 cutmix 방법 역시 한계가 있었으며 이를 개선하기 위해서 Saliency Mix, Attentive Mix, Puzzle Mix 등의 방법들이 나오게 된다. 이번 세미나를 통해 여러 Mix-up 알고리즘에 대해서 알 수 있었다. 또한 모델의 고도화, 모델 알고리즘 등뿐만 아니라 데이터 부분을 잘 만지는 것이 가장 근간이라는 것을 다시금 새기게 됐다. 이번 세미나를 준비해주신 기원이 형께 감사의 마음을 전하며 후기를 마무리한다.

금일 세미나는 “Introduction to Mixed Sample Data Augmentation”으로 기원이가 발표하였다. Data Augmentation은 딥러닝 모델의 과적합 문제를 해결하기 위해 고안된 방법 중 하나이다. 최근에는 과적합 뿐만 아니라 다양한 데이터에 대해 학습할 수 있다는 관점에서도 활용되고 있다. 이번 세미나에서는 다양한 기법들 중에서 Mix-Up 알고리즘을 중점적으로 다루었다. Mix-Up의 아이디어는 매우 간단하다. 두 데이터 샘플로부터 선형 보간법을 통해 새로운 샘플을 생성하는 기법이며 일반화 성능 향상에 기여한다. 이후 Mix-Up에서 변형된 알고리즘들을 소개해주었다. 특히, CutMix는 개인 연구에 사용해본 적이 있는데 기대하던 성능이 나왔던 기억이 있다. 이번 세미나는 다양한 비전 연구에 많은 도움을 줄 수 있다고 생각하고 다시 한 번 Data Augmentation 분야에서 여러 기법을 정리해볼 수 있는 좋은 시간이었다.

금일 세미나는 기원이 형이 Mix-up을 주제로 진행해주었다. Mix-up은 간단한 원리에도 딥러낭 학습에 여러 가지 장점을 가져다 주어 유명한 데이터 증강 기법 중 하나이다. 단순하게 성능 향상 측면 뿐만 아니라 딥러닝의 고질적인 문제인 calibration 문제, Adversarial attack 문제에도 효과적이다. 왜 효과적인지, 어떠한 방법으로 효과적임이 증명되었는지 금일 세미나를 통해 차근차근 (논문 정보와 함께) 알 수 있었다. 세미나를 통해 전반적인 딥러닝 문제와 개념(용어, calibration 문제점, 평가지표 등)들도 알아갈 수 있으니 좋은 세미나라고 생각하였다. 또한, 믹스업 이후의 고도화된 믹스업 방법들에 대해 추가적으로 소개되었다. 매니폴드 믹스업과 컷믹스업에 대해 소개되었는데, 구현 방법이 간단하고 이해하기 쉽기 때문에 기억해두고 사용하면 좋을 듯하다. 전반적으로 믹스업과 관련된 연구 동향을 엿보는데에도 좋은 세미나라고 생각이 들었다. 좋은 세미나를 준비해 준 기원이 형에게 감사의 말씀을 전하며 세미나 후기를 마치도록 한다.

데이터 증강 기법은 과적합 문제에 빠지기 쉬운 딥러닝의 문제를 해결하기 위해 사용되는 기법이다. 이 중에서도 Mix-up 알고리즘은 두 데이터 샘플로부터 선형 보간법을 통해 새로운 샘플을 생성하는 기법이다. 간단한 동작 원리에도 좋은 일반화 성능을 보장하며 다양한 딥러닝 연구 분야에서 사용되고 있다. 또한 Mix-up 알고리즘은 image, speech, tabular 등 다양한 형태의 데이터 잘 적용되고, adversarial example을 만들어 내는 과정에서도 ERM 모델에 비해 우수한 성능을 보여준다는 특징이 있다.

이번 세미나에서는 Mix-up 알고리즘의 Calibration의 효과를 증명한 논문을 소개하며, 추가적으로 Calibration의 정의와 평가지표에 대한 설명도 공부할 수 있었다. 추가적으로 Manifold mix-up 알고리즘과 CutMix 알고리즘 등 발전된 형태의 mix-up 알고리즘을 이해할 수 있었다. 마지막으로 CutMix 알고리즘의 한계점을 제시하며, 중요 영역을 고려하여 개선된 mix-up 알고리즘의 종류인 saliency mix, attentive mix, puzzle mix 등의 방법을 소개해 주었다. 좋은 세미나를 준비해주신 기원이형께 감사의 말씀을 드린다.

금일 세미나는 mixed sample data augmentation을 주제로 진행되었다. Data augmentation 기법은 딥러닝 모델의 과적합 문제를 해결하기 위한 다양한 기법 중 하나이다. Data augmentation 기법에는 다양한 알고리즘들이 있지만 금일 세미나는 mix-up을 중심으로 진행되었다. Mix-up 알고리즘은 은 두 sample에 선형 보간법을 적용하여 새로운 샘플을 생성한다. 동작 원리가 매우 간단하지만 mix-up 알고리즘을 사용하지 않은 모델에 비해 부드러운 decision boundary를 생성한다는 장점이 있다. 또한, mix-up은 다양한 분야의 데이터에 적용할 수 있으며 성능 향상에 효과적이다.
Mix-up 알고리즘이 모델의 성능 일반화에 도움이 되는 이유는 학습 과정에서 매번 새로운 샘플 학습을 가능케 함으로써 매우 많은 데이터를 학습하는 것과 같은 효과를 낼 수 있기 때문이다. Mix-up에서 파생된 알고리즘으로는 manifold mixup, CutMix가 있다. Manifold mixup 알고리즘은 manifold 공간 상에서 두 샘플을 섞는 다는 점에서 mix-up 알고리즘과 차이가 있다. 따라서 원본 데이터 중 2개의 sample을 섞는 것이 아니라 인공신경망을 통과하여 생성된 히든 벡터를 섞는 방식으로 작동한다. CutMix 알고리즘은 각 sample의 일부 영역을 다른 sample의 일부 영역으로 대체하는 방식이다. Mix-up 알고리즘의 작동 원리부터 파생된 다양한 알고리즘까지 설명해주어서 유익한 세미나였다.

이번 세미나는 "Introduction to mixed sample data augmentation"이라는 주제로 진행됐다. 믹스업은 두 데이터의 입력값과 출력값을 일정한 비율로 섞는 데이터 증강기법을 의미한다. 믹스업은 ERM과 VRM의 관점에서 믹스업 알고리즘을 사용했을 때 기존의 ERM 방식보다 더 우수한 성능을 낼 수 있다고 주장하며 많은 실험을 통해 해당 주장을 입증했다. 믹스업의 등장 이후에 데이터의 특징 벡터를 섞는 매니폴드 믹스업, 데이터의 특정 부분을 잘라서 섞는 컷믹스 등이 등장했다. 최근에는 데이터 내의 중요영역을 탐지하여 중요영역을 섞는 형태로 믹스업 연구들이 진행되고 있다. 이번 세미나를 통해 다양한 믹스업 알고리즘과 현재 연구의 흐름까지 알 수 있어 유익한 세미나였다. 세미나를 위해 고생해준 기원이형에게 감사의 뜻을 전하며 세미나 후기 마무리한다.

이 세미나는 data augmentation 기법 중 mix-up 알고리즘을 주제로 진행되었다. mix-up 알고리즘은 훈련 데이터에 과적합 되는 위험이 존재하는 ERM 기법을 개선하기 위한 VRM 기법을 기반으로 제안된 것이다. mix-up 알고리즘은 베타 분포로부터 생성된 난수값을 가중치로 사용하여 두 데이터 샘플로부터 선형 보간법을 이용해 새로운 샘플을 생성한다. 이렇게 새롭게 생성한 샘플들을 포함해 학습을 진행하여 훈련 데이터에 과적합 되는 위험을 방지한다. mix-up 알고리즘은 이와 같은 간단한 동작 원리에도 좋은 일반화 성능을 보이며 예측 성능의 향상과 calibration 효과도 보여주었다. 또한 적대적 공격에도 ERM 학습 모델에 비해 강건한 성능을 보인다. 이렇게 mix-up 알고리즘이 모델의 일반화 성능에 도움이 되는 이유는 학습 과정에서 매번 새로운 샘플을 학습하기 때문에 모델은 거의 무한한 수의 데이터를 학습하는 것과 같아지기 때문이다.
이후에 mix-up 알고리즘 수식을 개선한 방법론들이 많이 제안되었다. 그 중 manifold mixup 알고리즘은 원본 데이터 공간이 아닌 매니폴드 공간 상에서 두 샘플을 섞는 기법인데, 기존 모델보다 더 좋은 예측 성능과 샘플에 강건함을 보였다. cutmix 알고리즘은 특정 샘플의 일부 영역을 다른 샘플의 일부 영역으로 대체하여 새로운 샘플을 생성하는 기법으로, classification, localization, detection task에서 좋은 성능을 보여준다. 그러나 여러 한계점이 존재하여 추가적인 연구가 활발히 진행된다고 한다.
이번 세미나를 통해 mix-up 알고리즘의 동작 원리부터 효과, 그리고 개선된 다양한 알고리즘까지 배울 수 있어 매우 유익했다.