이번 세미나는 "Mixup and Application"이라는 주제로 진행하였다. 여러 augmentation이 나오고 있지만 mixup이 간단하며 기반이 될 수 있는 방법이기에 좋은 것 같았다. 사실 Mixup을 보기 시작한지 반년 정도가 벌써 지났지만 이번 세미나를 준비하면서 깊이 있는 속 뜻을 알게 된 점이 발표자로서는 뜻 깊었다. 최대한 쉽게 설명하려고 노력을 하다보니 깊이 있는 설명을 하기에 좀 아쉬운 점이 있었다. 이 주제로는 앞으로 한번쯤 깊이가 다르게 다시 다루어도 괜찮을 것 같다.

​

이번 세미나는 "Mixup and Application"이라는 주제로 진행됐다. Mixup은 data augmentation 기법의 일종으로 두 데이터와 라벨을 일정 비율로 섞어 새로운 데이터를 생성하는 방법론이다. 새로운 데이터가 들어왔을 때 일반적인 딥러닝 모델 학습 방식인 empirical risk minimization(ERM) 방식을 사용하면 각 클래스 중간에 위치하는 데이터에 대해 한쪽 클래스라고 과도하게 확신하는 경향이 있다. 반면 mixup을 활용하면 클래스 중간에 위치하는 데이터에 대해 과도하게 확신하지 않기 때문에 성능이 향상될 수 있다. Mixup은 두 데이터를 섞을 때의 비율을 beta분포로부터 샘플링하며 일반적으로 0.2 정도의 값을 활용하는 게 가장 좋은 성능을 보인다고 알려져 있다. 또한 Mixup을 활용하면 데이터의 라벨이 잘못 부여된 경우에도 기존 학습 방법보다 강건하게 대처가 가능하다. 세미나의 마지막 부분에서는 mixup을 wafer bin map 데이터에 활용했을 때 기존 학습 방법보다 성능이 향상될 수 있다는 것을 알 수 있었다. 오늘 세미나를 위해 고생해준 욱수형에게 감사의 뜻을 전한다.

금일 세미나는 "Mixup and Application"의 주제로 진행되었다. Mixup은 convex combination을 활용한 data augmentation의 한 방법론이다. 기존의 머신러닝 알고리즘들은 Empirical Risk Minimization(ERM) 방법을 자주 활용하였다. 이는 한정된 데이터를 사용하여 머신러닝을 하는데 쓰이는 cost를 최소화하는 함수를 찾는 방법에 해당한다. 하지만, Mixup의 경우 두 데이터를 람다라는 파라미터를 활용하여 적절하게 섞은 후 모델의 학습에 활용하는 방법으로, ERM에 비하여 클래스 분류 시에 더 좋은 효과를 보이는 것으로 알려져있다. Mixup 알고리즘은 라벨이 잘못 분류된 라벨 오류에도 더 낮은 테스트 에러를 보이기 때문에, 이 특성을 활용할 수 있는 Multi-label 문제에 적합하다. Wafer bin map이라는 실제 데이터에 적용시킨 결과 Mixup을 활용했을 때 정확도 성능이 많이 향상됨을 확인할 수 있었다. Mixup 알고리즘에 대해서, 그리고 실제 실험 결과들까지도 함께 보면서 이해해볼 수 있는 의미있는 시간이었다.

딥러닝은 컴퓨팅 파워와 데이터셋의 크기가 커짐에 따라 큰 발전을 할 수 있었다. 하지만 과거에 비해 데이터셋의 크기가 커졌다고 하더라도 여전히 모델의 용량에 비해 데이터의 수는 매우 부족하다.
이를 해결하기 위해서 모델에 여러 규제를 하고 label이 없거나 부족한 상황에서의 학습 방법을 개발하며 데이터를 임의로 변형하는 data augmentation 방법을 사용한다.

오늘의 세미나는 data augmentation 중 하나의 기법인 mixup 방법론에 대해 설명을 했다.
mixup 방법론은 기존의 방법론들과 다르게 두 개의 sample과 label을 beta distribution에서 임의로 선택한 lambda로 convex combination을 하여 새로운 sample을 만드는 방법이다. 이는 기존의 방법과 다르게 한 데이터에 대한 class에 무조건적으로 확신하는 것을 방지하고 이런 특성 덕분에 label이 부정확한 상황에서도 좋은 성능을 얻을 수 있다. 세미나에서 소개한 application으로 wafer bin map이라는 반도체 공정 중 나오는 데이터에 mixup을 적용한 결과, 실제로 성능이 향상이 되었다.

세미나에서 논문의 핵심용어와 개념을 쉽고 자세하게 설명해 주셔서 이해하는데에 큰 도움이 되었다. 그리고 이 mixup을 활용한 self-supervised learning에 대해서 생각해 볼 수 있는 계기를 주었다. 좋은 세미나를 준비해주신 욱수형에게 감사드리며 세미나 후기를 마친다.

이번 세미나는 'Mixup and Application'을 주제로 진행되었다. 연구 미팅에 참관하며 자주 들었던 Data Augmentation 기법인 Mixup에 대해 자세한 내용을 들여다볼 수 있는 좋은 기회였다. Mixup을 사용하면 데이터 증강을 통해 기존 학습 결과물보다 더 나은 방법론을 제시할 수 있다. 이미지 데이터를 예시로, 일반적인 augmentation 기법에는 하나의 이미지를 변형하는 Crop, Symmetry, Rotation 등이 있지만 Mixup은 이들과는 다르게 두 개의 이미지가 필요하다. 두 이미지를 일정 비율로 합침으로써 모델은 더 다양한 형태의 데이터를 학습할 수 있고 이를 통해 모델의 성능을 향상시킬 수 있다. Mixup은 이미지 데이터뿐만 아니라 음성 데이터 등 다른 타입의 데이터에도 사용이 가능하며 라벨이 잘못된 데이터에서도 좋은 효과를 보인다는 연구 결과도 있다. 기존 논문에서는 Mixup을 사용해서 Single label classificaiton의 성능을 향상시켰지만 조금 더 발전시킨 방향으로 Multi-label 문제에도 Mixup을 사용해보았고 결과적으로 성능이 대폭 향상됨을 알 수 있었다. 모델 학습 시 Mixup이 어떤 역할을 하는지, 어떻게 활용될 수 있을지에 대해 이해할 수 있었던 세미나였다. 특히 세미나 시작 부분에서 논문의 Abstract를 설명해주시는 부분을 보며 논문을 읽을 때 Abstract 내용을 잘 파악하는 것이 전체적인 논문 이해에 큰 도움이 된다는 것을 다시 한번 깨닫고 Abstract의 중요성을 느낄 수 있었다.

기존의 Image Augmentation 기법들은 Rotation, Color Distortion, Resize 등의 하나의 raw image에 적용하는 방법이었다. 하지만 최근에는 Mix-up, Cut-Mix 등, 여러 개의 Image를 Convex Combination 하거나 patch 를 섞음으로써 Soft(Multi)-Label을 갖도록하여 학습을 시킨다. 이러한 방법은 기존 방법론 대비 성능도 잘 나오지만, 가장 큰 장점은 Labeling 이 잘못되어있을 때도 상당히 robust 하다는 것이다. 실제로 수 많은 데이터들은 label이 완벽하지 않은 경우가 많다. 이러한 상황에서도 좋은 모델을 구축하기 위한 가장 현실적인 방법인 것 같다.

세미나를 준비하신 욱수형께 감사의 말씀을 드린다.

금일 세미나는 모델의 일반화 성능을 높이는데 효과적으로 사용되는 Mix-up을 다루었다. Mix-up이 어떠한 원리로 일반화 성능을 높일 수 있는지 꼼꼼하게 설명되었다. Mix-up은 딥러닝 성능 향상에 대부분 효과가 좋아 원리는 크게 고민하지 않고 방법론적인 측면에서만 초점을 두고 사용해왔는데, 세미나가 많은 도움이 되었다. 논문에서 소개된 문구들과 자료들을 이용해서 진행해주신 점이 나에겐 가장 큰 도움이 되었다. 그리고 Mix-up을 사용하는데 있어서 중요하게 작용되는 하이퍼파라미터에 대한 해석 또한 많은 도움이 되었다. Label corruption이 존재하는 상황에서 Mix-up의 효능은 현재 본인이 수행하고 있는 연구에도 많은 도움이 될 것이라 생각하였다!

이번 세미나는 "Mixup and Application"를 주제로 진행되었다. Mixup은 data augmentation 방법중 하나이다. 파라미터 람다를 도입하여 convex combination을 통해 새로운 sample을 만들어 데이터의 수를 늘린다. 기존에는 일반적으로 cost를 최소화하는 함수를 찾아내는 Empirical Risk Minimization(ERM)을 사용했었는데, Mixup이 이보다 좋은 성능을 보여주고 있는것을 세미나를 통해 확인해볼 수 있었다. 특히 labeling이 잘못된 경우에도 어느정도 좋은 성능이 나온다는 것이 흥미로웠다.
논문에 나와있는 내용을 잘 정리해서 설명해주셔서 매우 유익한 시간이었다. Mixup의 개념과 유용성을 잘 정리할 수 있는 시간을 만들어주신 연구원분께 감사의 마음을 전하고 싶다.

이번 세미나는 'Mixup and Application'이라는 주제로 진행되었다. 기존에 사용되었던 Empirical Risk Minimization 방법론은 우리가 가지고 있는 한정된 데이터만을 통해 비용을 최소화시키는 함수를 탐색하였던 반면, Mixup은 convex combination을 통한 data augmentation 방법론 중 하나로 기존 single label classification의 성능을 향상시킬 뿐만 아니라 multi label classification에서의 성능 또한 대폭 향상시킬 수 있다는 것을 보여주었다. 현재는 개선된 mixup 방법론 연구 및 다양한 테스트를 진행 중이다. 논문을 기반으로 abstract에 있는 문구 하나하나를 세세히 짚어주셔 논문을 읽을 때 어떻게 접근해야 할 지 감을 잡아나갈 수 있었다. 친절한 세미나를 준비해주신 신욱수 연구원께 감사의 말씀을 전하고 싶다.

이번 세미나의 주제는 Mixup에 대한 내용으로 진행되었다. Mixup은 주어지는 변수를 섞는 방식으로 새로운 변수로 변환하고, 그걸 가지고 학습하는 방식이다. x1과 x2가 있다고 할 때, 새로운 x'은 λ*x1 + (1-λ)*x2 (0≤λ≤1) 의 형태로 사용자의 판단에 따라 둘의 비중을 정해서 섞는 방식이었다. 이렇게 섞어서 사용하게되면, 좀더 broad하게 구분되던 Classification 경계선이 shading되면서 오히려 더 세밀하게 구분될 수 있도록 좁게 형성될 수 있어 이를통해 분류 성능이 향상될 수 있는 결과를 얻을 수 있었다. 이때 비중 λ는 0.2로 놓는게 가장 일반적이었는데, 그 말은, 1개의 이미지를 좀더 강하게 기준으로 두고, 여기에 mix되는 다른 이미지는 흐리게 섞여 약간의 robustness를 주는 형태일 때, 학습의 성능에는 좋을 수 있다는 것이다. 말하자면 다른 data가 섞인상태에서 학습을 하는 것이 오히려 test data에 대해서는 강건한 성능을 가진다는 것인데, 실제 실험결과에서도 image / voice wave 둘다 좀더 좋은 결과를 보여주었다. 흥미로운 결과중 하나는 Labeling이 잘못된 것이 있을 때도, 더 좋은 결과를 나타낸 다는 것이다. 결국 같은 말이지만 잘못된 정보가 약간 섞이는 것이, classfy 판정을 아주 넘어서는 수준이 아니라면 오히려 판단 경계선을 더 작은 단위까지 잡아주는 효과로 작용한다고 느껴졌다. 0과 1로만 학습하는게 아니라 0.8은 1쪽이고 0.2는 0쪽이라고 짚어주는 학습을 하는 느낌이었다.
또 이를 가지고 반도체 wafer bin map에서의 복합 패턴 검출에 사용했을 때 정말 높은 수준으로 향상된 성능을 보여주었는데, 특별한 추가 data 없이 mixup하는 것만으로도 이렇게 성능을 올릴 수 있는 concept이라는게 굉장히 효과적이고 좋은 방법이라고 느껴졌다.
제조 현장에서 반도체 wafer map에 적용되는 data 분석 방법은 상당히 제한적으로 진행되어 왔다고 느낀다. 이렇게 여러가지 방법론을 적용시키면 개선될 부분이 많다는 생각도 들고, 또 아직 발굴되지 않은 insight도 많은 것 같아 나 또한 좀더 연구해보고 싶은 마음이 드는 좋은 세미나였다. 알기 쉽고 유익하게 설명해주신 신욱수 연구원님께 감사의 말씀을 전한다.

이번 세미나는 mixup and application이라는 주제로 진행되었다. Mixup은 서로 다른 데이터와 각각의 label을 결합한 새로운 데이터와 label을 생성하여 training하는 방식이다. 이러한 결합은 람다를 통해 비중을 정하게 된다. 람다는 베타 분포를 따르기 때문에 parameter인 알파 값에 따라 mixup 효과가 달라진다. 알파 값이 작아지면 mixup의 효과가 작아진다. 일반적으로 mixup의 비율은 0.2로 하는 것이 성능이 좋다. 또한, mixup을 통해 label이 잘못된 데이터에서도 기존보다 더 좋은 성능을 낼 수 있다. 본 세미나에서는 mixup을 설명하는 논문을 쉽게 리뷰해 주셨고, 더 나아가 반도체 공정에서 mixup을 적용한 결과도 설명해 주셨다. 이해하기 쉬운 예시와 차분한 설명으로 세미나를 진행해 주셔서 mixup에 대한 이해를 높이고, 활용 방안까지 생각해 볼 수 있었다.

이번 세미나는 "Mixup and Application"을 주제로 진행되었다.
Mixup은 Data Augmentation에서 파생된 기술 중 하나로, 기존의 Data Augmentation을 통해 기존 데이터셋으로 수행하는 머신러닝 학습의 결과를 훨씬 뛰어넘는다. ERM(Empirical Risk Minimization) 방법론을 일반적으로 사용해왔으나 클러스터링 해보았을 때 Mixup 방법론이 상대적으로 다양한 Class에도 적절한 군집화 되어 있는 것을 알 수 있었다. 이를 실제 복합 패턴을 갖는 분류 문제에서 데이터에 적용해보면 조금의 비율만 Mixup하여도 크게 성능이 개선되는 모습을 알 수 있었다.
이번 세미나를 통해 Mixup에 대해 알 수 있었고, 추후 다양한 실험을 하게 될 때 적용해보면 좋을 것 같다는 생각을 하게 되었다. 좋은 주제의 논문으로 꼼꼼하게 세미나를 진행해주신 신욱수 연구원님께 감사의 말씀을 전합니다.

이번 세미나는 Mixup and Application을 주제로 진행되었다. Mixup은 Data augmentation 방법이긴 하지만 일반적인 Crop, Rotation, Scale, Noise 등과는 다르게 두 개의 데이터로 하나의 데이터를 새로 생성하는 방법이다. 이 때 데이터의 Label도 같이 Mixup이 되며 Mixup 되는 정도는 Lambda로 조절된다. 코드상으로도 상당히 간단하게 구현할 수 있으며, 성능면에서도 Mixup의 효과가 뛰어남을 실험적으로 보여주고 있다. 인상 깊었던 부분은 Mixup을 활용하는 부분이었다. 웨이퍼 빈 맵은 실제 복합적으로 결함 패턴이 나타나는 경우가 있는데 Mixup은 이러한 복합 결함 데이터 분류 문제에 아주 적합한 방법론인 것 같다. 실제 신욱수 연구원님의 실험 결과에서도 보면 단순 패턴을 분류하는 문제에서는 단순 학습이나 Mixup 학습이나 큰 차이가 없지만, 복합 패턴을 분류하는 문제에서는 Mixup이 훨씬 뛰어남을 보여주었다. 개인 연구로 진행 중인 철강 표면 결함 Segmentation 문제에도 Mixup을 활용할 수 있을지 고민을 해보게 된다. 철강 표면 결함에서도 단순 결함만 있는 것이 아니라 여러 종류의 결함이 복합적으로 나타날 수 있기 때문에 Mixup이 도움이 될 수 있을 것 같다. Mixup과 Application에 대해 간결하고 명확하게 설명해주신 신욱수 연구원님께 감사의 말씀을 드린다.

이번 세미나는 "Mixup and Application"을 주제로 진행되었다. Mixup은 Data Augmentation의 한 방법이지만 기존의 데이터를 단순 회전/대칭/확대 등의 방법들과는 달리 두 가지의 데이터를 임의로 선택한 lambda를 활용하여 combination하는 방법을 통해서 새로운 데이터를 만드는 방법이다. 단순히 하나의 데이터를 변형시키는 것이 아니라 두 가지의 데이터를 일정한 비율로 합치며 보다 다양한 데이터를 활용가능하기에 보다 향상된 성능의 모델을 얻을수 있다. 또한, Mixup 방법을 활용하게 되면 labeling이 잘못 된 상황에서도 보다 좋은 성능을 확인해볼 수 있다. 마지막으로 실제로 wafer bin map 데이터에 활용하여 성능 향상이 된 사례도 확인해 볼 수 있었다. 이번 세미나에서는 용어와 개념들을 풀어서 설명해주시며 이해하는데 많은 도움이 되었다. 좋은 세미나를 준비해주셔서 감사하다는 말씀을 전하고 싶다.

오늘 세미나는 ‘Mixup and application’이라는 주제로 욱수오빠가 진행해주셨다. Mixup 논문의 부제인 Beyond Empirical Risk Minimization의 의미가 무엇인가를 해석해주시면서 세미나가 시작되었고 이 부분이 인상깊었다. 또한 convex combination을 사용하여 데이터 augmentation하는 내부 핵심 알고리즘과 핵심 하이퍼파라미터가 변경됨에 따른 결과를 수식, 예제 등 다양하게 보여주셔서 아무것도 모르는 청자들에게도 수월하게 들리는 세미나를 진행해주셨다. 이를 활용하여 연구하고 있는 주제에 대해서도 들을 수 있어, 해당 방법론을 어떻게 활용하면 좋을지 인사이트를 준 세미나였다.