오늘 세미나는 Dropout을 주제로 진행되었다. Dropout은 Neural Network 에서 유용하게 사용되는 대표적인 Regularization 기법이다. Dropout 은 regularization 관점에서 보면 크게 Variable selection, ensemble, weight size penalty 특징을 가지고 있다. 오늘 세미나에서 이 부분들을 설명하기 위하여 기본적인 기계학습 방법론인 Linear regression, Ridge, Lasso, Support vector machine,principal component analysis, decision tree, random forest 를 예로 들어 각 특징을 설명하였다. 세미나 자료를 만들면서 기존 학습 방법론을 더 잘 이해할 수 있었고, 각 방법론들이 가지는 관계성에 대해서도 이해할 수 있었다. 특히 Dropout 을 많은 실험에서 많이 써왔지만 이번 세미나를 계기로 그동안 자주 헷갈렸던 dropout rate 나 layer 의 위치, 적용 효과등을 직관적으로 이해할 수 있었다.

​

금주 세미나는 regularization in machine learning이라는 주제로 진행되었다. 세미나에서는 deep neural network에서 많이 사용되는 regularization 테크닉인 dropout에 대해서 소개했다. Machine learning에서는 다양한 regularization 방법론이 있으며, 세미나에서는 dropout과 관련된 weight decaying, variable selection, 그리고 ensemble을 다루었다. 세 가지 방법론들을 간단하고 대표적인 예시를 통해서 이해하기 편하게 설명했으며, 각 방법론들이 dropout과 어떤 방식으로 연관되는지를 설명하는 과정이 흥미로웠다. 내용 자체는 아주 새롭지 않았지만, dropout을 쉽고 직관적으로 이해할 수 있게 구성된 좋은 세미나였다.

금일 세미나는 창현이형이 Regularization in machine learning이라는 주제로 진행해주었다. 먼저 Regularization은 overfitting을 해결하는 방법 중에 하나인데 parameter의 값과 크기를 줄이므로서 해결하는 방법이다. Goodfellow는 regularization은 학습에서 발생하는 에러말고, 평가를 위한 테스트상에서 발생하는 에러를 줄이기 위하여 학습 알고리즘을 수정하는 기법이라고 설명했다. Regularization하는 방법에도 여러가지 방법이 존재하지만 금일 세미나에서는 Weight Size Penalty, Variable Selection, Ensemble 3가지 방법에 대해서 진행하였다. Weight Size Penalty방법은 weight를 작게 유지하는 방법이고 Variable Selection은 말 그대로 변수를 선택한다. 그리고 Ensemble기법은 여러 모델을 학습시켜 단점을 보완하고 장점을 살리는 방법이다. 이러한 방법론과 dropout이 어떻게 연관이 있는지 이해하기 쉽게 설명해 주었고 dropout이 어떻게 이루어지고 적용되는지에 대해서도 잘 설명해 주었다. Dropout에 대해서 직관적으로 설명해준 창현이형에게 고맙다는 말을 전하고 싶다.

금일 세미나는 "Regularization in machine learning" 이라는 주제로 진행 되었다. 이번 세미나는 마치 1학기에 배웠던 내용의 복습을 하는 느낌이었다. overfitting 이란 training data 의 particular set of data 와 너무 비슷하여 training error 는 낮지만 test data 가 너무 달라서 test error 가 증가하는 현상을 말한다. 이 overfitting 을 없애기 위한 방법으로 Regularization 을 이용하여 Weight Size Penalty, Variable Selection, Ensemble 방법을 사용할 수 있고 이에 따라 사용 할 수 있는 모델들을 "Ridge Regression, Support Vector Regression, LASSO Regression, PCA Regression, Decision Tree Regression, Random Forest Regression" 사용해서 overfitting 방지 하는 법을 알려주었다. Drop out 도 Regularization 과 마찬가지로 Variable Selection 의 역활과 Ensemble 역활 그리고 Weight Size Penalty 역활을 다 해 주는것을 보여 주었다. drop out 을 어디에 써야 할지에 대해 논의가 있었는데 activation layer 전과 후 를 기준 잡았을때 논문에서는 activation layer 후에 사용하는것이 좋다 라고 표현 되어 있지만 사실 전,후 모두 테스트 해 보았을 시 비슷한 결과를 얻어서 큰 차이를 보이지 않는다 라고 알려주었다.
drop out 을 언제 써야 할지 왜 써야 할지 잘 이해를 못했는데 이번 세미나를 통해 좀더 확실한 개념을 알 수 있었다.

금일 세미나는 Regularization in machine learning 주제로 창현이 형이 발표했다. 우리가 데이터로 예측 및 분류 작업을 진행할 때 대부분 과적합 문제가 발생한다. 이를 해결하기 위해서 목적함수에 파라미터 정규화를 넣어 문제를 해결하는 방법을 연구해왔다. 흔히 알고 있는 모델에는 Ridge, Lasso, PCA, SVR, Ensemble 등이 있으며 파라미터 정규화를 통해 문제를 해결해준다. 최근에는 딥 러닝을 사용하면서 과적합 문제를 해결하는 방법으로는 Dropout이 있다. Dropout은 인공 신경망의 각 레이어 노드에서 학습할 때 마다 일부 노드를 사용하지 않고 학습을 진행한다. 최종적으로 인공 신경망으로도 과적합을 방지해주며 실제 테스트에서도 좋은 성능을 보여준다. 오늘 세미나는 정규화 기법에 대해 어떤 모델이 있고 어떤 방식으로 적용이 되는지 알아볼 수 있는 유익한 시간이었다.

오늘 세미나는 “Regularization in machine learning”이라는 주제로 이창현 연구원님께서 진행해 주셨다. Regularization은 머신러닝에서 Overfitting 문제를 해결하기 위한 방법으로 Test error와 Training error와의 차이인 Generalization error를 줄여주는 역할을 한다. 오늘 세미나에서는 Regularization 방법 중 weight size penalty를 이용하는 방법 variable selection을 이용하는 방법 그리고 ensemble을 이용하는 방법 3가지를 가지고 진행하였으며, 수업 시간에 배웠던 Regression과 Decision Tree 및 Random Forest을 예시로 들어 이해하기 쉽게 설명해 주었다. Regularization의 연장으로 Drop-out 기법에 대하여 설명해 주었는데 막연하게 알고 있던 Drop-out이 사실은 위의 Regularization 방법 3가지를 모두 포함하고 있는 복합적인 알고리즘이라는 사실을 알게 되었고, 기초의 중요성을 다시 한번 깨닫게 되었다. 1시간이 조금 안되는 짧은 세미나였지만, 개념 정리를 확실하게 시켜주었던 아주 좋은 세미나였고, 발표자가 얼마나 발표 내용을 잘 알고 있는지 느낄 수 있었던 세미나였다. 배울점이 많았던 세미나를 해준 이창현님께 감사한 마음을 전한다.

이번 세미나는 창현이형이 Regularization in machine learning을 주제로 진행해주셨다. 내용은 모델의 overfitting을 해결하기 위한 regularization 방법 중 weight size panelty, variable selection, ensemble의 3가지 방법이 핵심이였고, 흔히 알고 있는 ridge, lasso, random forest 모델의 사례를 들어 각 모델이 어떻게 overfitting을 방지하는지에 대한 작동원리를 설명해주셨다. 마지막으로 dropout이 딥러닝 모델에서 weight size penalty, variable selection, ensemble의 관점에서 어떻게 해석할 수 있는지를 논문과 함께 설명해주셨다.
내용은 머신러닝, 딥러닝 공부를 시작하면서 배우는 기초적인 내용이였지만, 딥러닝 모델 학습 시 컨셉츄얼하게만 이해하고 당연하게 사용하는 dropout을 머신러닝에서의 regularization 방법론과 연관지어 생각해 볼 수 있는 좋은 세미나였다. 정확한 작동 원리와 그 효과를 생각해보지 않고 당연하게 probability를 0.5부터 적용해보고 고민없이 레이어 사이에 넣어 실험부터 했던 자신을 반성하게 되었다. 자세한 설명과 함께 직접 실험 후 그 효과를 시각적으로 보여주어 dropout에 대하여 다시 한번 쉽게 이해할 수 있었다. 발표자가 어떻게 하면 좋은 세미나를 할 수 있을지 고민했던 흔적들이 발표 자료와 내용에서 고스란히 느껴졌다. 마치 3 blue 1 brown을 dropout 버전으로 복습한 느낌이 드는 세미나였다. 항상 좋은 세미나를 해주시는 창현이형께 감사의 말을 전한다.

오늘 세미나는 'Regularization'이라는 주제로 창현이형이 진행했다. Regularization은 과적합(Overfitting) 문제를 해결하고자 하는 데 목적이 있다. 과적합은 주어진 학습데이터에 몰두한 학습이 결과적으로 일반화 성능(테스트 데이터에 부적합)이 떨어지는 현상을 말한다. 따라서 학습되는 파라미터에 penalty를 부여해 변수선택이 가능하게 끔 하거나 ensemble 형태로 모델을 구축하여 일반화성능을 높인다. 인공신경망에 적용하는 regularization기법으로 Dropout이 있으며 node간 파라미터에 그 파라미터를 어느정도 사용할지 특정 사용률을 부여한다. 오늘 전반적인 Regularization 기법 개념과 함께 이를 적용한 분류, 회귀모델을 알기 쉽게 설명해준 발표자료가 인상적이었다. 끝으로 Dropout 기법은 저자가 석사학위논문으로 제안하였고, 그 논문이 이처럼 전세계적으로 이목을 끌어 현재 AI분야 대가들과 함께 작업중인 이야기를 해주었다. 창현이형 또한 곧 졸업논문을 제출하는 것으로 알고있다. 세상이 깜짝 놀랄만한 학위논문을 기대한다.

“Regularization is any modification we make to a learning algorithm that is intended to reduce its generalization error but not its training error.”- Ian GoodFellow

Ian이 말하듯이 학습 단계에서 보지 못했던 데이터에 대해서도 좋은 성능을 내는 모델을 만드는 것이 정규화 기법이 갖는 의의이다. 정규화는 새로운 기법이 아니지만, 최근 파라미터의 수가 굉장히 많은 딥러닝 모델에 대한 과적합을 방지하기 위해 여러 가지 정규화 기법이 나오고 있다. 그 중 오늘은 가장 널리 쓰이는 기법인 Dropout을 주축으로 설명을 하였고, 나아가 전통적인 기계학습 모델에 쓰이는 정규화 기법들을 함께 설명해줌으로써 Dropout 기법이 갖는 의미를 곱씹어 볼 수 있는 시간이었다. 그 3가지 관점에서 dropout을 다시 설명해보자면, 먼저 이름에서 말해주듯이 학습 시 각 layer의 weight를 선택적으로 'drop' 함으로써 결국에는 여러 가지 모델을 ensemble 해준 효과를 내며, 동시에 선택적으로 weight를 고름으로써 'variable selection' 한 셈이 된다. 마지막으로는 dropout을 적용한 신경망 모델의 Loss function이 L2 Norm을 더해준 모양으로 도출됨으로써 weight size에 penalty를 주는 형태가 된다. 여태껏 dropout 기법과 기존 전통적인 기계학습 모델의 정규화 기법을 따로만 숙지하고 있다가 하나의 선상에서 한 번에 보니 전에 보지 못했던 dropout의 우아함을 볼 수 있었다. 끝으로, 발표자의 노련함이 있었기에 이러한 경험을 할 수 있었던 것이 아닐까 생각해보며 나 또한 차분히 공부해야겠다는 다짐을 다시 한다.

금일 세미나는 창현오빠가 ‘Regularization in machine learning’이란 주제로 진행해주셨다. 세미나의 주된 주제는 딥러닝구조에서 오버피팅을 방지하기 위해 최근 필수적으로 사용하고있는 drop out기법이었다. Drop out의 역할을 설명하는데에 있어서 regularization의 필요성, 그리고 이를 해결하기 위한 weight decaying, variable selection 그리고 ensemble에 대한 언급과 더불어 drop out과 어떠한 방식으로 이들과 연결될 수 있는지 직관적으로 설명해주셨다. 초반에는 우리가 머신러닝을 공부하며 배우는 기초적인 알고리즘 방법론에 대해 소개해주셨는데, 특히나 각 알고리즘들이 regularization을 수행하기 위한 관점에 접목시켜 해석해 주신 점들이 흥미로웠다. 그리고 장표에 사용된 모든 plot들과 비교실험들이 직접 해보신 것 같은데 직관적인 설명을 위해 공들여 작성해주셔서 청자로써 너무 귀중하고 감사한 마음을 가질 수 있었다. 오늘 들은 세미나는 내가 생각하는 창현 오빠의 장점들을 모두 잘 녹여낸 세미나 였다. 특히, 발표자의 첫 멘트 ‘직관적 이해를 돕겠다.’가 기억에 남는다. 평소 오빠와 함께 수업을 듣거나 생활을 하면서 논의가 이루어질 때마다 오빠는 항상 이해하기 좋은 예시로 직관적인 느낌을 잘 전달해 주셨다. 평소에도 오빠의 전달력 그리고 그 배경이된 수식적, 관계적 이해력에 대해 많이 배울 수 있었던 좋은 기회였다. 평소에는 장난스런 대화를 더 많이 나누곤 하지만 하나뿐인 동기 창현 오빠께 항상 감사한 마음을 갖고 있다는 말씀 전하고 싶다. 더불어 오빠의 졸업준비 또한 잘 마무리 되길 진심으로 응원한다!

금일 세미나는 창현 형님께서 논문 “Dropout : A Simple Way to Prevent Neural Networks from Overfitting”을 설명하기 위해 “Regularization in machine learning”의 주제로 진행되었다. 무엇보다 잘 짜여진 발표 구성이 인상적이었다. 발표에서는 Dropout의 특징을 설명하기 위해, 그동안 우리가 알고 있었던 Variable selection, Ensemble, Weight Size Penalty 세 영역의 Regularization technique을 먼저 요약해주었는데, 덕분에 Dropout에 대한 이해가 훨씬 용이했다. 또한 발표자의 직관적인 설명 덕분에 Overfitting 문제를 다루는 방법론 하나하나를 쉽게 이해할 수 있었고, 각 방법론들 간의 관계성 측면에서도 살펴볼 수 있었기에 세미나 진행 과정 동안 Overfitting 문제 전반을 보다 깊게 고찰할 수 있었다. 그동안 나는 실제 DNN의 구현에서 정확한 구동방식을 모른 채로 Dropout을 사용했었는데, 오늘의 발표 덕분에 확실히 개념 정리를 할 수 있었다. 마지막으로, 창현 형님의 물 흐르는 듯 유려한 발표는 발표 내용이 발표자의 발표 스킬로 인해 얼마나 돋보일 수 있는지를 실감케 하는 훌륭한 발표였다.

금일은 Regularization 기법 중 Dropout을 주제로 한 세미나를 들었다. 개인적으로는 여러 수업을 통해 Regularization에 대한 설명을 들어서 어느정도 알고 있다고 생각 했었다. 하지만 이번 세미나를 통해 첫번째로 아직 부족함이 많다는 것을 느꼈고, 두번째로 배운 것에 대한 자신만의 스스로 정리법에 대해서 고민해 봐야겠다는 생각이 들었다. 세미나는 먼저 Regularization이 필요한 이유를 설명하기 위해 Overfitting에 대한 이야기가 선행되었다. 이후 Regularization에 대한 다양한 방법론에 대한 설명이 이어졌다. 첫번째로 Weight Size Penalty 기법을 활용한 Ridge Regression, SVR, Lasso Regression에 대한 설명이 진행되었고, 두번째로 Variable Selection 기법을 활용한 Lasso Regression, PCA, Decision Tree에 대한 설명이 이어졌다. 마지막으로 Ensemble 기법을 활용한 Random Forest에 대한 설명이 진행되었다. 앞서 말한 다양한 Regularization 방법론에 대한 설명 이후 Dropout에 대한 이야기가 진행되었다. 결국, Dropout은 앞서 말한 Regularization이 가지고 있는 특성인 Weight Size Penalty, Variable Selection, Ensemble이 모두 적용된 개념이었다. Neural Network 구조에서 학습 시 특정한 node만 사용하는 것이 Variable Selection 기법이었고, 학습 때마다 Random하게 선택한 일부 node를 활용한 결과를 종합하는 것이 Ensemble 기법이었다. 마지막으로 매번 반복 학습을 진행할 때마다 선택되었던 node의 weight가 Weight Size Penalty 개념이 적용된 것이었다. 개인적으로 창현이 형 발표는 항상 대단하고 배울점이 많은 발표라고 생각하고 있다. Regularization, Dropout 같은 개념에 대해 특징 정도는 알고 있지만 이렇게 다양한 방법론과 함께 구조화해 공부했던 적은 없었던 거 같다. 추후에는 이러한 공부 방식에 대해 더 생각하고 배우고 정리해야겠다고 생각했다. 항상 좋은 세미나를 준비해 주는 창현이 형에게 다시 한번 감사함을 표한다.