금일 세미나는 다양한 모델 평가 지표에 관련한 특징을 주제로 진행되었다. 세미나 주제를 준비하면서, 기존에 많이 사용하지만 명확하게 이해하고 있지 못하였던 부분들을 보다 자세하게 살펴보면 좋을 것 같다는 생각으로 해당 주제로 진행하게 되었다. 모델을 평가하고 사용하는데 있어서, 특정 함수들을 사용하여 계산된 값들을 활용하였는데 해당 값들이 어떠한 방식으로 계산이 되고, 어떠한 특징들을 가지는지 명확하게 이해하지 못하고 있었다. 해당 세미나를 준비하며 모르고 있었던 부분들을 많이 깨닫게 되는 중요한 계기가 되었다. 해당 세미나를 통해서는 회귀(Regression) 문제에서 사용되는 모델을 평가하기 위한 error들을 계산하는 방식과 분류(Classification) 문제에서 상황에 따른 중요한 부분을 계산하는 방식들에 대해 보다 쉽게 설명하고자 하였다. 세미나를 직접 준비하면서 주제 선정부터 내용 구성, 해당 내용에 대한 소개까지 많은 부분이 쉽지 않다는 것을 느끼게 되었다. 항상 좋고 유익한 세미나를 준비해주시는 DMQA 연구원분들에게 감사의 인사를 전하고 싶다

​

금일 세미나는 태연이가 기계학습의 성능을 객관적으로 평가할 수 있는 지표들을 소개해주었다. 기계학습을 연구하는 연구원으로써 평가 지표가 낮다 혹은 높다에만 집중할 때가 많은데, 각 지표별 수식과 의미, 주로 사용되어야 할 상황 등을 다시 리마인드할 수 있는 좋은 세미나였다. 그림 및 표가 정갈하게 잘 정리되어 있어 이해하기 좋았다. 그리고 혼동행렬 부분에서 {True or False} / {Positive or Negative} 부분은 매번 헷갈렸는데, 이번 세미나를 통해 의미를 알게 되었다. 향후에는 까먹지, 헷갈리지 않을 것 같아 태연이에게 감사의 말씀을 전하고 싶다.

이번 세미나는 'Introduction to Model Evaluation Metrics'라는 주제로 진행되었다. 머신러닝에서 올바른 모델을 태스크에 적용하기 위해서는 적합한 평가 지표를 선택하는 것이 매우 중요하다. 따라서 본 세미나에서는 회귀, 분류 문제에서 자주 활용되는 모델 평가 지표들을 소개하며, 어떠한 평가 지표가 어떠한 상황 속에서 각 문제에 적합한지 구체적으로 설명해주었다. 단순 평가 지표 뿐만 아니라, 잘못된 예측에 대한 이해를 위해 모델의 신뢰도를 활용하여 평가하는 부분까지 언급해주어 유익하였다. 며칠 전 연구미팅 도중 왜 해당 평가 지표를 사용하였는지에 대한 질문을 받은 적이 있었다. 별 생각 없이 사용했던 터라 적잖이 당황했었는데, 그때 당시의 상황과 이번 세미나를 통해 평가 지표 선정의 중요성을 다시금 상기할 수 있었다. 세미나 전반에 걸쳐 상세한 예시를 통해 각 평가 지표들이 어떤 의미를 가지는지 직관적으로 이해할 수 있었으며, 이러한 좋은 세미나를 위해 오랜 시간 고생해준 태연오빠에게 감사한 마음을 전하며 후기를 마무리한다.

이번 세미나는 모델을 개선시키는 방법론에 대한 주제로 진행되었다. 머신 러닝을 문제에 적용해서 사용하다보면 데이터 수집, 전처리, 모델 학습, 평가 단계를 거치게 되는데, 모델의 성능을 좋게 만들기 위해선 각 단계별로 다양한 고민을 겪게 된다. 특히 풀고자 하는 문제에 따라 어떤 metric을 사용하여 모델을 평가할 것인지가 매우 중요한 요점이 되겠다.
먼저 Regression에서는 예측한 값과 실제값의 차이를 평균하여 사용하는 MAE, 차이의 제곱값을 사용하는 MSE, 제곱값에 루트를 씌운 RMSE, 여기에 log를 적용한 RMSLE가 있었으며, 마지막으로 MAPE는 차이값을 실제값으로 나눠주고 절대값으로 양수로 만들어 사용하였다. 각각의 수식에 따라 민감하게 반응하는 포인트를 짚어준 것이 인상 깊었다. Classification문제에서는 평가 지표로는 먼저 confusion matrix를 설명해주었다. 실제 정답과 예측 결과를 행렬로 표현해서, 얼마나 많이 맞췄는지 개수를 통해 알 수 있게 보여주는 값이었다. 정확도(accuracy)는 전체 데이터 중 올바르게 분류된 데이터의 비율이고, trade-off 관계인 정밀도와 재현율을 가지고 조화평균을 사용한 f-score가 있었다. 또한 확률의 임계값(threshold)을 설정하여 판정 기준에 대해 세부적으로 조정해주는 것은 성능에 대한 지표를 정확하게 보여주기 위한 중요한 요소중 하나이다. ROC커브와 AUC는 Fall-out과 Recall을 X,Y축으로 사용해서 그래프로 표현하는 것이고, 커브가 1에 가까이 가면서 모양이 위로 볼록할 수록 모델이 제대로 예측한다는 것을 뜻한다. 커브 아래의 면적으로 AUC를 사용하여 그 지표로 사용할 수도 있다.
중요한 데이터의 특징과 문제 상황에 잘 맞는 평가지표를 선택하는 것이 중요한 이유는 제안하는 모델들이 실제 문제에서도 잘 작동하는지에 대한 방향을 제시해주기 때문이라고 생각한다. 성능 지표를 잘못 선택한다면 막상 실제 문제에 적용해서 사용했을 때, 원하는 만큼의 퍼포먼스를 내기 힘들 것이다. 데이터 마이닝을 하다보면 언제나 마주치는 문제인데, 아주 듣기 쉽게 예시를 들어 물흐르듯 잘 설명해주어 재미있게 들었던 것 같다. 편안하게 잘 알려준 태연이에게 감사를 전한다.

이번 세미나는 “Introduction to Model Evaluation Metrics”를 주제로 진행되었다. 회귀와 분류 모델에 적용하여 활용할 수 있는 다양한 평가 지표에 대하여 살펴보았다. 각 성능지표의 의미와 계산 방식, 다른 성능 지표와의 차이 등을 되새길 수 있었다. 또한 모델 예측 확률이 실제 정확도보다 높게 반영되는 overconfidence에 대하여 알아볼 수 있었고 이 부분에 대하여 조금 더 구체적으로 공부해보아야겠다는 생각이 들었다. 최근 개인 연구를 진행하면서 어떤 성능 지표를 활용하는 것이 가장 적합할지에 대한 고민을 하고 있었는데, 이번 세미나를 통하여 각 성능 지표의 기본적인 개념을 다시 살펴볼 수 있어 도움이 되었다. 구체적인 예제를 통하여 각 개념을 설명해주어 더욱 유익한 세미나였다.

이번 세미나는 Model evaluation metrics를 주제로 진행되었다. 모델을 평가하기 위한 지표는 해결하고자 하는 문제와 모델 등에 따라 다양한 방식의 지표가 존재한다. 모델을 구축하고 선택하는 과정에서 적합한 모델 평가 지표를 선정하고 적용하는 것은 당연히 중요한 문제라고 할 수 있다. 따라서 상황에 맞게 평가 지표를 선택하기 위해서는 어떤 평가 지표가 있고, 각 평가 지표는 어떤 특징을 가지고 있는지 알 필요가 있다. 이번 세미나는 이러한 측면에서 평가 지표의 중요성을 다시 한번 되새기게 해주었고, 다양한 지표의 특성을 복습할 수 있는 시간이었다. 특히 모델을 평가할 때 어떤 한 개의 지표만으로 모델을 평가할 것이 아니라, 다양한 여러 개의 지표를 통해 모델을 평가하는 것도 좋은 방법이 될 것 같고, 이를 위해서는 이번 세미나에서 소개된 평가 지표들을 포함하여 다양한 평가 방법을 숙지하고 있어야겠다는 생각이 들었다. 수고해준 태연이에게 감사의 뜻을 전한다.

이번 세미나는 "Introduction to Model Evaluation Metrics"라는 주제로 진행됐다. 학습된 모델을 task에 알맞게 평가하기 위해서 올바른 평가지표를 선택하는 것은 중요하다. 이번 세미나에서는 regression과 classification에서 활용되는 대표적인 평가 지표들에 관해서 소개되었다. Regression에서 대표적으로 활용되는 MAE는 실제값과 예측값의 차이를 절댓값으로 계산되며 해석이 직관적이라는 장점이 있다. MSE는 차이의 제곱에 대한 평가지표이며 RMSE는 MSE에 루트를 씌운 값이다. MSE는 제곱으로 인해 값의 왜곡이 발생할 수 있으며 RMSE는 루트를 통해 이를 보완해 준다. RMSLE는 로그의 차이에 대한 지표이며 로그의 특성에 따라 두 값의 비율로 계산되어 절대적인 크기에 영향을 받지 않는다는 장점이 있다. MAPE는 MAE를 비율로 변환한 지표이며 비율을 활용하여 절대적인 값의 크기에 영향을 받지 않는다. R2는 평균 대비 예측 모델의 성능을 보여주는 값으로 regression 문제에서 가장 많이 활용되고 있다. Classification에서는 혼동행렬을 기반으로 정답 값을 얼마나 잘 맞췄는지 측정해주는 accuracy, 정답으로 예측한 값 중 실제 정답 값의 비율을 측정하는 precision, 실제 정답 값 중 정답으로 잘 예측한 비율을 측정하는 recall 등이 활용되고 있다. F score는 precision과 recall의 가중 조화평균으로 베타 값에 따라서 가중치를 조절할 수 있으며 주로 F1 score가 많이 활용된다. 마지막으로 소개된 AUC는 ROC curve의 아래의 면적을 나타내며 임계 값에 민감하지 않은 평가지표이다. 이번 세미나를 통해 평소 자주 활용하는 평가지표들의 개념에 대해 전반적으로 정리할 수 있어 의미 있는 세미나였다. 세미나를 위해 고생해준 태연이에게 감사의 뜻을 전한다.

이번 세미나는 모델에 대한 평가 지표에 대한 내용으로 태연이가 발표해주었다.

모델을 어떻게 평가할 것인가는 해결하고자하는 문제에 따라, 그리고 도메인에 따라 달라지게 된다. 때문에 현재 문제 상황에서 적절한 평가지표를 고르고 가장 좋은 모델을 선택하는 것은 실제 연구나 프로젝트에 있어서 매우 중요한 문제이다.

이번 세미나에서는 크게 regression task와 classification task에 대한 평가지표에 대한 내용이었다.

regression task에서 주로 사용하는 모델 평가지표는 MAE, MSE, RMSE, RMSLE(Root mean squared log error), MAPE, R-squre 등이 있으며 각각의 평가지표에는 장단점이 있기 때문에 해결하고자 하는 문제에서 어떤 요소가 중요한지를 잘 파악하고 적절한 평가지표를 사용해야 한다.

classification task에서는 주로 confusion matrix를 기반으로 한 accuracy, recall, precision, F1-score를 많이 사용한다. 또한 threshold를 조정해가면 recall의 변화를 보는 ROC-AUC 역시 많이 쓰인다.

이번 세미나를 통해서 적절한 평가지표 선택에 대한 중요성과 기본 개념에 대해서 다시 한 번 정리할 수 있었다.

본 세미나는 Introduction to Model Evaluation Metrics라는 주제로 태연이가 진행해주었다. 아무리 잘 짜여진 모델이라고 할지라도, 상황에 맞는 평가 방법을 잘 적용하지 않는다면 해당 모델에 대한 정확한 학습 능력을 평가하지 못하게 된다. 본 세미나에서는 Regression 모델과 Classification 모델 별로 주로 이용되는 학습 평가 방법에 대해 상세히 설명해주었다. 아직 직접적으로 모델을 만들어 본 경험이 많지는 않지만 각 평가 지표 별로 어떠한 때에 사용하고, 어떠한 때에는 사용하면 안되는 지 상세하게 설명해주어서 더 명확히 와닿았던 것 같다. 추후에 만들게 될 많은 모델들에 대해 적합한 평가 방법을 선택할 때 본 세미나의 내용이 큰 도움이 될 것 같다. 좋은 세미나를 준비해준 태연이에게 감사의 말을 전하며 후기를 마친다.