대학원에 들어와서 맞이하는 두번째 발표시간이었다. 첫번째 강화학습 기본이라는 주제를 가지고 했고 이번엔 평가지표에 대한 기초를 다뤘다. 강화학습 주제로 세미나를 할려고 머리속에 익숙한 2~3개의 강화학습 모델들을 생각했었다. 기초 지식과 배경 설명부터 어려운 해당 모델까지의 모든 설명 전달하기 쉽지 않는 (즉 나로써도 구현하고 결과만 얻었을뿐 개념을 알지만 기본이 차곡차곡 안쌓인 모래성 같은) 주제라 생각이 들었고 결국 고민하다가 기본이 중요하다는 생각과 연구실 선배들의 조언을 받들어 주제 선정한게 되었다. 또한 새로운 회사에서 정성껏 고민하여 직접 모델링한 모델의 학습한 결과를 서비스까지 연결이 되고 있다. 당연히 내 자식 같고 그 모델에 대한 평가 얘기가 많이 오고 가며 사람마다 기준이 다르다. 그러다보니 더 준비하면서 머리속에 많은 생각들을 채우는 것이 모티베이션이 되었다. 결론적으로 이번 세미나 발표 준비를 하면서 생각했던 것보다 이전에 강화학습 준비한 것보다 1.5배의 시간은 더 걸린듯하다. 하면 할수록 계속 내용을 더 알차게 채웠고 이정도면 되었지에서 머물지 않고 계속 내용을 업데이트하였고 만족감이 찼을때 비로소 마무리를 하였고 발표 영상만 여러번 촬영하였다. 내 회사생활 14년 그리고 인생을 통틀어 이렇게 심혈을 기울였던게 손에 꼽을 정도인 듯 하다. 세미나 발표 준비를 하면서 예전 초심으로 돌아가기도 하고 나도 이제 초급 연구자로써 조금씩 길을 걷고 있구나라는 생각이 들었고 조금씩 한발자국 나가는데 좋은 초석이 되는 시간이라고 생각되며 이만 줄입니다. 좋은 기회를 주신 교수님과 랩실 선후배님들 항상 그러듯이 감사드립니다.

​

머신러닝에 입문하는 초보자도 쉽게 이해할 수 있었던 세미나 강의었던 것 같습니다. Classification, Regression 모델에서 사용되는 Metric 항목, 그리고 각 Metric항목에 대한 특징점을 사례와 시각자료로 설명해 주셔서 기본 개념을 잡는데 많은 도움이 되었습니다. 추후 OCR연구과제 진행시 좋은 성능의 모델을 만들 수 있도록 성능평가 지표 수립에 참고하도록 하겠습니다. 좋은 강의 감사드립니다.

이번 세미나는 "Metric is all you need for Model Evaluation"이라는 주제로 진행되었습니다. 모델을 평가할 때는 모델에서 평가하고자 하는 목적에 맞는 평가지표를 사용하는 것이 중요합니다. 예를 들어 암 환자를 진단하는 모델에서 암 환자를 정상 환자로 진단하는 경우 환자가 적절한 치료 시기를 놓치게 되어 사망에 이를 수도 있게 됩니다. 따라서 정상 환자를 암 환자로 진단하는 type 1 에러보다는 암 환자를 정상 환자로 진단하는 type 2 에러에 대해 민감한 지표를 모델을 평가할 때 사용해야 합니다. 이번 세미나에서는 분류와 회귀 문제에 사용되는 평가지표들에 대한 설명이 이루어졌습니다. 그중 분류 문제에서 타겟 클래스에 따라 변화하는 평가지표에 대해 대표 값을 계산하는 방식에 대한 설명이 인상적이었습니다. 분류 문제에서 precision이나 recall과 같은 평가지표들은 타겟 클래스에 따라서 평가지표의 값이 바뀌게 됩니다. 따라서 모델을 평가하기 위해서 각 타겟 클래스에 대한 성능을 평균 낼 수 있는 방법이 필요하게 됩니다. 대표적인 방법으로는 'Micro'와 'Macro' 방식이 있습니다. Micro는 평균을 계산할 때 각 클래스의 샘플 수를 고려하여 평균을 취하는 방식이고 Macro는 각 클래스의 샘플 수에 상관없이 평균을 취하는 방식입니다. 따라서 Micro는 클래스의 불균형 등에 민감하게 반응할 수 있는 평가지표이고 Macro는 모델의 전반적인 성능에 대해 평가할 수 있는 지표입니다. 세미나의 후반부에서는 roc 커브와 회귀 문제에 대한 설명이 이루어졌습니다. 설명과 함께 직관적으로 이해할 수 있는 그림들이 있어서 관련된 내용을 이해하기 좋았습니다. 이번 세미나를 통해 여러 가지 평가지표들에 대해 한 번 더 정리할 수 있어서 의미 있는 시간이었습니다. 세미나 준비를 위해 고생해준 억형에 감사의 뜻을 표하며 이번 세미나 후기 마치도록 하겠습니다.

이번 세미나는 모델에 대한 평가지표를 알아보는 시간이었다. 어떤 평가지표를 어떻게 사용하느냐에 따라 모델에 대한 평가결과가 달라지기 때문에 매우 중요한 주제인 것 같다. 먼저, 분류 모델에 대한 평가지표로는 Confusion Matrix를 이용한 Accuracy, Sensitivity(Recall), Specificity, Precision이 있을 수 있고, 이 중 Precision과 Recall을 조합한 F1 Score가 있다는 것을 알게 되었다. 특히 가장 쉽게 생각할 수 있는 Accuracy의 한계점에 대해 알기 쉬운 예시로 설명해주셔서 이해가 잘 되었고, 왜 다른 평가지표들을 함께 고려해야하는지를 이해할 수 있었다. 또한 Average Strategy로 Micro, Macro, Weighted 의 방법이 있다는 것을 알게 되었고, Accuracy만으로는 구분할 수 없었던, 소수클래스를 잘 예측한 모델에 대해 올바르게 평가가 가능하다는 것을 알게 되었다. ROC 커브에 대한 설명이 있었는데, 특히 ROC 커브가 그려지는 모습과 TPR, FPR의 확률분포 움직임을 같이 보여주셔서 이해가 잘 되었다. 결과적으로 ROC 커브가 왼쪽 상단으로 가까워질수록 좋은 모델로 평가할 수 있게됨을 알게 되었고, 이에 대한 성능지표로 ROC 커브 아래 면적을 나타내는 ROC AUC에 대해 알게 되었다. ROC 커브외에도 PR 커브에 대한 설명이 있었는데, 데이터 불균형이 심한 경우 ROC보다 PR을 쓰는 것이 좋다고 한다. Regression 모델의 경우는 MAE, MAPE, MPE, MSE, RMSE, RMSLE, R² 등의 평가지표가 있으며, 일반적으로는 RMSE가 회귀 모델에서 가장 많이 사용되고 있다. 모델 평가지표에 대해 자세히 알아볼 수 있는 좋은 시간이었고, 앞으로 어떤 모델을 만들게 되더라도 오늘 배운 평가지표를 잊지 않고 활용해서 좋은 모델을 만들 수 있도록 해보겠다. 유익한 내용으로 세미나를 준비해주신 조억 연구원님께 감사드린다.

금일 세미나 주제는 "Metric is all you need for Model Evaluation."으로 억형이 진행해주셨다. 다양한 데이터를 분석하고 모델링하는 과정에 있어서 모델 성능 평가는 매우 중요한 과정이다. 이렇기 때문에 다양한 기계학습 평가 지표가 사용되며 데이터 특성별, 분석 목적별로 구분 지어 사용되어야만 모델 평가를 객관적으로 진행할 수 있다. 이러한 모델 평가가 중요한 이유를 억형이 히든싱어 예제를 들어 재치있게 설명해주어 잘 이해할 수 있었다.

금일 세미나는 크게 Classification, Regression 두 가지로 분류되었다.

Classification에서 가장 직관적으로 사용되는 Accuracy부터 Sensitivity, Specificity, Precision , F1-Score까지 헷갈릴만한 여러 지표들을 깔끔하게 정리할 수 있었고, Average Strategy(Micro,Macro,Weighted) 개념은 생소한 개념이였으나 금일 세미나를 통해 개념을 정확하게 확립할 수 있었다. 이어 다중 클래스 분류 문제에서 앞선 지표들이 어떻게 응용되어 적용될 수 있는지 알려주셨는데, 특히 이 부분이 정말 큰 도움이 되었다.
평가 지표 이외에 모델 성능을 시각화한 Roc Curve와 PR Curve 개념 적립을 세미나를 통해 할 수 있었고, "분석 목적별, 데이터 특성별 어떤 평가지표가 사용되어야 할까?"라는 가장 중요한 점을 끝까지 놓치지 않는 세미나였다.
이렇게 Classification task에서 가장 흔하게 사용되는 지표부터 (다소 나에겐 생소한) 지표까지 여러 지표를 설명한 뒤, 회귀 문제 평가지표를 설명해주셨다. 대중적인 지표들(MSE,MAE, MAPE)부터 이상치 데이터 예측에 적합한 평가지표 RMSLE까지 설명해주셨는데, y의 특성에 따라 평가지표를 다르게 사용할 수 있으니 조심해야한다는 것을 세미나를 통해 알 수 있었다.
항상 평가지표를 사용할 때마다, 헷갈려서 매번 구글링을 하고 다시 까먹고 반복하기 일수였는데, 앞으로는 헷갈릴 때마다 억형 자료를 다시 열람해보면 좋겠다라고 생각했고, 성의있는 세미나를 준비해주신 억형에게 감사의 말씀을 전하고 싶다.

금주 세미나는 "Metric is all you need for Model Evaluation"이라는 주제로 억이형이 진행해주었다. 세미나에서 전달하고자 했던 내용은 우리가 흔히 푸는 분류, 회귀 문제에 맞게 학습된 모델에 대하여 목적에 따라 적절한 평가를 하기 위한 평가 지표를 알려주고자 하는 내용이었다. 이번 세미나가 나에게 더 의미있는 내용으로 다가왔던 이유는 현재 의학 데이터를 이용한 분류 모델을 생성하는 프로젝트를 진행하고 있는데 특정 평가 지표들이 나에게 필요한 지표 이었기 때문이다. 일반적으로 모델의 성능을 검증하고자 할 때는 정확도(Accuracy) 지표가 가장 직관적 이기 때문에 많이 사용 되어 왔다. 하지만 사용하는 데이터 내 클래스간 불균형이 심한 경우에는 좋은 지표로 적용되는 한계가 있어 이러한 한계를 반영하여 Type 1,2 Error를 함께 고려하는 민감도, 특이도와 같은 지표들을 추천해주었다. 이후 내용들은 다소 생소한 지표들을 많이볼 수 있었는데 개인적으로 다중 클래스 문제에서 Weighted Precision 지표는 처음 알게 되었지만 후에 내가 진행중인 프로젝트 모델의 성능지표로 활용해보면 좋을것 같다는 생각이 들었다. 세미나를 들으면서 좋았던 점은 억이형이 세미나 내용의 직관적인 이해를 돕기 위해 TV프로그램인 히든 싱어를 예로 들어 청취자들이 이해하기 쉽도록 내용을 전달해주었고, 지표를 설명하는데 있어서 단순한 수식이 아닌 직관적으로 이해할 수 있도록 시각적인 자료와 ROC curve가 어떻게 그려지는지 이해를 돕기위한 영상들을 준비해주셔서 어려운 내용들을 직관적으로 이해할 수 있었다. 모델을 학습하는데 있어서 당연히 알아둬야 하는 이론들에 대하여 다시 한번 상기 시킬수 있도록 도와주시고, 청취자의 눈높이에서 이해시켜주기 위해 많은 자료를 준비해준 억이형에게 감사하다고 전하고 싶다.

오늘 세미나는 “Metric is all you need for Model Evaluation” 이라는 주제로 조억 연구원님께서 발표를 해 주셨다. 먼저 발표전에 본 발표의 목적에 대하여 상세히 설명해 주어서 발표에 대한 집중력이 더욱 높아지는 세미나였다. 우리는 결과적으로 해결하고자 하는 문제를 잘 유추하고 해결하기 위해 모델을 만든다. 예를 들어 앞으로의 추세 변화를 예측하기 위해 또는 여러가지 조건에 의해 결정되는 가격을 예측하기 위해 예측 모델을 만들고, 사람의 힘으로는 하기 어려운 분류 작업을 대신하기 위해 분류 모델을 만든다. 이때 만들 수 있는 모델은 무수히 많이 있다. 또한 같은 모델안에서도 하이퍼 파라미터에 따라 모델의 결과는 달라지게 된다. 따라서 가지고 있는 조건하에서 최적의 결과를 도출하는 모델을 사용하기 위해 우리는 “Metric” 측 성능평가 지표를 사용하게 된다. 성능평가 지표를 통해 우리에게 가장 도움이 되는 모델을 선택할 수 있게 할 수 있기 때문이다. 오늘의 세미나는 Metric의 기초를 예시를 들어가며 잘 설명해 주었던 것 같다. 사실 연구를 하면서 모델에 대해서는 깊이 연구하는 반면 Metric은 좀 소홀할 수 있기 마련인데 여러가지 Metric을 계산 방법 예시와 적정 사용 예시까지 들어가며 친절하게 잘 설명해 주어 좋은 시간이었다. 세미나를 듣는 내내 처음 입학하였을 때가 생각이 났다. 당시에 ROC Curve가 무엇인지, TP, FN은 무엇인지 아무것도 몰랐고 여기저기서 찾아보느라 힘들었는데, 본 세미나가 앞으로 들어오는 신입생분들께 좀 더 시간을 아낄 수 있는 자료가 되었으면 좋겠다는 생각이 들었다. 열심히 세미나를 해준 조억 연구원님께 감사의 말을 전하고 싶다.

실제 프로젝트에 투입되게 되면 모델에 대한 평가 지표가 굉장히 중요합니다. 고객사들은 모델에 대한 평가를 명확한 수치로 보길 원하고, 실제로 수행하는 수행사들은 프로젝트의 케이스에 알맞은 평가지표를 상황에 따라 맞게 제시해주어야 합니다. 이는 데이터 마이닝에서 많이 나오는 정밀도, 민감도 등을 의미하기도 하고 때로는 트렌드에 따라 학회에서 많이 활용되는 평가지표를 택해야할 때도 있습니다.
그만큼 중요하고, 기본적인 내용이지만 깊게 생각해보지 않은 부분들을 정리할 수 있는 좋은 기회가 된 것같습니다. 특히 ROC AUC, PR_AUC 에 대해서 깊게 생각 해보질 못했는데 True-Negatives 샘플 활용 여부 때문에 전자는 강건한 성능평가가 가능하고, 후자는 데이터 불균형이 심한 경우에 활용하는 것을 추천 한다라는 것이 기억에 남았습니다. MAE/MAPE/MSE/MSLE/MPE/R2 사이의 관계들을 오고가며 짚어주신 것도 평소에는 생각해보지 못한 부분들이라 다시 한번 정리할 수 있었습니다. 좋은 세미나를 진행해주셔서 감사합니다.

이번 주 세미나는 "Metric is all you need for Model Evaluation"라는 주제로 조억 선배님이 진행해 주셨습니다.
주제에서처럼 모델 평가에 대한 내용이 있었고 수치 예측 모델과 분류 예측 모델에 있어서 모델을 평가할 때 어떠한 평가 방법이 있는지와 각 평가 방법들의 이론적 설명, 장단점, 예시를 통한 비교 등 매우 쉽게 설명해 주셨습니다.

먼저 분류 예측 모델의 평가 지표로서 Confusion Matrix를 이용한 Accuracy, Sensitivity(Recall), Specificity, Precision를 설명하며 가장 직관적인 정확도(Accuracy)의 문제점을 알려주고 왜 다른 평가 지표와 같이 활용해야 하지는 설명하셨습니다. Precision과 Recall의 값을 하나로 표현한 F1-Score에 대한 이론적 설명과 Average Strategy의 방법인 Micro, Macro, Weighted를 설명하며 소수 클래스가 포함된 모델에 대해 좋은 평가를 하기 위한 방법을 알려주었습니다. 또한, 다중 범주일 경우에 계산하는 방법론인 Macro Precision과 Weighted Precision을 쉽게 설명했습니다.

범주가 두 개인 이진 분류 예측 성능에 사용되는 ROC Curve 에 대해서도 설명하였는데 곡선의 휘어짐에 따른 해석을 시각자료를 통해 쉽게 설명해주었습니다. ROC Curve를 설명하며 ROC AUC를 같이 소개했는데 ROC AUC는 ROC Curve의 아래 면적의 합이며 ROC Curve의 성능을 0.5 ~ 1로 나타낼 수 있었습니다. 또한, ROC Curve 이외의 PR Curve라는 Presicion과 Recall을 이용한 평가지표도 알려주며 데이터 불균형에 대해 더 적합하다는 것을 알려주었습니다.

마지막으로 수치 예측 모델에 사용되는 평가 지표인 MAE, MAPE, MPE, MSE, RMSE, RMSLE, R²의 수학적 이론 및 장단점을 설명해 주었습니다.

처음 세미나를 시작하며 조억 선배님이 말씀하셨던 것처럼 모델 평가 지표들에 대해서 한 번에 정리하는 시간을 가질 수 있었습니다. 더운 날에 좋은 세미나를 준비해주신 조억 선배님께 감사드리며 세미나 후기를 마치겠습니다.

분류와 회귀모델 검증에 필요한 여러 지표의 개념과 장단점을 잘 이해할 수 있는 세미나였다.
우선 분류모델 평가 지표로는 정확도(accuracy), 재현율(recall), 특이도(specificity), 정밀도(precision) 등이 소개됐다. 모델 실습 과정에선 대체로 균형을 잘 이룬 데이터셋을 사용하기 때문에, 가장 종합적인 accuracy로 모델의 효율을 평가한다. 하지만 현실 데이터셋의 경우 두 클래스 중 한쪽의 데이터가 압도적으로 많은 불균형 문제가 빈번하다. 이때 클래스 별로 예측의 정확성을 알 수 있는 위 지표들이 유용해 진다. 또한 각 클래스에 대한 precision, recall, f1 score의 평균을 낼 때도 클래스의 샘플 규모 비율을 가중치로 사용하면(Weighted average strategy) 불균형으로 인한 문제를 해결 할 수 있다.
회귀모델의 경우 일반적으로 많이 쓰이는 RMSE와 R square외에도 MAE, MAPE, MPE 등을 평가지표로 사용할 수 있다. MAE, MAPE는 데이터에 이상치가 있어도 크게 흔들리지 않는 장점이, MPE는 모델이 실제 데이터보다 높게 또는 낮게 추정했는지 판단할 수 있다는 장점이 있다.
세미나를 들으면서 좋은 모델 설계를 위해선 무엇보다 연구자가 데이터의 특성과 분석 목적을 정확히 인지하고 있어야 한다는 생각이 들었다. 발표자께서 각 평가지표의 의미를 꼼꼼히 짚어주신 덕분이라고 생각한다. 여러 개념이 등장했음에도 이해하기 쉽게 설명해 준 발표자께 감사드린다.

이번 세미나는 "Metric is all you need for Model Evaluation"이라는 주제로 진행되었다. 모델을 평가하기 위한 평가지표를 어떻게 사용하여야 하는지 기초부터 시작해서 매우 좋았다. 분류모델의 평가지표를 confusion matrix를 이용한 Accuracy, Sensitivity(recall),Specificity, Precision 을 기본으로 설명해주고 이들을 조합하여 F1 score를 말해주었다. 매번 이 matrix를 사용할때 잘 이해가 안갔는데 앞으로 이 자료를 참고하여 다시 이해를 상기하면 좋을듯 했다. 이때 평균을 낼 때도 클래스의 샘플 규모 비율을 가중치로 사용하는 Weighted average strategy, Micro, Macro 의 방법을 알게 되었다. 자주 사용되는 평가지표들 이었지만 내가 어떻게 사용하는지 모르는 방법들 이었는데 이번기회에 알게 되어서 좋았다. 또 1학년1학기때 배운 ROC 커브에 대한 설명이 있었는데, 잊어먹고 있다가 ROC 커브가 그려지는 모습과 TPR, FPR의 확률분포 움직임을 보면서 다시 이해가 되었다. Regression 모델의 경우 사용되는 MAE, MAPE, MPE, MSE, RMSE, RMSLE, R²등에대해 다시 이해하게 되었다. 보통은 RMSE를 많이 사용하는데 MAE, MAPE는 데이터가 이상이 있어도 크게 변하지 않는 장점이 있다.
이번 세미나를 들으면서 기존에 배웠던 평가지표들에대해 다시 한번 리마인드하는 좋은 기회를 가질수 있어서 좋았다. 억이에게 감사를 표한다.

이번 세미나는 억형이 분류(Classification) 문제와 회귀(Regression) 문제의 평가지표에 관한 세미나를 진행하였다. 분류 문제와 회귀 문제는 최근에도 많이 연구되고 있는 분야이고, 딥러닝으로 해결하고자 하는 많은 문제들도 분류&회귀 문제의 조합으로 이루어져 있다고 할 수 있다. 금일 세미나를 통해 다시 한번 기본을 확인할 수 있었다. F1 점수와 같이 다중 범주를 분류하는 문제에서 어떠한 방법을 사용해 범주 별 정보를 정확히 요약 할 수 있을지에 대한 의문이 있었는데, 이번 세미나를 통해서 예제를 통해 'Micro', 'Macro', 'Weighted' F1 점수를 사용해야 하는지 알 수 있었다. 최근 딥러닝 모델 자체에 대한 연구만 진행하며 가장 중요한 평가와 관련한 부분을 놓치고 있었는데 이번 세미나를 통해 기본을 다질 수 있는 계기가 되었다. 예제를 통해 이해하기 쉽고 기본을 강조해준 억형에게 감사함을 전한다.

“Metric is all you need for Model Evaluation” 이라는 주제로 진행된 이번 세미나는 설명해주신 세미나의 목적과 같이 분류 및 회귀 모델들에 대한 평가 지표를 공부해보고 다시 머릿속에 되새길 수 있는 좋은 시간이었다. 평가 지표들을 활용할 때 마다 검색하여 다시 알고 있던 지식도 확인한 후 사용하는 경우가 대부분이었는데, 해당 세미나를 통하여 머릿속에서 다시 정리하여 검색 없이 활용할 수 있지 않을까라는 기대를 하게 되었다. 가장 흔히 활용되는 Accuracy, 민감도 (Sensitivity), 특이도 (Specificity), Precision, Recall과 이 값들을 활용한 F1-Score까지 실제 수치 예시를 통하여 설명하여주셔서 더욱 직관적이고 확실하게 이해할 수 있었다. 뿐만 아니라, 데이터 내에서 클래스 간 불균형이 심한 경우 활용 가능한 Average Strategy에 대하여 처음 들어보게 되었는데, 클래스 불균형이 데이터셋에서 흔히 존재하는 문제인만큼 이러한 지표 계산 방식을 추후에 활용해보아야겠다는 생각이 들었다. 이 외에도 ROC Curve와 회귀 모델에서 활용되는 지표값인 MAE, MAPE, MSE 등에 대해서도 차근차근 설명해주셔서 다시 개념을 짚고 넘어갈 수 있었다. 수많은 개념이 등장하였음에도 불구하고 헷갈리지 않게 잘 설명해주셔서 차분하게 아는 내용도 다시 확인하고, 새로운 개념도 알아갈 수 있는 의미있는 세미나 시간이었다. 앞으로 개인 연구나 프로젝트를 진행할 때 이번 세미나에서 살펴본 여러 지표값들을 통하여 모델에 대한 평가를 하고 베스트 모델을 추리는 등 다양한 방향으로 활용해보고싶다.

이번 세미나는 다양한 성능 평가지표에 대하여 억오빠가 발표하셨다. 해결하고자 하는 문제 상황이 무엇이며, 데이터의 불균형 상태 및 분석의 목적을 고려하여 성능을 평가해야 한다. 하지만 평소 분석을 진행할 때, 주로 사용하는 지표 위주로 사용하는 경향이 있었다. 또한, 분석 문제 상황에 따라 추가적으로 고려하는 식으로 진행하여 이번 세미나를 계기로 한번에 정리할 수 있었다. PR커브는 다소 생소한 지표였는데 데이터 불균형이 심한 경우에 적절한 지표임을 알 수 있었다. 오늘 세미나에서 배운 대로 성능지표를 선택할 때, 모델에서 평가하고자 하는 목적이 무엇인지를 잊지 말고 근거 있는 성능지표를 선택하고자 한다. 좋은 세미나를 진행해주신 억오빠께 감사의 말 전하고 싶다.

오늘은 "Metrics is all you need for model evaluation"을 주제로 억이형이 준비해주었다. 모델 평가를 위한 Metrics는 제안하는 모델이 어떤 효과를 보이는 지 입증하는 데 중요한 역할을 한다. 또한 프로젝트를 수행하거나 연구를 진행할 때 제안 방법론을 내세우는 데 중요한 전략일 수 있다. 범주 예측 (classification)인 경우 정확도에 이어 정밀도, 재현율, F1점수, ROC Curve 까지 자세히 다루어 주었다. 특히 다중 클래스가 존재할 때 지표를 어떻게 계산하는지 알려주었는데 이번 기회에 명확히 짚을 수 있었다. 요즘 이미지 데이터를 기반으로 한 classification, object detection, localiztion 에서 사용되는 지표 IoU, jaccard index 등으로 제안방법론을 평가 중이었는데 이런 부분을 자세히 다루는 세미나를 계획해도 좋을 것 같다는 생각을 했다. 한참 형이지만 씩씩한 목소리가 강의 집중도를 높였다는 점 박수쳐 드리고 싶다. 약 40분가량 평가지표를 설명하기 위한 강의는 유일할 것 같다. 좋은 강의 감사드립니다. 수고하셨서요!

금일 세미나는 “Metric is all you need for Model Evaluation”에 대한 주제로 억 형이 발표했다. 우리는 분류 (Classification)모델과 회귀 (Regression)모델 성능 평가를 위해 다양한 지표를 사용한다. 하지만 문제 상황과 평가 목적을 분명히 하여 평가 지표를 사용하는 것이 바람직하다. 가끔 개인 연구를 진행할 때 일반적으로 사용하는 지표로 모델 평가를 진행하곤 했다. 이번 세미나는 내가 연구하면서 간과한 부분을 다시 한 번 상기시키는 의미 있는 세미나였다. 특히, 범주별 대표값에 대한 ‘Micro’, ‘Macro’, ‘Weighted’ score를 어떻게 사용해야 하는지 다시 한 번 생각 해볼 수 있었다. 이번 억 형의 세미나는 데이터 분석가들에게 문제 상황, 목적에 맞는 평가 방식을 상기시키는 중요한 세미나 중 하나라고 생각한다.

금주는 분류 모델과 회귀 모델에서 자주 사용되는 평가 지표(Metrics)들에 대한 내용을 중심으로 세미나가 진행되었다. 우리는 데이터를 처리해 좋은 성능을 보이는 예측 모델을 구축하기 위해 힘쓴다. 이 때, 평가 지표가 항상 동일하면 결과를 분석하고 비교하기에 좋지만 현실적으로는 그렇지 못하다. 해결하려는 문제에 따라, 모델이 평가하고자 하는 목적에 따라, 모델이 실제로 사용될 때 최소한 보장이 무엇인지에 따라, 모델간 비교할 때에 따라 각각 다른 평가 지표를 고려해야하는 것이 실제 현실이다. 본 세미나에서는 분류 모델에서 자주 사용하는 정확도(Accuracy), 민감도(Sensitivity), 특이도(Specificity), Precision, Recall 등의 평가 지표에 대한 설명이 진행되었다. 이후 각 평가 지표에 대해서 Macro, Micro, Weighted에 따라 평가 지표를 어떻게 계산하는지 자세한 예시를 중심으로 설명이 진행되었다. 개인적으로 이 부분도 중요하다고 생각한다. 실제 우리가 코딩으로 모델링하고 최적의 하이퍼 파라미터를 찾을 때 평가 지표를 Macro로 볼 것인지, Micro로 볼 것인지, Weighted로 볼 것인지에 따라 결과가 달라지기 때문에 이 부분을 잘 설정해서 진행하는 것이 중요하다. 이 후 ROC Curve에서 Threshold에 따라 True Positive Rate와 False Positive Rage가 어떻게 변하는지에 대해서 보여주고 결과에 대한 해석을 어떻게 할 수 있는지도 자세한 설명을 들을 수 있었다. 마지막으로 회귀 모델에서 평가 지표로 자주 사용하는 MAE, MAPE, MSE, RMSE R-squared 등에 대한 설명을 들을 수 있었다. 개인적으로 모델 평가 지표에 대해 당연히 알고 있다고 생각하고 넘어가는 경우가 있었는데, 이번 세미나를 통해 자세하게 한 번 더 정리할 수 있는 기회가 있어서 좋았다. 앞으로 평가 지표 내용이 헷갈리거나 다시 공부하고 싶을 때, 이 세미나 자료를 다시 찾게 될 것 같다. 좋은 세미나를 준비해준 억이 형에게 감사함을 표한다.

모델의 궁극적인 목표 달성을 위해서는 적절한 평가 지표 선정이 필수적이다. 이번 세미나에서는 분류와 회귀 모델에서 활용할 수 있는 다양한 평가지표를 살펴보고 이해하는 시간을 가졌다. 분류 모델에서는 Confusion matrix를 통해 간단히 계산할 수 있는 정확도, 민감도, 특이도 등에 대한 설명을 시작으로, 다중 클래스 문제에서는 어떻게 각 평가지표를 적용할 수 있는지, 데이터 불균형이 심한 경우에는 어떤 평가지표를 사용해야 하는지를 자세히 다루었다. 특히 실제 비즈니스 상황에서는 극심한 불균형 데이터를 마주할 일이 많기 때문에, Precision Recall Curve 및 PR AUC에 대한 내용에 관심이 갔다. MAE, MAPE, RMSE 등 회귀 모델에 대한 다양한 평가지표들 또한 쉽고 명확하게 설명해주어서 좋았고, 앞으로 문제 상황에 맞는 평가 지표를 선정하는 데 있어서 매우 유익한 세미나였다.

이번 세미나는 억이형이 Metric is all you need for Model Evaluation이라는 주제로 진행하셨다. 분류 또는 회귀 모델의 성능을 평가하기 위해서 사용하는 다양한 지표들에 대해서 소개를 해주셨다. 분류 문제에서 Accuracy를 측정할 때 함정에 빠지기 쉬운 부분이 데이터 불균형인 상황이다. 왜냐하면 특정 정답으로 데이터가 쏠려있는 상황에서 모델이 그 쪽으로만 정답을 예측한다면 발표 자료에 나와 있는 것처럼 Accuracy는 매우 높게 나올 수 있기 때문이다. 따라서 정확한 모델의 성능을 파악하기 위해서는 다른 지표가 필요한데 이런 것들을 precision과 recall을 통해서도 가능하지만 이 둘의 평균을 이용한 F1 score를 많이 활용하기도 한다. 그리고 평균값을 구할 때에는 데이터의 수로 나누어 평균을 구하는 Micro와 레이블의 가짓수로 나누어 평균을 구하는 Macro 방식이 있으며 가중치를 부여하는 weighted 방식이 있다. 이외에도 정답의 가짓수가 3개 이상일 때 지표를 구하는 방법, ROC 커브에 관한 설명을 해주셨는데 특히 내가 자세히는 모르고 있던 ROC 커브에 대한 설명을 세세하게 알려주셔서 많은 도움이 되었다. 회귀모델을 평가하는 성능 지표는 MAE, MAPE, MPE, MSE, RMSE, RMSLE. R2가 있다. 일반적으로 RMSE나 R2를 많이 사용하지만 상황에 따라서 다양한 지표들을 활용해볼 수 있다. 앞으로 평가지표에 대한 설명이 필요할 때 이번 세미나 자료를 다시 찾아보게 될 것 같다. 이번에 준비하실 내용이 많았지만 하나하나 친절하게 설명을 진행해주신 억이형에게 감사의 말을 전한다.

오늘 세미나는 조억 연구원이 ‘Metric is all you need for model evaluation’이라는 주제로 세미나를 진행해주었다. 최근 현업 엔지니어들에게 분류 모델을 교육할 기회가 있었을 때 분류성능지표에 대해서 언급할 기회들이 있었다. 많은 현업엔지니어들이 짧은 교육 기간 동안 다양한 모델을 배우고 이를 실습하는 것에 급급하여 제일 중요한 결과를 해석하는 방법을 익히지 못해 실제 현업 문제로 프로젝트를 진행했을 때 이를 해석해내는 부분에서 어려움을 겪는 것을 많이 보았다. 오늘 세미나는 그런 어려움을 겪는 사람들에게 추천하면 좋을 정도의 세미나였다고 생각이 들었다. 나도 다시 한번 지표에 대해서 리마인드 할 수 있는 기회가 되어서 매우 집중하여 세미나를 들었다. 그동안 나도 매번 ‘위키피디아를 찾아보면 되니까’라는 안일한 마음으로 외우려고 하지 않았었는대 조억 연구원이 예를 들어 자세히 설명해주셔서 저절로 외워지는 것 같았다. 또한 클래스 불균형 상황에서 Macro, Micro, Weighted의 지표를 예를 들어 설명해주신 것과 다중 클래스 일 때 어떻게 분류 지표를 사용하는 지 알려주신 부분이 앞으로 교육과 연구를 할 때 매우 큰 도움이 될 것 같다.

오늘은 억이형이 ‘Metric is all you need for Model Evaluation’이라는 주제를 가지고 진행하였다. 분류와 회귀 모델을 평가하기 위해서는 주어진 상황에 맞는 평가지표를 사용하는 것이 중요하다. 평소에 이러한 평가지표들을 사용하긴 하지만 헷갈리는 경우도 많았는데 억이형이 이번 세미나에서 잘 정리해줘서 확실하게 내 것으로 만들 수 있었다. Recall, Precision, Sensitivity, Specificity에 대해 자세하게 설명해 주었고 그에 맞는 예시를 들어주어 이해하기도 쉬웠다. 이번 세미나를 듣고 문제상황과 목적에 맞는 평가 방식이 중요하다는 것을 깨닫게 되었고 상대방에게 모델에 대한 평가를 명확한 수치로 표시하기 위해서는 평가지표가 중요하다고 생각한다. 기본기를 이해하기 쉽게 설명해준 억이형에게 감사하다는 말을 전하고 싶다.

오늘 세미나는 억오빠가 ‘Metric is all you need for Model Evaluation’이라는 주제로 진행해 주셨다. 데이터 분석과정에서 모델링만큼이나 평가지표는 중요하다. 평가지표마다 주요하게 생각하는 요인이 다르기 때문에 분석의 목적이나 데이터에 적합하게 선정되어야 유의미한 결과 해석이 가능하기 때문이다. 분류모델에서 사용되는 평가지표가 매번 헷갈려서 크게 적어 자리에 붙여 놓았었는데 오늘 이렇게 세미나에서 다루게 되어 반가운 마음과 더불어 다시한번 내용을 되새겨볼 수 있었다. 또한, python에서 classification report에서 제공하는 support, micro, macro, weight에 대한 개념도 세세하고, 쉽게 이해시켜 주신 덕분에 추후 결과해석에서 더욱 명확하게 설명할 수 있을 것 같다. 또한 ROC curve에서 다중분류에서의 활용방안에 대해 소개해 주셨는데, 최근에 개인적으로 다중분류문제에 활용하고자하는 지표가 단일분류를 대상으로 제안되어와서 적용이 불가능하다고 생각했었는데 이에 대한 개선방안에 대해 도움을 받을 수 있었다. 마지막으로 회귀모델에서의 여러 지표들의 장단점을 간략하게 정리해 주셔서 추후에 좋은 참고자료가 될 것 같다. 가장 기본적으로 알아야 하지만 매번 쉽게 잊어버렸던 주제에 대해 개인적으로 많이 정리할 수 있는 시간이 된 것 같다. 억오빠는 항상 열정이 넘치셔서 좋은 기운을 많이 받을 수 있는 것 같다. 좋은 세미나 감사드리며, 파이팅입니다!

이번 세미나는 억형이 모델 평가 지표에 대하여 세미나를 진행하였다. 평가 지표는 머신러닝, 딥러닝 공부를 시작하면서 가장 처음 접하는 주제 중 하나로 가장 기초적이면서도 중요한 주제이다. 프로젝트나 개인 연구를 할 때 어느 순간 깊게 고민하지 않고 사이킷런에서 메트릭 패키지를 불러와서 사용하게 되었는데, 오랜만에 억형의 세미나를 청취하면서 다시 한번 기초를 다잡을 수 있는 시간을 가져서 좋았다. Classification에서 데이터가 불균형일때, 다범주일때에 대해서는 어떤 지표를 사용해서 모델을 평가하고 결과를 해석해야 하는지에 대해서 중요하게 다루기 때문에 많은 사람들이 익숙할 것이다. 하지만 Regression에서는 데이터의 특성을 고려하지 않고 그냥 MSE, MAE, R-square 같은 지표를 많이 사용해왔는데 사실 회귀 문제에서도 이상치 비율, 타겟값의 분포 등 다양한 데이터의 특성을 고려해서 평가 지표를 사용해야 하는 경우가 있다. 개인적으로 아직까지 회귀 문제에서 '어떠한 문제상황에서 어떠한 평가지표가 가장 최적의 평가지표다' 에 대한 정답 기준이 마땅하게 없어서 이 부분에 대해서는 꾸준히 관심을 갖고 평가지표를 사용하기 전에 고민해보아야 할 것 같다. 리마인드 차원에서 유익한 세미나였고 억형이 자료를 만들기 전에 많이 고민하고 정성을 다 하는 것을 옆에서 보았기 때문에 감사하다는 말을 전하고 싶다.

모델을 평가하는 척도, metrics에 대한 세미나를 청취했다. 내가 만든 모델이 얼만큼 뛰어난 성능을 보이고 있는지 평가하는 것은 매우 중요한 작업이다. 왜곡된 평가지표를 사용하게 되면 실제 모델을 적용했을 때 기대하는 만큼의 효과를 얻을 수 없으며, 연구적으로도 잘못된 결과를 선보이게 될 수도 있다. 이러한 측면에서 가장 먼저 배우게 되는 부분이 바로 '클래스 불균형'에 관한 이슈이며 오늘 세미나에서도 주로 다루어진 파트이다. 클래스별로 불균형이 심할 때 단순한 accuracy로 모델을 평가하게 된다면 내가 실제로 맞추고 싶어하는 '비율이 적은 클래스'는 사실상 거의 맞추지 못함에도 높은 성능을 갖고 있다고 왜곡, 오해될 수 있다. 이러한 측면에서 precision, recall, f1-score를 전반적으로 사용하게 되며 micro, macro, weighted 개념도 적용이 된다. 특히 micro, macro에 관해서는 코딩을 하다가 무심코 그냥 넘어가기 마련인데 이번 세미나에서 설명을 해주어서 좋았다. 또한 일반적으로 regression 모델을 평가할때 mape, rmse, mae 등 다양한 지표를 사용해서 모델을 비교하는 경우가 많은데 정작 지표별 특징은 잘 모르는 경우가 많다고 느꼈다. 이번 세미나를 통해서 기존에 알고 있던 점들도 다시 한번 상기하는 기회가 되었다.

모델의 예측 결과에 대한 요약 통계량이 어떤 값들에 대한 함수인지에 대해 별 생각 없이 습관적으로 코드 상 사용하고 있던 터였는데, 이번 시간에 각 통계량이 생기게 된 배경과 의의를 스텝 바이 스텝으로 억이형이 설명해주셔서 평소 부족했던 부분을 다지고 갈 수 있는 값진 시간이었다. 분류 모형 평가에 가장 기본적으로 쓰이는 Accuracy의 설명력 한계점을 집는 것으로 시작으로 F1-score 등 보완 지표 등에 대해 설명주셨는데, 새로운 개념을 소개할 때 기존 개념과의 연결고리를 매끄럽게 이어나가 40분이라는 시간이 짧게 느껴질 정도로 몰입감이 있었다. 최근 새로 나오는 모델들에 대해서만 눈만 번쩍였던 내 자세를 다시 돌아볼 수 있게 해준 억이형에게 감사의 말을 올린다.