첫 세미나로 손실함수를 주제로 준비하였다. 가장 기본이 되는 머신러닝 학습 프로세스로부터 손실함수의 역할에 대해 알아보고 대표적인 손실함수인 MAE와 MSE 그리고 Cross-Entropy를 수식까지 이해하기 쉽게 설명하고자 하였다. 이를 준비하며 알고 있다고 인식했지만 모르고 있었던 부분을 많이 깨닫게 되었고, 조금은 더 깊게 공부 할 필요가 있다는 생각을 하게 되었다. 또한 손실함수를 통해 성능을 개선할 수 있다는 점도 알 수 있어 추후 연구와 프로젝트에 발전된 손실함수를 이용한다면 많은 도움이 될 것이라고 생각하게 되었다.

​

금일 세미나는 시후가 진행해주었다. 세미나 주제는 머신러닝 학습에 있어 가장 중요한 손실함수에 대한 소개였다. 손실함수는 머신러닝의 현재 성능과 목표값(정답값)을 정량화한 값으로, 머신러닝 학습이란 손실함수 최소화를 의미한다. 평소 어머니 아버지가 진수 대학원에서 뭐하냐고 물으시면, 머신러닝 인공지능 학습한다 말씀드리면 머신러닝 학습이 뭐냐고 물으셔서 대충 넘어갔는데, 금일 세미나 영상을 추천드리고 싶었다. 그만큼 오늘 세미나는 손실함수에 대한 기초와 손실함수 기반 머신러닝 학습이 무슨 의미인지 쉽게 설명되어 있었다. 손실함수에 대한 개념을 쉽게 설명하려 노력한 흔적들을 찾아볼 수 있는 좋은 세미나였다.

손실함수에 대한 개념을 소개한 뒤, 손실함수 중 가장 대표적인 MSE loss, Cross entropy loss를 설명해주었다. 가장 궁금했던 Adaptive Loss function와 AM-LFS는 설명이 간략하여 조금 아쉬웠다. 머신러닝 학습에 있어 가장 중요한 손실함수를 차근차근 설명해준 시후에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 '손실함수'에 관하여 진행되었다. 대표적인 손실함수를 소개해주었고, 말미에 최적의 손실함수를 찾는 방법 중 하나인 AM-LFS까지 간단히 소개하였다. 특히, 손실함수, 비용함수, 목적함수의 개념간의 차이가 모호하여 혼동이 있었는데, 그 점을 잘 짚어준 듯하다. 세미나를 시청하는 도중 소개된 손실함수(loss function)들이 평가지표(metrics)에 쓰이는지에 대해 궁금했고, 쓰인다면 어떤 차이점이 있는지를 살펴보았다. 익히 알고 있는 부분이라 하면, 손실함수는 훈련셋(trainset)과 관련하여 훈련에 사용하는 것이고, 평가지표는 검증셋(validationset)에서 과적합 또는 과소적합이 없는지 검증 과정이 잘 이루어지는지 확인할 때 사용된다. 그러나 가령, 회귀 평가지표로는 MSE가 쓰이는데, 이는 회귀 문제의 손실함수로도 사용된다. 이처럼 평가지표와 손실함수로 같이 쓰이는 지표도 있으나, 손실함수가 되기 위해서는 미분이 가능하여 미분값을 단서로 매개변수의 값을 갱신하는 과정을 반복할 수 있어야 한다.
이처럼 기초적인 내용이지만, 짚고 넘어가면 좋을 부분들을 상기할 수 있었다. 세미나를 준비해준 시후에게 감사함을 전하며, 세미나 후기를 마친다.

이번 세미나는 '손실함수'라는 주제로 진행되었다. 손실함수란 실제값과 예측값의 오차를 최소화하기 위해 정의되는 함수로 모델 학습에 있어 매우 중요한 요소에 해당한다. 본 세미나에서는 모델 학습 프로세스에서 손실함수의 역할과, 대표적인 손실함수로서 MAE, MSE loss와 Cross-entropy loss에 대해 소개하였다. 이와 함께 Adaptive Loss function과 AM-LFS까지 소개하며 최적의 손실함수를 찾는 방법론에 대해 간략히 짚어보았다. 이번 세미나를 통해 손실함수에 대한 기초를 다시금 다질 수 있었다. 앞으로 새로운 논문 및 방법론을 접할 때마다, 해당 논문 및 방법론이 손실함수를 어떻게 정의했는지 초점을 맞추어 더 깊이있게 공부해보아야겠다는 생각이 들었다. 세미나를 위해 고생해준 시후오빠에게 감사의 마음을 전하고 싶다.

이번 세미나는 손실 함수를 주제로 진행되었다. 손실 함수는 모델이 예측하는 값과 실제값의 오차를 계산하는 함수다. 딥러닝 모델은 이 오차를 최소화하는 방향으로 진행하기 때문에, 이를 계산하기 위해 정의하는 함수는 모델에서 가장 근본이 되는 부분이다.
손실함수의 가장 기본적인 예로 회귀 모델에서는 실제 값과의 오차를 더해서 평균 오차, 평균 제곱 오차가 있고, 분류 모델에서는 cross entropy 가 대표적이다. 그런데 이 손실함수 부분에서도 분야에 따라 가장 알맞은 방식이 다르고, 더 좋은 예측을 위해서는 변형이 필요한 경우도 있다. 세미나 에서는 최고의 손실함수 탐색 방법을 추가로 소개해주었다. 여기에는 이상치를 추가로 제거하는 방법이 있는 반면, AM-LFS는 강화학습을 이용하여 최적의 손실함수를 찾는 방식이었다.
머신러닝에 대해 학습하다보면, 그저 기존에 존재하는 손실함수를 그대로 사용하게 된다. 아주 깊게 알지 않는다면, 사실 함수 자체를 변경하기는 굉장히 힘든 부분이기 때문이다. 때문에 가장 기본이 되는 개념인 만큼, 이를 개선한 더 합리적인 수식을 찾는다는 것은 어떻게 생각하면 가장 연구가 많이된 영역이기 때문에, 반대로 새로운걸 발견하기는 가장 어렵지 않을까 싶다. 다만, 이러한 학습을 통해 다양한 손실 함수의 특성에 대해 이해하고 본인의 task에 맞춰 폭넓게 적용하는 습관이 있다면 굉장히 큰 도움이 될 것 같다. 좋은 내용을 알기 쉽게 설명해준 시후에게 감사의 인사를 전한다.

이번 세미나는 손실 함수를 주제로 진행되었다. 손실 함수는 모델 학습에 필수적인 요소이기 때문에 기본이 되는 내용들을 정리하기에 좋았던 것 같다. 세미나를 들으며 다시 한번 확인할 수 있어서 좋았던 부분은 손실 함수, 비용 함수, 목적 함수의 정의 비교였는데 많이 혼용되어 사용되는 용어들인만큼 확실하게 짚고 넘어갈 수 있어서 좋았다. 회귀 모델과 분류 모델에서 각각 많이 사용되는 손실 함수인 MSE와 Cross entropy에 대한 설명과 예시가 잘 전달되었고, General and Adaptive Robust Loss Function과 AM-LFS에 대해서는 잘 몰랐었는데 간단한 설명을 들을 수 있었다. 더 자세한 내용은 따로 찾아봐도 좋을 것 같다. 새로운 논문을 읽을 때 해당 논문에서 정의한 손실 함수를 이해하는 것이 얼마나 중요한지를 느낀 요즘, 기본 개념 정리 차 흥미롭게 들을 수 있었던 것 같다.

이번 세미나는 손실함수를 주제로 진행되었다. 손실함수란 예측값과 실제값 사이의 차이를 계산하여 오차를 생성하는 함수이다. 특히 손실함수, 비용함수, 목적함수의 개념을 명확하게 구분하여 설명해주어서 그 차이를 다시 한 번 확인할 수 있었다. 구체적으로는 회귀 모델에서의 손실함수로는 예측값과 실제값 사이의 오차를 활용하는 평균절대오차(MAE)와, 미분 불가능의 단점을 개선한 평균제곱오차(MSE)를 알아보았다. 또한, 분류 모델에서 적용하는 교차엔트로피 손실함수를 소개하고 직접 예제를 통하여 구체적인 계산 방식까지 다져볼 수 있었다. 이 외에도 최고의 손실함수를 자동으로 찾아주는 방법으로 이상치를 제거하고 중요한 데이터에 집중하여 학습하는 방법과 강화학습을 이용하여 최적의 손실함수를 찾는 방식 두 가지를 살펴보았다. 가장 기본적인 개념 중 하나인 손실함수의 개념부터 최근 연구 방향까지 함께 알아볼 수 있어 유익한 시간이었다.

이번 세미나는 손실함수를 주제로 시후가 발표를 했다. 머신러닝의 목표는 실제 입력변수를 받았을 때 나오는 출력변수가 실제값과 같은 모델을 학습시키는 것이다. 이 때, 모델이 올바른 방향으로 학습하기 위한 시험 점수와 같은 지표가 필요로 하고 머신러닝에서 이 역할을 하는 것이 손실함수이다.

그렇기 때문에 손실함수의 개념을 정확히 알고 있는 것이 중요하다. 이번 세미나에서 손실함수, 비용함수, 목적함수에 대해 혼동될 수 있는 개념을 잘 정리해 주고 다양한 손실함수들을 설명함으로써 다시 한 번 기본이 되는 중요한 개념을 공부할 수 있었다.

이번 세미나를 준비한 시후에게 감사의 인사를 전하며 세미나 후기를 마친다.

이번 세미나는 "Loss function"을 주제로 진행됐다. 손실함수는 딥러닝 모델을 학습할 때 정답값과 예측값의 오차를 계산해주는 함수를 의미한다. 문제에 따라서 혹은 데이터의 특성에 따라서 다양한 손실함수들이 사용될 수 있다. 대표적으로 classification에서는 cross entropy를 활용하고 regression에서는 MSE 혹은 MAE가 활용된다. 손실함수는 모델을 학습시키기 위해서 사용자가 결정해야 하는 하이퍼파라미터이다. 따라서 풀고 싶은 문제 혹은 데이터셋에 적합한 손실함수를 탐색해야 한다. 세미나에서는 손실함수를 탐색하는 두 가지 방법에 대해서 언급되었다. 첫 번째는 데이터 내의 이상치를 제외하고 손실함수를 계산하여 모델의 성능을 높이는 방법이었고 두 번째는 강화학습을 활용해 다양한 손실함수를 탐색하고 현재 상황에 맞는 손실함수를 선택하는 방법이었다. 지금까지는 손실함수를 경험에 의해서 선택하기만 했는데 세미나에서 소개된 방법들도 향후 연구에 적용해보면 많은 도움이 될 것 같다.

이번 세미나는 손실함수를 주제로 진행되었다. 딥러닝 모델을 학습하는 프로세스에 있어서 손실함수는 예측값과 실제값의 차이를 정의하고 이를 기반으로 오차역전파를 통하여 매개변수를 업데이트하는 과정을 거친다. 따라서 손실함수는 학습에 있어서 정말 중요한 요소라고 할 수 있다. 이 때 풀고자 하는 문제의 데이터 형식에 따라 손실함수를 다르게 적용할 수 있는데, 회귀 모델에서의 손실함수는 주로 평균제곱오차(MSE)가 쓰이고 분류 모델에서는 주로 교차 엔트로피 손실함수가 쓰이게 된다. 하지만 주로 쓰이는 손실함수만으로는 딥러닝 모델을 학습시키기에 한계가 있을 수 있기 때문에 좀 더 다양한 손실함수를 탐색할 필요가 있고, 실제 라이브러리에서 제공되는 손실함수도 굉장히 다양하다. 최고의 손실함수를 탐색하는 방법론에 대해 소개해주었는데, 데이터 분포에 따라 적응하여 손실함수가 변화하는 방식인 A general and adaptive robust loss function과 강화학습을 이용하여 학습과정에서의 최적의 손실함수는 찾는 방식인 AutoML for loss function search가 그것이다. 개념적인 부분만 소개되었지만 좀 더 자세한 내용도 궁금해졌다. 많은 종류의 손실함수에 대해 특징을 잘 알고 있어야 문제 상황에 따라 맞게 사용할 수 있겠다는 생각이 들었고, 소개된 방법론과 같이 최적의 손실함수를 찾아주는 방법에 대해서도 좀 더 공부를 해보면 도움이 많이 될 것 같다.

금일 세미나는 “Loss Function” 주제로 시후가 발표했다. Loss Function은 기계학습, 딥러닝 방법론 학습에 있어 가장 중요한 요소이다. 대표적으로 Regression에는 Mean Squared Error (MSE), Classification에는 Cross-Entropy Loss가 있으며 Loss를 최소화하는 방향으로 학습한다. 이 외에 Loss function은 풀고자 하는 문제 정의, 도메인 등에 따라서 새롭게 고안할 수 있다. 나의 전문 분야인 강화학습에서는 주어진 상태에서 취한 행동에 대한 보상을 최대화하는 방향으로 목적 함수를 공식화한다. 최근 강화학습 트렌드는 보상 함수 뿐만 아니라 특정 문제를 정의하여 알맞은 손실 또는 보상 함수를 재정의하고 문제를 해결하는 연구가 행해지고 있다. 수많은 연구 분야에서 연구가 되고 있는 만큼 손실 함수의 중요성을 다시 한 번 깨닫는 계기가 되었다.