이번 세미나는 회귀 문제를 풀기위해 선형회귀 모델 부터 머신러닝, 그리고 딥러닝까지 어떠한 알고리즘이 제안되었는지 소개되었다.
첫 번째 main 논문인 VCM은 순차적으로 tree를 학습하여 주요한 변수를 찾을 수 있어서 설명력 있는 머신러닝 모델로 내가 이전 세미나 때 소개한적 있던 EBM(Explainable Boosting Machine)과 컨셉이 매우 유사한 논문 같다고 느꼈다. 딥러닝의 설명불가한 한계를 극복하면서 높은 성능을 달성하고자 하는 목적이 동일하게 느껴졌다.
두 번째 main 논문인 Robustness tradeoffs in Regression은 정확도를 높이면서도 강건한 회귀 모델을 구축하기 위한 수학적 수식을 제안하였다. 논문 자체 아이디어나 목적은 매우 좋으나, 실질적으로 모델에 적용하기 위한 코드 정보나 기존 회귀 모델 대비 성능이 어떤 지 언급이 논문 자체에 없어서 실현 가능성에 대한 의문이 들었다.
개인 연구로 회귀에 특화된 준지도, 준지도 도메인 적응 연구를 하고 있고 최근에 회귀 문제 해결을 위해 OLS를 고려한 방법론을 제안하였는데, 이 보다 훨씬 회귀 해결을 위한 심도 깊은 최근 연구를 알게 되어서 매우 좋았다(나는 얼마나 짧은 아이디어였나 하는 자기 반성과 동시에...). 좋은 세미나 준비하시느라 고생하셨다는 말을 한경석 연구원님께 전하며 후기를 마친다.

이번 세미나는 회귀에 대해 전통적인 방법부터 그에 대한 발전 과정에 대해 소개해주었다. Cyclic Boosted VCM은 VCM에 boosting과 cyclic 학습을 결합한 방법론이다. 각 feature들을 순차적으로 학습함으로써, 보다 효율적으로 학습이 이루어지고, 각 feature의 개별 기여도를 확인할 수 있다. 이에 따라, 당연히 XAI도 수행할 수 있으며, feature selection도 용이하다. Robustness tradeoffs in Regression 논문에서는 정규화를 통해, 공격을 받아도 강건하게 모델을 학습하는 방법을 수식적으로 풀어냈다. 최종적인 목적은 적대적 위험을 최소화하면서도 모델의 정확도는 유지하는 것을 최적화하는 것이였다.
이번 세미나는 전통적인 방법까지 거슬러 올라가서 설명해주어 스스로에게 리마인드도 할 수 있었고, 알지 못했던 내용들도 접할 수 있어 큰 도움이 되었다. 수식 기반의 전통적인 방법들은 현재 개발되고 있는 방법론들에서도 탄탄한 이론적 배경이 되고 있을 것이라는 생각이 들었다. 일반적으로 회귀보다는 분류에 많이 치중이 되어서 연구들이 진행되고 있는데, 회귀도 현실 문제에서 매우 중요한 문제라고 생각하고 앞으로도 회귀 관련한 세미나들이 많이 등장하면 좋을 것 같다. 좋은 세미나를 준비하느라 고생하신 경석이형에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.

이번 세미나는 전통적인 회귀 알고리즘들에 대하여 진행되었다. 흔히 알고 있는 ridge부터 출발하여, 최근(2024년)에 나온 탑티어 논문들까지 빽빽하게 다루고 있다. 최근에 나온 논문의 특징은 아래와 같다.

1) VCM: 각 변수를 세부하게 분리하여 학습한다는 것이 특징이다. 사실 이렇게 학습하면 계산비용이 꽤나 클 것 같은데, 효율적이라고 한다. 해당 부분은 왜 그런지 궁금했다. 이에 따라 세부적인 특징 선택에 효과적이라는 장점까지 얻을 수 있다.
2) Robustness in Regression: 성능이 비슷하지만, 강건한 회귀 모델을 만들고자 한다. Attack에 대한 정규화 항을 제시하고, 이를 활용하여 다양한 attack에 대한 회귀 예측 강건성을 확보하고자 한다.

본 세미나를 통해 아직도 전통적인 시계열 연구들이 활발하게 진행되고 있고, 이러한 연구들도 탑티어 학회에 개제될 만큼 유의미한 연구라는 것도 알 수 있었다. 사실 산학 프로젝트에서 실제 현업 데이터를 쓰다보면, 이러한 통계 기반 모델이 은근 우수한 성능을 보일 때가 많다. 향후 프로젝트에서 비슷한 데이터를 받게된다면, 해당 모델을 적용해보고 싶다. 또한, 회귀 모델에 대한 전체적인 역사가 궁금한 사람들에게 본 세미나를 추천하고 싶다. 유익한 세미나를 준비해준 한경석 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.