Transformer-based Bayesian Inference for Tabular data
- 2025년 7월 3일 오후 2:33
- 조회수: 444
INFORMATION
- 2025년 7월 11일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
조용수
조용수
TOPIC
Transformer-based Bayesian Inference for Tabular data
On-Line Video
OVERVIEW
주제: Transformer-based Bayesian Inference for Tabular Data
요약: 최근 Tabular Foundation Model의 발전은 소규모 데이터셋에서도 뛰어난 일반화 성능을 보이는 새로운 가능성을 제시하고 있다. 특히, Prior-data Fitted Network(PFN)는 사전 분포로부터 생성한 데이터로 학습된 transformer 네트워크를 활용하여, 실제 데이터셋에 대해 학습과 예측을 동시에 수행하는 구조를 갖는다[1]. 이러한 접근은 사후 확률 분포를 직접 추정하는 전통적인 베이지안 추론과 달리, 사후분포를 직접 근사하여 효율성과 정확도를 모두 확보한다는 장점이 있다. 최근에는 TabPFN의 구조적 한계를 극복하고자 아키텍처가 확장되었으며[2], 이에 더해 다양한 prior를 기반으로 한 높은 강건성도 검증되고 있다. 본 세미나에서는 TabPFN의 기본 개념을 시작으로, 최근 제안된 prior 설계 전략까지 확장한 연구[3]까지 그 발전 양상을 종합적으로 조망하고자 한다.
참고자료:
[1] Müller, S., Hollmann, N., Arango, S. P., Grabocka, J., & Hutter, F. (2021). Transformers can do bayesian inference. arXiv preprint arXiv:2112.10510.
[2] Hollmann, N., Müller, S., Eggensperger, K., & Hutter, F. (2022). Tabpfn: A transformer that solves small tabular classification problems in a second. arXiv preprint arXiv:2207.01848.
[3] Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., ... & Hutter, F. (2025). Accurate predictions on small data with a tabular foundation model. Nature, 637(8045), 319-326.
청취자 후기
김성수
이번 세미나는 Transformer 기반 베이지안 추론에 대해 진행되었다. 개인적으로 베이지안 추론에 대한 이해도가 낮아서 세미나 내용을 잘 이해하진 못했다. 그래도, 이번 기회에 베이지안 추론에 대한 간단한 개념 및 컨셉은 이해할 수 있었다. 1) 왜 베이지안 추론을 할까? 베이지안 추론은 사전 정보를 반영할 수 있기 때문이다. 2) 그러나, 단순 확률보다 베이지안 확률을 산출하는 것은 굉장히 복잡하다. 이를 라플라시안 등을 활용하여 근사할 수도 있지만 이 또한 역시 비용이 크다. 따라서, 최근에는 이를 예측 모델을 활용하여 나름의 근사(?)를 한다. 최근에는 이러한 모델로 Transformer가 활용되고 있으며, 꽤나 우수한 성능을 보인다고 한다. 유익한 세미나를 준비해준 조용수 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.