Transformer-based Bayesian Inference for Tabular data
- 2025년 7월 3일 오후 2:33
- 조회수: 9
INFORMATION
- 2025년 7월 11일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
조용수

TOPIC
Transformer-based Bayesian Inference for Tabular data
On-Line Video
OVERVIEW
주제: Transformer-based Bayesian Inference for Tabular Data
요약: 최근 Tabular Foundation Model의 발전은 소규모 데이터셋에서도 뛰어난 일반화 성능을 보이는 새로운 가능성을 제시하고 있다. 특히, Prior-data Fitted Network(PFN)는 사전 분포로부터 생성한 데이터로 학습된 transformer 네트워크를 활용하여, 실제 데이터셋에 대해 학습과 예측을 동시에 수행하는 구조를 갖는다[1]. 이러한 접근은 사후 확률 분포를 직접 추정하는 전통적인 베이지안 추론과 달리, 사후분포를 직접 근사하여 효율성과 정확도를 모두 확보한다는 장점이 있다. 최근에는 TabPFN의 구조적 한계를 극복하고자 아키텍처가 확장되었으며[2], 이에 더해 다양한 prior를 기반으로 한 높은 강건성도 검증되고 있다. 본 세미나에서는 TabPFN의 기본 개념을 시작으로, 최근 제안된 prior 설계 전략까지 확장한 연구[3]까지 그 발전 양상을 종합적으로 조망하고자 한다.
참고자료:
[1] Müller, S., Hollmann, N., Arango, S. P., Grabocka, J., & Hutter, F. (2021). Transformers can do bayesian inference. arXiv preprint arXiv:2112.10510.
[2] Hollmann, N., Müller, S., Eggensperger, K., & Hutter, F. (2022). Tabpfn: A transformer that solves small tabular classification problems in a second. arXiv preprint arXiv:2207.01848.
[3] Hollmann, N., Müller, S., Purucker, L., Krishnakumar, A., Körfer, M., Hoo, S. B., ... & Hutter, F. (2025). Accurate predictions on small data with a tabular foundation model. Nature, 637(8045), 319-326.