Transformer-based Tabular Modeling and Transfer Learning Applications
- 2025년 12월 22일 오전 9:50
- 조회수: 58
INFORMATION
- 2025년 12월 22일
- 오전 10시 ~
온라인 비디오 시청 (YouTube)
발표자:
조용수
조용수
TOPIC
Transformer-based Tabular Modeling and Transfer Learning Applications
On-Line Video
OVERVIEW
정형 데이터 분야는 CV / NLP 분야와 달리 GBDT 계열의 모델이 여전히 강세인 분야이다. 이를 해결하기 위하여 여러 딥러닝 기반의 모델이 제안되었으나 데이터의 특징에 따라 결과가 상이하여 일반적인 Baseline이 존재하지 않는다. 또한 데이터셋마다 컬럼 구조가 상이한 '구조적 이질성' 때문에, 학습된 지식을 새로운 테이블에 적용(Transfer Learning)하지 못하고 매번 처음부터 다시 학습해야 한다는 한계가 있었다. 본 세미나에서는 정형데이터를 위한 일반적인 DL 기반의 Baseline 을 제시한 논문을 소개하고 이를 확장하여 여러 데이터셋을 사전 학습하는 '교차 사전 학습(Cross-table Pretraining)' 프레임워크를 제안한 XTab의 방법론 및 실험 결과를 살펴보고자 한다.
참고자료:
[1] Gorishniy, Y., Rubachev, I., Khrulkov, V., & Babenko, A. (2021). Revisiting deep learning models for tabular data. Advances in neural information processing systems, 34, 18932-18943.[2] Zhu, B., Shi, X., Erickson, N., Li, M., Karypis, G., & Shoaran, M. (2023). Xtab: Cross-table pretraining for tabular transformers. arXiv preprint arXiv:2305.06090.