Introduction to Representational Convergence in Neural Networks
- 2026년 8월 15일 오전 4:58
- 조회수: 4
INFORMATION
- 2026년 8월 14일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
정진용
정진용
TOPIC
Introduction to Representational Convergence in Neural Networks
On-Line Video
OVERVIEW
요약: 서로 다른 데이터와 목적으로 학습된 신경망들이 데이터를 비슷한 방식으로 표현한다는 관찰이 다양하게 연구되고 있다. 실제로 서로 다른 데이터셋으로 학습한 두 모델은 한쪽의 중간 층 표현을 선형 변환 하나만 거쳐 다른 쪽에 이어붙여도 성능이 유지될 수 있으며, 이미지로 학습한 모델과 텍스트로 학습한 모델도 데이터 간 유사도를 점점 더 비슷하게 측정하는 경향을 보인다. 특히 모델이 크고 성능이 좋을수록 이런 경향이 뚜렷해진다는 점이 여러 연구들에서 확인되었다. 본 세미나에서는 이러한 현상을 하나의 가설로 정리한 연구를 소개하고, 근거와 원인을 함께 살펴보고자 한다.
참고자료:
[1] Huh, M., Cheung, B., Wang, T., & Isola, P. (2024). Position: The platonic representation hypothesis. In Proceedings of the 41st International Conference on Machine Learning.
[2] Dravid, A., Gandelsman, Y., Efros, A. A., & Shocher, A. (2023). Rosetta neurons: Mining the common units in a model zoo. In 2023 IEEE/CVF International Conference on Computer Vision (ICCV) (pp. 1934-1943). IEEE.
[3] Bansal, Y., Nakkiran, P., & Barak, B. (2021). Revisiting model stitching to compare neural representations. Advances in Neural Information Processing Systems, 34, 225-236.
[4] Jha, R., Zhang, C., Shmatikov, V., & Morris, J. (2026). Harnessing the universal geometry of embeddings. Advances in Neural Information Processing Systems, 38, 45963-45987.