이번 세미나는 서로 다른 데이터, 목적, 모달리티로 학습된 신경망들이 하나의 공통된 현실 통계 모델로 수렴한다는 흥미로운 주제로 진행되었다. 모델의 스케일이 커지고 성능이 향상되면서 개별 신경망들이 독립적인 표현에 머무르지 않고, 현실 세계의 구조를 반영하는 하나의 공통된 공간으로 모여든다는 가설이 존재한다는 것이 신기하고 놀라웠다.

이 가설을 증명하기 위한 과정은 아래와 같이 정리할 수 있을 것 같다.
먼저 본격적인 실험에 앞서 표현이 닮아간다는 것을 공정하게 측정하는 방법을 다루었다. 서로 다른 모델의 표현 벡터는 차원과 축이 달라 직접 비교할 수 없기 때문에 벡터 자체가 아니라 각 모델이 내부 공간에서 형성하는 데이터 간 관계 구조를 비교해서 스케일이나 좌표계에 의존하지 않는 유사도 측정을 가능하게 했다.

이어서 가설을 증명하는 실험으로 지도학습과 자기지도학습 인코더 사이에 단 한 번의 단순 선형 변환만 거쳐 이어 붙여도 Stitching Penalty라 불리는 오차가 0에 가까워지는 현상을 보여주었다. 이를 통해 학습 방식과 무관하게 두 모델이 매우 가까운 표현 공간을 형성함을 입증했다.

이런 수렴이 일어나는 원인은 우리가 표준적으로 사용하는 학습 목적식 내부의 3가지 수렴 압력 때문이라고 설명한다. 첫 번째 압력은 풀어야 할 과제의 수가 늘어날수록 모든 제약을 동시에 만족하는 표현의 교집합 공간이 급격히 줄어드는 점이다. 두 번째는 모델 용량이 커지면서 가설 공간이 전역 최적 표현을 포함하게 되어 서로 다른 아키텍처라도 동일한 표현으로 수렴한다는 점이다. 마지막 압력은 경사하강법 특성상 동일한 손실을 갖는 여러 해 중 가장 단순한 표현을 선택하는 편향을 공유한다는 점이다.

하지만 이 연구에서도 한계점은 존재한다. 모달리티 간 수렴은 두 데이터가 공유하는 정보량의 상한선까지만 이루어지고, 어떤 단일 목적에 특화된 모델에서는 이러한 범용 수렴 압력이 작동하지 않는다는 것이다.

이번 세미나를 통해 AI 신경망들이 결국 세상을 이해하는 하나의 표현 공간으로 수렴해 나가는 원리를 이해할 수 있었다. 새롭고 난해할 수 있는 개념을 다양한 예시와 실험들로 정리해 주신 덕분에 쉽게 이해할 수 있었다. 좋은 세미나를 준비하느라 고생해 주신 정진용 연구원님께 뜨거운 박수를 보내며 본 세미나 후기를 마친다.

금일 세미나는 서로 다른 모달리티의 데이터(i.e., 이미지, 자연어), 학습 방식, 그리고 모델 구조로 학습된 신경망의 표현이 결국 하나의 공통된 표현 공간으로 수렴되는 현상인 representational convergence에 대해 알아보았다. 해당 세미나는 어떠한 방법론이나 분야에 대한 내용보다는 이러한 현상에 대해 알려주는 세미나이므로, 핵심적인 발견을 요약하고 이로부터 어떠한 점을 주의해야할지 혹은 응용할 수 있을지 적어본다.

<발견>
- 서로 다른 방식(생헝-StyleGAN, 지도-ResNet, 멀티모달 자가지도-CLIP, 자가지도-CLIP)로 학습된 신경망들이 중간 레이어 단계에서 유사한 feature map을 가짐 (Rosetta neurons)
- 서로 다른 방식으로 학습된 신경망들을 1x1 conv를 통해 중간에 이어붙여도 표현 차이가 거의 없음
- 모델의 표현이 같냐 다르냐는 개별 인스턴스에 대한 피처의 차이(f(x)-g(x))로 계산하지 않고, 각 모델에서 예측한 표현들의 분포 유사성으로 측정해야한다 (모델마다 차원 개수나 스케일이 다르기 때문)
- 이미지-자연어 표현 공간의 경우, 정보의 양이 많을 수록(length가 긴 문장일수록) 수렴 정도가 강해진다.

<원인>
- 서로 다른 학습 방식, 구조, 모달리티를 가진 모델들의 표현 공간이 수렴하는 이유는 세 가지 압력이 존재하기 때문이다
1. loss fuction의 압력: 태스크마다 적합한 표현 공간이 존재하는데, 멀티 태스크 학습을 수행할수록 이를 전부 만족하는 좁은 영역의 교집합 영역으로 표현 공간을 수렴하게됨. 최근 모델들은 GPT처럼 하나의 목적함수만으로 다양한 태스크를 학습하고 있어서, 표현 공간이 수렴하게 됨
2. hypothesis space의 압력: 그렇다면 태스크 수가 많아질수록 개별 모델의 표현 공간은 협소해질텐데 이게 어떻게 같은 곳으로 수렴될까 (서로 같은 표현을 말하는게 맞나)? 모델의 용량 (파라미터 개수)가 많을수록 모델이 전역 최적표현을 담을 수 있게됨에 따라 각 모델의 hypothesis space가 최적 표현을 포함하게 된다면 이를 공유하게 됨
3. simplicity bias의 압력: 딥러닝 모델의 손실함수에서 내재된, 혹은 추가적으로 사용하는 규제항은 모델이 단순한 표현 공간으로 향하는 압력을 주게 됨 (Occam's razor).

<시사점>
- 멀티 모달 구조를 가지는 VLM 혹은 이를 활용한 retrieval 시스템을 만들때는 단순히 capacity가 큰 모델을 사용했는데, hypothesis space의 압력이 이러한 근거를 제공해주었다.
- 또한 retrieval 시스템 등을 구축하고 싶을 경우 자연어 표현을 구체적으로 하는 것이 이에 걸맞는 정보를 더욱 잘찾게 할 수 있다는 이론적 근거를 제공한다.

<유의점>
근본적으로 개별 모달리티로만 표현 가능한 정보가 있기 때문에 완전한 수렴은 일어날 수 없다.

최신 방법론이 아니라 딥러닝 학습을 이해하는데 도움이 된 색다른 세미나였다. 좋은 세미나를 만드느라 고생한 진용이형에게 감사의 말을 전한다.

이번 발표는 the Platonic representation hypothesis를 중심으로, 서로 다른 구조, 목적함수, 데이터, 모달리티로 학습된 신경망들이 성능과 규모가 커질수록 점차 유사한 representation으로 수렴할 수 있다는 가설을 설명한 발표였습니다. 발표 자료에서는 이를 단순한 모델 간 유사성의 문제가 아니라, 서로 다른 관측이 궁극적으로 하나의 현실 세계를 반영한다는 관점에서 설명하였습니다.

이 논문이 플라톤의 ‘동굴의 비유(allegory of the cave)’와 연결되는 이유도 여기에 있습니다. 플라톤의 동굴의 비유에서는 사람들이 동굴 벽에 비친 그림자를 현실 그 자체라고 생각하지만, 실제로는 그 그림자를 만들어내는 보다 본질적인 실재가 동굴 밖에 존재한다고 봅니다. 이 논문에서도 이미지, 문장, 신호와 같은 데이터는 현실 그 자체라기보다 하나의 underlying reality를 서로 다른 방식으로 관측한 결과로 해석됩니다. 예를 들어 같은 현실의 사건을 카메라는 이미지로 기록하고, 사람은 언어로 묘사할 수 있지만, 둘 모두 동일한 현실에서 나온 관측이라는 것입니다. 따라서 vision model과 language model이 각각의 데이터를 충분히 잘 학습하게 되면 결국 그 배후에 있는 공통된 현실의 통계적 구조를 표현하게 되고, 서로의 representation도 점차 닮아갈 것이라는 것이 핵심 가설입니다. 발표에서도 이를 “각자 Z로부터 나온 기록들을 잘 배울수록 두 모델의 표현이 서로 닮아간다”는 형태로 설명하였습니다.

발표 내용은 먼저 서로 다른 neural network가 실제로 비슷한 representation을 학습하고 있는지를 기존 연구와 실험을 통해 설명하였습니다. 서로 다른 방식으로 학습된 vision model에서 유사한 역할을 수행하는 Rosetta neuron이 관찰되고, supervised learning과 self-supervised learning으로 학습된 모델 사이에서도 간단한 linear transformation만으로 representation을 연결할 수 있다는 model stitching 연구를 소개하였습니다. 이후 mutual k-NN을 이용한 representational alignment의 개념을 소개하고, 78개의 vision model을 분석한 결과 성능이 높은 모델일수록 서로 유사한 representation을 보인다는 점을 설명하였습니다.
** Rosetta stone: 고대 이집트 문자를 해독하는 데 사용된 Rosetta stone에는 같은 내용이 서로 다른 문자 체계로 기록되어 있어서 한 언어를 다른 언어와 대응시킬 수 있었음

특히 중요한 부분은 이러한 convergence가 동일한 modality 안에서만 나타나는 것이 아니라는 점입니다. Vision model과 language model을 비교했을 때에도 language modeling 성능이 좋은 모델일수록 vision model의 representation과 더 높은 alignment를 보였으며, image와 caption이 공유하는 정보가 많아질수록 두 modality의 representation이 더욱 가까워지는 결과를 설명하였습니다. 이어서 왜 이러한 convergence가 발생하는지에 대해 task generality, model capacity, simplicity bias의 세 가지 관점으로 설명하였습니다. 다양한 task를 동시에 해결해야 할수록 가능한 representation의 공간이 줄어들고, 모델 capacity가 증가하면서 공통된 optimal representation에 접근할 가능성이 높아지며, 동시에 neural network의 simplicity bias가 여러 가능한 해 중 비교적 단순한 해를 선택하게 한다는 논리입니다. 마지막으로 이러한 convergence가 서로 다른 embedding space 사이의 translation이나 alignment를 가능하게 할 수 있다는 시사점과, 서로 다른 modality가 갖는 고유한 정보 때문에 완전한 convergence에는 한계가 있다는 점까지 다루었습니다.

전체적으로 매 슬라이드를 질문으로 시작한 점이 좋았습니다. “서로 다른 비전 모델들이 같은 데이터를 어떻게 표현할까?,” “모달리티가 다른 언어 모델과 비전 모델의 표현도 닮을 수 있을까?,” “모델이 해결해야 하는 과제가 많아지면 표현 공간은 어떻게 될까?”와 같이 질문을 먼저 제시하고 그에 대한 답을 실험과 그림을 통해 설명함으로써 청중이 발표의 논리를 따라가기 쉽게 구성하였습니다.

다만 슬라이드에 그림과 그래프가 많이 포함되어 있는 만큼, 발표할 때 화살표 커서 등을 이용하여 현재 그림의 어느 부분을 설명하고 있는지를 청중에게 보여주면 더욱 효과적일 것 같습니다. 특히 model stitching 그림, vision-language alignment 그래프, hypothesis space 그림처럼 한 슬라이드 안에 여러 요소가 있는 경우에는 설명의 위치를 눈으로 따라갈 수 있도록 하는 것이 중요합니다. 또한 그림이나 테이블을 설명할 때에는 결론만 빠르게 전달하기보다는 축이 무엇을 의미하는지, 어떤 모델을 비교하고 있는지, 그래프의 기울기나 위치 변화가 어떤 의미인지 등을 조금 더 천천히 짚어준다면 청중이 결과를 훨씬 깊이 이해할 수 있을 것입니다.

무엇보다 이 논문은 새로운 neural network architecture나 학습 알고리즘을 제안하는 일반적
인 방법론 논문이라기보다는, “좋은 AI 모델은 결국 무엇을 배우고 있는가?”라는 인공지능의 본질적인 질문을 다루는 논문이라고 생각합니다. 따라서 개별 실험 결과를 정리하는 것에서 한 단계 더 나아가, 논문이 궁극적으로 말하고자 하는 바를 발표자 본인의 해석으로 조금 더 자세히 설명하였다면 더욱 인상적인 발표가 되었을 것 같습니다. 예를 들어 “모델이 커지고 다양한 task를 잘 수행하게 될수록 왜 서로 비슷한 representation을 갖는다는 것이 중요한가?,” “이것이 결국 AI가 현실의 구조를 학습하고 있다는 주장과 어떻게 연결되는가?,” “Platonic representation이 실제로 존재한다고 볼 수 있는가, 아니면 하나의 유용한 해석에 불과한가?”와 같은 질문에 대한 본인의 생각을 덧붙였다면 논문의 철학적, 학문적 의미가 더욱 잘 살아났을 것입니다.

전반적으로 발표의 구성과 흐름은 좋았으며, 질문 중심의 슬라이드 구성도 효과적이었습니다. 앞으로는 그림과 실험 결과를 조금 더 천천히 설명하고, 발표자의 해석과 관점을 더해 논문의 궁극적인 메시지까지 전달한다면 훨씬 깊이 있고 기억에 남는 발표가 될 것 같습니다. 수고했습니다!

최근 CLIP과 Vision-Language Model의 representation space를 살펴보면서, 서로 다른 모델들이 왜 비슷한 표현을 학습하게 되는지에 관심을 가지게 되어 본 세미나를 청취하게 되었다. 이번 세미나는 서로 다른 구조, 목적, 데이터로 학습된 모델들이 하나의 공유된 표현으로 수렴할 수 있다는 Platonic Representation Hypothesis를 중심으로 진행되었다.

특히 서로 다른 비전 모델들이 동일한 입력에 대해 유사한 뉴런 반응을 보이고, 학습 방식이 다른 모델들을 1×1 convolution으로 연결해도 성능 변화가 거의 없다는 결과가 인상적이었다. 또한 서로 다른 모델의 feature vector를 직접 비교하기보다, 무엇과 무엇이 가까운가라는 관계 구조를 mutual k-NN으로 비교한다는 관점도 흥미로웠다.
이러한 수렴은 vision model뿐 아니라 image-text처럼 modality가 다른 경우에도 나타났으며, caption이 구체적일수록 두 modality가 공유하는 정보가 많아져 alignment가 증가하는 결과도 확인할 수 있었다.

개인적으로는 최근 CLIP 모델의 Prompt tuning 을 다루며 modality gap의 근본적인 부분에 대한 이해가 필요하다는 고민을 하고 있었기 때문에, 특히 이번 세미나에 많은 관심을 가지게 되었다. 특히 개별 embedding vector의 거리보다 representation space의 관계 구조를 비교하는 관점과, 이를 해결하기 위한 vec2vec 방식이 특히 인상 깊었다.

추상적인 가설을 다양한 실험과 직관적인 예시를 통해 이해하기 쉽게 설명해 준 점이 인상적이었으며, "모달리티 간 표현이 어떻게 학습되고 수렴하는가"라는 근원적인 질문을 잘 정리하여 좋은 세미나를 발표해 주신 정진용 선배님께 깊은 존경과 감사의 말씀을 전하고 싶다.

이번 세미나는 서로 다른 모달리티로 학습된 신경망들이 하나의 공유된 표현으로 수렴한다고 주장하는 The Platonic Representation Hypothesis 논문을 소개했다. 예시로는 동일한 의미를 가진 텍스트 혹은 이미지가 서로 본적이 없음에도 모델 수렴에 따라 표현이 비슷해진다는 것이다. 실제로 학습 방식이 전혀 다른 여섯 개의 비전 모델에 같은 이미지를 넣어보니, 뉴런 수준에서 비슷한 영역에 반응하는 것을 볼 수 있었다. 자기지도로 학습한 인코더와 지도학습으로 학습한 인코더를 1x1 conv 하나로 이어 붙여도 성능이 거의 떨어지지 않는다는 실험도 같은 이야기였는데, 학습 방식이 전혀 달라도 두 표현이 선형 변환 하나의 차이만큼 가까이 있다는 뜻이다. 이걸 어떻게 측정하는지도 흥미로웠다. 벡터 값을 직접 비교하는 게 아니라, 각 모델 안에서 데이터끼리 얼마나 가까운지를 나타내는 관계 구조를 만든 뒤 두 모델의 이웃이 얼마나 겹치는지를 본다. 좌표가 달라도 관계가 같으면 같은 표현으로 보겠다는 발상이라, 모달리티가 달라도 비교가 가능해진다.

왜 수렴하는지에 대해서는 학습 목적식의 세 부분을 각각 압력으로 해석했다. 풀어야 할 과제가 늘어날수록 그걸 전부 만족하는 표현의 교집합이 줄어들고, 모델 용량이 커질수록 그 좁은 해를 실제로 담을 수 있게 되며, 규제항과 경사하강법의 성질 때문에 같은 손실이면 더 단순한 표현 쪽으로 끌린다는 것이다. 결국 과제, 용량, 단순성 세 방향이 모두 하나의 지점을 가리키게 된다는 설명이었다. 실제로 언어 모델 성능이 좋아질수록 비전 모델과의 표현 유사도가 올라가고, 이미지 캡션을 길고 촘촘하게 줄수록 두 모달리티가 더 가까워진다는 결과도 이 그림과 맞아떨어졌다. 응용으로 소개된 vec2vec은 이 발상을 그대로 쓴 사례였다. 서로 다른 임베딩 모델은 같은 문장을 넣어도 전혀 다른 벡터를 내놓지만 관계 구조는 이미 닮아 있으니, 그 구조만 가지고 두 공간을 하나로 정렬할 수 있다는 것이다. 다만 임베딩만 유출돼도 원문 정보를 역으로 복원할 수 있다는 보안 함의가 따라온다는 점이 인상적이었다. 마지막에 나온 한계도 결국 같은 메커니즘을 뒤집은 것이었다. 이미지에만 있는 정보와 언어에만 있는 정보가 남아 있는 한 겹치는 부분까지만 닮아갈 수 있고, 단백질 구조 예측처럼 과제가 하나로 고정된 분야에서는 표현을 좁히는 압력 자체가 약해서 수렴이 잘 일어나지 않는다.

요즘 뉴럴 붕괴(NC)와 더불어 모델 공간상의 표현이 어떻게 변화하고 수렴하는지에 대한 연구들이 활발하게 이뤄지고 있는 것 같다. 화려한 방법론도 중요하지만, 학습과 데이터에 대한 근본적인 이해를 통해 새로운 차원의 방법론이 등장할 수 있다고 생각하기에 해당 세미나를 매우 유익하게 들었고 좋은 세미나 준비해준 정진용 연구원에게 고맙다는 이야기를 전한다.

AI의 기초 골자는 초기화된 행렬의 값들을 데이터를 통해 선형 변환하도록 학습하는 것입니다. AI의 유명한 하위 분야들인 NLP, CV 그리고 RL 전부 선형 변환에 기초합니다. 그렇다면 행렬에 들어있는 값인 weight (+bias)들을 task에 맞게 적절히 최적화하는 것이 AI가 잘 학습되었다고 볼 수 있는데, 이 weight가 의미하는 바는 무엇일까요? 이를 이해하기 위해서는 weight가 무엇을 표현하고 있는지에 대한 의미론적 해석이 필요합니다. 본 세미나에서는 이러한 물음의 해답에 다가가는 과정을 다루고 있습니다.

최근 학계는 모델 구조가 다르고, 학습 방법이 다르며, 학습 데이터까지 달라도 모델 안의 weight가 표현하는 의미론적 정보는 동일할 수 있다는 의견을 제시하고 있습니다. 그 중에서도 신경망들의 표현들이 수렴하고 있다는 가설인 'platonic representation'이 흥미로운 주제 중 하나이며, 발표에서는 해당 아이디어에 대해 소개합니다. 해당 아이디어의 emprical evidence는 다음과 같습니다. 1) 서로 다른 구조로 모델링된 AI들이 똑같은 이미지를 볼 때 어디에 집중하고 있는지를 뉴런 단위에서 분석했을때, 매우 유사한 특징들을 추출하고 있다는 사실이 관측됩니다. 2) 같은 구조를 가졌지만 서로 다른 학습 방식인 self-supervised/supervised learning로 각각 학습한 두 모델을 1x1 convolution으로 연결한 결과 성능 변화가 거의 없음을 보입니다. 3) 아무 강아지 사진과 '강아지' 조합과 달리 '늦은 오후의 공원 잔디밭에서, 갈색 리트리버가 노란 테니스 공을 쫓아 전속력으로 달린다.'와 이에 맞는 이미지의 조합처럼 이미지 데이터와 텍스트 데이터 간 공유하는 정보량이 많아질 경우, 서로 다른 모델들의 표현 수렴 정도가 강해지는 현상이 존재합니다. 전술한 세 가지 증거를 통해 platonic representation이 경험적으로 타당하다는 것이 입증됩니다.

특히, 2번 증거가 흥미로운데, 1x1 convolution은 채널 간의 weighted sum이라고 볼 수 있기 때문에 잘 학습된 모델 둘을 붙이면 두 모델 간 표현 중에 중요한 표현을 서로 weighting하여 학습할 것이라고 생각하였습니다. 하지만 random network와 1x1 convolution을 할 경우, test error가 치솟는 결과가 보고되었기 때문에 서로 비슷한 표현 수준을 가지고 있어야 test 결과의 consensus가 이루어질 수 있다고 생각이 바뀌게 되었습니다.

좋은 발표 감사합니다.