2025년 12월 3일부터 5일까지 미국 샌디에고에서 개최된 NeurIPS 학회에 참석하였다. 포스터 발표를 통해서 다양한 연구자들과 교류해볼 수 있을 것이란 생각에 설렘을 가지고 출국했다.

[12월 2일, 시애틀을 거쳐서 샌디에고로 이동]

오후 4시 10분, 시애틀행 비행기가 1시간 가량 지연되었다. 시애틀에 도착하니 환승까지 남은 시간이 턱없이 부족했다. 급하게 수하물을 찾고 입국 심사를 마친 뒤, 탑승구를 향해서 정신없이 뛰었다. 그때 마침 내 옆에서 똑같이 캐리어를 끌면서 뛰고 있는 분이 눈에 들어왔다. 5분 정도 나란히 뛰었을까, 서로 같은 상황임을 직감하고는 헛웃음이 나왔던 것 같다. 다행히 둘 다 시간 맞춰 환승 게이트에 도착했고, 숨을 고르면서 자연스럽게 인사를 나누게 되었다. 알고 보니 이번 학회에서 "Transfer Learning for Benign Overfitting in High-Dimensional Linear Regression" 주제로 발표하시는 분이었다. 규제 없는 환경에서 전이 학습 효과를 다루는 연구였는데, 마침 나 역시 '훈련 데이터와 다른 분포(OOD)에서 모델을 어떻게 잘 작동시킬 것인가?'에 대해서 고민하며 연구하던 터라 결이 통하는 부분이 많았다. 연구 관심사가 비슷한 데다 공항에서 우연히 만난 인연이라 그런지 더 반가웠다. 좋은 연구 교류를 나눈 김예찬 연구원님에게 고맙다는 인사 전하며, 다음에 기회가 된다면 또 볼 수 있기를 바란다.

[12월 3~5일, 메인 컨퍼런스 및 포스터 발표]

"The Oak Architecture: A Vision of SuperIntelligence from Experience" 리처드 서튼 교수 초청 강연을 들으면서 일정을 시작했다. 발표 요지는 현재 AI가 true intelligence를 구현하는 길에서 다소 벗어나 있으며, 이를 바로잡는 방향으로 나아가야 한다는 것이다. 인간 지식을 모델에 직접 주입하려는 시도는 단기적으로 효과적일지 몰라도, 결국에는 거대하고 복잡한 현실 세계를 다 담아내기에는 한계가 있다고 주장한다. 따라서 현재 고정된 모델 학습 방식을 넘어서, 에이전트가 실제 세계와 상호작용하는 과정에서 스스로 개념을 추상화하고 계획을 수립해야 한다고 강조한다. 해당 연구 제안 아키텍처 Oak는 에이전트가 스스로 하위 목표를 설정하고, 경험을 통해서 세상이 작동하는 원리를 구축해 나가는 continual learning 구조이다. 세부적인 알고리즘을 떠나서, AI가 인간 설계 범위를 넘어 스스로 적응하고 성장하려면 어떤 구조 및 기반을 갖춰야 하는지에 대한 통찰을 얻을 수 있는 시간이었다.

학회 포스터 발표에서 모델 reasoning 능력을 다루는 연구들을 꽤 많이 볼 수 있었다. 그중 Apple 연구진의 "The Illusion of Thinking" 포스터 발표가 기억에 남는다. 해당 연구에서는 하노이의 탑처럼 난이도 조절이 가능한 퍼즐로 실험을 진행했는데, 문제 복잡도가 일정 수준을 넘으면 모델 성능이 0에 가깝게 떨어지는 것을 확인할 수 있었다. 문제가 매우 어려워지면 모델이 더 오래 생각하는 것이 아니라, 오히려 사고 과정(token)을 줄이고 포기하는 현상이 나타난다. 모델들이 보여주는 생각하는 과정이 진정한 알고리즘적인 사고나 planning 능력은 아니라는 주장이 인상적이었다. (해당 논문을 검색하는 과정에서, 이 연구에 대해 비판적인 시각을 제시하는 연구들이 이미 존재한다는 점도 확인할 수 있었다.) 

메인 컨퍼런스 마지막 날, Deep Learning Oral 세션에서 발표된 3편 중 2편이 'Linear Mode Connectivity (LMC)'를 주제로 다룬 점이 인상적이었다. LMC는 서로 다른 초기값으로 학습된 두 모델의 파라미터를 적절히 정렬해서 합치거나 평균을 내더라도 성능이 유지될 수 있는지를 다루는 개념이다. 보통은 독립적으로 학습된 모델을 단순히 섞어버리면 성능이 망가지지만, 뉴런 순서 등 내부 구조를 잘 맞춰주면 연결이 가능하다는 것이 요지이다. 결국은 서로 다른 모델들을 어떠한 손실 없이 하나로 잘 합치는 방법에 대한 이야기라고 생각한다. 연구실에서 federated learning을 연구하는 연구원들이 있는데, 모델 통합 관점에서 LMC가 밀접한 관련이 있어 보여 참고하면 도움이 될 수도 있지 않을까라는 생각이 들었다.

포스터 발표는 연구를 함께한 강현구 교수님과 진행하였으며, 많은 사람들이 오고 가는 상황에서 성공적으로 마칠 수 있었다. 특히 연구 주제에 대해서 깊이 이해하고 있는 연구자들과의 토론을 통해 내 연구를 한층 더 심도 있게 바라볼 수 있었다. 질문의 결도 매우 다채로웠다. 최적화 테크닉 자체를 파고드는 분, 데이터셋의 분포 변화 특성을 짚으면서 질문하신 분, worst-case 최적화가 근본적으로 왜 필요한지에 대해서 굉장히 철학적으로 질문하신 분, 정말 다양한 질문들을 받았었다. 포스터 발표를 진행하며 오히려 내가 더 많은 것을 배우고 시야를 넓힐 수 있었던 시간이었다.

[12월 6일, 샌디에고 마지막 날, 귀국]

마지막 날은 메인 컨퍼런스에서 보고 들은 내용들을 차분히 정리하는 시간을 가졌다. 메모와 사진으로 남겨둔 발표 자료들을 다시 한번 훑어보며 생각을 갈무리했다. 귀국 편이 저녁 비행기라 잠시 시간이 남아 인근 코로나도 해변에 들렀다. 잠시나마 탁 트인 풍경을 즐기며 학회 일정을 마무리하고 공항으로 향했다.

학회 기간 동안 최신 연구 동향을 현장에서 직접 체감하고, 다양한 분야의 연구자들과 폭넓게 교류할 수 있어 정말 뜻깊었다. 이번 학회에서 얻은 경험을 앞으로의 연구 활동에 잘 녹여내 보고자 한다.