오스트리아 비엔나(빈)에서 개최된 International Conference on Learning Representations (ICLR)에 참가했다. ICLR은 12년째로 비교적 역사는 짧으나 인공지능 대가들이 만들었고 최근 해당 분야 열풍에 top conference 대열에 합류한 학회다. 2013년 이후 거의 매해 2~3배씩 발표 논문 수가 증가하여 올해는 무려 2,260개 (작년에는1,204개)가 발표되었다. 엄청난 숫자다.

1. ICLR을 비롯하여 최근 인공지능 top conference는 구두 발표를 최소화하고 대부분을 포스터 발표로 한다. 올해 2,260개 발표 중에 구두발표는 86개뿐이었고, 나머지 2,174개는 모두 포스터로 발표되었다. 자세한 내용보다는 전반적인 연구 흐름을 파악하기에는 좋은 방식인 것 같다. 구두 발표는 저자의 일방적인 설명으로 끝나지만 포스터는 내가 궁금한 점을 1대 1로 자세하게 물어 볼 수 있다는 장점이 있다. 물론 너무 사람이 많아 쉽지 않았지만…

2. 최근 연구 동향은 단연 생성형 AI(Generative AI)가 주를 이루고 있다. 거대언어모델(large language model; LLM)과 diffusion 모델을 통한 이미지 생성 연구가 많이 발표되었다. 우리 연구실에서 발표한 2편 논문도 모두 diffusion 관련 내용이다. 주어진 이미지를 우리가 원하는 방향으로 변경할 수 있는 image editing 방법에 대한 연구와, 3차원 이미지 생성에서 원근감을 향상시키는 연구다. 모두 최선을 다해 준비했고, 2시간 동안 다양한 질문에 답을 하며 값진 경험을 했으리라 생각된다.

3. 키노드 발표들은 정말 주옥같다.
(1) 첫쩨날. MIT Priya Donti 교수의 “Why your work matters for climate in more ways than you think” 는 기후변화에 어떻게 AI가 적용될 수 있는지를 보여주었는데 전반적인 AI모델링에 대한 핵심도 잘 요약해 주어 많은 인사이트를 얻을 수 있었다.
(2) 둘째날, 딥마인드 Raia Hadsell 발표(Learning through AI’s winters and springs: unexpected truths on the road to AGI)에서는 Multitude (여러 개로 이루어진 모델) vs Monolith (한 개의 덩어리로 이루어진 모델)의 대한 인사이트를 얻을 수 있었다. 결국 이분은 모듈화된 multitude 가 앞으로의 방향이 될 것으로 전망하고 있다. 철 학과 출신이라 그런지 말의 품위가 느껴지는 발표였다.
(3) 셋째날, 조지아텍 Devi Parikh 교수 강연 (Stories from my life) 은 본인이 지난 20여 년간 인공지능 연구자로 어떻게 커리어를 쌓았는지에 대한 내용이었다. 누구든 그렇겠지만 우연찮은 만남, 기회, 좌절, 성취 이런 것들이 실타래처럼 얽히고설켜 지금에 본인이 있다는 내용이다.
(4) 마지막 날, Max Planck 연구소 Moritz Hardt 강연 (The emerging science of benchmarks). 보통 방법론을 제안하게 되면 여러가지 benchmark 데이터셋을 이용해서 성능을 검증하게 되는데 이 경우 주의해야 할 점을 자세하게 언급한 내용이었다. 정제된 벤치마크와 그렇지 않은 벤치마크를 ImageNet과 ImageNot 데이터를 이용해 흥미롭게 설명을 하였다. 본 강연을 통해 보다 객관적인 방법론 검증에 대해 생각해 볼 수 있었다.

4. 이번 ICLR에서 특징은 현재 인공지능 분야에서 활발한 연구자를 초청하여 그냥 자유롭게 대화하는 세션이 여러 개 열렸다는 점이다. NYU 조경현 교수님 세션에 참여했는데 생각보다 재미있는 경험이었다. 일단 조경현 교수님은 정말 재미있게 말한다. 내가 알기론 한국에서 대학까지 나온 토종한국인인데 영어가 정말 유창하고 유머감각도 대단하다. 최근 우리나라 학생들도 영어 실력이 많이 늘었지만, 커뮤니케이션 능력이 정말 중요하다는 것을 다시금 느낄 수 있었다. 최근 신약 개발 분야 연구를 많이 하고 계신대 자연어 처리 분야에서 의학 쪽으로 연구 분야를 확장한 이유에 대한 질문에 다음과 같이 명쾌하게 답을 하셨다. “방법론 연구도 좋지만 이를 어떻게 실제 문제에 적용할지에 대한 갈망이 생겼고, 이 중 인간의 생명에 대한 난제를 해결하고 싶었다.” 조경현 교수님 세션을 듣고 난 후 한 문장 요약 “Communication is all you need.”

5. 이번 학회에서 ChatGPT4를 정말 유용하게 사용했다. 음식점에서 독일어 메뉴를 사진으로 찍어 “한국어로 번역해 줘”라고 하면 정말 정확하게 나온다. 길거리에 있는 기념비, 조각상, 동상을 사진으로 찍어 알려 달라고 하면 비교적 정확하게 알려 준다. 아주 든든하고 똑똑한 친구를 항상 데리고 다니는 느낌이다. 구글맵, 우버, ChatGPT4, 유튜브, 넷플릭스만 있으면 이제 언제 어디서라도 두려울 게 없는 세상이다.