2025년 9월 27일, 서울 삼성동 코엑스에서 열린 Conference on Robot Learning (CoRL) 2025 Workshop에 참석하였다. CoRL은 이름에서 알 수 있듯 로봇 분야와 밀접한 관련이 있는 학회지만, 그보다 더 넓게 보면 강화학습(RL), 모방학습(IL), 표현 학습(representation learning), 비전-언어 통합 학습(VLA) 등을 포함한 기계학습 전반의 최신 기법이 로봇 시스템에 어떻게 접목되는지를 다루는 학회라고 할 수 있다. 이번 학회에는 Meta, NVIDIA, Google DeepMind 등 글로벌 AI 기업뿐만 아니라 Stanford, Berkeley, MIT 등 유수의 해외 대학 연구진들이 다수 참여하여 활발한 연구 발표와 교류가 이루어졌다.

현재 다중 에이전트 강화학습(MARL) 및 forward dynamics modeling 기반의 sample-efficient learning 기법에 관심을 가지고 연구 중이며, CoRL 워크숍을 통해 로봇 학습 연구의 최신 트렌드와 그 흐름 속에서 나의 연구가 가지는 확장성과 접점을 고민해보고자 하였다.

- Hybrid Thinking in Vision-Language-Action Models

이번 워크숍에서 특히 흥미롭게 다가온 점은, 최근의 로봇 학습 연구가 단순한 행동 예측을 넘어 상황에 대한 추론(reasoning)과 장기 기억(long-term memory)을 고려한 의사결정 구조로 진화하고 있다는 점이었다. 대표적인 예로, “Hybrid Thinking in Vision-Language-Action Models” 연구는 이미지, 자연어 프롬프트, modality token을 입력으로 받아 로봇이 어떤 high-level 행동을 취할지 (Think / Act / Follow) 선택하는 구조를 제안한다. 단순히 observation을 기반으로 즉각적 행동을 예측하던 기존 방식에서 벗어나, ‘생각하고 행동하는’ 두 단계를 구분하여 모델링함으로써 zero-shot 환경에서도 더 높은 일반화 성능을 보여주는 것이 인상적이었다.

- Remembering at Different Levels of Abstraction

또한 Stanford의 Chelsea Finn 교수가 발표한 “Remembering at Different Levels of Abstraction” 세션에서는 최근 대규모 VLA 모델이나 강화학습 모델들이 직면한 memory bottleneck 문제를 중점적으로 다루었다. 강화학습의 MDP 가정은 현재 상태만을 기반으로 다음 행동을 결정하지만, 실제 로봇 시스템에서는 물체의 지속적 추적, 가려짐(occlusion), 연속된 의도 반영 등 장기적인 문맥이 필요한 태스크들이 존재한다. 이를 해결하기 위해 Finn 교수는 과거 상태에 대한 abstraction 기반 token memory를 구성하고, 이를 통해 행동을 예측하는 Past-Token Prediction (PTP) 기반 Diffusion Policy 학습을 제안하였다. 이 구조는 단순히 sequence length를 늘리는 접근보다 훨씬 효율적이며, skill-based RL이나 계획(plan)-중심의 sequential task에도 응용 가능성이 높다는 점에서 많은 영감을 받을 수 있었다.

이번 워크숍은 단순히 새로운 논문을 ‘듣는’ 자리를 넘어서, 내가 수행 중인 연구의 위치를 더 넓은 학문적 맥락에서 조망할 수 있었던 기회였다. 특히 CoRL은 시뮬레이션 기반 실험뿐 아니라 실제 로봇 환경 적용을 고려한 실증적 연구들이 많이 발표되는 경향이 있어, 학술적 정합성과 실용적 적용 가능성의 균형을 고민하는 연구자들에게 매우 적합한 학회임을 느낄 수 있었다.

짧은 하루의 워크숍이었지만, 다양한 연구자들의 시도와 문제의식을 직접 경험하며 많은 자극을 받을 수 있었고, 내가 놓치고 있던 기술적 허들, 일반화 문제, 표현 학습의 방향성 등에 대해 다시금 성찰해보는 시간을 가질 수 있었다. 이 자리를 빌어 귀중한 학회 참석의 기회를 허락해 주신 교수님께 깊이 감사드리며, 함께 참여한 연구실 동료들과도 좋은 인사이트와 추억을 공유할 수 있었던 뜻깊은 하루였다.