- 2026년 8월 28일 오후 9:38
- 조회수: 441
INFORMATION
- 2026년 8월 28일
- 오후 12시 ~
온라인 비디오 시청 (YouTube)
정재우
TOPIC
On-Line Video
OVERVIEW
요약:
기존 Vision-Language-Action Model(VLA)은 시각 관측과 언어 지시로부터 로봇의 행동을 직접 생성하는 정책 모델이다. 그러나 전문가 시연에 대한 모방학습에만 의존하는 기존 VLA는 환경의 역학에 대한 이해 없이 관측과 행동을 직접 사상하므로, 분포 외 상황에 취약하고 실패로부터 스스로 교정하지 못한다는 한계를 지닌다.
이를 보완하기 위해 월드 모델(World Model)을 VLA에 접목하는 연구들이 등장하며 활발히 진행되고 있다. 월드 모델은 에이전트가 환경의 역학(dynamics)을 학습하여 자신의 행동이 초래할 미래 상태를 예측할 수 있도록 하는 내부 모델로, 실제 상호작용 없이도 계획과 정책 학습을 가능하게 한다. 최근 월드 모델 기반 VLA 연구는 월드 모델을 정책의 보조 표현으로 사용하는 단계에서 정책이 상호작용하는 환경 자체로 사용하는 방법으로 발전하고 있다. 본 세미나에서는 이러한 흐름을 대표 연구들을 통해 살펴보고, VLA 분야 내 월드 모델의 역할 변화와 예측 대상 및 예측 공간의 설계 선택이 정책 성능에 미치는 영향을 함께 논의하고자 한다.
청취자 후기
김성범 교수님
이번 발표는 world model-based vision-language-action(VLA)이라는 최신 연구 주제를 선정하여, 기존 VLA의 한계에서 world model의 필요성으로 이어지는 흐름을 체계적으로 설명하였습니다. 특히 기존 VLA가 현재의 visual observation과 language instruction으로부터 action을 직접 생성하기 때문에, 학습하지 않은 상황에 대한 대응이나 행동 결과 예측, 오류 발생 후 복구에 한계가 있다는 점을 먼저 제시한 구성이 좋았습니다.
이어서 3D-VLA에서는 3D 공간 이해와 goal generation을 기반으로 행동을 계획하는 과정을 설명하였고, DreamVLA에서는 미래 전체 이미지를 생성하기보다 dynamic region, depth, semantic information을 선택적으로 예측한다는 차별점을 잘 보여주었습니다. 이를 통해 world model-based VLA가 단순한 미래 예측에서, 행동에 필요한 핵심 정보를 효율적으로 예측하는 방향으로 발전하고 있음을 잘 전달하였습니다.
또한 발표 마지막에 3D-VLA, DreamVLA, 그리고 최근 world model-based VLA 연구의 흐름을 연결하여 정리한 부분이 좋았습니다. 개별 논문을 단순히 나열하기보다 각 연구가 기존 방법론의 어떤 한계를 해결하려고 하였는지를 중심으로 설명하여 발표의 전체 메시지가 명확하였습니다.
다만 앞으로는 각 방법론의 한계와 본인의 비판적인 의견을 조금 더 강조하면 더욱 좋은 발표가 될 것 같습니다. 예를 들어 long-horizon task에서 prediction error가 누적될 가능성이나, world model의 예측이 실제 policy 성능에 어떤 영향을 미치는지까지 함께 논의하였다면 발표의 깊이가 더욱 높아졌을 것으로 생각합니다. 앞으로는 논문 내용을 전달하는 것에서 한 단계 더 나아가, 어떤 접근이 더 합리적인지와 아직 해결되지 않은 문제가 무엇인지에 대한 본인의 의견을 조금 더 포함한다면 더욱 좋은 발표가 될 것입니다.
아울러 발표 중 마른기침을 자주 하여 듣는 사람이 발표에 집중하는 데 불편을 느낄 수 있었습니다. 물론 생리적인 현상일 수 있지만, 발표에서는 내용 뿐 아니라 전달 방식과 작은 습관까지 점검하고 개선하려는 노력이 필요합니다. 이러한 세세한 부분까지 스스로 인식하고 개선해 나간다면 한 단계 더 성장할 수 있을 것입니다. 수고 많았습니다.
장현성
최근 인건비가 계속 높아지고 근무 시간 단축 등의 요인으로 인해 기업들은 단순 반복 작업이나 열악한 환경에서 24시간 일하는 장점을 가진 로봇 제어 연구에 큰 관심을 가지고 있습니다. 그 중심에 있는 연구 분야가 바로 vision-language action (VLA) model입니다. 하지만 VLA는 학습과 실제 추론 시의 괴리, 학습 데이터 수집의 문제 등 고려해야 할 부분이 타 AI 연구에 비해 굉장히 많기 때문에 연구 진입장벽이 높습니다. 특히, 학습 데이터의 수집 과정이 매우 복잡하고 비용이 많이 드는데, 이러한 문제를 완화하고자 world model이라는 개념이 등장하였습니다. 본 발표에서는 어떻게 world model을 구성하고, VLA가 어떻게 world model을 이용해야 하는지에 대해서 다루고 있습니다.
초기 연구인 3D-VLA는 로봇이 보고 배우는 2D 장면을 3D 장면으로 재구성하여 데이터가 표현할 수 있는 정보량을 늘리고 로봇이 3D 장면의 공간감을 학습할 수 있도록 설계한 방법론입니다. 3D-VLA는 특정 토큰들을 추가하여 로봇이 3D 장면을 이해하고 내 상태가 어떤지와 행동을 어떻게 해야하는지 학습하도록 하였습니다. 이를 통해 VLA는 데이터를 그대로 넣기보다는 잘 전처리한 다음 정량화된 기준과 함께 학습해야 함을 알 수 있습니다.
다음으로 소개하는 DreamVLA는 로봇이 학습해야 하는 특징 또는 표현을 움직임, 깊이, 의미 등의 하위 개념으로 분리하여 학습하도록 합니다. DreamVLA는 3가지 개념에 대해 각각 성능이 우수한 모델을 정답 label로 삼은 다음, 경량 ViT 디코더가 이를 학습하도록 자동화한다는 점에서 큰 의의가 있습니다. 또한 시뮬레이션 환경과 실제 로봇 환경 둘 다 실험을 진행하여 실제로 학습 효과에 대한 정당성을 입증하고 있습니다. 마지막으로 ablation을 통해 로봇도 인간처럼 여러 복합 정보를 같이 활용해야 함을 보여주고 있습니다.
VLA만으로도 정보량이 굉장한데 world model까지 다루어 더 알아갈 점이 많은 세미나입니다.
좋은 발표 감사합니다.