- 2026년 8월 28일 오후 9:38
- 조회수: 388
INFORMATION
- 2026년 8월 28일
- 오후 12시 ~
온라인 비디오 시청 (YouTube)
정재우
TOPIC
On-Line Video
OVERVIEW
요약:
기존 Vision-Language-Action Model(VLA)은 시각 관측과 언어 지시로부터 로봇의 행동을 직접 생성하는 정책 모델이다. 그러나 전문가 시연에 대한 모방학습에만 의존하는 기존 VLA는 환경의 역학에 대한 이해 없이 관측과 행동을 직접 사상하므로, 분포 외 상황에 취약하고 실패로부터 스스로 교정하지 못한다는 한계를 지닌다.
이를 보완하기 위해 월드 모델(World Model)을 VLA에 접목하는 연구들이 등장하며 활발히 진행되고 있다. 월드 모델은 에이전트가 환경의 역학(dynamics)을 학습하여 자신의 행동이 초래할 미래 상태를 예측할 수 있도록 하는 내부 모델로, 실제 상호작용 없이도 계획과 정책 학습을 가능하게 한다. 최근 월드 모델 기반 VLA 연구는 월드 모델을 정책의 보조 표현으로 사용하는 단계에서 정책이 상호작용하는 환경 자체로 사용하는 방법으로 발전하고 있다. 본 세미나에서는 이러한 흐름을 대표 연구들을 통해 살펴보고, VLA 분야 내 월드 모델의 역할 변화와 예측 대상 및 예측 공간의 설계 선택이 정책 성능에 미치는 영향을 함께 논의하고자 한다.
청취자 후기
김성범 교수님
이번 발표는 world model-based vision-language-action(VLA)이라는 최신 연구 주제를 선정하여, 기존 VLA의 한계에서 world model의 필요성으로 이어지는 흐름을 체계적으로 설명하였습니다. 특히 기존 VLA가 현재의 visual observation과 language instruction으로부터 action을 직접 생성하기 때문에, 학습하지 않은 상황에 대한 대응이나 행동 결과 예측, 오류 발생 후 복구에 한계가 있다는 점을 먼저 제시한 구성이 좋았습니다.
이어서 3D-VLA에서는 3D 공간 이해와 goal generation을 기반으로 행동을 계획하는 과정을 설명하였고, DreamVLA에서는 미래 전체 이미지를 생성하기보다 dynamic region, depth, semantic information을 선택적으로 예측한다는 차별점을 잘 보여주었습니다. 이를 통해 world model-based VLA가 단순한 미래 예측에서, 행동에 필요한 핵심 정보를 효율적으로 예측하는 방향으로 발전하고 있음을 잘 전달하였습니다.
또한 발표 마지막에 3D-VLA, DreamVLA, 그리고 최근 world model-based VLA 연구의 흐름을 연결하여 정리한 부분이 좋았습니다. 개별 논문을 단순히 나열하기보다 각 연구가 기존 방법론의 어떤 한계를 해결하려고 하였는지를 중심으로 설명하여 발표의 전체 메시지가 명확하였습니다.
다만 앞으로는 각 방법론의 한계와 본인의 비판적인 의견을 조금 더 강조하면 더욱 좋은 발표가 될 것 같습니다. 예를 들어 long-horizon task에서 prediction error가 누적될 가능성이나, world model의 예측이 실제 policy 성능에 어떤 영향을 미치는지까지 함께 논의하였다면 발표의 깊이가 더욱 높아졌을 것으로 생각합니다. 앞으로는 논문 내용을 전달하는 것에서 한 단계 더 나아가, 어떤 접근이 더 합리적인지와 아직 해결되지 않은 문제가 무엇인지에 대한 본인의 의견을 조금 더 포함한다면 더욱 좋은 발표가 될 것입니다.
아울러 발표 중 마른기침을 자주 하여 듣는 사람이 발표에 집중하는 데 불편을 느낄 수 있었습니다. 물론 생리적인 현상일 수 있지만, 발표에서는 내용 뿐 아니라 전달 방식과 작은 습관까지 점검하고 개선하려는 노력이 필요합니다. 이러한 세세한 부분까지 스스로 인식하고 개선해 나간다면 한 단계 더 성장할 수 있을 것입니다. 수고 많았습니다.