(1) 개요 

9월 14일 (월)부터 16일 (수)까지 로보시지에서 주관하는 Physical AI 교육을 수강하였다. VLA와 강화학습 연구를 본격적으로 하기 전에, 인턴으로서 Physical AI 연구를 위한 초기 세팅과 학습 방법에 대한 양질의 교육을 들을 수 있어 좋았다. 첫 번째 날에는 Physical AI의 개요부터 터미널 기반 세팅을 배우고, 두 번째 날에는 로보시지에서 제공하는 프로그램을 통해 로봇을 조작하는 방법을 배웠다. 마지막 날에는 NVIDIA에서 개발한 시뮬레이션 프로그램의 특징을 이해하고 로봇 조작, 학습, 추론을 해볼 수 있었다. 개인적으로 Isaac Gym/Sim과 같은 시뮬레이션은 몇 번 해본 경험이 있지만, 실제 로봇 장비를 가지고 teleoperation까지 해보는 경험은 처음이라 신기하고 재미있었다. 특히, leader arm을 움직여서 follow arm이 동일한 움직임을 행동하는 것을 보는 것 자체로도 재밌는 경험이었다. 또한, 이번 교육에서는 하나부터 열까지 쉽게 되는 것이 없어 도전욕구를 불러일으키게 만들었다. 실제로 교육자분들도 원인을 알 수 없는 문제가 발생하거나 오류가 있을 때 해당 문제를 대처하는 경험을 하게 되어 더 기억에 남는다.

(2) VLA 연구자들은 어떤 어려움을 겪고 논문을 쓴 걸까? 

VLA 논문들을 보면, 다른 분야의 AI 논문들처럼 모델 구조의 개선이나 학습 방법의 개선이 중요하다고 생각했었다. 하지만 3일간의 교육을 들으면서 직접 느낀 바는 완전히 달랐다. 초기 세팅 값에 따라서 실험 결과가 완전히 달라질 수도 있고, 같은 로봇의 유형이더라도 calibration할 때 모터의 관절 값이 다르기 때문에 완전히 동일한 결과가 재현이 불가능하다. 로봇을 직접 조작하며 데이터를 수집하더라도 조작하는 사람의 습관이나 특징에 따라 데이터의 품질이 천차만별이다. 심지어는 성공한 시연 (demonstration) 데이터로만 학습했음에도 불구하고 데이터 속 로봇의 움직임에 일관성이 없으면 실제 환경에서 로봇의 작업 성공률이 급락하는 문제도 있다. 또한, 로봇 행동의 일반화 (generalization)를 위해서는 일부러 실패한 시연 데이터와 초기 상태가 일반적이지 않은 상황을 담은 recovery data가 추가적으로 필요하다. 이번 교육을 통해 다양한 문제들을 경험하 VLA 논문에는 나타나있지 않은 디테일들을 배울 수 있었다. 

(3) 시뮬레이션을 통해 실제 로봇을 학습시킬 수 있을까? 

(2)에서 언급한 것과 같이 사람이 실제 로봇을 조작하여 데이터를 수집하는 것은 (세팅) 시간과 비용이 많이 든다. 따라서 교육 마지막 날에는 Isaac Sim이라는 물리법칙 기반 시뮬레이션 프로그램을 이용하여 로봇 시연 데이터를 수집하고, 이를 실제 로봇에 학습시키는 Sim2Real 방법에 대하여 배웠다. 먼저, VLA 연구자들을 위한 Lekiwi 오픈소스 라이브러리와 Isaac Sim을 서로 호환되게 설치하는 것부터 난관이었다. Isaac Sim은 GPU 드라이버 버전과 cuda가 최신 버전을 지원하지 않기 때문에 설치를 위해서 버전을 다운그레이드 해야했다. 설치를 하고 나면, Isaac Sim에서 로봇을 조작하기 위해 다른 연구자들이 만들어놓은 환경을 불러와야 한다. 그렇지 않으면 조명의 위치부터 시작하여 바닥과 물체의 위치, 크기, 마찰, 탄성, 중력 등 수많은 물리법칙들을 직접 세팅해야 한다. 교육에서는 Isaac Sim의 물리법칙 동작 원리를 직관적으로 이해하기 위해 강사분의 자세한 설명을 그대로 따라가며 어떤 변수가 어떻게 동작하는지 값을 바꿔보며 실험해보았다. 기본적인 이해 이후에, Sim2Real을 위해 시뮬레이션 상에서 로봇 시연 데이터를 수집하였다. 데이터 수집 이후에는, 다양한 조들의 학습결과를 비교해 볼 수 있었다. 잘 수집했다고 생각한 데이터로 학습했음에도 불구하고 조 별로 실제 로봇의 작업 성공률이 크게 다르거나, 작업을 성공하더라도 로봇이 너무 느리게 동작하는 등의 문제가 있었다.

(4) 마치며 

이번 교육은 VLA 논문을 쓰기 위한 결과가 나오기까지 타 분야 대비 정말 많은 과정과 실패가 필요하다는 것을 간접적으로 느끼게되는 계기가 되었다. 앞으로 VLA 논문을 볼 때나 로봇을 이용한 실험을 할 때, 중요하게 챙겨야 할 디테일들을 알 수 있어 좋은 경험이었다. 그리고 3일간 6시간씩 총 18시간의 긴 교육임에도 많은 노력과 신경을 써주신 허종국 선배님과 캡틴 김성수 선배님께 감사드리고, 재밌고 유익한 교육을 제공해주신 로보시지 관계자분들께도 감사드린다.