(1) 개요

9월 14일부터 16일까지 로보시지에서 진행한 Physical AI 교육을 수강하였다. 연구실 선배님들이 로봇으로 연구하는 모습을 보며 데이터를 어떻게 쌓고 연구를 어떻게 진행하는지 궁금했었다. LLM에 물어봐도 잘 와닿지 않는 부분이 많았는데, 이번 교육에서 실제 로봇으로 데이터 수집부터 학습, 추론까지 전 과정을 직접 체험하며 그 궁금증이 상당히 해소되었다. 로봇 경험이 없는 상태에서 VLA 연구를 시작했다면 환경 설정부터 많은 시행착오를 겪었을 텐데, 짧은 기간 동안 핵심을 알차게 배울 수 있었고 로봇에 대한 진입 장벽도 크게 낮아졌다.

(2) 로봇 학습에 좋은 데이터란 무엇일까?

교육은 크게 실물 로봇 실습과 Isaac Sim 기반의 가상 로봇 실습으로 구성되었다. 두 환경 모두 리드암을 이용한 텔레오퍼레이션으로 데이터를 수집하였으며, 로봇 팔이 빨간색 큐브를 집어 바구니에 넣는 에피소드를 직접 구현하였다. 이때 가장 중요한 것은 데이터의 일관성이었다. 단순히 머리를 비우고 동작을 반복하는 것이 아니라, 나만의 규칙을 정해 일관성을 유지해야 한다. 예를 들어 큐브에 접근할 때 그리퍼를 미리 열어둘지, 팔을 뻗을 때 어떤 관절을 위주로 움직일지를 의식하며 수집해야 한다는 점이 인상 깊었다. 이렇게 사람이 한 에피소드씩 직접 조종하며 데이터를 쌓아야 하는 만큼, 로봇 분야에서는 적은 데이터로 효율적으로 학습하는 방법 또한 중요한 연구 주제일 것이라는 생각이 들었다.

(3) 시뮬레이션으로 무엇을 할 수 있을까?

3일차에는 로봇 시뮬레이션 플랫폼인 Isaac Sim을 실습하였다. 현실에서는 로봇 환경 구축에 제약이 많지만, Isaac Sim에서는 건물 내부 등 원하는 환경을 자유롭게 만들 수 있고 중력, 마찰 같은 물리 계수도 조절할 수 있다. 다양한 환경을 구현해 보며 Isaac Sim의 핵심 기능과 사용법을 익혔고, 강의실에서는 구현할 수 없는 환경에서도 텔레오퍼레이션으로 로봇을 조종하며 학습 데이터를 수집해 보았다. 다만 실물이 아닌 2D 화면을 보며 로봇 팔을 조종하는 것이 더 어려웠고 익숙해지려면 연습이 더 필요할 것 같다.

(4) 마치며

직접 수집한 데이터로 모델을 학습시키고 로봇이 열심히 큐브를 집어서 바구니에 넣으려는 모습을 보았을 때 꽤나 뿌듯했다. 그동안 로봇과 Physical AI는 내 연구와 거리가 멀게 느껴졌지만, 이번 교육을 통해 흥미를 느꼈고 로봇이 실수를 줄이고 더 부드럽게 움직이려면 어떻게 해야 할지 연구적인 호기심도 생겼다. 불편함 없이 교육을 들을 수 있도록 준비해 주신 연구원분들과 좋은 기회를 마련해 주신 교수님께 감사드리며 후기를 마친다.