9월 14일부터 16일까지 로보시지에서 진행한 Physical AI 교육 중, 나는 셋째 날 진행된 ‘LeKiwi Isaac Sim 수업’에 참여하였다. 최근 Physical AI와 로봇 학습에 대한 관심이 높아지고 있는 만큼, 실제 로봇 학습을 위한 데이터가 어떻게 만들어지는지 직접 경험할 수 있다는 점에서 아주 좋은 기회라고 생각했다. 아쉽게도 첫째 날과 둘째 날 교육에는 참석하지 못했다. 대신 제공된 교육 자료를 통해 LeKiwi 환경 설정, Raspberry Pi 연결, 캘리브레이션, 텔레오퍼레이션 등 앞선 내용을 따로 살펴보았다. 이를 바탕으로 셋째 날 진행된 Isaac Sim 실습이 앞선 실제 로봇 실습과 어떻게 이어지는지도 함께 이해해 보고자 했다.

셋째 날에는 Isaac Sim에서 물리 환경을 살펴보고, 가상의 LeKiwi를 직접 조작해 시연 데이터를 수집하는 과정을 실습했다. 특히 내가 직접 로봇을 움직인 과정이 그대로 학습에 사용할 수 있는 데이터로 저장된다는 점이 가장 흥미로웠다.

 LeKiwi는 로봇 팔과 이동 가능한 베이스, 카메라를 함께 사용하는 로봇 플랫폼이다. 로봇 팔로 물체를 집거나 옮길 수 있고, 이동 베이스를 이용해 로봇 자체도 움직일 수 있다. 아직 학습되지 않은 로봇에게 원하는 작업을 시키려면 먼저 사람이 직접 조작하며 시범을 보여 줄 필요가 있다. 이때 사용하는 방식이 텔레오퍼레이션(teleoperation)이다. 텔레오퍼레이션에서는 사람이 리더 암(leader arm) 을 직접 움직이면 로봇의 팔이 그 움직임을 따라간다. 리더 암은 사람이 조작하는 입력 장치이고, 실제로 움직임을 수행하는 로봇 팔은 팔로워 역할을 한다. 이동 베이스는 키보드로 조작한다. 즉 리더 암으로 팔의 자세를 정하고, 키보드로 로봇의 이동 방향을 제어하면서 하나의 작업을 수행한다. 이 과정에서 로봇이 카메라와 관절을 통해 받아들이는 정보를 observation, 사람이 로봇에게 전달하는 움직임을 action이라고 한다. 결국 로봇 학습 데이터는 “현재 이런 상황에서 사람이 이렇게 움직였다”는 observation과 action의 관계를 기록한 데이터라고 볼 수 있다.

셋째 날에는 NVIDIA에서 제공하는 로봇 시뮬레이션 플랫폼인 Isaac Sim 안에 구현된 가상의 LeKiwi를 사용했다. Isaac Sim은 실제 로봇을 직접 움직이지 않아도 가상공간에서 로봇과 주변 환경을 만들고, 중력이나 충돌과 같은 물리 현상을 적용해 로봇의 움직임을 실험할 수 있는 시뮬레이터이다. 실제 로봇과 물체를 매번 준비하지 않아도 같은 조건을 반복해서 만들고 실험할 수 있다는 점이 큰 장점이다.

 수업 초반에는 바로 로봇을 움직이지 않고 Isaac Sim의 빈 공간에 바닥과 큐브를 만들었다. 이후 중력, 충돌, 질량, 마찰, 반발과 같은 물리 속성을 바꾸며 물체의 움직임이 어떻게 달라지는지 확인했다.

예를 들어 큐브에 중력이 적용되어도 충돌 설정이 없다면 큐브는 바닥을 그대로 통과한다. 반대로 충돌 조건까지 설정해야 우리가 예상하는 것처럼 바닥 위에 멈춘다. 이를 통해 시뮬레이션의 환경 역시 자동으로 만들어지는 것이 아니라는 점을 알 수 있었다. 로봇이 물체를 집거나 밀고 떨어뜨리는 행동을 자연스럽게 구현하려면 로봇뿐 아니라 주변 환경의 물리 조건도 제대로 설정되어야 했다.

물리 환경을 살펴본 뒤에는 가상의 LeKiwi를 직접 조작해 시연 데이터를 수집했다. 하나의 작업을 처음부터 끝까지 수행한 기록을 에피소드(episode) 라고 한다. 예를 들어 “빨간 큐브를 빨간 바구니에 넣기”를 한 번 수행하면 하나의 에피소드가 된다.  사람이 로봇을 조작하면 그 순간의 카메라 영상과 로봇 상태, 그리고 실제로 입력한 action이 함께 기록된다. 따라서 데이터를 수집한 뒤 각 장면마다 행동을 다시 Labeling 하는 것이 아니라, 사람이 시범을 보이는 과정 자체가 학습 데이터를 만드는 과정이 된다. 대신 시연의 품질이 중요했다. 로봇을 잘못 움직이거나 중간에 불필요하게 머뭇거리면 그 행동도 데이터에 포함될 수 있다. 직접 데이터를 수집해 보니 Physical AI에서는 모델 구조뿐 아니라 어떤 시연 데이터를 어떻게 만드는지가 중요하다는 점이 인상적이었다.

이번 교육을 통해 Physical AI에서 데이터가 만들어지는 과정을 직접 경험할 수 있었다는 점이 가장 좋았다. 시뮬레이션 환경의 물리 조건을 확인하고, 가상의 LeKiwi를 직접 조작해 시연 데이터를 수집하는 과정을 따라가면서 로봇 학습 데이터가 어떤 방식으로 만들어지는지 보다 구체적으로 이해할 수 있었다.

특히 평소에는 이미 만들어진 데이터셋으로 모델을 학습하는 경우가 많았기 때문에, 내가 직접 수행한 행동이 그대로 학습 데이터가 된다는 경험이 새로웠다. 첫 이틀의 교육에 직접 참여하지 못한 점은 아쉬웠지만, 제공된 자료를 통해 앞선 내용을 보완하고 셋째 날 실습과 연결해 보면서 Physical AI의 전체 흐름을 이해하는 데 많은 도움이 되었다.

최근 활발하게 연구되고 있는 Physical AI를 실제 실습을 통해 경험할 수 있는 좋은 기회를 마련해 주신 교수님과 허종국 연구원님, 그리고 교육을 준비하고 진행해 주신 로보시지 관계자분들께 정말 감사드린다.