1. 개요

: 3일간 진행된 로보시지의 Physical AI 교육에 참여했다. LeRobot CLI, Physical-Labs, Isaac Sim이라는 세 가지 도구를 순서대로 다루며, 로봇 제어부터 데이터 수집, 모델 학습, 추론까지 전체 사이클을 직접 실습해보는 과정이었다. 3인 1로봇(LeKiwi)으로 진행되어 단순히 이론을 듣는 데 그치지 않고, 직접 로봇을 조작하며 각 과정을 경험할 수 있었다. 평소 AI 모델을 연구하면서 학습이나 추론 과정에는 익숙했지만, 실제 로봇에서는 데이터가 어떻게 만들어지고 그 데이터가 어떻게 로봇의 행동으로 이어지는지 구체적으로 경험해본 적은 없었다. 이번 교육을 통해 데이터 수집부터 실제 로봇의 움직임까지 하나의 과정으로 이어지는 것을 직접 확인할 수 있었다는 점이 특히 의미 있었다.

2. 데이터가 모델을 만든다는 것을 실험으로 확인하다. 

: 첫날은 LeRobot CLI를 이용해 캘리브레이션과 텔레오퍼레이션을 익히는 것부터 시작했다. 리더 암을 움직이면 팔로워 암이 그대로 따라 움직이는 모습이 처음에는 신기했지만, 곧 사람이 조작하는 하나하나의 움직임이 그대로 학습 데이터가 된다는 점이 더 흥미롭게 느껴졌다. 물체를 집어 옮기는 동작을 반복하며 데이터를 수집했는데, 처음에는 단순히 과제를 성공시키는 것에만 집중했다. 하지만 여러 에피소드를 쌓다 보니 같은 작업을 수행하더라도 매번 전혀 다른 방식으로 움직이면 오히려 학습하기 어려운 데이터가 될 수 있다는 점을 알게 되었다. 이후에는 하나의 동작 순서를 정하고 가능한 한 유사한 방식으로 과제를 수행하려고 의식하면서 데이터를 수집했다. 데이터 수집 역시 단순 반복 작업이 아니라 나름의 기준과 전략이 필요한 과정이라는 점이 인상 깊었다. 그렇게 만든 첫 번째 데이터셋으로 모델을 학습했지만 결과는 기대만큼 좋지 않았다. 로봇이 물체를 엉뚱한 방향으로 지나치거나 허공에서 그리퍼를 닫는 모습을 보면서 처음에는 모델의 문제라고 생각했다. 하지만 다음 날 데이터의 품질과 수집 방법에 대해 배우면서, 모델만큼이나 어떤 데이터를 학습시켰는지가 중요하다는 것을 이해하게 되었다. 이후 물체의 위치와 초기 조건을 조금씩 변화시키고, 수집 과정에서 문제가 있었던 에피소드를 확인하며 데이터를 다시 구성한 뒤 모델을 재학습했다. 같은 로봇과 같은 과제인데도 데이터가 달라지자 로봇의 동작에도 차이가 나타났다. 그동안 머신러닝을 공부하면서 자주 들었던 ‘데이터가 중요하다’는 말을 알고는 있었지만, 내가 직접 만든 데이터에 따라 실제 로봇의 움직임이 달라지는 모습을 보니 그 의미가 훨씬 구체적으로 와닿았다.

3. 오픈소스 표준부터 시뮬레이션까지, 실무에 가까운 도구 스택을 경험하다. 

: 처음 LeRobot CLI에서 명령어를 하나씩 입력하며 환경을 설정할 때는 다소 낯설고 복잡하게 느껴졌다. 하지만 캘리브레이션, 텔레오퍼레이션, 데이터 수집, 학습으로 이어지는 과정을 직접 명령어로 수행하다 보니 오히려 전체 파이프라인의 구조를 이해하는 데 도움이 되었다. 둘째 날 GUI 기반의 Physical-Labs를 사용하면서는 첫날 경험했던 과정들이 화면의 기능과 자연스럽게 연결되었다. 단순히 버튼을 누르는 데 그치는 것이 아니라, 이전에 CLI에서 수행했던 작업이 GUI에서는 어떤 기능으로 구현되어 있는지를 생각하며 사용할 수 있어 이해가 한결 수월했다. 특히 관절 좌표와 직교 좌표 기반의 제어를 각각 실습하면서, 그동안 개념적으로만 알고 있던 로봇 제어 방식의 차이를 실제 움직임을 통해 확인할 수 있었다. 마지막 날에는 NVIDIA Isaac Sim을 활용해 시뮬레이션 환경을 구성하고 가상의 로봇을 직접 조작해보았다. 실물 로봇과 달리 시뮬레이션에서는 객체의 위치나 환경 조건을 자유롭게 설정할 수 있어, 실제 환경에서는 만들기 어려운 다양한 조건의 데이터를 생성할 수 있다는 점이 인상적이었다. 반면 원하는 실험 환경을 만들기 위해서는 객체를 직접 배치하고 여러 설정을 조정해야 했기 때문에, 시뮬레이션 역시 단순히 데이터를 쉽게 얻는 도구라기보다는 실험 목적에 맞는 환경을 설계하는 과정이 중요하겠다는 생각이 들었다. 

4. 교육을 마치며

: 3일이라는 시간이 짧게 느껴질 만큼 밀도 있는 과정이었다. 무엇보다 이번 교육을 통해 좋은 모델을 만드는 과정은 모델을 학습시키는 순간부터 시작되는 것이 아니라, 그보다 앞선 데이터 수집 단계에서부터 시작된다는 점을 직접 경험할 수 있었다. 내가 수집한 데이터의 문제점이 실제 로봇의 실패로 나타나고, 이를 다시 수정해보는 과정을 경험했다는 것이 가장 큰 수확이었다. 또한 LeRobot을 통한 오픈소스 기반의 파이프라인부터 Physical-Labs의 통합 환경, Isaac Sim을 이용한 시뮬레이션까지 순서대로 경험하면서 Physical AI에서 사용되는 여러 도구가 하나의 흐름 안에서 어떻게 연결되는지도 이해할 수 있었다. 로봇이라는 하드웨어 때문에 막연히 어렵게만 느껴졌던 Physical AI가 이번 교육을 통해 훨씬 구체적으로 다가왔고, 앞으로 관련 연구를 접했을 때도 이전보다 전체 과정을 쉽게 그려볼 수 있을 것 같다. 짧은 기간이었지만 직접 로봇을 움직이고, 데이터를 만들고, 그 데이터로 학습한 모델이 다시 로봇을 움직이는 과정까지 경험할 수 있어 의미 있는 시간이었다. 이러한 경험을 할 수 있도록 기회를 마련해주신 분들과 교육을 준비하고 진행해주신 로보시지 관계자분들께 감사드린다.