(1) 개요

9월 14일부터 16일까지 3일간 진행된 로보시지(Roboseasy)의 Physical AI 교육에 수강생으로 참여하였다. 실제 로봇 하드웨어를 직접 제어하면서 센서 데이터를 수집하고, 그 모델의 추론 결과가 물리적 세계의 실체적인 움직임으로 나타나는 전 과정을 직접 다루어 볼 기회는 흔치 않았다. 특히 최근 주목을 받고 있는 VLA(Vision-Language-Action)나 피지컬 AI 영역은 하드웨어와 환경 설정의 복잡함 때문에 진입 장벽이 다소 높게 느껴지곤 했다. 이번 교육은 LeKiwi 로봇과 LeRobot CLI, Physical-Labs, 그리고 NVIDIA Isaac Sim에 이르기까지 현재 Physical AI 분야에서 활발히 사용되는 핵심 도구 스택과 파이프라인을 체계적으로 접할 수 있는 절호의 기회였다. 단순히 이론적인 설명이나 미리 준비된 데모를 구경하는 데 그치지 않고, 3인 1조로 구성된 환경에서 직접 캘리브레이션부터 데이터 수집, 모델 학습, 실제 로봇의 자율 구동 및 추론에 이르는 전 과정을 하나하나 수행하며 Physical AI의 작동 원리를 명확히 이해하고자 했다.

(2) 데이터 수집과 작업 일관성의 중요성

교육 첫째 날과 둘째 날에는 LeKiwi 로봇의 정밀한 하드웨어 Calibration 작업을 시작으로, 리더 암(Leader Arm)을 직접 조작하여 팔로워 암(Follower Arm)을 동기화하여 제어하는 텔레오퍼레이션(Teleoperation)을 집중적으로 익혔다. 유선 및 무선 통신 환경을 모두 경험하며 연결 조건에 따른 제어 지연이나 조작감의 차이를 체감했고, 로봇팔을 이용해 목표 물체를 정밀하게 집어 지정된 위치로 옮기는 태스크를 수십 회 이상 반복하며 학습용 행동 데이터를 수집하였다. 초기에는 단순히 주어진 과제를 성공시키는 것에만 집중했으나, 회차를 거듭하고 모델 학습 결과를 확인하면서 조작자의 일관된 행동 패턴, 그리퍼를 여닫는 정확한 타이밍, 접근 방식, 관절의 이동 궤적 등 과 정립된 작업 규칙을 유지하는 것이 데이터의 품질과 모델 성능에 절대적인 영향을 미친다는 점을 깨달았다. 동일한 태스크라도 매번 어긋난 동선으로 수집된 데이터는 모델에게 혼란을 주는 노이즈가 될 수 있었다. 이에 따라 목표물 위치의 미세한 변형과 작업 환경 조건의 다변화를 정교하게 설계하여 데이터를 재구성하였고, 수집된 데이터를 Hugging Face Hub에 업로드한 뒤 ACT 및 SmolVLA 모델을 학습시켰다. 모델의 추론 결과를 실제 로봇에 적용했을 때, 데이터 수집 단계에서의 일관성과 정교함이 로봇의 동작 성공률 및 안정성과 직결되는 것을 직접 확인하며 '데이터의 품질이 모델의 성능을 결정한다'는 것을 피부로 느낄 수 있었다.

(3) 가상 환경 시뮬레이션 및 파이프라인 확장

셋째 날에는 NVIDIA Isaac Sim 플랫폼을 활용해 가상 공간에서 로봇의 시뮬레이션 환경을 직접 구축하고 제어하는 실습을 진행하였다. 실제 하드웨어 환경에서는 장비의 손상 위험, 물리적 제약, 혹은 반복 작업의 피로도로 인해 쉽게 시도하기 어려웠던 다채로운 조건, 객체의 위치와 형태 변화, 마찰력, 중력 등의 물리 계수 조정을 가상 공간에서 자유롭게 설정해 볼 수 있다는 점이 매우 인상적이었다. 시뮬레이션을 활용한 대규모 데이터 생성이 갖는 가치와, 목적에 맞는 환경 설계의 중요성을 깊이 이해할 수 있었다. 비록 한정된 시간으로 인해 시뮬레이션 데이터로 학습한 모델을 실제 로봇까지 완전히 이식해 보는 단계까지 나아가지는 못해 아쉬움이 남았지만, 가상 환경 구축에 필요한 다양한 설정과 방법론에 대해서 알 수 있었다. 아울러 LeRobot CLI를 통한 커맨드 라인 제어부터 GUI 기반의 통합 환경인 Physical-Labs, 그리고 Isaac Sim을 활용한 시뮬레이션 영역에 이르기까지 서로 다른 도구들이 하나의 Physical AI 에서 어떻게 유기적으로 연결되는지 전체적인 기술 구조를 알 수 있었다.

(4) 교육을 마치며

3일이라는 제한된 시간이었지만, 논문이나 이론으로만 접했던 VLA 모델과 로봇 제어 개념을 실제 하드웨어 조작과 데이터 기반 학습으로 구현해 본 매우 알찬 시간이었다. 막연하게 어렵게만 느껴졌던 Physical AI 분야에 대한 진입 장벽을 크게 낮출 수 있었고, 단순한 모델링을 넘어 데이터 수집 알고리즘, 로봇 제어, 시뮬레이션 환경 구축이 하나의 선순환 구조로 이어지는 전체 파이프라인의 흐름을 명확하게 파악하게 되었다. 이번 실습을 통해 얻은 데이터 일관성에 대한 감각과 로봇 제어 파이프라인에 대한 이해는 향후 로보틱스 관련 연구를 이해하는 데 있어 큰 도움이 될 것이라 생각한다. 짧은 기간 동안 알찬 교육 과정과 세심한 실습 지도에 힘써주신 로보시지 관계자분들과 강사님들, 그리고 이러한 기회를 마련해 주신 김성범 교수님과 허종국 선배님께 진심으로 깊은 감사의 말씀을 전한다.