9/14~9/16 일동안 로보시지(roboseasy)라는 기업에서 우리 연구실 일부 인원들을 대상으로 로봇 제어 이론 및 실습, IsaacSim 기반 물리 시뮬레이션 환경 구축 및 연동 기초 과정을 수업하였다. 해당 기업은 최근 2026 ICLR에 등재된 HuggingFace의 LeRobot 라이브러리의 실제 로봇들 (SO101, LeKiwi)들을 국내에서 유일하게 인증받아 판매하는 업체이며, 기존 설계된 로봇의 생산 판매 뿐만 아니라 자체 개량, physical AI 교육, 그리고 PoC 및 과제를 통한 컨설팅 또한 진행하는 업체이다. 나 또한 VLA를 연구하기 위해 해당 기업에서 로봇을 구매하여 사용중이다. 최근 우연히 좋은 기회가 있어 해당 업체와 연이 닿아 연락을 주고 받게 되었고, 최근 Physical AI 관심이 급부상함에 따라 기업 및 학교에서 교육에 대한 관심도가 높아지고 있다는 것을 알게 되었다. 교수님께서 지원해주신 덕에 3일 동안 우리 연구실도 이러한 흐름에 올라타 교육을 듣고 Physical AI에 대한 기초를 조금이나마 다질 수 있었다. 3일이라는 기간이 처음에는 짧게 느껴져 이 기간 동안 얼마나 배울 수 있을까가 걱정이었는데, 실제로 수업을 듣고 나니 수업과 실습 내용이 알찼으며 중간중간에 연구실 인원들 몇명은 최근 동향 혹은 연구적인 얘기도 나눌 정도로 뜻깊은 시간이었다.

<주요 교육 내용 및 후기>

1일차 및 2일차에는 mobile manipulator인 LeKiwi를 가지고 실습 했으며, leader arm과 follower arm의 관절 제어 범위를 설정하는 calibration과 둘을 연동하여 제어하는 teleoperation을 먼저 익혔다. 이후 teleoperation을 통해 물체를 이동시키는 태스크의 데이터를 수집하는 방법을 익혔으며, 이 때 데이터 수집을 위해 신경써야할 점이 생각보다 더 많다는 것을 깨닫게 되었다. (1) 데이터를 쌓을 때 일관된 규칙을 가지고 수행할 것: 물체를 집으러 가는 행동을 제어할 때, gripper를 먼저 열고 갈 수도 있고 물체 앞에서 열 수도 있고, 횡방향 이동을 먼저 할지 등 한가지 태스크를 수행하기 위해서는 다양한 multi-modal solution이 존재한다. 다만 imitation learning이나 flow matching 기반 sft policy는 소량의 데이터만 가지고선 이러한 multi-modal solution을 갖추기 어렵다. 따라서 효율적인 데이터 수집을 위해서는 안전수칙처럼 자신만의 규칙을 정하는 것이 좋다. (2) 정밀 조작 태스크에서 실패할 경우 빠른 recovery를 하기 위해 실패 상황에서 복구하는 데이터 또한 수집할 필요가 있다. 모든 데이터를 동일한 초기 포지션에서 시작하는 expert demonstration으로 학습한 로봇의 경우 로봇의 떨림이나 예기치 못한 실수로 인해 객체가 멀어지는 현상을 잘 복구하지 못한다. 이러한 현상을 해결하기 위해 로봇의 초기 포지션 및 객체의 위치를 다양화한 후 태스크를 수행하여 state distribution을 넓히는 것이 좋다라는 것을 알게 되었다. 

이후, 수집한 데이터를 가지고 첫째날은 imitation learning 기반의 ACT, 둘째날에는 경량화된 VLA 모델 중 하나인 smolVLA를 학습후 추론하며 평가하였다. 그리고 이러한 end-to-end 모델 뿐만 아니라 yolo 기반 perception 후 rule-based control로 제어하는 방법, teaching기반 제어 등 고전 제어 알고리즘 또한 체험할 수 있었다. 컨테이너 물류 수송 등 단순 반복작업에서, 객체의 위치만 잘 정렬되고 이변만 없다면 end-to-end 모델을 학습하는 것보다는 rule기반이 낫겠다라는 생각이 들었다. 그렇다면 VLA는 왜 필요할까를 생각해보았을 때, 이론적으로 multi-task가 가능하다는 점, rule이 아니라 학습을 통해 구축되기 때문에 예기치 못한 상황에 대응할 수 있다는 점이 있을 것 같다. 따라서 앞으로 우리 연구실에서 VLA쪽 연구를 하고 싶은 사람들에게 전하고 싶은 말은, 예전처럼 깔끔한 벤치마크에서만 성능 좋은 모델을 구축하는 것은 이제 중요하지 않으며 보다 현실적이고 더 noisy한 상황을 가정하고 연구를 수행하는 것이 더 현실적이라는 것이다.

3일차에는 NVIDIA에서 개발한 IsaacSim을 가지고 물리 시뮬레이션 환경을 구축하는 실습을 진행하였다. 가상 공간에 중력을 적용시키고, 물체를 배치 및 마찰력을 적용하여 실제 세계에서 적용되는 물리 법칙을 그대로 재현해보았다. 해당 실습이 본 교육 과정 중 가장 인상 깊었는데, IsaacSim이 왜 이렇게 각광받는지, 그리고 어떻게 물리 법칙이 적용되는 환경을 정교하게 설계할 수 있는지 몸소 체험하였기 때문이다. 뿐만 아니라 로보시지에서 실물과 거의 비슷한 무게, 마찰력, 힘을 가진 Lekiwi 로봇을 그대로 IsaacSim에서 재현하였는데, 키보드 및 leader arm과의 teleoperation을 통해 IsaacSim에서 시뮬레이션 데이터 수집을 진행해볼 수 있어서 더욱 좋았다. 다만 IsaacSim에서 이러한 정교한 시뮬레이션을 만들기 위해선 물체별 마찰력, 무게, 좌표계, 조인트등을 모두 직접 구현해야 하기 때문에 로봇이 기성품(이미 설계가 알려진)이거나 작업 공간에 대한 asset을 누군가가 배포하지 않는 이상, 자신만의 환경에서 자신의 로봇을 구현하는 것은 상당히 어려울 것으로 예상된다. 다만 최근 유행하는 ChatGPT Astra 등 에이전트의 바이브 코딩을 통해 어느 정도는 메울 수 있다고 강사분께서 말씀해 주셨다.

올해 4월 교수님과 브라질에 학회차 방문하였을 때 키노트 연설을 통해 physical AI에 대한 필요성을 더욱 절실히 느낄 수 있었다. 이때, 우리 연구실에서도 이러한 연구가 활성화되길 바랬으며 어떻게하면 모두가 관심을 가지게 될까 혼자 고민했던 기억이 있다. 이번에 운좋게 얻은 기회 덕분에 연구실에서 조금 더 해당 분야에 관심을 가지게 된 것 같아 기쁘다. 연구실에 강화 학습 연구를 수행하는 인원들도 점차 늘어나고 있고, 연구실에서 진행하는 산학과제에서도 VLA를 다루게 되는 만큼 모두가 이번 기회에 관심을 가지고 우리 연구실용 로봇 실험 환경을 구축하는데 앞장서서 physical AI 시대에 잘 적응해나갔으면 좋겠다.