9월 14일부터 16일까지 3일간 로보시지에서 진행한 Physical AI 교육에 참여했다. 이번 교육에서는 LeKiwi 로봇의 기본 설정부터 텔레오퍼레이션을 활용한 데이터 수집, 모델 학습과 추론, Isaac Sim을 활용한 시뮬레이션까지 Physical AI의 전반적인 과정을 직접 경험할 수 있었다.

원래 학과가 기계공학과였던 만큼 모터나 3D 시뮬레이션에 대해 어느정도는 접해보았지만, 이렇게 실제 로봇을 직접 사용해본 경험은 처음이었다. 그동안 AI 모델을 학습하고 평가하는 과정은 여러 번 경험했지만, 실제 로봇을 대상으로 데이터를 수집하고 학습 결과를 현실의 움직임으로 확인하는것을 보니 Physical AI가 기존의 딥러닝과는 또 다른 매력을 지닌 분야라는 것을 느낄 수 있었다. 하지만 처음 접하는 로봇이었던 만큼 환경 설정과 장비 연결 과정이 쉽지만은 않았다. 그러나 각 단계를 직접 따라 할 수 있도록 준비된 커리큘럼과 강사님들의 설명 덕분에 로봇을 실제로 구동하고 실습을 끝까지 수행할 수 있었다. 막연하게 어렵게만 느껴졌던 Physical AI를 한층 가까이에서 이해할 수 있었던 시간이었다.

첫째 날에는 LeKiwi 로봇을 설정한 뒤, 텔레오퍼레이션을 통해 로봇을 직접 조작하며 학습에 사용할 데이터를 수집했다. 이미지나 정형 데이터와 달리 로봇의 행동 데이터는 사람이 원하는 작업을 직접 시연해야 한다는 점이 인상적이었다. 단순해 보이는 동작도 로봇이 학습할 수 있는 일관된 데이터로 수집하는 과정은 생각보다 쉽지 않았다. 단순히 큐브를 집어 박스에 넣기 위해 로봇의 움직임뿐만 아니라 물체의 위치와 주변 환경, 작업의 성공 여부까지 함께 고려해야 했으며, 작은 조작 차이도 데이터의 품질에 영향을 줄 수 있었다. 50번의 에피소드 학습이 사실은 많은 노력이 필요하다는 것을 알 수 있었으며, 이러한 학습 과정을 통해 로봇 학습에서 모델의 구조뿐만 아니라 데이터를 어떤 환경에서 어떻게 수집하는지가 매우 중요하다는 것을 체감할 수 있었다.

둘째 날에는 직접 수집한 데이터를 Hugging Face Hub에 업로드하고, 이를 기반으로 모델을 학습한 뒤 실제 LeKiwi 로봇에서 추론을 수행했다. 데이터를 수집하고 모델을 학습하는 데서 끝나는 것이 아니라, 학습된 모델이 실제 로봇의 움직임으로 이어지는 전 과정을 경험할 수 있었다는 점에서 의미가 컸다. 모델이 의도한 동작을 수행하는 모습을 보며 흥미를 느끼는 한편, 학습 환경이 조금만 달라져도 결과가 달라질 수 있다는 점도 확인할 수 있었다. 이를 통해 Physical AI에서는 충분하고 다양한 데이터를 확보하는 일과 실제 환경의 변화를 고려하는 일이 중요하다는 것을 알게 되었다. 

그리고 마지막 날에는 NVIDIA Isaac Sim에서 LeKiwi 로봇의 시뮬레이션 환경을 구성하고, Real-to-Sim과 Sim-to-Real의 흐름을 실습했다. 실제 로봇만으로는 반복하기 어렵거나 부담이 큰 실험을 가상 환경에서 수행할 수 있다는 점이 인상적이었으나, 동시에 시뮬레이션과 현실 사이의 차이를 줄이는 것이 Physical AI 연구에서 중요한 과제라는 점도 이해할 수 있었다.

앞으로 기회가 된다면 내가 현재 다루고 있는 멀티모달에서의 일반화 성능 향상을 위한 현재 연구 흐름을 바탕으로, 이를 로봇의 일반화 성능에까지 접목하여 살펴본다면 더욱 흥미롭지 않을까라는 생각이 들었다.

이번 교육은 로봇을 직접 조작하는 단계부터 데이터 수집, 모델 학습과 추론, 시뮬레이션까지 하나의 흐름으로 경험할 수 있었던 뜻깊은 시간이었다. 무엇보다 Physical AI를 단순히 새로운 개념으로 접하는 데 그치지 않고, 실제 로봇을 움직이며 기술이 구현되는 과정을 직접 확인할 수 있어 더욱 의미가 있었다. 3일 동안 알찬 교육을 준비하고 지도해 주신 로보시지 관계자 및 강사님들, 그리고 옆에서 열심히 도와주신 종국 선배님에게 고마움의 말씀을 드리며, 무엇보다도 이렇게 연구원들이 새로운 분야를 직접 경험하고 배울 수 있도록 뜻깊은 교육 기회를 마련해 주신 김성범 교수님께 진심으로 감사드린다.