(1) 개요

2026년 9월 14일부터 16일까지 3일간 RoboSEasy에서 진행한 Physical AI 교육에 참여하였다. 그동안 연구를 하면서 모델을 학습시키고 결과를 분석하는 과정은 익숙했지만 로봇을 직접 움직여 데이터를 만들고 그 데이터로 학습한 모델이 다시 실제 로봇을 움직이게 하는 과정은 처음 경험해 보았다. 평소에 관심은 있었지만 직접 수행을 해보니 이 분야에 더욱 흥미가 생기게 되었다.

교육 전에는 Physical AI라고 하면 기존의 AI 모델에 로봇과 같은 하드웨어가 더해진 정도로 생각했던 것 같다. 하지만 직접 실습해 보니 생각보다 훨씬 많은 요소가 서로 연결되어 있었다. 리더 암과 팔로워 암을 연결하는 것부터 시작해서 로봇을 캘리브레이션하고, 텔레오퍼레이션으로 데이터를 수집하고, 모델을 학습한 뒤 다시 실제 로봇에서 추론하기까지의 과정은 따로 떨어져 있는 과정이 아니라 하나의 과정이었다. 마지막 날에는 Isaac Sim에서 직접 환경을 구성하고 실제 리더 암으로 시뮬레이션상의 로봇을 움직이며 데이터를 수집해 보면서 실물 로봇에서 시작한 과정이 시뮬레이션까지 어떻게 확장되는지도 경험할 수 있었다.

무엇보다 이번 교육을 통해 Physical AI를 설명으로 이해하는 것과 실제 로봇을 직접 다뤄 보는 것에는 꽤 큰 차이가 있다는 것을 느꼈다. 3일이라는 짧은 시간이었지만, 적어도 로봇 학습이 어떤 흐름으로 이루어지고 그 안에서 어떤 문제를 고민해야 하는지는 이전보다 훨씬 구체적으로 그려지게 되었다.

(2) 데이터 만들기

가장 기억에 남았던 부분은 텔레오퍼레이션을 통해 학습 데이터를 직접 수집했던 과정이다. 사람이 리더 암을 움직이면 팔로워 암이 그 움직임을 따라가고, 내가 수행한 행동이 그대로 학습 데이터가 된다. 처음에는 정해진 작업을 여러 번 반복하면 되는 비교적 단순한 과정이라고 생각했다. 그런데 직접 데이터를 모아 보니 생각보다 신경 써야 할 부분이 많았다.

교육을 들으며 좋은 데이터를 수집하기 위해서는 일관성있게 수집해야 한다는 말씀을 들었다. 하지만 같은 물체를 집어 같은 위치로 옮기는 작업이라도 매번 팔을 움직이는 경로가 조금씩 달랐고, 물체에 접근하는 방향이나 그리퍼를 닫는 시점도 일정하게 유지하기 어려웠다. 한 번은 자연스럽게 수행했던 동작이 다음번에는 불필요하게 길어지기도 하고, 조작 과정에서 잠시 머뭇거리는 행동도 그대로 데이터에 남았다.

이 과정을 반복하면서 로봇 학습에서는 좋은 데이터를 많이 모으는 것부터가 큰 문제라는 생각이 들었다. 우리가 일반적으로 사용하는 데이터셋은 이미 누군가 수집하고 정제한 결과이기 때문에 데이터를 만드는 과정에 대해서는 크게 생각하지 않는 경우가 많다. 하지만 로봇에서는 내가 어떻게 움직였는지가 바로 데이터가 되기 때문에 데이터의 품질에 대한 책임이 훨씬 직접적으로 느껴졌다.

(3) 데이터로 모델을 학습한 후, 추론해보기

직접 수집한 데이터로 모델을 학습시키고 실제 로봇에서 추론해 보는 과정도 인상적이었다. 내가 연구하는 시계열 분야에서는 성능을 확인할 때 예측 그래프를 확인하거나, 특정 metric이 얼마나 좋아졌는지를 통해 결과를 확인하는 경우가 대부분이었다. 하지만 이번 교육에서는 결과가 실제로 눈앞에서 바로 로봇의 움직임으로 나타났다.

학습한 모델이 물체(주사위)를 잡기 위해 움직이는 모습을 처음 봤을 때는 내가 수집한 데이터가 실제 행동으로 이어진다는 것이 신기했다. 하지만 모델이 기대만큼 잘 움직이지 않는 경우를 보면서 기존에 숫자로만 보던 모델의 실패가 실제 환경에서는 훨씬 직접적인 문제라는 것도 느꼈다. 물체의 위치가 조금 달라지거나 시작 상황이 바뀌면 로봇이 엉뚱한 방향으로 움직이기도 했고, 사람이 보기에는 아주 작은 환경의 차이가 모델에게는 큰 차이가 될 수 있었다. 그래서 이 과정에서 데이터를 일관성 있게 수집하는 것이 중요하다는 것을 한번 더 느끼게 되었다.

또한 이 부분에서 일반화에 대해 다시 생각하게 되었다. 기존의 머신러닝에서도 학습 데이터에만 잘 맞는 모델이 아니라 보지 못한 데이터에서도 잘 동작하는 모델을 만드는 것이 중요하다. 로봇에서도 본질적으로는 같은 문제이지만, 실제 환경에서는 변화할 수 있는 요소가 훨씬 많았다. 물체의 위치나 카메라에서 보이는 모습, 로봇의 초기 자세 등 여러 조건이 조금씩 달라질 수 있기 때문이다.

결국 모델 구조를 바꾸는 것만으로 모든 문제를 해결하기보다 모델이 실제로 마주칠 수 있는 상황을 데이터에 얼마나 잘 담아내느냐도 상당히 중요하겠다는 생각이 들었다. 앞으로 Physical AI를 연구하게 된다면 ‘어떤 모델이 좋은가’뿐만 아니라 ‘어떤 데이터를 모아야 좋은가’를 같이 고민해야겠다는 생각이 들었다.

(4) 실제 로봇과 시뮬레이션

마지막 날에는 Isaac Sim을 이용해 가상환경을 직접 만들어 보고, 리더 암과 그 안에서 로봇을 연결해 움직여 보았다. 바닥과 물체를 배치하고 물리적인 조건을 설정하는 과정도 흥미로웠지만, 개인적으로 가장 기억에 남은 것은 실제 리더 암을 움직여 시뮬레이션상의 팔로워 암을 조작하는 것이었다. 손으로 움직이는 장치는 현실에 있는데 그 결과는 화면 속 로봇에서 나타나는 것이 처음에는 조금 어색하면서도 재미있었다.

앞선 이틀 동안 실제 로봇으로 데이터를 직접 모아 보았기 때문에 시뮬레이션을 사용하는 이유도 더 잘 이해할 수 있었다. 실물 로봇으로 데이터를 수집하는 것은 생각보다 많은 시간과 노력이 필요했다. 하나의 에피소드를 수집할 때마다 물체를 다시 놓고 로봇의 상태를 확인해야 했고, 잘못 수집한 경우에는 다시 해야 했다. 다양한 환경을 만들어 보려고 하면 그만큼 실제 공간과 물체도 준비해야 한다.

하지만 시뮬레이션에서는 환경이나 물체의 위치를 비교적 자유롭게 변경하고 다시 시작할 수 있었다. 그래서 현실에서 모든 경우의 데이터를 직접 모으는 것이 어렵다면 시뮬레이션이 유용할 수 있겠다는 생각이 들었다.

하지만 화면 속에서 그럴듯하게 움직이는 것과 실제 로봇이 잘 움직이는 것은 별개의 문제일 수도 있겠다는 생각도 들었다. 결국 시뮬레이션은 현실을 완전히 대신한다기보다는 현실에서 얻기 어려운 경험과 데이터를 보완해 주는 역할에 더 가까워 보였다. 실물 로봇과 시뮬레이션을 모두 경험해 본 덕분에 Sim-to-Real이라는 문제가 왜 계속 중요하게 다뤄지는지도 이전보다 훨씬 잘 이해할 수 있었다.

(5) 교육을 마치며

이번 교육에서 가장 크게 느낀 점은 Physical AI에서는 모델과 데이터, 그리고 실제 환경을 따로 생각하기 어렵다는 것이었다. 좋은 모델을 사용한다고 해서 로봇이 바로 원하는 행동을 하는 것도 아니었고, 데이터를 많이 모은다고 반드시 좋은 결과가 나오는 것도 아니었다. 어떤 환경에서 어떤 방식으로 행동을 보여주었는지, 그 데이터에 어떤 상황들이 포함되어 있는지가 실제 로봇의 행동에 그대로 영향을 주었다.

개인적으로는 그동안 이미 만들어진 데이터를 가지고 모델을 개선하는 연구를 주로 접해 왔기 때문에, 내가 직접 데이터를 만드는 사람의 입장이 되어 본 것이 좋은 경험이었다. 직접 수집해 보니 기존에는 당연하게 사용하던 데이터셋 하나가 만들어지기까지 얼마나 많은 선택이 들어가는지도 생각해 보게 되었다.

또한 처음에는 Physical AI가 현재 하고 있는 연구와는 조금 다른 분야라고 생각했지만, 교육을 마친 뒤에는 오히려 기존에 고민해 왔던 일반화, 데이터의 다양성, 학습 데이터와 테스트 환경의 차이와 같은 문제들이 로봇에서도 그대로 중요하게 나타난다는 점이 흥미로웠다. 다만 로봇에서는 그 문제가 화면 속 결과가 아니라 실제 움직임으로 나타난다는 점에서 더욱 재미있는 분야라는 생각이 들었다.

마지막으로 3일 동안 실습을 원활하게 진행할 수 있도록 교육을 준비하고 지도해 주신 RoboSEasy 직원분들과 새로운 경험을 할 수 있는 기회를 주신 교수님께 감사드린다. 또한 교육을 진행하는 과정에서 큰 도움을 주신 허종국 연구원님께 감사드리며 후기를 마친다.