9월 14일부터 9월 16일까지 3일간 로보시지에서 진행한 Physical AI 교육에 참여했다.최근 들어 VLA(Vision-Language-Action)에 조금씩 관심이 생기고 있었다. 특히 나는 diffusion을 중심으로 연구하고 있다 보니, VLA에서도 action space를 생성하거나 추론하는 과정에 diffusion 계열 방법론이 활용된다는 점이 꽤 흥미롭게 느껴졌다. 논문으로만 볼 때는 아직 조금 멀게 느껴지는 분야였는데, 마침 좋은 기회로 실제 로봇을 직접 만지고 데이터를 수집해볼 수 있는 교육에 참여하게 되었다.(1) 교육 후기 및 느낀점이번 교육에서는 mobile manipulator인 LeKiwi를 활용해 calibration, teleoperation, 데이터 수집, 모델 학습 및 추론, 그리고 Isaac Sim을 이용한 simulation까지 Physical AI의 전체적인 흐름을 직접 경험해볼 수 있었다. 첫째 날과 둘째 날에는 실제 LeKiwi를 가지고 calibration과 teleoperation을 수행했다. Leader arm을 사람이 직접 움직이면 follower arm이 그 움직임을 따라가고, 이를 이용해 물체를 집고 옮기는 task의 데이터를 직접 수집했다. 사실 교육 전에는 로봇 학습에서도 결국 좋은 모델을 만들고 잘 학습시키는 것이 가장 중요하지 않을까 생각했다. 그런데 직접 해보니 오히려 데이터를 어떻게 만드는지가 생각보다 훨씬 중요했다.예를 들어 같은 물체를 집어 옮기는 단순한 task라고 하더라도, gripper를 언제 열지, 어떤 방향으로 먼저 움직일지, 물체에 어떻게 접근할지 등 사람이 선택할 수 있는 방법은 여러 가지가 있었다. 사람 입장에서는 모두 성공하는 행동이지만, 적은 수의 데이터로 imitation learning 모델을 학습할 때는 이런 차이가 오히려 모델 입장에서 혼란이 될 수 있었다. 그래서 데이터를 수집할 때는 어느 정도 자신만의 규칙을 정하고 일관성 있게 수행하는 것이 중요하다는 것을 알게 되었다. 직접 해보기 전에는 성공한 데이터면 다 좋은 데이터 아닌가라고 생각했는데, 실제로는 같은 성공 데이터 안에서도 행동 방식이 얼마나 일관적인지가 꽤 중요했다. 반대로 너무 똑같은 조건에서만 데이터를 모으는 것도 문제가 되었다. 로봇이 학습할 때 보지 못했던 위치에 물체가 있거나, 작은 오차로 인해 trajectory가 조금만 어긋나도 스스로 복구하지 못하는 경우가 있었다. 결국 모든 데이터를 완벽한 데이터로만 구성하는 것이 항상 좋은 것은 아니었다. 다양한 초기 위치에서 시작해보거나, 실패한 상태에서 다시 정상적인 행동으로 돌아오는 recovery 데이터도 필요했다. 이 부분이 특히 인상 깊었다. 결국 Physical AI에서는 단순히 데이터의 개수보다 모델이 어떤 상태들을 학습 과정에서 경험했는가가 굉장히 중요하다는 생각이 들었다.수집한 데이터로는 imitation learning 기반의 ACT와 경량 VLA 모델인 SmolVLA를 직접 학습하고 추론해보았다. 모델 학습 자체는 기존에 해오던 딥러닝 실험과 크게 다르지 않았지만, 차이가 있다면 결과가 바로 눈앞의 로봇 움직임으로 나타난다는 점이었다. 이미지 모델에서는 성능이 몇 퍼센트 떨어져도 숫자로만 느껴질 때가 많은데, 로봇에서는 데이터가 좋지 않거나 모델이 잘못 학습되면 로봇이 엉뚱한 곳으로 움직이거나 물체를 제대로 잡지 못하는 모습이 바로 보였다. 그래서 데이터와 모델의 관계가 훨씬 더 직접적으로 느껴졌다. 이미지 모델에서는 성능이 몇 퍼센트 떨어져도 숫자로만 느껴질 때가 많은데, 로봇에서는 데이터가 좋지 않거나 모델이 잘못 학습되면 로봇이 엉뚱한 곳으로 움직이거나 물체를 제대로 잡지 못하는 모습이 바로 보였다. 그래서 데이터와 모델의 관계가 훨씬 더 직접적으로 느껴졌다. 또 재미있었던 점은 VLA나 end-to-end 모델만 배운 것이 아니라 YOLO 기반 환경 인식과 rule-based control, teaching 기반 제어 방식도 함께 경험했다는 것이다. 이 과정에서 과연 모든 문제에 VLA가 필요한가라는 생각도 들었다. 예를 들어 물체의 위치가 어느 정도 정해져 있고, 동일한 동작을 계속 반복하는 작업이라면 굳이 큰 학습 모델을 사용할 필요 없이 rule-based 방식이 훨씬 안정적이고 효율적일 수도 있다. 그렇다면 VLA가 정말 필요한 순간은 언제일까, 내가 느끼기에는 결국 환경과 task가 복잡해질수록 사람이 모든 상황을 rule로 정의하기 어려워지는 지점에서 학습 기반 모델의 장점이 커지는 것 같다. 다양한 물체를 다루거나 여러 task를 하나의 모델로 수행하거나, 예상하지 못한 상황에 대응해야 할수록 사람이 직접 rule을 만드는 방식에는 한계가 생길 수밖에 없다. 그래서 앞으로 Physical AI 연구에서는 단순히 잘 정리된 benchmark에서 높은 성능을 내는 것보다 실제 환경에서 얼마나 버틸 수 있는지가 더 중요하지 않을까 하는 생각이 들었다. 실제 환경에서는 물체 위치도 달라질 수 있고, 로봇이 조금 흔들릴 수도 있으며, 카메라에 물체가 가려지거나 예상하지 못한 상황이 계속 발생할 수 있기 때문이다.셋째 날에는 NVIDIA Isaac Sim을 활용해 simulation 환경을 직접 구성해보았다.중력, 질량, 마찰력, collision 등의 물리 속성을 직접 설정해보고, 그에 따라 물체가 어떻게 움직이는지 확인했다. 이후에는 Isaac Sim 안에 구현된 LeKiwi를 직접 teleoperation하면서 simulation 상에서 데이터를 수집해보았다. 그동안 simulator라고 하면 이미 잘 만들어져 있는 가상환경 안에서 로봇을 실행하는 정도로 생각했는데, 실제로는 현실 세계와 비슷한 환경을 만들기 위해 상당히 많은 것을 직접 정의해야 했다. 물체의 질량이나 마찰계수, joint, 좌표계, collision 등을 제대로 설정하지 않으면 우리가 생각하는 것처럼 자연스럽게 움직이지 않았다. 결국 현실을 simulation으로 옮기는 것 자체가 하나의 큰 문제이며 따라서 Sim2Real이 왜 어려운지에 대해서도 어느정도 알 수 있는 계기가 되었다. 기존에는 누군가 만들어놓은 dataset을 받아서 모델을 학습하고 성능을 비교하는 경우가 대부분이었다면, Physical AI에서는 사람이 로봇을 어떻게 움직이는지, 어떤 상태에서 데이터를 수집하는지, 환경을 어떻게 구성하는지 자체가 이미 모델의 성능을 결정하는 중요한 요소였다. 결국 이번 교육을 통해 Physical AI에서는 모델 구조뿐 아니라 데이터 수집, 환경 설계, 제어 방식, 실패 상황에 대한 대응까지 전체 시스템을 함께 고려해야 한다는 것을 알 수 있었으며. 앞으로 관련 연구를 바라볼 때에도 단순히 benchmark 성능만 보는 것이 아니라, 실제 환경에서 어떤 데이터를 사용했고 어떠한 변화를 견딜 수 있는지까지 함께 살펴보는 것이 중요하겠다라고 생각 할 수 있었다.(2) 본인 연구와의 연관성 및 추후 해결해보고 싶은 연구 질문요근래 가지고 있었던 하나의 질문이 있었다. 나는 현재 Diffusion inverse problem을 연구하고 있는데, invere problem에서는 관측값이 불완전하거나 손상되어 있는 상황에서 prior를 이용해 원본을 복원하려고 한다. 그렇다면 이런 관점을 Physical AI에서 바라보면 어떻게 생각해볼 수 있을까?자세한 예시는 아래와 같다.가령, VLA가 컵을 집어서 다른곳을 옮겨라라는 task를 잘 수행한다고 하자. 그런데 컵의 손잡이나 물체의 일부가 다른 무언가에 의해 가려져 있다면 어떨까? 사람은 컵의 전체 모습을 보지 못하더라도 지금까지의 경험을 바탕으로 대략적인 형태를 예상하고 행동할 수 있다. 그렇다면 VLA 역시 현재 관측된 정보만을 그대로 이용하는 것이 아니라, 모델이 학습하면서 얻은 prior를 통해 보이지 않는 상태를 어느 정도 추론하면서 행동할 수 있어야 하지 않을까라는 예시이다. 물론 이것을 단순히 diffusion inverse problem과 같은 문제라고 말하기는 어렵다. image에 대해서 inverse problem를 해결하는 과정은 손상된 measurement로부터 clean image를 복원하는 것이 주된 목표지만, Physical AI에서는 상태를 추론하는 것에서 끝나지 않고 실제 action까지 이어져야 한다. 더 어려운 점은 잘못된 action이 다음 observation 자체를 바꿔버린다는 것이다. 그럼에도 내가 흥미롭게 느끼는 공통점은 불완전한 관측과 prior를 함께 이용해 보이지 않는 상태를 추론한다는 점이다.따라서 앞으로 조금 더 고민해보고 싶은 질문은 다음과 같다.부분적으로 관측되거나 가려진 환경에서, Physical AI가 학습한 prior와 현재의 observation을 함께 이용하면 VLA가 더 강건하게 행동할 수 있을까?  아직은 상당히 막연한 아이디어이고 실제 연구 문제로 만들기 위해서는 많은 간극을 메워야 할 것이다. 하지만 이러한 부분까지 잘 수행한다면 우리는 미래에 더욱 더 로봇이 우리의 일상에 녹아들 것이며 이번 교육에서 실제 로봇이 작은 환경 변화에도 쉽게 실패하는 모습을 보며 내가 연구하고 있는 분야와 Physical AI 사이에 많은 접점이 있을 수 있겠다라고 생각해볼 수 있었다. 이번 교육을 계기로 이 질문을 하나의 열린 연구 질문으로 남겨두고, 앞으로 조금씩 구체화해보고 싶다.(3) 감사의 인사마지막으로 이런 좋은 교육 기회를 만들어주신 교수님과 종국이 형에게 감사의 말씀을 전하고 싶다. 특히 해외 학회에서 직접 Physical AI 분야의 흐름과 중요성을 경험하고 돌아온 뒤, 단순히 요즘 이 분야가 중요하다라고 이야기하는 것에서 끝나는 것이 아닌 실제로 연구실 학생들과 후배들이 직접 경험할 수 있도록 교육까지 연결한 모습은 너무나 존경스러운 모습이었다. 사실 연구를 하다 보면 내 연구 하나를 따라가는 것만으로도 벅찰 때가 많은데, 새로운 흐름을 계속 공부하고 그것을 주변 사람들에게 전달하며 함께 성장할 수 있는 기회를 만든다는 것은 쉽지 않은 일이라 생각한다. 나도 언젠가는 후배들에게 내가 전해 받은 선한 영향을 물려줄 수 있는 그러한 사람이 되고 싶다.좋은 양질의 교육을 진행해주신 로보시지 관계자들에게도 감사드리고, 교육이 원할하게 진행될 수 있도록 준비하고 도와준 연구실 선배들과 동기들에게도 고마운 마음을 전하며 이번 교육 후기를 마친다.

(1) 개요 9월 14일부터 16일까지 3일간 로보시지에서 진행된 Physical AI 교육에 참여하였다. 평소 컴퓨터 비전 분야를 공부하며 이미지나 영상 데이터를 다루는 연구를 주로 해왔기에, 인식 결과가 곧바로 물리적인 동작으로 이어지는 로봇 제어 분야는 다소 낯설게 느껴졌다. 그동안은 모델의 출력이 숫자나 라벨로 끝나는 경우가 대부분이었는데, 이번 교육에서는 그 출력이 실제 로봇팔의 움직임으로 나타난다는 점에서 색다른 경험이 될 것이라 기대하며 참여하게 되었다. 교육을 듣기 전에는 로봇 제어와 딥러닝을 결합하는 과정이 기존에 익숙했던 모델 학습 파이프라인과 크게 다르지 않을 것이라 예상했다. 하지만 실제로는 하드웨어 연결과 캘리브레이션, 조작을 통한 데이터 수집, 학습, 실기 추론까지 각 단계마다 고려해야 할 요소가 상당히 많았고, 이 모든 과정이 서로 맞물려 있다는 것을 몸으로 느낄 수 있었다. (2) 로봇을 처음 다뤄보며 가장 먼저 진행한 것은 리더 암과 팔로워 암의 연결 및 캘리브레이션이었다. 이론적으로는 단순히 두 로봇의 좌표계를 맞추는 작업이라 생각했지만, 실제로 진행해 보니 관절 각도가 미세하게 어긋나 있으면 팔로워 암의 움직임이 부자연스러워지는 것을 확인할 수 있었다. 캘리브레이션이 끝난 뒤 처음으로 리더 암을 움직여 팔로워 암이 따라오는 모습을 보았을 때, 소프트웨어로만 다루던 모델과는 전혀 다른 종류의 긴장감을 느꼈다. 이후에는 물체를 정해진 위치로 옮기는 작업을 반복하며 텔레오퍼레이션에 익숙해지는 시간을 가졌다. 처음에는 손의 움직임과 화면 속 로봇의 반응 사이에 미묘한 시차가 있어 어색했지만, 반복할수록 점차 로봇을 마치 내 팔처럼 다룰 수 있게 되었다. 이 과정에서 로봇 조작이라는 것이 단순한 기술적 문제가 아니라 사람의 숙련도에 따라 결과물의 질이 달라지는 일종의 기술(skill)에 가깝다는 생각이 들었다. (3) 데이터 수집과 학습, 그리고 예상치 못한 실패들 본격적인 데이터 수집 단계에서는 컵을 집어 정해진 트레이 위에 올려놓는 작업을 반복하여 학습 데이터를 모았다. 평소 연구에서는 데이터의 양과 다양성을 늘리는 것이 성능 향상의 핵심이라 여겨 왔기에, 이번에도 최대한 다양한 위치와 각도에서 시도해 보려 했다. 하지만 동료와 함께 수집한 데이터를 합쳐 학습시켜 보니, 오히려 각자의 조작 습관 차이 때문에 로봇의 움직임이 애매하게 섞여 나오는 문제를 겪었다. 한 사람은 컵을 비교적 빠르게 잡았고 다른 사람은 천천히 접근하는 경향이 있었는데, 이 차이가 그대로 모델에 반영되어 로봇이 머뭇거리는 듯한 동작을 보이기도 했다. 이 경험을 통해 데이터의 양적 확장이 항상 좋은 결과로 이어지는 것은 아니며, 오히려 누가, 어떤 방식으로 시연했는지에 따라 데이터의 성격 자체가 달라질 수 있다는 점을 깨달았다. 이미지나 텍스트 데이터에서는 크게 신경 쓰지 않았던 '데이터를 만든 주체'라는 요소가 로봇 학습에서는 성능에 직접적인 영향을 준다는 사실이 인상 깊었다. 학습된 모델을 실제 로봇에 올려 추론해 보았을 때, 컵의 위치가 학습 데이터와 조금만 달라져도 로봇이 엉뚱한 지점으로 접근하는 모습을 보며, 그동안 벤치마크 수치로만 이해했던 '일반화 실패'라는 개념을 훨씬 체감 있게 이해하게 되었다. (4) Isaac Sim에서 다시 만난 로봇 마지막 날에는 Isaac Sim을 통해 가상 환경을 구성하고, 실제 리더 암으로 시뮬레이션 속 로봇을 조작해 보는 실습을 진행하였다. 물체의 재질이나 마찰, 카메라 시점 등을 하나씩 설정해 보면서, 실제 환경을 가상에서 재현하는 일이 생각보다 세심한 작업이라는 것을 알게 되었다. 특히 실제 물리 환경에서는 신경 쓸 필요 없었던 요소들—예를 들어 물체가 바닥을 뚫고 지나가거나 비정상적으로 튕기는 현상—을 하나씩 조정해야 했는데, 이 과정에서 시뮬레이션 환경 구축 자체가 하나의 전문 영역이라는 것을 느꼈다. 이틀간 실제 로봇으로 씨름했던 경험이 있었기에, 시뮬레이션의 편리함이 더욱 크게 다가왔다. 현실에서는 데이터 한 번 수집할 때마다 물체를 직접 정리하고 로봇 상태를 점검해야 했지만, 가상 환경에서는 버튼 하나로 초기 상태로 되돌릴 수 있었다. 다만 화면 속에서 매끄럽게 동작하는 로봇이 실제 환경에서도 동일하게 움직일 것이라는 보장은 없다는 이야기를 들으며, Sim-to-Real이라는 주제가 단순한 이론적 화두가 아니라 실제로 극복해야 할 현실적인 간극이라는 점을 새삼 체감하였다. (5) 교육을 마치며 3일간의 교육을 통해 그동안 컴퓨터 비전 연구자로서 막연하게 상상해 왔던 Physical AI의 실체를 직접 확인할 수 있었다. 특히 인상 깊었던 것은, 모델의 인식 성능이 아무리 뛰어나도 그 인식 결과를 실제 동작으로 정확히 옮기는 제어 과정이 뒷받침되지 않으면 전체 시스템은 제대로 작동하지 않는다는 점이었다. 인식과 행동이 분리된 두 문제가 아니라 하나로 연결된 파이프라인이라는 것을 실습을 통해 체감할 수 있었다. 또한 데이터를 수집하는 사람의 입장이 되어 보면서, 평소 당연하게 활용하던 공개 데이터셋 뒤에도 이처럼 수많은 선택과 시행착오가 있었을 것이라는 생각을 하게 되었다. 앞으로 관련 연구를 진행하게 된다면, 모델 구조 개선뿐 아니라 데이터가 만들어지는 과정 자체에도 좀 더 관심을 가져야겠다는 다짐을 하게 된 계기였다. 끝으로 3일간 실습을 세심하게 지도해 주신 로보시지 관계자분들과, 이런 값진 기회를 마련해 주신 교수님께 감사드린다. 또한 실습 내내 아낌없이 도움을 주신 허종국 연구원님께도 깊이 감사드리며 후기를 마친다.

9월 14일부터 사흘 동안 로보시지 Physical AI 교육을 받았다. 교육은 간단한 이론 설명 뒤에 바로 로봇을 만져 보는 실습 위주로 진행되었다. 조별로 LeKiwi 로봇을 한 대씩 받아 사흘 내내 붙들고 있으면서 로봇 조종, 데이터 수집, 모델 학습, 추론을 차례로 해보았고, 마지막 날에는 Isaac Sim도 다뤄봤다. Physical AI는 요즘 여기저기서 많이 듣는 주제지만, 나에게는 직접 해 볼 기회가 없던 분야였다. 또한, 평소에는 누군가 이미 정리해 둔 데이터셋을 받아서 모델을 돌리는 일이 대부분이었는데, 학습 데이터를 내 손으로 처음부터 만들어 본 건 이번이 처음이었다.[교육 내용 정리]1일차에는 Physical AI 전반에 대한 소개를 듣고 실습에 들어갔다. 먼저 두 로봇 팔 관절 범위를 맞춰주는 캘리브레이션 작업을 해보았고, leader arm을 움직여서 follower arm을 조종하는 텔레오퍼레이션을 해보았다. 조작이 어느 정도 손에 익은 뒤에는 주사위를 집어 박스에 넣는 task를 반복 시연하면서 데이터를 모았고, 이 데이터로 imitation learning 기반 ACT 모델 학습을 해보았다.2일차에는 학습시켜 놓은 모델 추론을 돌려보았다. 그리고 추가적으로 recovery 데이터에 대해서 알게 되었다. 항상 같은 자세에서 시작해 깔끔하게 성공하는 시연만 모으면, 로봇이 한 번 삐끗했을 때 거기서 되돌아오지 못하게 된다. 그래서 물체 위치나 로봇 시작 자세를 일부러 바꿔 가며, 놓친 상태에서 다시 집는 데이터도 같이 넣어 줘야 한다. 이는 imitation learning에서 오래전부터 다뤄 온 covariate shift 문제라고 한다. 작은 오차 때문에 학습 때 보지 못한 상태에 들어가면 거기서 또 오차가 생기고, 오차가 계속 누적이 되는 것이다. Recovery 데이터는 이 문제를 데이터 쪽에서 메우는 방법인 셈이다. 평소 개인 연구로 covariate shift 문제를 다루고 있는데, 항상 주어진 데이터를 놓고 학습 쪽에서만 shift를 해결하려 해 왔다. 데이터 쪽에서 접근하는 방식을 직접 경험해보니 참신했다.3일차에는 NVIDIA Isaac Sim 실습을 했다. 시뮬레이터 안에 LeKiwi와 물체를 올려두고 물리 설정을 바꿔 가면서 움직여 보기도 하였고, 실물 없이도 텔레오퍼레이션으로 데이터를 모으는 경험을 해보았다. 시뮬레이션에서는 데이터를 훨씬 편하게 모을 수 있지만, 마찰이나 접촉처럼 물체를 집을 때 중요한 물리 현상들은 실제와 차이가 나기 쉽다. 이러한 sim-to-real gap도 어떻게 보면 결국 분포 변화 문제라, 실물 데이터를 모으는 수고를 시뮬레이션이 어디까지 대신해 줄 수 있을지도 궁금해졌다. 이후에는 학습시킨 모델을 실제 로봇에 올려서 추론해보는 것으로 교육이 마무리되었다.3일 중 개인적으로 가장 기억에 남는 건 데이터를 모으던 시간이다. 한 번 시연할 때마다 물체를 다시 놓고, 로봇 원위치시키고, 중간에 실수를 하면 지우고 다시 찍어야 한다. 또한, 매번 제멋대로 움직이면 학습이 잘 안 된다고 해서, 어떤 순서로 물체에 다가가서 어떻게 집을지 미리 정해 놓고 최대한 비슷하게 반복해야 했다. 논문에서 '에피소드 수백 개를 수집했다'고 짤막하게 지나가는 문장 뒤에 얼마나 많은 시간과 인내가 녹아있는지 느낄 수 있었다. 이렇게 사람 손이 많이 가는 일이다 보니, 여러 기관의 로봇 데이터를 한데 모으는 Open X-Embodiment 같은 시도가 왜 나왔는지도 이해가 되었다. 이번 교육을 듣고 나니 데이터 수집으로 고생하고 있을 로봇 연구자들을 응원하는 마음이 생겼다.[마치며]사흘이 금방 지나갔다. 교육 전에는 Physical AI라고 하면 머릿속에 로봇이 작업을 진행하는 데모 영상 정도만 떠올랐는데, 이제는 그 영상 뒤에서 누군가 leader arm을 붙잡고 같은 동작을 수십 번 반복하는 모습이 먼저 그려진다. 친절하고 쉽게 교육을 진행해주신 로보시지 강사분들, 교육 준비와 세팅에 애써 준 연구원들, 이러한 교육 기회를 마련해 주신 교수님께 고맙다는 말씀 전하며 후기 글 마친다.

(1) 개요 2026년 9월 14일부터 16일까지 3일간 RoboSEasy에서 진행한 Physical AI 교육에 참여하였다. 그동안 연구를 하면서 모델을 학습시키고 결과를 분석하는 과정은 익숙했지만 로봇을 직접 움직여 데이터를 만들고 그 데이터로 학습한 모델이 다시 실제 로봇을 움직이게 하는 과정은 처음 경험해 보았다. 평소에 관심은 있었지만 직접 수행을 해보니 이 분야에 더욱 흥미가 생기게 되었다. 교육 전에는 Physical AI라고 하면 기존의 AI 모델에 로봇과 같은 하드웨어가 더해진 정도로 생각했던 것 같다. 하지만 직접 실습해 보니 생각보다 훨씬 많은 요소가 서로 연결되어 있었다. 리더 암과 팔로워 암을 연결하는 것부터 시작해서 로봇을 캘리브레이션하고, 텔레오퍼레이션으로 데이터를 수집하고, 모델을 학습한 뒤 다시 실제 로봇에서 추론하기까지의 과정은 따로 떨어져 있는 과정이 아니라 하나의 과정이었다. 마지막 날에는 Isaac Sim에서 직접 환경을 구성하고 실제 리더 암으로 시뮬레이션상의 로봇을 움직이며 데이터를 수집해 보면서 실물 로봇에서 시작한 과정이 시뮬레이션까지 어떻게 확장되는지도 경험할 수 있었다. 무엇보다 이번 교육을 통해 Physical AI를 설명으로 이해하는 것과 실제 로봇을 직접 다뤄 보는 것에는 꽤 큰 차이가 있다는 것을 느꼈다. 3일이라는 짧은 시간이었지만, 적어도 로봇 학습이 어떤 흐름으로 이루어지고 그 안에서 어떤 문제를 고민해야 하는지는 이전보다 훨씬 구체적으로 그려지게 되었다. (2) 데이터 만들기 가장 기억에 남았던 부분은 텔레오퍼레이션을 통해 학습 데이터를 직접 수집했던 과정이다. 사람이 리더 암을 움직이면 팔로워 암이 그 움직임을 따라가고, 내가 수행한 행동이 그대로 학습 데이터가 된다. 처음에는 정해진 작업을 여러 번 반복하면 되는 비교적 단순한 과정이라고 생각했다. 그런데 직접 데이터를 모아 보니 생각보다 신경 써야 할 부분이 많았다. 교육을 들으며 좋은 데이터를 수집하기 위해서는 일관성있게 수집해야 한다는 말씀을 들었다. 하지만 같은 물체를 집어 같은 위치로 옮기는 작업이라도 매번 팔을 움직이는 경로가 조금씩 달랐고, 물체에 접근하는 방향이나 그리퍼를 닫는 시점도 일정하게 유지하기 어려웠다. 한 번은 자연스럽게 수행했던 동작이 다음번에는 불필요하게 길어지기도 하고, 조작 과정에서 잠시 머뭇거리는 행동도 그대로 데이터에 남았다. 이 과정을 반복하면서 로봇 학습에서는 좋은 데이터를 많이 모으는 것부터가 큰 문제라는 생각이 들었다. 우리가 일반적으로 사용하는 데이터셋은 이미 누군가 수집하고 정제한 결과이기 때문에 데이터를 만드는 과정에 대해서는 크게 생각하지 않는 경우가 많다. 하지만 로봇에서는 내가 어떻게 움직였는지가 바로 데이터가 되기 때문에 데이터의 품질에 대한 책임이 훨씬 직접적으로 느껴졌다. (3) 데이터로 모델을 학습한 후, 추론해보기 직접 수집한 데이터로 모델을 학습시키고 실제 로봇에서 추론해 보는 과정도 인상적이었다. 내가 연구하는 시계열 분야에서는 성능을 확인할 때 예측 그래프를 확인하거나, 특정 metric이 얼마나 좋아졌는지를 통해 결과를 확인하는 경우가 대부분이었다. 하지만 이번 교육에서는 결과가 실제로 눈앞에서 바로 로봇의 움직임으로 나타났다. 학습한 모델이 물체(주사위)를 잡기 위해 움직이는 모습을 처음 봤을 때는 내가 수집한 데이터가 실제 행동으로 이어진다는 것이 신기했다. 하지만 모델이 기대만큼 잘 움직이지 않는 경우를 보면서 기존에 숫자로만 보던 모델의 실패가 실제 환경에서는 훨씬 직접적인 문제라는 것도 느꼈다. 물체의 위치가 조금 달라지거나 시작 상황이 바뀌면 로봇이 엉뚱한 방향으로 움직이기도 했고, 사람이 보기에는 아주 작은 환경의 차이가 모델에게는 큰 차이가 될 수 있었다. 그래서 이 과정에서 데이터를 일관성 있게 수집하는 것이 중요하다는 것을 한번 더 느끼게 되었다. 또한 이 부분에서 일반화에 대해 다시 생각하게 되었다. 기존의 머신러닝에서도 학습 데이터에만 잘 맞는 모델이 아니라 보지 못한 데이터에서도 잘 동작하는 모델을 만드는 것이 중요하다. 로봇에서도 본질적으로는 같은 문제이지만, 실제 환경에서는 변화할 수 있는 요소가 훨씬 많았다. 물체의 위치나 카메라에서 보이는 모습, 로봇의 초기 자세 등 여러 조건이 조금씩 달라질 수 있기 때문이다. 결국 모델 구조를 바꾸는 것만으로 모든 문제를 해결하기보다 모델이 실제로 마주칠 수 있는 상황을 데이터에 얼마나 잘 담아내느냐도 상당히 중요하겠다는 생각이 들었다. 앞으로 Physical AI를 연구하게 된다면 ‘어떤 모델이 좋은가’뿐만 아니라 ‘어떤 데이터를 모아야 좋은가’를 같이 고민해야겠다는 생각이 들었다. (4) 실제 로봇과 시뮬레이션 마지막 날에는 Isaac Sim을 이용해 가상환경을 직접 만들어 보고, 리더 암과 그 안에서 로봇을 연결해 움직여 보았다. 바닥과 물체를 배치하고 물리적인 조건을 설정하는 과정도 흥미로웠지만, 개인적으로 가장 기억에 남은 것은 실제 리더 암을 움직여 시뮬레이션상의 팔로워 암을 조작하는 것이었다. 손으로 움직이는 장치는 현실에 있는데 그 결과는 화면 속 로봇에서 나타나는 것이 처음에는 조금 어색하면서도 재미있었다. 앞선 이틀 동안 실제 로봇으로 데이터를 직접 모아 보았기 때문에 시뮬레이션을 사용하는 이유도 더 잘 이해할 수 있었다. 실물 로봇으로 데이터를 수집하는 것은 생각보다 많은 시간과 노력이 필요했다. 하나의 에피소드를 수집할 때마다 물체를 다시 놓고 로봇의 상태를 확인해야 했고, 잘못 수집한 경우에는 다시 해야 했다. 다양한 환경을 만들어 보려고 하면 그만큼 실제 공간과 물체도 준비해야 한다. 하지만 시뮬레이션에서는 환경이나 물체의 위치를 비교적 자유롭게 변경하고 다시 시작할 수 있었다. 그래서 현실에서 모든 경우의 데이터를 직접 모으는 것이 어렵다면 시뮬레이션이 유용할 수 있겠다는 생각이 들었다. 하지만 화면 속에서 그럴듯하게 움직이는 것과 실제 로봇이 잘 움직이는 것은 별개의 문제일 수도 있겠다는 생각도 들었다. 결국 시뮬레이션은 현실을 완전히 대신한다기보다는 현실에서 얻기 어려운 경험과 데이터를 보완해 주는 역할에 더 가까워 보였다. 실물 로봇과 시뮬레이션을 모두 경험해 본 덕분에 Sim-to-Real이라는 문제가 왜 계속 중요하게 다뤄지는지도 이전보다 훨씬 잘 이해할 수 있었다. (5) 교육을 마치며 이번 교육에서 가장 크게 느낀 점은 Physical AI에서는 모델과 데이터, 그리고 실제 환경을 따로 생각하기 어렵다는 것이었다. 좋은 모델을 사용한다고 해서 로봇이 바로 원하는 행동을 하는 것도 아니었고, 데이터를 많이 모은다고 반드시 좋은 결과가 나오는 것도 아니었다. 어떤 환경에서 어떤 방식으로 행동을 보여주었는지, 그 데이터에 어떤 상황들이 포함되어 있는지가 실제 로봇의 행동에 그대로 영향을 주었다. 개인적으로는 그동안 이미 만들어진 데이터를 가지고 모델을 개선하는 연구를 주로 접해 왔기 때문에, 내가 직접 데이터를 만드는 사람의 입장이 되어 본 것이 좋은 경험이었다. 직접 수집해 보니 기존에는 당연하게 사용하던 데이터셋 하나가 만들어지기까지 얼마나 많은 선택이 들어가는지도 생각해 보게 되었다. 또한 처음에는 Physical AI가 현재 하고 있는 연구와는 조금 다른 분야라고 생각했지만, 교육을 마친 뒤에는 오히려 기존에 고민해 왔던 일반화, 데이터의 다양성, 학습 데이터와 테스트 환경의 차이와 같은 문제들이 로봇에서도 그대로 중요하게 나타난다는 점이 흥미로웠다. 다만 로봇에서는 그 문제가 화면 속 결과가 아니라 실제 움직임으로 나타난다는 점에서 더욱 재미있는 분야라는 생각이 들었다. 마지막으로 3일 동안 실습을 원활하게 진행할 수 있도록 교육을 준비하고 지도해 주신 RoboSEasy 직원분들과 새로운 경험을 할 수 있는 기회를 주신 교수님께 감사드린다. 또한 교육을 진행하는 과정에서 큰 도움을 주신 허종국 연구원님께 감사드리며 후기를 마친다.

2026년 9월 14일~16일, 총 3일 18시간 동안 로보시지(Roboseasy)라는 기업에서 우리 연구실을 대상으로 로봇 및 physical AI 교육을 해주었다. ETRI 과제를 통해 강화학습은 많이 접해보았지만, 이와는 또 다른 개념인 physical AI 에 대해 처음 접해보게 되었다. 최근 로봇 및 physical AI가 많은 분야에서 각광받는 만큼, 이번 교육이 좋은 경험이라고 생각이 들었고 열심히 참여하였다. 교육은 기본적인 이론 강의 이후 직접 로봇을 작동해보며 데이터를 수집하고, 수집한 데이터를 통해 직접 모델을 학습 및 추론해보는 식으로 진행되었다. 교육을 들은 대부분의 인원이 낯선 분야였는데, roboseasy 강사분이 이해하기 쉽게 알려주시고 실습도 step by step으로 다 설명해주셔서 잘 따라갈 수 있었던 것 같다. 나는 재우, 다빈이와 같은 조였고 셋이서 머리를 맞대며 실습하는 시간이 가장 기억에 남고 하나의 좋은 경험 및 추억이 된 것 같다. <주요 교육 내용 및 후기>1일차에는 기본적으로 physical AI가 무엇이고, 어떻게 발전해왔는지에 대한 이론 설명부터 시작했다. 낯선 내용임에도 전반적으로 흥미있게 다가왓다. 이 후, 직접 lekiwi를 통해 실습을 진행하였다. Leader arm과 follow arm 두 가지의 로봇이 있는데, 각각 관절 동작 범위를 미리 세팅한 후, teleoperation을 통해 leader arm으로 follow arm을 작동시키는 실습을 했다. 조 별로 먼저 주사위를 집어서 통 안에 집어넣는 대결을 했을 때가 가장 기억에 남는다. Teleoperation을 충분히 익힌 후에는 직접 주사위를 박스에 넣는 task를 해보며 데이터를 수집하였다. 50개의 에피소드를 수집하였는데, 사실 50개면 그렇게 많은 에피소드 수도 아닌데 생각보다 오래 걸렸고 이런 연구를 하는게 정말 쉽지는 않겠다 라는 생각을 했다. 수집한 데이터를 허깅페이스에 업로드하는 과정에서 우리의 모든 데이터가 증발하는 이슈가 생겨 이 부분이 너무 아쉬웠다.2일차에는 학습한 모델을 가지고 추론을 먼저 해보았다. 우리는 데이터가 날라가 직접 학습은 못해서 성호 조의 체크포인트를 다운 받아 추론을 하였는데, 추론 성능이 꽤 괜찮아서 놀랍기도 하고 신기하기도 하였다. 이 후에는 pc를 통해 로봇을 제어하는 것을 실습하였다. 또한 이번에는 정상적인 에피소드만 수집하는 것이 아니라, 실패했을 경우를 대비해 recovery 에피소드도 추가로 수집하였다. Recovery 에피소드의 예시는 주사위를 못 집었을 때를 가정하고 다른 부분에서 에피소드를 수집하여 다시 주사위를 집어서 박스 안에 넣는 것이다. 이렇게 보완된 데이터를 가지고 act 모델 뿐만 아니라 small-VLA 모델도 학습을 하는 시간을 가졌다.3일차에는 우선 가장 기대가 되었던 IsaacSim에 대한 수업이 진행되었다. 이 부분도 제공해주신 github에 step by step으로 실습 내용이 나와있어서 어렵지 않게 실습할 수 있었다. 중력, 마찰력 등 물리적인 제약을 현실과 동일하게 걸어두고 이를 시뮬레이션 해보는 것이 제일 신기하고 흥미롭게 다가왔던 것 같다. 그리고는 2일 차에 학습했던 모델에 대해 다시 추론해보는 시간을 가졌다. 이 역시 우리 조 로봇 성능이 꽤 좋아서 놀라웠고, 주사위와 학습 때 못봤던 같은 색의 스펀지 공을 같이 놓았을 때에도 주사위를 먼저 인식하는 모습을 보고 로봇 AI 의 능력이 정말 대단하다고 느꼈다. 사실 우리가 수집했던 데이터의 품질이 그리 좋지 않다고 생각했기 때문이다. 그렇게 마지막 실습을 하면서 3일 간의 교육이 마무리 되었다.이번 기회에 로봇과 physical AI에 대해 접해보며 많은 것을 알아갈 수 있었다. 점점 로봇의 능력이 대단해지고 있다는 것을 체감할 수 있었으며, 해당 분야의 중요성을 뼈저리게 느꼈다. 좋은 교육을 해주신 로보시지 분들께 감사드리고, 무엇보다 이런 교육을 경험할 수 있게 해주신 교수님께 감사드린다. 또한, 교육이 원활하게 진행되도록 도와준 종국,성수,성호,동훈,성인 등의 동료 연구원들에게도 고맙다는 말을 전하고 싶다. 

(1) 개요 9월 14일부터 16일까지 3일간 진행된 로보시지(Roboseasy)의 Physical AI 교육에 수강생으로 참여하였다. 실제 로봇 하드웨어를 직접 제어하면서 센서 데이터를 수집하고, 그 모델의 추론 결과가 물리적 세계의 실체적인 움직임으로 나타나는 전 과정을 직접 다루어 볼 기회는 흔치 않았다. 특히 최근 주목을 받고 있는 VLA(Vision-Language-Action)나 피지컬 AI 영역은 하드웨어와 환경 설정의 복잡함 때문에 진입 장벽이 다소 높게 느껴지곤 했다. 이번 교육은 LeKiwi 로봇과 LeRobot CLI, Physical-Labs, 그리고 NVIDIA Isaac Sim에 이르기까지 현재 Physical AI 분야에서 활발히 사용되는 핵심 도구 스택과 파이프라인을 체계적으로 접할 수 있는 절호의 기회였다. 단순히 이론적인 설명이나 미리 준비된 데모를 구경하는 데 그치지 않고, 3인 1조로 구성된 환경에서 직접 캘리브레이션부터 데이터 수집, 모델 학습, 실제 로봇의 자율 구동 및 추론에 이르는 전 과정을 하나하나 수행하며 Physical AI의 작동 원리를 명확히 이해하고자 했다.(2) 데이터 수집과 작업 일관성의 중요성 교육 첫째 날과 둘째 날에는 LeKiwi 로봇의 정밀한 하드웨어 Calibration 작업을 시작으로, 리더 암(Leader Arm)을 직접 조작하여 팔로워 암(Follower Arm)을 동기화하여 제어하는 텔레오퍼레이션(Teleoperation)을 집중적으로 익혔다. 유선 및 무선 통신 환경을 모두 경험하며 연결 조건에 따른 제어 지연이나 조작감의 차이를 체감했고, 로봇팔을 이용해 목표 물체를 정밀하게 집어 지정된 위치로 옮기는 태스크를 수십 회 이상 반복하며 학습용 행동 데이터를 수집하였다. 초기에는 단순히 주어진 과제를 성공시키는 것에만 집중했으나, 회차를 거듭하고 모델 학습 결과를 확인하면서 조작자의 일관된 행동 패턴, 그리퍼를 여닫는 정확한 타이밍, 접근 방식, 관절의 이동 궤적 등 과 정립된 작업 규칙을 유지하는 것이 데이터의 품질과 모델 성능에 절대적인 영향을 미친다는 점을 깨달았다. 동일한 태스크라도 매번 어긋난 동선으로 수집된 데이터는 모델에게 혼란을 주는 노이즈가 될 수 있었다. 이에 따라 목표물 위치의 미세한 변형과 작업 환경 조건의 다변화를 정교하게 설계하여 데이터를 재구성하였고, 수집된 데이터를 Hugging Face Hub에 업로드한 뒤 ACT 및 SmolVLA 모델을 학습시켰다. 모델의 추론 결과를 실제 로봇에 적용했을 때, 데이터 수집 단계에서의 일관성과 정교함이 로봇의 동작 성공률 및 안정성과 직결되는 것을 직접 확인하며 '데이터의 품질이 모델의 성능을 결정한다'는 것을 피부로 느낄 수 있었다.(3) 가상 환경 시뮬레이션 및 파이프라인 확장 셋째 날에는 NVIDIA Isaac Sim 플랫폼을 활용해 가상 공간에서 로봇의 시뮬레이션 환경을 직접 구축하고 제어하는 실습을 진행하였다. 실제 하드웨어 환경에서는 장비의 손상 위험, 물리적 제약, 혹은 반복 작업의 피로도로 인해 쉽게 시도하기 어려웠던 다채로운 조건, 객체의 위치와 형태 변화, 마찰력, 중력 등의 물리 계수 조정을 가상 공간에서 자유롭게 설정해 볼 수 있다는 점이 매우 인상적이었다. 시뮬레이션을 활용한 대규모 데이터 생성이 갖는 가치와, 목적에 맞는 환경 설계의 중요성을 깊이 이해할 수 있었다. 비록 한정된 시간으로 인해 시뮬레이션 데이터로 학습한 모델을 실제 로봇까지 완전히 이식해 보는 단계까지 나아가지는 못해 아쉬움이 남았지만, 가상 환경 구축에 필요한 다양한 설정과 방법론에 대해서 알 수 있었다. 아울러 LeRobot CLI를 통한 커맨드 라인 제어부터 GUI 기반의 통합 환경인 Physical-Labs, 그리고 Isaac Sim을 활용한 시뮬레이션 영역에 이르기까지 서로 다른 도구들이 하나의 Physical AI 에서 어떻게 유기적으로 연결되는지 전체적인 기술 구조를 알 수 있었다.(4) 교육을 마치며 3일이라는 제한된 시간이었지만, 논문이나 이론으로만 접했던 VLA 모델과 로봇 제어 개념을 실제 하드웨어 조작과 데이터 기반 학습으로 구현해 본 매우 알찬 시간이었다. 막연하게 어렵게만 느껴졌던 Physical AI 분야에 대한 진입 장벽을 크게 낮출 수 있었고, 단순한 모델링을 넘어 데이터 수집 알고리즘, 로봇 제어, 시뮬레이션 환경 구축이 하나의 선순환 구조로 이어지는 전체 파이프라인의 흐름을 명확하게 파악하게 되었다. 이번 실습을 통해 얻은 데이터 일관성에 대한 감각과 로봇 제어 파이프라인에 대한 이해는 향후 로보틱스 관련 연구를 이해하는 데 있어 큰 도움이 될 것이라 생각한다. 짧은 기간 동안 알찬 교육 과정과 세심한 실습 지도에 힘써주신 로보시지 관계자분들과 강사님들, 그리고 이러한 기회를 마련해 주신 김성범 교수님과 허종국 선배님께 진심으로 깊은 감사의 말씀을 전한다.

1. 개요: 3일간 진행된 로보시지의 Physical AI 교육에 참여했다. LeRobot CLI, Physical-Labs, Isaac Sim이라는 세 가지 도구를 순서대로 다루며, 로봇 제어부터 데이터 수집, 모델 학습, 추론까지 전체 사이클을 직접 실습해보는 과정이었다. 3인 1로봇(LeKiwi)으로 진행되어 단순히 이론을 듣는 데 그치지 않고, 직접 로봇을 조작하며 각 과정을 경험할 수 있었다. 평소 AI 모델을 연구하면서 학습이나 추론 과정에는 익숙했지만, 실제 로봇에서는 데이터가 어떻게 만들어지고 그 데이터가 어떻게 로봇의 행동으로 이어지는지 구체적으로 경험해본 적은 없었다. 이번 교육을 통해 데이터 수집부터 실제 로봇의 움직임까지 하나의 과정으로 이어지는 것을 직접 확인할 수 있었다는 점이 특히 의미 있었다.2. 데이터가 모델을 만든다는 것을 실험으로 확인하다. : 첫날은 LeRobot CLI를 이용해 캘리브레이션과 텔레오퍼레이션을 익히는 것부터 시작했다. 리더 암을 움직이면 팔로워 암이 그대로 따라 움직이는 모습이 처음에는 신기했지만, 곧 사람이 조작하는 하나하나의 움직임이 그대로 학습 데이터가 된다는 점이 더 흥미롭게 느껴졌다. 물체를 집어 옮기는 동작을 반복하며 데이터를 수집했는데, 처음에는 단순히 과제를 성공시키는 것에만 집중했다. 하지만 여러 에피소드를 쌓다 보니 같은 작업을 수행하더라도 매번 전혀 다른 방식으로 움직이면 오히려 학습하기 어려운 데이터가 될 수 있다는 점을 알게 되었다. 이후에는 하나의 동작 순서를 정하고 가능한 한 유사한 방식으로 과제를 수행하려고 의식하면서 데이터를 수집했다. 데이터 수집 역시 단순 반복 작업이 아니라 나름의 기준과 전략이 필요한 과정이라는 점이 인상 깊었다. 그렇게 만든 첫 번째 데이터셋으로 모델을 학습했지만 결과는 기대만큼 좋지 않았다. 로봇이 물체를 엉뚱한 방향으로 지나치거나 허공에서 그리퍼를 닫는 모습을 보면서 처음에는 모델의 문제라고 생각했다. 하지만 다음 날 데이터의 품질과 수집 방법에 대해 배우면서, 모델만큼이나 어떤 데이터를 학습시켰는지가 중요하다는 것을 이해하게 되었다. 이후 물체의 위치와 초기 조건을 조금씩 변화시키고, 수집 과정에서 문제가 있었던 에피소드를 확인하며 데이터를 다시 구성한 뒤 모델을 재학습했다. 같은 로봇과 같은 과제인데도 데이터가 달라지자 로봇의 동작에도 차이가 나타났다. 그동안 머신러닝을 공부하면서 자주 들었던 ‘데이터가 중요하다’는 말을 알고는 있었지만, 내가 직접 만든 데이터에 따라 실제 로봇의 움직임이 달라지는 모습을 보니 그 의미가 훨씬 구체적으로 와닿았다.3. 오픈소스 표준부터 시뮬레이션까지, 실무에 가까운 도구 스택을 경험하다. : 처음 LeRobot CLI에서 명령어를 하나씩 입력하며 환경을 설정할 때는 다소 낯설고 복잡하게 느껴졌다. 하지만 캘리브레이션, 텔레오퍼레이션, 데이터 수집, 학습으로 이어지는 과정을 직접 명령어로 수행하다 보니 오히려 전체 파이프라인의 구조를 이해하는 데 도움이 되었다. 둘째 날 GUI 기반의 Physical-Labs를 사용하면서는 첫날 경험했던 과정들이 화면의 기능과 자연스럽게 연결되었다. 단순히 버튼을 누르는 데 그치는 것이 아니라, 이전에 CLI에서 수행했던 작업이 GUI에서는 어떤 기능으로 구현되어 있는지를 생각하며 사용할 수 있어 이해가 한결 수월했다. 특히 관절 좌표와 직교 좌표 기반의 제어를 각각 실습하면서, 그동안 개념적으로만 알고 있던 로봇 제어 방식의 차이를 실제 움직임을 통해 확인할 수 있었다. 마지막 날에는 NVIDIA Isaac Sim을 활용해 시뮬레이션 환경을 구성하고 가상의 로봇을 직접 조작해보았다. 실물 로봇과 달리 시뮬레이션에서는 객체의 위치나 환경 조건을 자유롭게 설정할 수 있어, 실제 환경에서는 만들기 어려운 다양한 조건의 데이터를 생성할 수 있다는 점이 인상적이었다. 반면 원하는 실험 환경을 만들기 위해서는 객체를 직접 배치하고 여러 설정을 조정해야 했기 때문에, 시뮬레이션 역시 단순히 데이터를 쉽게 얻는 도구라기보다는 실험 목적에 맞는 환경을 설계하는 과정이 중요하겠다는 생각이 들었다. 4. 교육을 마치며: 3일이라는 시간이 짧게 느껴질 만큼 밀도 있는 과정이었다. 무엇보다 이번 교육을 통해 좋은 모델을 만드는 과정은 모델을 학습시키는 순간부터 시작되는 것이 아니라, 그보다 앞선 데이터 수집 단계에서부터 시작된다는 점을 직접 경험할 수 있었다. 내가 수집한 데이터의 문제점이 실제 로봇의 실패로 나타나고, 이를 다시 수정해보는 과정을 경험했다는 것이 가장 큰 수확이었다. 또한 LeRobot을 통한 오픈소스 기반의 파이프라인부터 Physical-Labs의 통합 환경, Isaac Sim을 이용한 시뮬레이션까지 순서대로 경험하면서 Physical AI에서 사용되는 여러 도구가 하나의 흐름 안에서 어떻게 연결되는지도 이해할 수 있었다. 로봇이라는 하드웨어 때문에 막연히 어렵게만 느껴졌던 Physical AI가 이번 교육을 통해 훨씬 구체적으로 다가왔고, 앞으로 관련 연구를 접했을 때도 이전보다 전체 과정을 쉽게 그려볼 수 있을 것 같다. 짧은 기간이었지만 직접 로봇을 움직이고, 데이터를 만들고, 그 데이터로 학습한 모델이 다시 로봇을 움직이는 과정까지 경험할 수 있어 의미 있는 시간이었다. 이러한 경험을 할 수 있도록 기회를 마련해주신 분들과 교육을 준비하고 진행해주신 로보시지 관계자분들께 감사드린다.

(1) 개요최근 VLA(Vision-Language-Action) 관련 연구 동향에 관심이 생겨 관련 자료를 이것저것 찾아보던 중, 로보시지에서 진행하는 Physical AI 교육을 통해 실제 로봇을 직접 다루고 실습해볼 수 있는 기회를 얻게 되었다. 논문이나 자료, LLM에 질문을 던지는 것만으로는 로봇이 데이터를 어떻게 쌓고 이를 통해 어떻게 학습하는지가 잘 와닿지 않았는데, 이번 교육에서 로봇 조작부터 데이터 수집, 모델 학습, 추론까지 직접 실습해보면서 그 원리와 흐름이 실제로 어떻게 작동하는지를 몸으로 이해할 수 있었다.(2) 직접 수집해본 로봇 행동 데이터첫째 날에는 LeKiwi라는 로봇의 구조와 구성을 살펴보고, 이를 원격으로 조작하는 방법과 그 과정에서 학습용 데이터를 수집하는 방법을 배웠다. 데이터는 첫째 날과 둘째 날에 걸쳐 각각 유선과 무선 환경에서 수집해보았는데, 같은 작업이라도 연결 환경에 따라 조작의 안정성과 수집 난이도, 소요 시간이 꽤 다르게 나타난다는 것을 확인할 수 있었다. 또한 데이터를 수집할 때는 매번 일정한 규칙과 태도를 유지하며 조작해야 한다는 점이 인상 깊었다. 그리퍼를 여는 시점이나 팔을 뻗는 방식 등을 일관되게 유지하지 않으면 데이터의 질이 떨어질 수 있었기 때문에, 데이터 수집 자체가 단순 반복이 아니라 그 나름의 준비와 집중이 필요한 하나의 작업이라는 것을 체감할 수 있었다.(3) 학습 결과가 실제 움직임이 되기까지수집한 데이터를 온라인으로 업로드한 뒤, 이를 바탕으로 LeKiwi 로봇이 사람의 직접적인 조작 없이도 스스로 움직여 원하는 객체를 집을 수 있도록 모델을 학습시켰다. 학습에는 ACT와 SmolVLA 두 가지 방식을 활용했는데, 데이터의 품질이 좋고 양이 많을수록, 그리고 수집 과정에서 뚜렷한 규칙을 지킬수록 학습이 훨씬 잘 되어 로봇이 원하는 객체를 안정적으로 집어내는 모습을 확인할 수 있었다. 데이터 수집 단계에서 느꼈던 어려움이 실제로 학습 성능과 직결된다는 것을 결과로 직접 확인할 수 있었던 부분이 특히 인상 깊었다.마지막 날에는 Isaac Sim이라는 시뮬레이션 환경에서 데이터를 수집하고 모델을 학습하는 방법을 배웠다. 시뮬레이션 환경 자체는 잘 구축되어 있었지만, 그 안에 들어가는 모든 객체는 사용자가 직접 만들어야 한다는 점에서 데이터 수집을 위해서는 생각보다 많은 준비 과정과 세밀한 환경 설정이 필요하다는 것을 알게 되었고, 동시에 그만큼 세부적으로 환경을 조절할 수 있다는 점에도 놀랐다. 다만 시간이 부족해 실제로 학습을 진행해보지는 못하고 방법론만 익히는 데 그쳐, 시뮬레이션에서 수집한 데이터가 실제 로봇의 행동으로 얼마나 잘 이어지고 실제 환경에서도 쉽게 동작할 수 있는지는 확인하지 못한 아쉬움이 남았다.4) 교육을 마치며로봇을 한 번도 다뤄본 적 없는 상태에서 VLA 연구를 시작했다면 환경 설정부터 많은 시행착오를 겪었을 텐데, 이번 교육 덕분에 LeKiwi 로봇 조작부터 데이터 수집, ACT·SmolVLA 학습, Isaac Sim 시뮬레이션까지 핵심 흐름을 짧은 기간에 알차게 익힐 수 있었다. 특히 데이터 수집 시 일관된 규칙을 지키는 것이 학습 성능으로 직결된다는 점을 직접 확인하며, 로봇에 대한 진입 장벽이 크게 낮아짐을 느꼈다. 이렇게 값진 경험을 할 수 있도록 기회를 마련해 주신 김성범 교수님과 허종국 선배님, 그리고 교육이 원활히 진행될 수 있도록 도와주신 로보시지 관계자분들께 진심으로 감사드린다.

(1) 개요9월 14일부터 16일까지 3일간 로보시지(Roboseasy)의 Physical AI 교육에 참여하였다. 학부 시절 ROS와 SLAM 관련 프로젝트를 수행한 경험은 있었지만, 주로 소프트웨어 구현에 집중했기 때문에 실제 로봇 하드웨어를 다뤄볼 기회는 많지 않았다. 평소 로봇을 직접 제어하고 동작시키는 데 관심이 있었기에, 이번 교육은 로봇팔을 다루며 관련 기술을 경험할 수 있는 좋은 기회라고 생각했다. 짧은 기간이었지만 로봇팔 제어부터 동작 데이터 수집, 모델 학습에 이르는 전반적인 흐름을 배울 수 있었다. 처음에는 직접 로봇을 움직이며 데이터를 수집하고 학습시키는 과정이 다소 복잡하게 느껴졌으나, 자세한 교육 자료와 강사님의 설명을 따라 큰 어려움 없이 실습을 진행할 수 있었다.(2) 로봇은 어떻게 사람의 동작을 학습할까?첫 번째로 리더 암과 팔로워 암을 활용해 사람의 동작을 데이터로 수집하고, 이를 바탕으로 로봇이 스스로 작업을 수행하도록 학습시키는 방법을 익혔다. 먼저 calibration을 통해 두 로봇팔의 관절 위치와 동작 범위를 맞춘 뒤, 리더 암의 움직임을 팔로워 암이 그대로 따라 하도록 하는 teleoperation을 진행하였다. 이후 리더 암을 조작해 공을 집어 상자에 넣는 동작을 반복하며 로봇의 움직임을 학습 데이터로 수집하였다. 로봇이 다양한 상황에서도 작업을 잘 수행하려면 여러 조건을 반영한 학습 데이터를 구성하는 것이 중요하기 때문에, 공의 위치를 바꾸거나 작업 도중 동작이 조금씩 어긋나는 경우도 포함하였다. 모델 학습을 마친 뒤에는 리더 암을 조작하지 않고 학습된 모델을 실행하여 로봇이 혼자 작업을 수행하도록 하였다. 로봇은 YOLO를 활용해 카메라 영상에서 공의 위치를 인식하고, 로봇팔을 움직여 공을 잡은 뒤 상자에 넣었다. 직접 수집한 데이터로 학습한 로봇이 스스로 움직이는 모습을 보며, 카메라를 통한 환경 인식과 행동 학습이 실제 시스템에서 어떻게 연결되는지 직관적으로 이해할 수 있었다.(3) 가상 환경에서도 실제 로봇처럼 학습할 수 있을까?두 번째로 Isaac Sim을 활용해 실제와 유사하게 물체의 움직임과 충돌 등 물리적 요소를 반영한 로봇 작업 환경을 가상 공간에 구현하여 그 위에서 로봇을 제어하였다. 실제 로봇팔의 움직임을 시뮬레이션 속 로봇팔이 따라 하도록 연결하여, 실제 환경에서 로봇팔을 조작하면서 가상 환경에서 작업을 수행할 수 있었다. 실습에서는 '빨간 큐브를 빨간 바구니에 던지기'라는 작업을 목표로 하여, 로봇팔을 직접 조작하여 가상 로봇팔이 큐브를 집어 바구니에 던져 넣는 동작을 반복적으로 수행하였다. 이 과정을 여러 번 반복하면서 로봇의 움직임과 작업 과정을 학습 데이터로 수집해 보았다. 실제 로봇을 이용하지 않고도 다양한 작업 환경을 구성하고 데이터를 수집할 수 있다는 점에서 Isaac Sim 시뮬레이션의 장점을 확인할 수 있었다. 현실의 로봇 조작을 가상 환경의 데이터 수집으로 연결할 수 있다는 점이 인상적이었다. 다만 시간이 부족하여 Isaac Sim에서 수집한 데이터로 모델을 학습시키고, 학습된 모델이 해당 작업을 얼마나 잘 수행하는지까지 확인하지 못한 점은 아쉬움으로 남았다. 추후에는 시뮬레이션에서 수집한 데이터를 직접 학습에 활용하여 로봇이 스스로 작업을 수행하는 모습을 확인하고, 그 성능도 평가해보고 싶다.(4) 마치며로봇 장비는 개인이 직접 구입하고 활용하기에는 비용 부담이 커서 쉽게 접하거나 경험하기 어렵다. Physical AI에 대한 관심이 높아지는 시기에 실제 로봇팔을 직접 조작하고, 데이터 수집부터 모델 학습과 자율 동작까지 경험할 수 있어 더욱 뜻깊은 시간이었다. 또한 로봇 AI가 하나의 모델만으로 구현되는 것이 아니라 로봇팔의 정밀한 제어와 환경 인식, 데이터 구성, 모델 학습 등 여러 요소가 유기적으로 연결되어야 한다는 점에서 생각보다 훨씬 정교하고 복잡한 분야임을 체감할 수 있었다. 이렇게 좋은 경험을 할 수 있도록 기회를 마련해 주신 교수님과 허종국 선배님, 그리고 교육이 원활하게 진행될 수 있도록 도와주신 모든 분들께 진심으로 감사드린다.

9/14~9/16 일동안 로보시지(roboseasy)라는 기업에서 우리 연구실 일부 인원들을 대상으로 로봇 제어 이론 및 실습, IsaacSim 기반 물리 시뮬레이션 환경 구축 및 연동 기초 과정을 수업하였다. 해당 기업은 최근 2026 ICLR에 등재된 HuggingFace의 LeRobot 라이브러리의 실제 로봇들 (SO101, LeKiwi)들을 국내에서 유일하게 인증받아 판매하는 업체이며, 기존 설계된 로봇의 생산 판매 뿐만 아니라 자체 개량, physical AI 교육, 그리고 PoC 및 과제를 통한 컨설팅 또한 진행하는 업체이다. 나 또한 VLA를 연구하기 위해 해당 기업에서 로봇을 구매하여 사용중이다. 최근 우연히 좋은 기회가 있어 해당 업체와 연이 닿아 연락을 주고 받게 되었고, 최근 Physical AI 관심이 급부상함에 따라 기업 및 학교에서 교육에 대한 관심도가 높아지고 있다는 것을 알게 되었다. 교수님께서 지원해주신 덕에 3일 동안 우리 연구실도 이러한 흐름에 올라타 교육을 듣고 Physical AI에 대한 기초를 조금이나마 다질 수 있었다. 3일이라는 기간이 처음에는 짧게 느껴져 이 기간 동안 얼마나 배울 수 있을까가 걱정이었는데, 실제로 수업을 듣고 나니 수업과 실습 내용이 알찼으며 중간중간에 연구실 인원들 몇명은 최근 동향 혹은 연구적인 얘기도 나눌 정도로 뜻깊은 시간이었다. <주요 교육 내용 및 후기>1일차 및 2일차에는 mobile manipulator인 LeKiwi를 가지고 실습 했으며, leader arm과 follower arm의 관절 제어 범위를 설정하는 calibration과 둘을 연동하여 제어하는 teleoperation을 먼저 익혔다. 이후 teleoperation을 통해 물체를 이동시키는 태스크의 데이터를 수집하는 방법을 익혔으며, 이 때 데이터 수집을 위해 신경써야할 점이 생각보다 더 많다는 것을 깨닫게 되었다. (1) 데이터를 쌓을 때 일관된 규칙을 가지고 수행할 것: 물체를 집으러 가는 행동을 제어할 때, gripper를 먼저 열고 갈 수도 있고 물체 앞에서 열 수도 있고, 횡방향 이동을 먼저 할지 등 한가지 태스크를 수행하기 위해서는 다양한 multi-modal solution이 존재한다. 다만 imitation learning이나 flow matching 기반 sft policy는 소량의 데이터만 가지고선 이러한 multi-modal solution을 갖추기 어렵다. 따라서 효율적인 데이터 수집을 위해서는 안전수칙처럼 자신만의 규칙을 정하는 것이 좋다. (2) 정밀 조작 태스크에서 실패할 경우 빠른 recovery를 하기 위해 실패 상황에서 복구하는 데이터 또한 수집할 필요가 있다. 모든 데이터를 동일한 초기 포지션에서 시작하는 expert demonstration으로 학습한 로봇의 경우 로봇의 떨림이나 예기치 못한 실수로 인해 객체가 멀어지는 현상을 잘 복구하지 못한다. 이러한 현상을 해결하기 위해 로봇의 초기 포지션 및 객체의 위치를 다양화한 후 태스크를 수행하여 state distribution을 넓히는 것이 좋다라는 것을 알게 되었다.  이후, 수집한 데이터를 가지고 첫째날은 imitation learning 기반의 ACT, 둘째날에는 경량화된 VLA 모델 중 하나인 smolVLA를 학습후 추론하며 평가하였다. 그리고 이러한 end-to-end 모델 뿐만 아니라 yolo 기반 perception 후 rule-based control로 제어하는 방법, teaching기반 제어 등 고전 제어 알고리즘 또한 체험할 수 있었다. 컨테이너 물류 수송 등 단순 반복작업에서, 객체의 위치만 잘 정렬되고 이변만 없다면 end-to-end 모델을 학습하는 것보다는 rule기반이 낫겠다라는 생각이 들었다. 그렇다면 VLA는 왜 필요할까를 생각해보았을 때, 이론적으로 multi-task가 가능하다는 점, rule이 아니라 학습을 통해 구축되기 때문에 예기치 못한 상황에 대응할 수 있다는 점이 있을 것 같다. 따라서 앞으로 우리 연구실에서 VLA쪽 연구를 하고 싶은 사람들에게 전하고 싶은 말은, 예전처럼 깔끔한 벤치마크에서만 성능 좋은 모델을 구축하는 것은 이제 중요하지 않으며 보다 현실적이고 더 noisy한 상황을 가정하고 연구를 수행하는 것이 더 현실적이라는 것이다. 3일차에는 NVIDIA에서 개발한 IsaacSim을 가지고 물리 시뮬레이션 환경을 구축하는 실습을 진행하였다. 가상 공간에 중력을 적용시키고, 물체를 배치 및 마찰력을 적용하여 실제 세계에서 적용되는 물리 법칙을 그대로 재현해보았다. 해당 실습이 본 교육 과정 중 가장 인상 깊었는데, IsaacSim이 왜 이렇게 각광받는지, 그리고 어떻게 물리 법칙이 적용되는 환경을 정교하게 설계할 수 있는지 몸소 체험하였기 때문이다. 뿐만 아니라 로보시지에서 실물과 거의 비슷한 무게, 마찰력, 힘을 가진 Lekiwi 로봇을 그대로 IsaacSim에서 재현하였는데, 키보드 및 leader arm과의 teleoperation을 통해 IsaacSim에서 시뮬레이션 데이터 수집을 진행해볼 수 있어서 더욱 좋았다. 다만 IsaacSim에서 이러한 정교한 시뮬레이션을 만들기 위해선 물체별 마찰력, 무게, 좌표계, 조인트등을 모두 직접 구현해야 하기 때문에 로봇이 기성품(이미 설계가 알려진)이거나 작업 공간에 대한 asset을 누군가가 배포하지 않는 이상, 자신만의 환경에서 자신의 로봇을 구현하는 것은 상당히 어려울 것으로 예상된다. 다만 최근 유행하는 ChatGPT Astra 등 에이전트의 바이브 코딩을 통해 어느 정도는 메울 수 있다고 강사분께서 말씀해 주셨다.  올해 4월 교수님과 브라질에 학회차 방문하였을 때 키노트 연설을 통해 physical AI에 대한 필요성을 더욱 절실히 느낄 수 있었다. 이때, 우리 연구실에서도 이러한 연구가 활성화되길 바랬으며 어떻게하면 모두가 관심을 가지게 될까 혼자 고민했던 기억이 있다. 이번에 운좋게 얻은 기회 덕분에 연구실에서 조금 더 해당 분야에 관심을 가지게 된 것 같아 기쁘다. 연구실에 강화 학습 연구를 수행하는 인원들도 점차 늘어나고 있고, 연구실에서 진행하는 산학과제에서도 VLA를 다루게 되는 만큼 모두가 이번 기회에 관심을 가지고 우리 연구실용 로봇 실험 환경을 구축하는데 앞장서서 physical AI 시대에 잘 적응해나갔으면 좋겠다.