1) 개요

9월 14일부터 16일까지 로보시지에서 진행한 Physical AI 교육에서는 LeKiwi 로봇과 NVIDIA Isaac Sim을 활용하여 실제 로봇 제어부터 데이터 수집, 모방학습, 시뮬레이션 환경 구축까지 로봇 학습의 전반적인 과정을 실습하였다.

단순히 로봇을 움직여보는 것에 그치지 않고, 사람이 직접 로봇을 조작하여 데이터를 수집하고 이를 이용해 모델을 학습한 뒤 다시 실제 로봇에 적용해보는 전체 과정을 경험할 수 있었다. 또한 실제 로봇과 시뮬레이션 환경을 모두 다루면서 로봇을 활용하는 다양한 방법에 대해서 직접 체험해봤다.

2) Lekiwi 로봇 실습

LeKiwi 실습에서는 동일한 네트워크 환경에서 Raspberry Pi에 SSH로 접속하여 로봇을 제어하고, 텔레오퍼레이션을 통해 직접 작업을 수행하였다. 처음에는 로봇과 컴퓨터 간의 연결이나 카메라, 모터 등의 환경을 설정하는 과정이 다소 복잡하게 느껴졌지만, 교육에서 제공된 프로그램을 활용하면서 비교적 쉽게 실습을 진행할 수 있었다. 실제로 로봇을 직접 움직이면서 명령이 하드웨어에 전달되는 과정을 확인할 수 있어, 소프트웨어상에서만 로봇을 다루는 것과는 다른 경험을 할 수 있었다.

특히 직접 로봇을 조작하면서 모방학습에 사용할 데이터를 녹화하고 저장하는 과정을 경험하였다. 이후 수집된 데이터를 Hugging Face에 업로드하고, 이를 이용하여 모델을 학습한 뒤 학습된 모델을 다시 공유하고 배포하는 과정까지 수행하였다. 단순히 학습 코드를 실행하는 것이 아니라 데이터가 생성되고 저장되며, 학습된 모델이 다시 실제 로봇에 사용되는 전체 흐름을 직접 확인할 수 있었다. 이를 통해 실제 로봇 학습에서는 모델 학습뿐만 아니라 데이터 수집부터 관리 및 배포까지 이어지는 전체 과정이 중요하다는 점을 알 수 있었다.

3) 데이터 수집 및 모델 학습

LeKiwi 실습을 진행하면서 가장 크게 느낀 부분은 단순히 많은 데이터를 수집하는 것보다 데이터를 얼마나 체계적이고 일관되게 수집하는지가 중요하다는 점이었다. 로봇 데이터는 직접 텔레오퍼레이션을 반복하면 시간을 투자하여 양을 늘릴 수 있지만, 각 작업의 시작 위치나 조작 방법이 지나치게 다르면 오히려 모델이 행동을 학습하기 어려울 수 있었다. 반대로 비슷한 조건에서만 데이터를 반복적으로 수집하는 경우에는 학습된 모델이 제한된 상황에만 적응할 가능성도 있기 때문에, 데이터의 다양성과 일관성을 함께 고려해야 한다고 느꼈다.

따라서 어떤 조건을 포함할 것인지 사전에 정하고, 각 조건에서 최대한 일관된 방식으로 데이터를 수집하는 과정이 필요하다고 느꼈다. 특히 모방학습에서는 사람이 수행한 행동 자체가 학습 데이터가 되기 때문에, 데이터 수집자의 조작 방식도 결과에 직접적인 영향을 줄 수 있다는 점이 인상적이었다. 실제로 우리 조에서 만든 데이터로 학습한 모델은 재빠르게 움직이는 성격이 급한 모습을 보여주기도 했다.

4)  Isaac Sim 교육

Isaac Sim 실습에서는 가상환경에 로봇과 객체를 배치하고 각각의 물리적인 특성을 설정하는 과정을 경험하였다. 직접 환경을 구성해보니 작은 객체 하나를 추가하더라도 위치와 크기뿐만 아니라 충돌, 질량, 마찰 등 다양한 요소를 고려해야 했으며, 실제 환경의 특성을 시뮬레이션에서 자연스럽게 구현하는 것이 생각보다 복잡하다는 것을 알 수 있었다. 특히 환경에 포함되는 객체의 수가 증가할수록 각각의 특성을 세부적으로 설정해야 하기 때문에, 시뮬레이션 환경을 구축하는 과정 자체에도 많은 시간과 노력이 필요하다는 점을 느낄 수 있었다.

특히 여러 설정을 통해 실제 환경을 최대한 유사하게 구성하더라도 현실과 시뮬레이션 사이에는 차이가 존재하기 때문에, 이후 실제 로봇에 적용하기 위해서는 Sim2Real 과정이 필요하다는 점을  직접적으로 느낄 수 있었다. Issac Sim 교육을 통해 로봇 시뮬레이터를 구축하는 데 많은 비용과 노력이 필요한 이유와 Sim2Real이 중요한 연구 문제로 다루어지는 이유를 이해할 수 있었다.

5) 교육을 마친 뒤 느낀점

이번 교육을 통해 로봇 AI는 단순히 좋은 모델을 개발하는 것만으로 완성되는 것이 아니라, 실제 하드웨어 연결, 체계적인 데이터 수집, 모델 학습 및 배포, 시뮬레이션 환경 구축과 실제 환경 적용까지 여러 과정을 전부 고려되어야 하는 분야라는 점을 배울 수 있었다. 특히 직접 로봇과 시뮬레이터를 다루어보면서 기존에 이론적으로 이해하고 있던 모방학습과 Sim2Real의 어려움을 실제 과정에서 체감할 수 있었다.

앞으로 로봇 관련 연구를 진행하게 된다면 모델 자체의 성능뿐만 아니라 데이터 수집 방법과 실제 환경 적용 가능성까지 함께 고려해야 한다는 점을 배울 수 있었던 유익한 교육이었다.

전반적으로 조율하고 도움을 많이 주었던 종국이형에게 고맙다는 말을 남기며 교육 청취 후기를 마친다.