9월 14일부터 16일까지 3일간 로보시지(Roboseasy)의 Physical AI 교육에 참여하였다. 학부 시절 ROS와 SLAM 관련 프로젝트를 수행한 경험은 있었지만, 주로 소프트웨어 구현에 집중했기 때문에 실제 로봇 하드웨어를 다뤄볼 기회는 많지 않았다. 평소 로봇을 직접 제어하고 동작시키는 데 관심이 있었기에, 이번 교육은 로봇팔을 다루며 관련 기술을 경험할 수 있는 좋은 기회라고 생각했다. 짧은 기간이었지만 로봇팔 제어부터 동작 데이터 수집, 모델 학습에 이르는 전반적인 흐름을 배울 수 있었다. 처음에는 직접 로봇을 움직이며 데이터를 수집하고 학습시키는 과정이 다소 복잡하게 느껴졌으나, 자세한 교육 자료와 강사님의 설명을 따라 큰 어려움 없이 실습을 진행할 수 있었다.

첫 번째로 리더 암과 팔로워 암을 활용해 사람의 동작을 데이터로 수집하고, 이를 바탕으로 로봇이 스스로 작업을 수행하도록 학습시키는 방법을 익혔다. 먼저 calibration을 통해 두 로봇팔의 관절 위치와 동작 범위를 맞춘 뒤, 리더 암의 움직임을 팔로워 암이 그대로 따라 하도록 하는 teleoperation을 진행하였다. 이후 리더 암을 조작해 공을 집어 상자에 넣는 동작을 반복하며 로봇의 움직임을 학습 데이터로 수집하였다. 로봇이 다양한 상황에서도 작업을 잘 수행하려면 여러 조건을 반영한 학습 데이터를 구성하는 것이 중요하기 때문에, 공의 위치를 바꾸거나 작업 도중 동작이 조금씩 어긋나는 경우도 포함하였다. 모델 학습을 마친 뒤에는 리더 암을 조작하지 않고 학습된 모델을 실행하여 로봇이 혼자 작업을 수행하도록 하였다. 로봇은 YOLO를 활용해 카메라 영상에서 공의 위치를 인식하고, 로봇팔을 움직여 공을 잡은 뒤 상자에 넣었다. 직접 수집한 데이터로 학습한 로봇이 스스로 움직이는 모습을 보며, 카메라를 통한 환경 인식과 행동 학습이 실제 시스템에서 어떻게 연결되는지 직관적으로 이해할 수 있었다.

두 번째로 Isaac Sim을 활용해 실제와 유사하게 물체의 움직임과 충돌 등 물리적 요소를 반영한 로봇 작업 환경을 가상 공간에 구현하여 그 위에서 로봇을 제어하였다. 실제 로봇팔의 움직임을 시뮬레이션 속 로봇팔이 따라 하도록 연결하여, 실제 환경에서 로봇팔을 조작하면서 가상 환경에서 작업을 수행할 수 있었다. 실습에서는 '빨간 큐브를 빨간 바구니에 던지기'라는 작업을 목표로 하여, 로봇팔을 직접 조작하여 가상 로봇팔이 큐브를 집어 바구니에 던져 넣는 동작을 반복적으로 수행하였다. 이 과정을 여러 번 반복하면서 로봇의 움직임과 작업 과정을 학습 데이터로 수집해 보았다. 실제 로봇을 이용하지 않고도 다양한 작업 환경을 구성하고 데이터를 수집할 수 있다는 점에서 Isaac Sim 시뮬레이션의 장점을 확인할 수 있었다. 현실의 로봇 조작을 가상 환경의 데이터 수집으로 연결할 수 있다는 점이 인상적이었다. 다만 시간이 부족하여 Isaac Sim에서 수집한 데이터로 모델을 학습시키고, 학습된 모델이 해당 작업을 얼마나 잘 수행하는지까지 확인하지 못한 점은 아쉬움으로 남았다. 추후에는 시뮬레이션에서 수집한 데이터를 직접 학습에 활용하여 로봇이 스스로 작업을 수행하는 모습을 확인하고, 그 성능도 평가해보고 싶다.