(1) 개요: 9월 14일부터 16일까지 3일간 로보시지에서 진행한 Physical AI 교육을 수강했다. 이번 교육은 이론 강의에 그치지 않고, 실제 로봇을 활용한 데이터 수집부터 모델 학습까지 폭넓게 다루었다. 예전에는 딥러닝을 경험하려면 GPU라는 귀한 자원이 필요했다. Physical AI는 여기에 로봇이라는 하드웨어까지 필요해서 초기 준비부터 까다롭다. 그런데 이 모든 과정을 잘 짜인 커리큘럼 안에서 경험하다 보니, 짧은 시간에 정말 많은 것을 배울 수 있었다. 개인적으로 처음 접하는 모델을 구현할 때면 늘 환경 설정 단계에서 어려움을 겪는다. 하지만 이번 교육에서는 소프트웨어 설치와 로봇 연동 등 필요한 과정을 알기 쉽게 설명해 주시고 문서로도 정리해 주신 덕분에, 직접 따라 하며 무사히 완수할 수 있었다. AI를 공부하면서 새로운 개념이 등장할 때마다 나도 모르게 거부감이 들곤 했는데, 이번 교육을 계기로 Physical AI만큼은 가까운 친구가 된 기분이다.

(2) Physical AI의 데이터 수집과 모델 학습은 어떻게 이루어질까?: 교육을 시작하며 가장 먼저 궁금했던 것은 "Physical AI는 어떤 데이터로 학습할까?"였다. 교육을 통해 알게 된 답은 '실제 로봇의 행동'이었다. 그러자 두 번째 질문이 떠올랐다. "실제 로봇의 행동 데이터를 수집하는 게 과연 쉬울까?" 이미지 데이터는 직접 촬영하면 되고, 센서 데이터는 측정하면 얻을 수 있다. 그렇다면 로봇의 행동 데이터는 어떻게 모을까? 답은 사람이 직접 로봇을 움직이는 것이다. 다만 관절 하나하나를 손으로 조작하는 방식이 아니라, 텔레오퍼레이션(teleoperation)을 이용해 로봇을 리모컨처럼 조종하면서 학습시키고자 하는 task를 시연한다. 이 과정은 생각보다 까다로웠다. 우리가 수행한 task는 바닥의 공을 집어 박스에 넣는 간단한 동작이었는데도, 제대로 된 시연 데이터를 수집하는 데 꽤 많은 시간이 들었다. 반면 수집한 데이터로 모델을 학습하는 과정은 의외로 간단했다. 잘 만들어진 Python 라이브러리 덕분에 쉽게 학습을 진행할 수 있었고, 딥러닝에 대한 기본 지식이 있다면 크게 어렵지 않은 수준이었다.

(3) 내가 학습시킨 모델의 성능은 어땠을까?: 결과는 처참했다. 우리는 50개의 시연 데이터만으로 모델을 학습하고 평가했다(이 50개를 모으는 데만 1~2시간이 걸렸다). 20번 추론(inference)을 실행했을 때 성공한 것은 2번 정도였던 것으로 기억한다. 그마저도 학습 데이터와 거의 동일한 환경에서만 성공했을 뿐, 공의 위치가 조금만 달라져도 제대로 동작하지 못했다. 그래서 일반화 성능을 높이기 위해 리커버리 케이스(공의 위치나 로봇의 초기 위치를 바꾼 데이터)를 20개 정도 추가로 수집해 다시 학습시켜 보았다. 이론적으로는 일반화 성능이 향상되어 로봇이 더 똑똑해져야 했지만, 실제로는 그렇지 않았다. 아마 20개로는 여전히 부족했던 것 같다. 기회가 된다면 데이터를 얼마나, 그리고 어떻게 수집해야 하는지 더 깊이 연구해 보고 싶다.

(4) 감사한 사람들: 무엇보다 이번 교육이 잘 진행될 수 있도록 뒤에서 많은 준비를 해 주고, 수업 중에도 보조 강사 못지않게 큰 도움을 준 종국이 형에게 가장 고맙다. 또한 세팅에 많은 신경을 써 준 정민/동훈/성인 등 여러 사람 덕분에 편하게 교육에 집중할 수 있었다. 이들 덕분에 좋은 교육을 들으며, 벽처럼 느껴졌던 Physical AI와 한층 가까워질 수 있었다. 마지막으로, 연구원들의 성장을 위해 이런 양질의 교육 기회를 마련하고 지원해 주신 교수님께 진심으로 감사드린다.