(1) 개요

9월 14일부터 16일까지 3일간 로보시지에서 진행된 Physical AI 교육에 참여하였다. 평소 컴퓨터 비전 분야를 공부하며 이미지나 영상 데이터를 다루는 연구를 주로 해왔기에, 인식 결과가 곧바로 물리적인 동작으로 이어지는 로봇 제어 분야는 다소 낯설게 느껴졌다. 그동안은 모델의 출력이 숫자나 라벨로 끝나는 경우가 대부분이었는데, 이번 교육에서는 그 출력이 실제 로봇팔의 움직임으로 나타난다는 점에서 색다른 경험이 될 것이라 기대하며 참여하게 되었다.

교육을 듣기 전에는 로봇 제어와 딥러닝을 결합하는 과정이 기존에 익숙했던 모델 학습 파이프라인과 크게 다르지 않을 것이라 예상했다. 하지만 실제로는 하드웨어 연결과 캘리브레이션, 조작을 통한 데이터 수집, 학습, 실기 추론까지 각 단계마다 고려해야 할 요소가 상당히 많았고, 이 모든 과정이 서로 맞물려 있다는 것을 몸으로 느낄 수 있었다.

(2) 로봇을 처음 다뤄보며

가장 먼저 진행한 것은 리더 암과 팔로워 암의 연결 및 캘리브레이션이었다. 이론적으로는 단순히 두 로봇의 좌표계를 맞추는 작업이라 생각했지만, 실제로 진행해 보니 관절 각도가 미세하게 어긋나 있으면 팔로워 암의 움직임이 부자연스러워지는 것을 확인할 수 있었다. 캘리브레이션이 끝난 뒤 처음으로 리더 암을 움직여 팔로워 암이 따라오는 모습을 보았을 때, 소프트웨어로만 다루던 모델과는 전혀 다른 종류의 긴장감을 느꼈다.

이후에는 물체를 정해진 위치로 옮기는 작업을 반복하며 텔레오퍼레이션에 익숙해지는 시간을 가졌다. 처음에는 손의 움직임과 화면 속 로봇의 반응 사이에 미묘한 시차가 있어 어색했지만, 반복할수록 점차 로봇을 마치 내 팔처럼 다룰 수 있게 되었다. 이 과정에서 로봇 조작이라는 것이 단순한 기술적 문제가 아니라 사람의 숙련도에 따라 결과물의 질이 달라지는 일종의 기술(skill)에 가깝다는 생각이 들었다.

(3) 데이터 수집과 학습, 그리고 예상치 못한 실패들

본격적인 데이터 수집 단계에서는 컵을 집어 정해진 트레이 위에 올려놓는 작업을 반복하여 학습 데이터를 모았다. 평소 연구에서는 데이터의 양과 다양성을 늘리는 것이 성능 향상의 핵심이라 여겨 왔기에, 이번에도 최대한 다양한 위치와 각도에서 시도해 보려 했다. 하지만 동료와 함께 수집한 데이터를 합쳐 학습시켜 보니, 오히려 각자의 조작 습관 차이 때문에 로봇의 움직임이 애매하게 섞여 나오는 문제를 겪었다. 한 사람은 컵을 비교적 빠르게 잡았고 다른 사람은 천천히 접근하는 경향이 있었는데, 이 차이가 그대로 모델에 반영되어 로봇이 머뭇거리는 듯한 동작을 보이기도 했다.

이 경험을 통해 데이터의 양적 확장이 항상 좋은 결과로 이어지는 것은 아니며, 오히려 누가, 어떤 방식으로 시연했는지에 따라 데이터의 성격 자체가 달라질 수 있다는 점을 깨달았다. 이미지나 텍스트 데이터에서는 크게 신경 쓰지 않았던 '데이터를 만든 주체'라는 요소가 로봇 학습에서는 성능에 직접적인 영향을 준다는 사실이 인상 깊었다. 학습된 모델을 실제 로봇에 올려 추론해 보았을 때, 컵의 위치가 학습 데이터와 조금만 달라져도 로봇이 엉뚱한 지점으로 접근하는 모습을 보며, 그동안 벤치마크 수치로만 이해했던 '일반화 실패'라는 개념을 훨씬 체감 있게 이해하게 되었다.

(4) Isaac Sim에서 다시 만난 로봇

마지막 날에는 Isaac Sim을 통해 가상 환경을 구성하고, 실제 리더 암으로 시뮬레이션 속 로봇을 조작해 보는 실습을 진행하였다. 물체의 재질이나 마찰, 카메라 시점 등을 하나씩 설정해 보면서, 실제 환경을 가상에서 재현하는 일이 생각보다 세심한 작업이라는 것을 알게 되었다. 특히 실제 물리 환경에서는 신경 쓸 필요 없었던 요소들—예를 들어 물체가 바닥을 뚫고 지나가거나 비정상적으로 튕기는 현상—을 하나씩 조정해야 했는데, 이 과정에서 시뮬레이션 환경 구축 자체가 하나의 전문 영역이라는 것을 느꼈다.

이틀간 실제 로봇으로 씨름했던 경험이 있었기에, 시뮬레이션의 편리함이 더욱 크게 다가왔다. 현실에서는 데이터 한 번 수집할 때마다 물체를 직접 정리하고 로봇 상태를 점검해야 했지만, 가상 환경에서는 버튼 하나로 초기 상태로 되돌릴 수 있었다. 다만 화면 속에서 매끄럽게 동작하는 로봇이 실제 환경에서도 동일하게 움직일 것이라는 보장은 없다는 이야기를 들으며, Sim-to-Real이라는 주제가 단순한 이론적 화두가 아니라 실제로 극복해야 할 현실적인 간극이라는 점을 새삼 체감하였다.

(5) 교육을 마치며

3일간의 교육을 통해 그동안 컴퓨터 비전 연구자로서 막연하게 상상해 왔던 Physical AI의 실체를 직접 확인할 수 있었다. 특히 인상 깊었던 것은, 모델의 인식 성능이 아무리 뛰어나도 그 인식 결과를 실제 동작으로 정확히 옮기는 제어 과정이 뒷받침되지 않으면 전체 시스템은 제대로 작동하지 않는다는 점이었다. 인식과 행동이 분리된 두 문제가 아니라 하나로 연결된 파이프라인이라는 것을 실습을 통해 체감할 수 있었다.

또한 데이터를 수집하는 사람의 입장이 되어 보면서, 평소 당연하게 활용하던 공개 데이터셋 뒤에도 이처럼 수많은 선택과 시행착오가 있었을 것이라는 생각을 하게 되었다. 앞으로 관련 연구를 진행하게 된다면, 모델 구조 개선뿐 아니라 데이터가 만들어지는 과정 자체에도 좀 더 관심을 가져야겠다는 다짐을 하게 된 계기였다.

끝으로 3일간 실습을 세심하게 지도해 주신 로보시지 관계자분들과, 이런 값진 기회를 마련해 주신 교수님께 감사드린다. 또한 실습 내내 아낌없이 도움을 주신 허종국 연구원님께도 깊이 감사드리며 후기를 마친다.