2025년 9월 27일 서울 코엑스에서 개최된 Conference on Robot Learning (CoRL)에 참석하였다. 현재 강화학습을 중심으로 연구를 진행하고 있어 로봇 분야와 긴밀히 연결된 이 학회는 최신 동향을 확인하고 시야를 넓히는 데 큰 도움이 되었다.이번 학회에는 다양한 국가의 연구자들과 더불어 메타, 엔비디아 등 세계적인 기업들이 대거 참여하였으며, 학계와 산업계가 한자리에 모여 로봇 학습의 성과와 비전을 공유하는 모습이 인상적이었다. 이를 통해 강화학습 기술이 학문적 성과를 넘어 산업 현장으로 빠르게 확장되고 있음을 확인할 수 있었다.CoRL에서는 대부분 실제 로봇을 대상으로 한 실증 연구들이 발표되었다. 강화학습 알고리즘이 시뮬레이션을 넘어 물리적 환경 속 로봇 제어와 행동 학습에 적용되는 사례들을 접하면서 연구의 실질적 가치와 응용 가능성을 실감할 수 있었다. 특히 최근 각광받고 있는 Vision-Language-Action(VLA) 모델에 대한 연구 발표가 다수 이루어졌다. 이 모델은 시각 정보와 언어 지시를 통합하여 로봇이 복잡한 상황 속에서도 인간의 요구를 이해하고 적절히 행동하도록 학습시키는 방법으로, 향후 인간-로봇 협업을 한 단계 도약시킬 수 있는 가능성을 보여주었다.이번 학회 참석을 통해 강화학습과 로봇 연구의 접점에서 이루어지고 있는 세계적 연구 흐름을 체계적으로 파악할 수 있었다. 앞으로의 연구 방향을 모색하는 데 있어 소중한 밑거름이 되었다.

Robot learning from Human video with tactile

최근 로봇 학습에서는 사람의 시연 영상을 활용하여 행동을 학습하는 연구가 활발히 진행되고 있지만, 단순히 시각 데이터만으로는 환경 변화나 물체 특성의 차이를 충분히 반영하기 어려운 한계가 있다. 이번 발표에서는 이러한 문제를 해결하기 위해 시각 정보와 함께 촉각 데이터를 동시에 수집하고 이를 학습에 반영하는 방법을 제안하였다. 그 결과 로봇은 새로운 물체나 위치 변화와 같은 unseen 상황에서도 안정적이고 높은 성능을 보여주었으며, 이는 마치 사람이 다양한 감각을 활용해 문제를 해결하듯 로봇 역시 멀티모달 정보를 결합해야 한다는 점을 잘 보여주었다. 이러한 접근은 로봇 학습이 단일 센서 의존에서 벗어나 촉각·시각을 포함한 다중 센서 기반 학습으로 확장될 수 있는 중요한 가능성을 제시한 의미 있는 연구였다.

human-in-the-loop Robot learning

또 다른 흥미로운 발표는 로봇 학습에서 human-in-the-loop 접근법의 필요성을 다룬 연구였다. 강화학습과 모방학습은 공통적으로 훈련 데이터 분포를 벗어난 OOD(out-of-distribution) 상황에 취약하다는 한계를 지니고 있는데, 이러한 경우 단순한 기계학습만으로는 효과적인 대응이 어렵다. 발표에서는 이 문제를 해결하기 위해 인간이 학습 과정에 직접 개입하도록 설계했으며, 단순히 모든 순간에 개입하는 것이 아니라 불확실성 추정 기법을 활용하여 로봇이 어려움에 부딪히는 순간에만 선택적으로 개입하도록 한 점이 특징적이었다. 이를 통해 학습 효율성을 해치지 않으면서도 실제 환경에서 발생할 수 있는 예기치 못한 상황을 효과적으로 극복할 수 있음을 보여주었다. 다양한 실험 사례와 응용 가능성을 통해 이 접근법의 현실성과 필요성을 확인할 수 있었으며, 특히 내가 연구하고 있는 분야와도 깊이 맞닿아 있어 더욱 몰입해서 들을 수 있었다. 학습 효율성을 해치지 않으면서도 실제 환경에서 발생할 수 있는 예기치 못한 상황을 효과적으로 극복할 수 있음을 보여주었다. 다양한 실험 사례와 응용 가능성을 통해 이 접근법의 현실성과 필요성을 확인할 수 있었으며, 특히 내가 연구하고 있는 분야와도 깊이 맞닿아 있어 더욱 몰입해서 들을 수 있었다.