김성범 교수님

이번 발표는 offline goal-conditioned reinforcement learning(GCRL)의 기본 개념에서 출발하여, long-horizon 문제를 해결하기 위한 HIQL(hierarchical implicit Q-learning)의 구조와 한계, 그리고 이를 평가하기 위한 OGBench, 나아가 HIQL의 high-level policy 문제를 보완하기 위한 OTA(option-aware temporally abstracted value)까지 연결하여 설명한 발표였습니다.

이후 offline GCRL에서는 미리 수집된 데이터만을 이용하기 때문에 환경과 추가적으로 상호작용하지 않고 policy를 학습할 수 있다는 장점이 있지만, 먼 goal일수록 value function의 추정 noise가 커지고 이를 online interaction을 통해 교정할 수 없다는 문제가 있음을 설명하였습니다. 이를 해결하기 위한 HIQL에서는 policy를 high-level policy와 low-level policy로 나누어, high-level policy가 intermediate subgoal을 제시하고 low-level policy가 해당 subgoal까지 도달하기 위한 실제 action을 선택하도록 구성합니다. 즉 먼 목표에 대해 매 순간 직접 primitive action을 결정하는 대신, 먼저 적절한 중간 목표를 정하고 가까운 목표에 대한 행동을 수행하도록 문제를 계층적으로 분해한 것입니다.

발표에서는 HIQL이 state-based 및 pixel-based benchmark에서 기존 방법보다 좋은 성능을 보였고, 일부 trajectory에만 action label이 존재하는 경우에도 높은 성능을 유지한다는 실험 결과를 소개하였습니다. 또한 기존 offline GCRL 연구를 보다 체계적으로 평가하기 위한 OGBench를 소개하고, 새로운 benchmark에서는 HIQL이 특히 매우 긴 long-horizon 환경에서 성능이 저하될 수 있음을 보여주었습니다. 이후 이러한 성능 저하의 주요 원인이 high-level policy의 subgoal selection에 있음을 분석하고, 여러 primitive action을 하나의 option 단위로 묶어 temporal abstraction을 수행하는 OTA가 보다 안정적으로 subgoal을 제시하여 long-horizon 성능을 향상시키는 흐름으로 발표를 마무리하였습니다.

전체적으로 일반 reinforcement learning과 goal-conditioned RL의 차이를 구체적인 예제를 통해 설명한 부분이 훌륭했습니다. 강화학습을 처음 접하는 사람에게는 “goal이 추가된다”는 설명만으로는 두 방법의 차이가 명확하지 않을 수 있는데, 트럭이 특정 목적지까지 이동하는 예시와 reward의 의미를 함께 보여줌으로써 GCRL의 개념을 매우 직관적으로 전달하였습니다. 또한 모든 슬라이드는 아니지만 주요 슬라이드를 질문으로 시작하여, 해당 슬라이드에서 무엇을 설명하려는지 청중에게 먼저 생각하게 한 구성도 좋았습니다. 다만 질문을 제시한 뒤 다음 슬라이드로 넘어가는 과정에서 이전 내용과의 연결이 충분히 설명되지 않아 전체 흐름이 다소 끊기는 느낌이 있었습니다. 각 질문이 왜 다음 내용으로 이어지는지를 한두 문장으로 연결해 주면 발표가 훨씬 자연스러워질 것 같습니다.

또한 실험 결과는 마우스 포인터를 활용하여 현재 어느 부분을 설명하고 있는지를 명확히 보여줄 필요가 있습니다. 예를 들어 high-level/low-level policy 구조를 설명할 때에는 현재 state, subgoal, final goal을 차례로 가리키면서 설명하고, 실험 테이블에서는 모든 숫자를 읽기보다는 비교하려는 baseline과 HIQL의 결과를 직접 가리키면서 왜 이 결과가 중요한지를 설명하는 것이 좋겠습니다. OGBench나 OTA 결과와 같이 여러 환경과 여러 막대가 함께 표시된 그림 역시 축과 비교 대상을 먼저 설명한 후 핵심 결과를 천천히 짚어주면 좋을 것 같습니다.

마지막으로 논문이나 슬라이드에 쓰인 표현을 그대로 읽거나 인용하여 설명하기보다는, 내용을 충분히 이해한 뒤 자신의 언어로 다시 설명하는 연습을 하면 발표가 더욱 자연스럽고 설득력 있게 전달될 것입니다.

직관적인 이해가 어려운 reinforcement learning 내용을 다양한 예제와 그림을 이용하여 이해하기 쉽게 정리하려고 노력한 점은 좋습니다. 앞으로는 슬라이드 간 질문과 답을 보다 자연스럽게 연결하고, 그림과 표를 보다 포인터를 이용해 자세하고 친절하게 설명하며, 논문의 문장을 전달하는 것보다 본인이 이해한 내용을 자신의 언어로 풀어 설명하는 데 집중한다면 훨씬 완성도 높은 발표가 될 것 같습니다. 수고했습니다!

장현성

갈 수록 강화학습에 대한 관심도가 높아지면서 점점 강화학습 수업 개설 개수나 수강생도 늘어나고 있습니다. 하지만 수업에서 다루는 강화학습은 대부분 고전 알고리즘인 DQN, A2C, SAC, PPO 등의 online-RL에 한정되어 있어 최신 강화학습 트렌드를 반영하지 못하고 있습니다.

이번 세미나는 이러한 대학에서의 강화학습 수업과 최신 연구 트렌드 간의 간극을 좁혀줄 수 있다고 볼 수 있습니다. 발표에서는 최신 강화학습 트렌드인 offline-RL에 대해서 다루고 있습니다. 먼저, 왜 online이 아니라 offline일까요? 가장 큰 이유는 데이터입니다. 모든 AI는 데이터를 보고 학습하는데, 강화학습도 마찬가지로 환경과 상호작용하여 데이터를 수집하고 학습합니다. 한편, Physical AI가 전세계에서 큰 관심을 받으며 로봇을 조작하기에 용이한 강화학습도 점점 관심도가 높아지고 있습니다. 하지만, online-RL로 로봇을 조작하려면 학습때마다 실제 로봇이 상호작용을 해서 데이터를 모아야 하는데, 해당 과정에서 로봇의 파손, 모터 수명 단축 등 데이터 수집 비용이 매우 높다는 문제가 있습니다. 그 외에도 시뮬레이션으로 online-RL을 하고 로봇에 적용하는 Sim2Real도 있긴 하지만, 아직까지는 제대로 성공하지 못하고 있습니다. 이러한 문제들을 해결하려면, 사전에 잘 수집된 데이터를 다시 재사용하는 학습 방식이 매우 필요합니다. 따라서 사전에 수집된 데이터를 기반으로 학습하는 강화학습이 offline-RL이고, 매우 큰 관심을 받고 있는 것입니다.

Offline-RL이 지니고 있는 근본적인 문제는 데이터의 품질이 안 좋을 경우, online-RL처럼 새로 수집을 하지 못한다는 것입니다. (상호작용 비용만 해결할 수 있다면, 일반적으로 online-RL의 성능이 offline-RL보다 우수함.) 즉, 데이터의 양질에 따라 성능이 달라질 수 있다는 것입니다. 심지어 데이터에 노이즈가 있을 수도 있고, 특이한 방법으로 성공한 데이터일 수도 있으며, 사람이 품질을 평가하기 모호한 데이터도 있을 수 있습니다. 이러한 모든 요인들에 강건해야 성능이 좋은 offline-RL 알고리즘이 되는 것입니다. 최근에는 발표에서 다룬 HIQL과 같이 high-level policy와 low-level policy로 하나의 고난이도 작업을 쉬운 작업 여러 개로 분할하는 hierarchical policy 방식이 많이 쓰이고 있습니다. 한편, VLA 계열도 해당 방법을 많이 사용하고 있습니다. 하지만 VLA에 비해 offline-RL에서 hierarchical policy 방식이 강건하지 않다는 문제가 있습니다. 개인적으로 왜 그런지에 대해서 계속 의문이었는데, 이에 대한 간접적인 해답을 OTA가 제시하고 있습니다.

HIQL이 대부분의 환경에서 성능이 우수하고 강건하게 만들기 위해 OTA는 HIQL에 어떤 문제가 있는지를 먼저 분석합니다. 분석 결과, HIQL에 사용된 hierarchical policy에 노이즈가 있었다는 문제가 발견되었습니다. 노이즈가 있었다는 것은, HIQL의 high-level policy가 subgoal을 생성하는 과정에서 불필요하게 많은 step을 쓰도록 만들었다는 뜻입니다. OTA는 이러한 문제를 해결하기 위해 한 번에 하나를 고려하던 기존 방법에서 여러 방법을 동시에 고려해 노이즈를 억제하고 이를 통해 정확한 subgoal을 생성하는 option 기반 temporal abstraction을 수행합니다. 그 결과, 성능이 크게 향상되었으며, subgoal 예측에 대한 변동성도 줄어들었습니다. 하지만 개인적으로 제대로된 최적의 subgoal을 예측하였는가에 대한 분석이 필요해보입니다.

Offline-RL에서 굉장히 주목받고 있는 OGBench와 기존 방법의 한계를 인식하고 해결하는 과정을 보여준 OTA를 통해 강화학습 연구에 대한 이해도가 한층 더 높아지게 된 것 같습니다.

좋은 발표 감사합니다.