신승민

이번 세미나는 선호도 기반 강화학습(Preference-based Reinforcement Learning, PbRL)을 다중 에이전트 환경으로 확장하는 두 가지 방법론을 소개해주었다. 선호도 기반 강화학습에서는 사람이 두 개의 segment를 비교해 어느 쪽이 더 나은지 알려주고, 그 피드백을 학습에 활용한다. 이렇게 얻은 선호도로 보상 모델을 학습하면, 모델이 주는 보상을 이용해 정책을 업데이트할 수 있다. 에이전트가 보상을 기준으로 더 좋은 행동을 배운다는 점은 기존 강화학습과 같지만, 사람이 보상을 설계하는 대신 segment에 대한 판단을 제공한다는 차이가 있다. 복잡한 환경에서는 적절한 보상을 정하기 어렵고, 잘못 설계한 보상이 의도하지 않은 행동을 유도할 수 있기 때문에 이러한 선호도 피드백을 활용하는 것이다.

첫 번째로 소개된 MAPT 논문은 선호도 기반 강화학습을 다중 에이전트 환경으로 확장하기 위해 cascaded transformer 기반 보상 모델을 제안한다.
기존 단일 에이전트 PbRL을 그대로 적용하면 시간적·협력적 의존성을 충분히 반영하지 못해 서로 다른 상태-행동 쌍에 비슷한 보상을 주는 reward uniformity 문제가 나타나고, 탐색과 협력 학습이 제한될 수 있다. 제안한 모델은 에이전트 간 self-attention으로 각 에이전트의 협력 관계를 반영한 개별 보상을 추정하고, 시간축의 causal attention으로 시점별 중요도 가중치를 계산한다. 각 시점에서 에이전트별 보상을 평균 낸 뒤, 시점별 중요도에 따라 가중합해 segment의 선호도 점수를 구한다. 두 segment의 점수로 선호 확률을 계산하고, 주어진 선호도 레이블과의 cross-entropy loss를 최소화하도록 보상 모델을 학습한 정책을 업데이트한다.

두 번째로 소개된 AMADPO 논문은 에이전트별 선호도를 반영해 별도의 보상 모델 없이 정책을 직접 최적화하는 방법을 제안한다. 팀 전체로는 비선호로 평가된 segment에도 특정 에이전트의 좋은 행동이 포함될 수 있다. 이러한 global·local preference의 불일치와 보상 추정 오류가 정책 학습에 전달되는 문제로 인해, 주어진 선호도와 학습된 행동이 어긋나는 preference-behavior mismatch가 발생할 수 있다. AMADPO는 먼저 팀 전체의 global preference와 에이전트별 local preference를 예측하는 multi-agent preference predictor를 학습한다. 각각의 예측 확률과 레이블 사이의 cross-entropy loss를 계산하고, global loss와 가중치를 적용한 local loss를 더해 학습하는 방식이다. 이후 학습된 preference predictor로 각 에이전트의 segment에 대한 preference score를 계산하고, 이를 softmax를 통해 agent-aware importance weight로 변환한다. 여기서 선호 segment에서는 좋은 행동을 한 에이전트에 더 큰 weight를 부여한다. 이후 같은 관측에서 현재 정책이 생성한 행동과 segment에 기록된 행동 간 차이를 L2 거리로 계산하고, 여기에 weight를 반영해 좋은 행동에는 가까워지고 안좋은 행동에서는 멀어지도록 정책을 업데이트한다.

세미나를 들으며 여러 에이전트의 행동을 사람이 직접 비교하고 평가하려면 시간과 노력이 많이 들겠다는 생각이 들었다. 이러한 평가를 AI가 대신할 수 있을지 궁금해 관련 연구를 찾아보니, 최근에는 LLM이나 VLM으로 행동을 비교해 선호도 피드백을 생성하는 연구가 진행되고 있었다. 선호도를 학습에 활용하는 방법에서 나아가, 학습에 필요한 피드백을 어떻게 얻을 수 있을지까지 관심을 넓힐 수 있었던 발표였다. 선호도 기반 강화학습의 기본 개념부터 두 방법론이 다중 에이전트 환경으로 확장되는 구조와 차이까지 이해하기 쉽게 설명해 주신 김정인 연구원님께 감사드린다.