Sight range dilemma란 다중 에이전트 강화학습에서 에이전트의 시야 범위가 너무 좁으면 협력에 필요한 정보를 놓치고, 반대로 너무 넓으면 불필요한 정보가 과도하게 포함되어 학습 효율이 떨어지는 문제를 말한다. 금일 세미나에서는 이 문제를 해결하기 위한 두 가지 대표 연구인 multi-agent communication via self-supervised information aggregation (MASIA) [1]와 dynamic sight range selection (DSR) [2]을 소개한다. MASIA는 에이전트 간 통신 과정에서 발생하는 다수의 메시지를 단순히 결합하는 대신, 정보 집계와 중요 정보 추출을 통해 협력에 필요한 핵심 정보만을 효율적으로 전달하도록 설계된 방법론이다. 반면 DSR은 관측 함수에 시야 범위 제약을 직접 반영하고, 비정상성 환경에서도 안정적인 시야 범위의 탐색을 보장하기 위해 SW-UCB 기반 메타-컨트롤러를 활용하여 매 에피소드마다 최적의 시야 범위를 선택한다. 두 연구는 각각 정보 처리와 시야 조절이라는 다른 접근법으로 sight range dilemma를 완화하고, 다중 에이전트 강화학습의 성능을 향상시킨다.

[1] Gronauer, S., & Diepold, K. (2022). Multi-agent deep reinforcement learning: a survey. Artificial Intelligence Review, 55(2), 895-943.

[2] Wang, T., Wang, J., Zheng, C., & Zhang, C. (2019). Learning nearly decomposable value functions via communication minimization. arXiv preprint arXiv:1910.05366.

[3] Guan, C., Chen, F., Yuan, L., Wang, C., Yin, H., Zhang, Z., & Yu, Y. (2022). Efficient multi-agent communication via self-supervised information aggregation. Advances in Neural Information Processing Systems, 35, 1020-1033.