[학회 후기]

이번에 참석한 학회는 Intelligent Systems (IntelliSys) Conference로 네덜란드 암스테르담에서 개최되었다. 코로나 팬데믹 이후 처음 참석하는 해외 학회였으며 많은 기대와 걱정이 있었다. 긴 비행 후에 유럽은 걱정과 달리 평화롭고 친절하였다. IntelliSys 학회는 지금까지 참석했던 학회와는 달리 각 나라에서 모인 사람들과의 네트워크를 중요시하였다. 덕분에 다른 나라 사람들과 영어로 대화도 하면서 많은 것을 경험하게 되었고 영어 회화에 대한 자신감을 얻게 되었다. 학회에서 발표하는 연구 주제들은 다양했다. 강화학습, 여러 도메인에 인공지능 기법 응용 연구 등 많은 연구들이 소개되었다. 이번 학회는 미처 생각해보지 못했던 산업 도메인에 어떻게 해결해 나아가고 있는지, 인공지능과 인간과의 관계, 본질적인 문제들을 다뤘던 매우 뜻 깊은 학회였다.

[발표 후기] Self-Supervised Contrastive Learning for Predicting Game Strategies

이번 해외 학회에서는 “Self-Supervised Contrastive Learning for Predicting Game Strategies” 주제로 포스터 발표를 하였다. 본 연구는 게임에서 정교한 매칭 시스템을 만들기 위해 적의 게임 플레이, 전략을 반영할 수 있는 학습 방법을 제안하였다. 데이터는 Facebook ELF 게임 환경에 강화학습을 적용하여 다양한 숙련도의 학습된 에이전트를 확보하고 게임 리플레이 데이터를 수집하였다. 제안 방법은 대조 학습 방법 중 Momentum Contrast (MoCo) 방법을 수집된 데이터에 적용하여 리플레이 데이터에 대한 좋은 표현을 학습하였다. 최종적으로 MoCo로 사전 학습된 3D-CNN 인코더로부터 학습된 특징 벡터들을 추출하고 K-means Clustering을 적용하여 서로 다른 플레이 전략 및 승률로 잘 군집되는 것을 정성적으로 평가하였다.

질문 1: Positive Pair와 Negative Samples는 어떻게 정의하는지?

답변 1: 동일한 리플레이 데이터 내에 샘플링한 두 데이터는 Positive Pair로 정의하고 다른 리플레이 데이터에서 샘플링한 데이터들은 Negative Samples로 정의하였다.

질문 2: 일반적으로 알고 있는 강화학습 방법을 사용하였는지?

답변 2: 수많은 게임 리플레이 데이터를 수집하는데에 제안된 A3C 강화학습 알고리즘을 사용하였다.

질문 3: 적의 플레이 패턴, 난이도는 어떻게 조절하나요?

답변 3: Facebook ELF 환경에서 적군의 플레이 패턴과 난이도를 조절할 수 있다.

질문 4: K-means Clustering을 어떤 데이터에 적용하였나요?

답변 4: 먼저 제안 방법인 3D-CNN 인코더 기반의 MoCo를 사용하여 리플레이 데이터에 대한 표현을 사전 학습하였다. 다음으로 사전 학습된 3D-CNN 인코더를 사용하여 학습된 특징 벡터들을 추출하고 K-means Clustering을 적용하였다.