[학회 후기]

23년 6월 1~2일 제주도에서 진행된 대한산업공학회·한국경영과학회 춘계 공동 학술 대회에 참가하였다. 작년에 육군M&S국제학술대회와는 또 다른 분위기를 느낄 수 있었다. 아무래도 군인과 민간인의 차이지 않을까 싶다. 육군 학회는 대전에서 진행되었는데 생각보다 큰 규모로 인해 많이 놀랐었던 기억이 있었는데 이번 제주도에서 열린 학회는 육군 학회보다 더 큰 규모였던 것 같다. 발표 당일 컨디션이 좋지 않았지만, 긴장감을 가진 채 명찰을 받으러 갔는데 너무나도 많은 사람이 줄을 서 있었고 학회에 참석한 것을 실감할 수 있었다. 아쉽게도 내가 참여했던 세션에는 많은 사람이 참석하지는 않았지만 그래도 낯선 공간에서 나의 연구를 발표한다는 것에 큰 만족감과 다음에는 더 잘할 수 있을 것 같다는 자신감을 얻는 좋은 기회가 되었다. 특히, 충협이형이 나와 같은 세션이었는데 발표 직전에 아무 말도 하지 않고 무릎을 토닥토닥 치던 그 순간 덕분에 저조한 컨디션과 긴장감은 사라지고 자신있게 발표를 할 수 있었던 것 같다. 대학원 생활을 하며 이런 기회는 나에게 좋은 추억이자 내가 발전할 수 있는 좋은 경험이 될 것 같다. 앞으로도 많이 참여하고 싶다고 생각하게 해준 유익한 학회였다.

[발표 후기] 

이번 춘계학술대회에서는 "데이터 효율성 개선을 위한 자기 지도학습 기반 멀티 에이전트 강화학습"을 주제로 발표를 진행하였다. 해당 연구는 다중 에이전트 환경에서 심층 강화학습이 갖고 있는 고질적인 한계점인 샘플 효율성을 보조 작업(masked reconstruction task)을 활용해 개선하는 것이 핵심이다. 이를 위해 본 연구에서 "에이전트가 환경과 상호 작용한 데이터로부터 추출된 의미 있는 표현을 학습하게 되면, 제한된 데이터로도 최적의 정책 탐색이 가능할 것이다"라는 가설을 세웠다. 본 가설을 증명하기 위해 기존 방법론과의 성능(승률)을 비교하는 메인 실험을 진행하였고 특이점은 기존에 시나리오 학습을 위해 사용되었던 timestep을 절반으로 줄였다는 점이다. 결과적으로, 제한 방법론이 기존 방법론 대비 더 우수한 성능을 보이는 것을 보였고 두 가지 추가 실험(1. masking 비율에 따른 제한 방법론의 성능을 확인하는 실험 2. EMA에 사용되는 가중치 값의 변화에 따른 제한 방법론의 성능을 확인하는 실험)도 진행하였다. 마찬가지로 실험마다 가설을 세웠고 해당 가설을 입증한 결과를 소개하며 발표를 마쳤다. 아쉽게도 2가지 질문만을 받았는데 그 내용은 아래와 같다. 

질문 1) 다중 에이전트 강화학습에서 얻어지는 보상이 Q-value를 의미하는 것인가요? 

답변 1) 네, 보상이라고 적어두었지만 실제로는 각 에이전트 별 Q-value가 얻어지고 Mixing Network를 통해 total Q-value을 공동 보상값으로 도출합니다. 

질문 2) 왜 하필 masked reconstruction task를 진행하였나요? 

답변 2) 실제로 선행 연구 중 단일 에이전트에서는 대조 학습 또는 보조 작업을 활용하여 효과적인 상태 표현을 학습하는 연구가 활발히 이뤄지고 있습니다. 하지만, 해당 연구들은 보통 이미지 기반으로 이뤄지기 때문에 다양한 데이터 증강 기법을 활용할 수 있지만 본 연구에서 사용하고 있는 StarCraft 2 환경에서는 얻어지는 데이터가 벡터 형태이기 때문에 다양한 증강 기법을 적용하기 어려워 masking을 적용해 복원하는 작업을 보조 작업으로 활용해 보려 했습니다. 그리고 이를 통해 효과적인 상태 표현을 학습할 수 있게 하고자 했습니다.  

[청취 후기]

A Fake Review Detection Model Based on Deep Learning by Discovering the Major Determinants of Fake Reviews (구하은, 김재경 교수님 - 경희대학교) 

경희대학교 구하은님이 발표했던 내용이 꽤 흥미로워 후기를 남긴다. 왜냐하면, 나 또한 음식을 주문하거나 물건을 구매할 때 리뷰에 많이 의존적이기 때문이다. 만약, 해당 모델이 실제 현실에서도 잘 작동한다면 리뷰에 의존하는 많은 사람에게 큰 도움이 될 것이라는 생각과 동시에 나의 향후 연구로 현실에서 도움이 될 만한 연구를 진행해 보면 좋겠다는 생각을 막연하게 할 수 있는 흥미로운 발표였다. 짧은 연구 내용은 아래와 같다.

본 연구에서는 정보통신기술의 발전으로 인해 전자 상거래 시장이 지속적으로 성장하면서 온라인 리뷰의 중요성 증가와 이에 따라 가짜 리뷰를 게시하여 소비자에게 혼동을 주는 경향도 증가하는 것을 연구 배경으로 삼았습니다. 이러한 배경으로 인해 가짜 리뷰인지를 판별하기 위한 여러 연구(1. 리뷰 및 리뷰어 중심 피처와 리뷰 사이트의 네트워크를 기계학습에 사용하여 판별하는 연구, 2. 가짜 리뷰 결정 요인을 세 가지로 구분하여 기계 학습을 사용해 가짜 리뷰를 판별하는 연구)들이 제안되었습니다. 하지만, 이러한 연구는 실제로 어떤 요인이 가짜 리뷰 탐지에 유의한 영향을 끼치는지 그리고 기계 학습만을 고집한다는 한계점이 존재합니다. 따라서 본 연구에서는 가짜 리뷰 결정 요인의 feature selection을 통해 주요 요인을 밝혀내고 이에 딥러닝 기법을 적용해 가짜 리뷰를 탐지하는 모델을 제안했습니다. 특이점은 feature selection으로 추출한 데이터를 5가지 모델(XGBoost, SVM, Random Forest, Logistic Regression, MLP)에 입력으로 삼아 결과를 concatenation하여 평가를 진행하였습니다. 평가 지표로는 accuracy를 포함해 총 5 가지 지표를 활용했고 모두 우수한 성능을 보여주었습니다.