[학회 후기]

오랜만에 산업공학회가 가까운 곳에서 열렸다. 이번 학회에서는 고려대 연구실에서 발표한 연구가 다수를 차지했다. 함께 공부하는 다른 연구실의 연구원들이 어떤 연구를 하고 있는지 알 수 있는 기회였다. 

[발표 후기] 

발표주제: Cooperative Multi-Agent Reinforcement Learning for Global Reward 

단일 에이전트로 구성된 환경에서의 강화학습은 다양한 응용 분야에서 성과를 내며 주목을 받고 있다. 하지만 현실의 많은 문제는 여러 개의 에이전트가 서로 상호작용하며 공동의 목표를 달성해야 하는 경우가 많기 때문에 멀티에이전트 강화학습이 활발하게 연구되고 있다. 기존의 멀티에이전트 강화학습은 여러 개의 에이전트 마다 독립적인 보상을 통해 학습을 한다. 이 경우 좋은 행동을 하는 에이전트와 그렇지 못한 에이전트가 학습 과정에서 서로 다른 피드백을 받는다. 하지만 현실의 문제에서 에이전트 마다 개별 보상을 얻기는 쉽지 않다. 본 연구에서는 에이전트 마다 개별적인 보상을 얻지 못하는 상황에서 통합된 보상만으로 다수의 에이전트를 효과적으로 학습하는 방법론에 대해 제안한다. 제안하는 방법은 순환신경망으로 구성된 액터-크리틱 (actor-critic) 기법으로 통합된 보상을 개별 에이전트에게 분배해줄 수 있게 한다. 제안하는 방법은 멀티에이전트 환경에서 기존의 다른 알고리즘 보다 좋은 성능을 내는 것을 입증하였다. 

Q1. Model-based RL을 적용했을 때, exploration이 저하되지 않는지? 

A1. 본 실험에서 사용한 DDPG는 Model-free RL 강화학습 알고리즘으로 자체적으로 exploration 기법이 적용되어 있어 문제가 되지 않는다. 

[청취 후기]

- A Boundary-Focused Generative Adversarial Networks for Imbalanced Time Series Data Oversampling 

분류문제에 있어 클래스 불균형 문제는 흔히 발생하는 문제다. 시계열 데이터에서도 예외없이 발생하는데 시계열의 특성을 반영하여 소수클래스를 oversampling 하는 기법은 많지 않다. 때문에 발표자는 GAN을 이용하여 시계열 특성을 고려한 oversampling 방법론을 제안한다. 이때 다수 클래스 데이터도 함께 학습해서 소수 클래스를 생성하는데 도움을 준다. 또한 소수 클래스가 적은 수임에도 불구하고 분포가 멀티모달 특성을 갖는 경우에는 GAN으로 분포의 특성을 학습하는데 어려움이 발생한다. 이를 해결하기 위해 발표자는 boundary focus라는 개념을 GAN에 결합하여 향상된 성능을 확인했다. GAN을 oversampling에 적용하는 것이 가능할지 의심스러웠는데 의미 있는 연구결과를 보니 놀라웠다. 

- 해상 이미지 데이터와 합성곱 신경망을 활용한 유의 파고 예측 

바다의 이미지 만으로 파고 (파도의 높이)를 예측하는 문제를 해결한 연구다. 일반적으로는 부이에 부착된 센서를 이용하여 수집한 센서를 이용해 미분방적식을 푸는 방식으로 파고를 계산한다고 한다. 하지만 이러한 과정은 실시간으로 진행되기 어렵기 때문에 카메라로 찍은 영상으로 파고를 예측할 수 있는 모델을 학습한다면 이를 많은 선박에 장착할 수 있어 유용하다고 한다. 발표에서는 파고의 수준을 범주화 하여 분류 모델을 적용하였는데 파고 자체를 예측할 수 있는 모델링이 가능하다면 더 활용범위가 넓어질 것 같다.