[학회 후기] 올해 대한산업공학회 추계학술대회는 COVID-19로 온라인으로 진행했다. 대한산업공학회는 올해로써 3번째 참석한 학회이다. 여러 번 참석한 학회였지만 올해는 조용하고 아쉬움이 남는 학회였다. 보통 학회를 참석하면 전국의 연구원들이 모여 연구 내용을 공유하고 활발한 토론 시간이 있었는데 온라인으로 대체하면서 현장의 분위기를 느낄 수 없었다. 내년에는 꼭 COVID-19를 종식시켜 예전에 느낄 수 있었던 학회가 개최되었으면 한다.

[발표 후기] 화학 분자 구조 생성을 위한 생성적 적대 신경망

본 연구는 올해 COVID-19가 유행하면서 조금이나마 백신 개발에 도움이 되고자 했던 연구이다. 화학 분야에서는 크게 신약 개발, 분자 구조 성질 파악 등의 연구들이 존재한다. 하지만 수억 가지의 경우를 수작업이 불가능하기 때문에 최근에는 인공지능 기술을 도입하여 연구를 진행하고 있다. 본 연구에서는 기존 연구들과 또 다른 화학 분자 구조 생성 모델을 제안하였다. 분자 구조를 생성하는 모델은 Generative Adversarial Networks (GANs)이고 더욱 유의미한 구조 생성을 위해 policy (정책) 기반의 강화학습을 적용하였다. 제안하는 모델은 2017년에 발표한 MaskGAN 아이디어를 가져와 화학 분자 구조 데이터에 적용할 수 있도록 적절한 변형을 하였고 학습을 진행하였다. 성능 평가는 벤치마크 5가지의 척도로 평가하고 베이스 라인 모델들과 비교 실험을 진행하였다. 결론적으로 제안 모델이 5가지 척도에서 모두 좋은 성능을 보임을 알 수 있었다.

[청취 후기] 자가지도학습을 활용한 COVID-19 CXR 분류 모델 생성

나와 같이 자가지도학습과 멀티에이전트 강화학습 연구를 진행하고 있는 재훈이의 발표를 청취하였다. COVID-19는 실시간 유전자 증폭 진단 키트를 사용하여 검사를 진행한다. 최근에는 흉부 X-ray 데이터를 사용하여 COVID-19 발병 여부를 판독하는 연구가 있다. 재훈이의 연구 배경은 진단 키트를 개발하는데 걸리는 소요 시간과 발병 여부 판독 모델 구축 시 필요한 X-ray 데이터가 많아야 한다는 점을 꼬집었다. 본 연구에서는 위의 문제를 해결하기 위해 자가지도학습 방법 중 MoCo v2를 사용하였다. 사용 데이터는 MIMIC (non-COVID, 377,100장) 데이터와 COVID (14,198장) 데이터이다. 제안 방법은 MIMIC 데이터로 자가지도학습을 진행한 후 학습한 모델을 가지고 분류 테스크를 진행하였다. 성능 평가는 데이터의 레이블 비율에 따라 진행하였다. 실험 결과는 나에게 매우 흥미로웠고 이 실험을 위해 고민을 많이 한 재훈이의 노력이 보였다. 최근 나도 자가지도학습을 연구하면서 동기부여가 되었던 발표였다.

[청취 후기] Robust Hyperparameter Optimization with Population-based Training and Bandit Algorithm

강화학습 연구자 억이형의 발표를 청취하였다. 최근 딥러닝 기반의 방법론들이 연구가 되면서 연구자들은 하이퍼파라미터 튜닝을 중요하게 생각한다. 이유는 특정 하이퍼파라미터 값이 조금이라도 변형되면 성능 결과 차이가 심해진다. 이러한 문제점들이 존재하여 2017년 구글 딥마인드에서는 유전자 알고리즘 기반의 Population-Based Training (PBT) 기법을 소개하였다. PBT는 병렬적으로 하이퍼파라미터들의 특정 구간을 정해놓고 매 Iteration마다 성능을 확인하여 하이퍼파라미터들의 값을 변경하는 방식으로 진행한다. 하지만 PBT를 적용하여 얻은 하이퍼파라미터들의 값 조합은 최적이 아닐 수 있고 원하는 성능 결과를 얻기까지 오랜 시간이 걸릴 수 있다. 본 연구에서는 Bandit 문제의 Upper Confidence Bound (UCB)를 추가하여 하이퍼파라미터의 Exploration과 Exploitation을 진행한다. 이렇게 진행하면서 모든 하이퍼파라미터를 변경하는 기존의 PBT가 아닌 성능에 따라 특정 하이이퍼파라미터만 변경하도록 하였다. 실험은 MNIST와 Cartpole에 적용하여 실험 진행 및 결과를 보였다. 제안 방법론은 매 Iteration마다 성능에 따른 모든 하이퍼파라미터를 변경하는 방식이 아닌 특정 하이퍼파라미터만 변경하며 빠른 시간 내에 좋은 성능을 얻을 수 있다고 생각한다. 또한 제안 방법론의 아이디어는 매우 간단하면서도 중요한 연구라고 생각하며 심플한 아이디어 및 연구에 동기부여가 되었던 발표였다.