[학회후기]

2021 INFORMS에 참가하여 온라인으로 발표를 하는 기회를 가졌다. 오프라인으로 참여할 수 있게 되길 기대했지만, 코로나의 여파로 인해 여전히 오프라인 참석에 부담이 있었다. 온라인으로 발표하기 때문에 확실히 영어 발표에 대한 부담이 덜어진 것은 장점이긴 하지만, 작년 시애틀에서 열렸던 INFORMS에 참석해던 경험이 너무나 소중한 추억으로 남아있었기 때문에 아쉬움이 컸다. 또한 온라인으로 참석하긴 했지만 역시나 학회가 미국 시차로 진행되었기 때문에  6시45분에 시작하는 세션에서 발표를 하게 되었다. 침대에서 일어나 바로 패드로 줌을 키고 자취방 한 구석에서 세션을 참가한 이 경험 또한 나중에는 색다른 추억으로 기억될 것 같다. 발표는 사전에 녹화한 비디오를 트는 것으로 진행되었는대, 녹음된 내 목소리를 듣는 것은 심지어 한국인 특유의 억양과 발음이 물씬 묻어나는 토속적인(?) 내 발표 영상을 보는 것은 너무나 손발이 오그라들었다.

[발표 후기]

진수와 함께 공동연구중인 “Safe Semi-Supervised Learning Using Bayesian Neural Networks”연구를 이번 INFORMS 2021 학회에서 발표했다. 우수한 딥러닝 모델을 학습하기 위해 많은 양의 레이블드 데이터가 필요하다. 하지만 실제 여러 문제 상황에서는 데이터에 레이블을 단다는 것은 상당한 시간과 비용을 수반하며, 심지어 어떤 태스크에서는 전문가만 할 수 있는 어려운 작업이다. 따라서 이러한 데이터 제약을 해소할 수 있는 다양한 연구들이 진행되고있다. 그 중 본 연구에서는 semi-supervised learning (SSL)을 다룬다. SSL은 모델의 학습에 비교적 확보가 쉬운 많은 양의 언레이블드 데이터를 함께 사용한다. 이때 대다수의 SSL 알고리즘들은 레이블드 데이터와 동일한 클래스의 종류를 가지는 언레이블드 데이터를 사용하여 지도학습보다 우수한 성능을 낸다고 SSL 알고리즘을 검증하였다. 하지만 실제 상황에서는 언레이블드 데이터에는 레이블드 데이터에는 포함되지 않은 클래스가 속할 가능성이 크다. 따라서, 이러한 현실적인 세팅에서도 안전하게 작동할 수 있는 SSL 알고리즘이 필요하다. 본 연구에서는 베이지안 딥러닝 모델의 불확실성을 사용하여, 안전한 SSL 알고리즘을 개발하였고, CIFAR10 데이터로 검증한 결과를 발표하였다. 제안 알고리즘은 불확실성을 사용한 아이디어 두 가지를 새롭게 추가하고 이를 개별적으로 검증하여 제안 알고리즘이 현실적인 SSL 실험 세팅에서도 안전하게 작동함을 입증하였다.

질문: 베이지안 딥러닝 불확실성을 사용한 pseudo label 필터링에서 threshold의 선정은 어떻게 진행했는가?

답변: validation 데이터의 불확실의 percentile 값을 사용하였고, 이는 하이퍼파라미터로 bayesian optimization을 통하여 찾은 값을 사용하였다.