[학회후기]

처음으로 오프라인 상에서 본인 연구를 발표할 기회를 2021 대한산업공학회에서 얻게 되었다. 제주도까지 직접 방문하여 발표한 첫 오프라인 학회 발표였다. 코로나때문에 온라인을 예상하였으나, 결론적으론 제주도에 갔고 다녀와서도 건강하게 연구를 이어가고 있다. 직접 다녀올 수 있도록 많음 도움을 주신 교수님과 연구원분들께 감사의 말씀을 전하고 싶다. 설레는 마음을 갖고아주 오랜만에 비행기를 타 제주도에 도착했다. 2박 3일간 잊을 수 없는 많은 추억을 쌓고 온 기분이다. 좋은 숙소에서 아침 일찍부터 일어나 바다를 보며 잠을 깨우고, 발표 연습을 열심히 하고 맛집도 열심히 탐방하고 다녔다. 발표 자료는 사전에 열심히 만들어 크게 수정할 게 없었지만, 첫 오프라인 발표인 만큼 실수없게 발표하기 위해 발표 대본을 열심히 외운 기억이 있다. 발표는 학회 시작의 첫번째 날 가장 이른 9시 타임에 하게 되었다. 다소 생소한 주제의 발표였는지, 질문은 2개 받았다. 첫번째는 본 연구가 기존 연구들보다 무슨 장점을 갖는지, 두번째는 제안 방법론의 특정 부분이 성능과 어떤 관련이 있는지였다. 두 가지 질문은 모두 소중하고 값진 내용들이였다. 어떤 부분이 값졌는지는 아래 [발표 후기]에 쓰도록 한다. 발표를 끝내고 편안하게 듣고 싶은 발표들을 청취한 뒤 기분 좋게 방에 들어가 한숨 잤다. 한숨 잔 뒤, 꺠어나 바로 택시 타고 맛집으로 쐈다. 푸른 제주도 하늘을 보며 맞는 바람이 정말 큰 추억, 힘이 될 것 같다. 무엇을 구경하고, 어딜 돌아다녔는지는 사실 벌써 까먹었지만, 연구실 밖을 나가어 제주도 푸른 바람에 모든 고민, 걱정들이 날아갈 정도로 행복하게 웃은 기억만큼은 절대 잊지 않을 것이다.

[발표후기]

제목: 잘 교정된 베이지안 심층 신경망을 활용한 안전한 준지도학습 방법론

준지도학습은 다량의 unlabeled 데이터를 통해 labeled 데이터 개수가 적은 상황에도 좋은 성능을 뽐내는 알고리즘이다. 본인은 Unlabeled 데이터 내에 수상한 데이터들이 섞여있을 때에도 안전하게 작동하는 연구를 발표했다.

제안 방법론은 베이지안 뉴럴 넷의 불확실성을 통해 수상한 데이터를 탐지하여 버리고, 좋은 unlabeled 데이터만 활용해 준지도학습을 하자는 것이다. 이 때, 기존 베이지안 뉴럴 넷은 수상한 데이터에 어느정도 불확실함을 표현하긴 하나, 기깔나게 불확실하다고 표현해주진 않는다. 즉, 여전히 수상한 unlabeled 데이터가 여럿 존재할 확률이 높다.

제안 방법론은 수상한 데이터들에 대해 불확실성을 기존보다 잘 교정하는 방법도 제안해보았다.

질문1: out-of-distribution data를 탐지하는 방법론과 많이 비슷한 것 같다. 불확실성으로 ood 데이터를 탐지하는 것과(제안 방법론임), 기존 ood 방법론들의 ood 탐지 방법과 무엇이 다르냐? 그리고 어떤 장점이 있는가 ? 

답변1: 기존 ood 방법론들은 예측 확률값들을 기반하여 ood를 탐지하나, 딥러닝의 over-estimation 특성 때문에 잘 동작하지 않은 경우가 많다. 제안 방법론은 예측 확률 분포에 대한 불확실성으로 ood를 탐지한다.

장점 부분에선 답변을 제대로 못했다. 왜냐하면 예측 정확도 부분에만 초점을 연구해왔찌, ood를 얼마만큼 (정량적으로) 기존 ood 방법론들보다 더욱 잘 탐지하면서 예측 정확도를 높이고 있는지는 확인 안했기 때문이다

이 질문을 받고 기존 ood에 대한 방법론들을 공부하며, 좋은 아이디어를 얻고 실험에 구현 중이다. 고마운 답변이였다.

질문2: 불확실성 교정 아이디어가 예측 성능에 어떤 영향을 끼치는가?

답변2: 기존 베이지안 심층 신경망보다 수상한 데이터(o.o.d)에 대해 불확실성을 더욱 잘 파악하게 된다면, ood 성능이 올라간다. ood 성능이 올라가므로, 수상한 데이터 역시 잘 탐지하여 버리니 준지도학습 성능이 올라가게 된다. 이를 위해 교정 아이디어를 제안했다.

이 질문을 받고, 교정 아이디어에 대한 abliation study를 진행할 필요가 있다 생각했고, 개선점을 찾아가야 생각했다. 고마운 답변이였다.