2020년 11월 13일 대한산업공학회 추계학술대회가 온/ 오프라인으로 개최되었다. 연초에 등장한 COVID-19가 사라지지않고 현재까지 왕성하게 활동하고 있어 각종 경진대회를 제외하고는 온라인으로 개최되었다. 내가 생각하는 학술대회는 연구 내용을 공유하는 것 뿐만 아니라 공유한 내용에 대해 심도 깊은 토론을 하는 장소라 생각했는데, 아직은 온라인으로 토론하는 것에는 어려움어 있는 것 같다는 생각이 들었다. 하루 빨리 COVID-19가 사라져 마음껏 토의할 수 있는 학술대회가 개최되었으면 좋겠다.

[발표 후기] Deep Learning based Audio Classification for Product Design

 특정 기업과의 협업하였던 문제를 조금 더 발전 시켜 진행한 연구였다. 또한 음성, 소리라는 입력 데이터를 처음 접해보아서 약간 겁을 낸 문제였지만 발표할 수 있을 수준까지 발전시킨 자신에게 일단 칭찬을 하고싶다. 소리를 요약해주는 일종의 차원 축소 기법 중 Mel spectrogram과 MFCC를 이용해 소음 특징 벡터를 생성하고 이를 이미지로 저장하였다. 이미지로 저장한 이유는 시간, 주파수 영역, 소리 세기 모두를 반영할 수 있는 모형을 만들고 싶었기 때문이다. 또한 출력 변수들이 범주 불균형 문제에 처해 있어 오버 샘플링을 통해 모형 성능을 극대화하였다. 또한 레이블이 존재하는 데이터(112개)와 존재하지 않는 데이터(224개)를 모두 활용하였다. 레이블이 없는 데이터의 경우 합성곱 오토인코더를 이용해 소음을 잘 이해하는 가중치를 학습한 뒤 이를 소음 유형 분류 모형의 인코더로 전이시켜 모형 성능을 극대화할 수 있었다.

 요즘 유행하는 자기지도학습(Self-supervised learning)이라는 분야를 음성 데이터 분야에 적용시켰고 이를 실제 데이터에 대해 적용해보았다는데 이번 발표에 대한 가치라고 평가할 수 있을 것 같다. 현재 진행 중인 연구를 마무리하고 음성에 대한 이상치 탐지 진행 시 자기지도학습 기반 알고리즘을 개발하고 성능을 검증 해야겠다는 생각이 들었다. 또한 발표에서 사용한 실제 데이터를 이용해 최종 성능을 검증할 수 있다면 좋은 연구가 될 것이라고 생각한다.

[청취 후기] 효과적인 샘플링 방법을 통한 평생 언어 학습 (최희정, 강필성)

 이유는 모르겠지만 나만 보면 웃고 가는 DSBA 최희정 연구원이 진행한 발표였다. 인간이 지식을 습득하는 과정을 묘사해 모형을 학습하는 Continual lifelong learning에 관한 내용이었다. 여러 텍스트 분류 모형에 대해 해당 학습 방법을 적용하여 제안 방법론에 대한 성능을 검증하였다. 학습 데이터 셋 내 pseudo-sample을 정의하여 이를 손실 함수에 추가하는 방법론을 제안했다. 텍스트 분류 모형의 범주 개수가 증가하지만 변경된 손실 함수로 인해 문제 상황 (데이터 셋)이 변경됨에도 과거의 문제 상황에 대한 성능이 감소하지 않는 것을 확인했다. pseudo-sample 정의하는 형태를 추가로 살펴보고 지금 나의 개인 연구에서도 응용 가능한지 확인해볼 필요가 있다는 생각이 들었다.

[청취 후기] More Robust Hyper Parameter Optimization with Population Based Training and Bandit Algorithm (조억, 김성범)

 DMQA 연구실 조억 연구원님의 발표였다. 많은 심층 신경망 연구자들이 하이퍼파라미터 튜닝에 많은 시간을 할애한다. 동일한 모형 구조라도 하이퍼파라미터에 따라 성능 차이가 극심하기 때문이다. 연구자의 경험으로 튜닝하는 것이 아니라 특정 구간을 정해 놓고 해당 구간 내 값을 변경하며 학습을 진행하게 하면서 이를 병렬적으로 진행하는 방식이 Population-Based Training이다. 단순히 병렬적으로 진행하는 것이 아니라 상위 K개의 학습된 파라미터를 나머지 파라미터에 복사하고 하이퍼파라미터를 변경하는 방식이다. 여기에서 Bandit 알고리즘을 적용해 특정 하이퍼파라미터를 집중적으로 변경하도록 하게 하는 방식을 발표자가 제안하였다. 실험 결과를 보았을 때 가설 그대로 특정 하이어 파라미터에서 집중되며 보상이 최대화되도록 학습된 것이 인상적이었다. 발표자가 문제를 푸는 방식이 매우 인상적이었고 시간이 갈수록 깔끔해지는 발표자료를 보는 것도 인상적이었다. 마지막으로 드는 생각은 발표자의 제안 방법론을 이용하면 Local optimal에서 빠져나올 수 있게 할 것이라는 생각이 들었다. 이에 대해 발표자와 토의를 통해 답을 얻어가고 싶은 부분이다. 여러 문제에 해당 방법론을 적용해 좋은 연구 성과가 있길 응원한다.