2019년 11월 29일 고려대학교에서 개최된 한국데이터마이닝 추계학술대회에 참가했다. 홈그라운드에서 발표를 진행하게 되어 마음이 한결 편했고, 다른 연구들도 재미있게 들을 수 있었다. 이번 학회 세션 구성을 살펴보았는데 고려대학교와 서울대학고, 동국대학교, 성균관대학교 학생들이 많이 참가하였고, 연구 주제로는 # Attention based deep learning model, Multitask / Multimodal learning # Active / Transfer learning 이 주가 되어 세션을 구성했다. 딥러닝 모델이 여러 산업분야에서 효과적으로 성능을 보이며 그에 따른 효율적인 학습방법, 설명력, 그리고 여러 데이터의 융복합의 필요성을 말해주고 있었다.

청취 후기 (1): Zero-shot knowledge distillation for regression (강명인, 강석호 - 성균관대학교 산업공학과)

평소 Zero shot, One-shot 등 knowledge distillation 방법론이 등장하며 개념을 짚고 싶어 발표를 청취했다. 제한된 자원과 원본 학습데이터의 이용이 불가능한 환경에서 성능이 우수한 ‘큰’ 모델을 근사하는 ‘작은’ 모델을 학습하기 위한 제로샷 지식 증류(Zero-shot knowledge distillation) 방법론을 회귀(regression, 수치 예측) 문제에 적용한 연구다. 이 학습 기법은 두 생성모델(generator, G)에 기반을 두고 있다. 첫번째로, 작은 모델의 예측값이 큰 모델의 예측값이 멀어지도록 하는 생성모델(G1), 반대로 작은모델의 예측값이 큰 모델의 예측값과 가까워지도록 하는 생성모델(G2)를 적대적 학습(adversarial learning) 을 적용하였다. knowledge distillation 핵심은 이 작은 모델을 잘 학습하는 것으로, 벤치마크 데이터로 유의미한 성능을 확인했다. knowledge distillation 의 학습기법에 대해 알 수 있던 시간이다. 잘 이용하면 적은 데이터상황인 도메인에 다양하게 활용할 수 있을 것 같다. 또한, 요즘 본 방법론의 목적이 필요한 상황이 많으니 관심 갖고 공부해봐야겠다.

청취 후기 (2): 어텐션 기반 설명가능한 모델을 이용한 핸드폰 오타 분석 (신석원, 남건우, 장준호, 손영두 - 동국대학교 산업시스템공학과)

내 발표 바로 직전에 청취한 발표로 이번 학회에서 가장 재미있게 본 발표였다. 스마트폰 터치 오타 발생시 오타의 위치를 Feedforward attention mechanism 예측 모델을 기반으로 오타 예측 및 사용자별 중요 변수를 탐지한 연구였다. 요즘 Attention mechanism을 활용하여 연구 중으로 방법론은 이해하기 수월했고, 휴대폰 오타수정 로직에 활용할 수 있는 사용자 맞춤형 오타 패턴을 탐지하여 더 정확한 오타수정이 이루어질 것으로 활용력이 있어 보였다.

발표 후기: Interpretable Multimodal Learning for Product Design Data (조윤상, 김성범 - 고려대학교 산업경영공학과)

자동차 와이퍼 수치데이터와 후드형상 이미지데이터를 활용하여 와이퍼 품질을 예측하고, 다양한 형태로 이루어진 상황에서도 품질에 따른 원인 인자를 살펴보고자 Attention & Response activation mapping을 제안한 연구를 소개했다. 한번 발표 했던 적이 있는 연구주제로 설명하는 데는 한껏 수월 했고, 어떻게 더 연구를 발전시켜야할지 생각해볼 수 있는 계기가 되었다. 적지않은 청중이 있었는데 관심 있게 청취해주는 것 같아 기분이 좋았고, 유용한 질문도 받았다. 본 세션 좌장은 동국대학교 이성임 교수님이셨는데 발표하는 학생들 하나하나 질문해 주시며 편안한 마음으로 발표할 수 있도록 세션을 이끌어 주시어 기억에 남는 교수님이었다. 발표가 끝나고 관련 내용으로 공부해보고 싶다며 혹시 자료를 건네 받을 수 있냐는 제안을 받았고 보안이 중요한 기업 자료를 제외하고 이메일로 공유해주겠다며 흔쾌히 인사를 나누었다. 이번 학회는 편안한 마음으로 즐겁게 다녀왔다.