[학회후기]

이번 데이터마이닝학회 추계학술대회는 고려대학교에서 개최되었다. 대학원에 진학하고 처음 참가했던 학회가 고려대학교에서 열린 대한산업공학회였는데 확실히 모교에서는 보다 편안한 마음으로 참가할 수 있는 것 같다. 3군데 장소에서 컴팩트하게 세션을 진행했는데, 보다 넓은 장소에서 쾌적하게 들을 수 있어 마음에 들었다. 하지만, 세션을 선택할 수 있는 폭이 좁았고, 오전과 오후에 2 타임씩만 배정하여 부득이하게 청취하지 못한 세션이 있는 것은 아쉬움으로 남았다. 대한산업공학회와는 달리 데이터 분석에 완전히 초점이 맞춰진 학회였기 때문에 여러 가지 아이디어를 얻을 수 있고, 새로운 분야를 접할 수 있는 기회였다. 이번 학기에는 운이 좋게도 여러 학회에 참가할 수 있었는데, 간단히 메모했던 아이디어나 공부하고 싶은 내용들을 조만간 정리하여 개인 연구를 발전시키는데 힘 쏟을 예정이다.

[청취후기] Zero-shot knowledge distillation for regression

Zero-shot learning, knowledge distillation, regression이라는 3가지의 어려운 테마를 하나의 연구 주제로 묶은 것이 흥미로워 청취를 하게 된 세션이다. Zero-shot learning에 익숙하지 않아서 처음에 개념을 잡고 이해하기가 힘들었는데 발표를 다 듣고 어느정도 자료를 찾아보니, 확실히 재밌는 연구주제라는 생각이 들었다. 발표자가 소개한 문제 상황은 ‘보다 가벼운 student regression model을 학습하고 싶은데, 원본 학습 데이터를 현재 사용할 수 없는’ 상황인데, 이를 처음에 확실하게 이해를 못해서 좀 고생을 했다. 보통 knowledge distillation을 할 때 중간 feature의 유사도나 classification model의 경우 softmax 값을 사용하게 되는데 regression 문제에서는 이와 같은 방법을 적용하기가 힘들다. Active learning 연구에서도 classification 보다 regression의 불확실성을 정의하기 힘들다는 것은 많이 알려져 있는데, zero-shot knowledge distillation도 비슷한 상황이라고 느꼈다. 발표자는 adversarial learning을 사용했는데, teacher의 지식을 전달하기 위한 생성 모델은 student 모델의 예측값이 teacher과 멀어지도록 학습이 되며, student 모델 자체는 예측값이 teacher와 유사하도록 학습이 된다. Adversarial learning의 학습을 안정화하기 위해 모델별 training step을 다르게 하는 등 여러 테크닉들이 들어간 점도 인상적이었다.