[참석  후기]

삼성동 그랜드 인터컨티넨탈호텔에서 열린 SKT AI.X 2019에 참석하였다. 사기업에서 주최한 컨퍼런스는 올해 초 NCsoft AI day에 이어 두번째 참가였다. NCsoft 컨퍼런스에서는 국내 대학원에서의 학술대회 느낌이 강했다면 이번 컨퍼런스에서는 스탠포드,  토론토 대학교 교수님, 구글 브레인 등의 유명 기업 인사들의 강연을 들을 수 있었다.  또한 SK T-brain에서 연구하고 있는 Meta Learning, Conversational AI 등 연구분야에 대한 설명도 들을 수 있었는데 국내 AI 분야를 선도하는 기업답게 연구 수준이 대단함을 느꼈다. Bert, AutoML 등 해외에서 발표한 유명한 알고리즘들을 내재화 하여 적극적으로 활용하고 있는 점, NLP/Vision/Music 등 다양한 분야에서 AI를 연구하고 서비스를 개발하고 있는 점도 눈에 띄었다. 발표에서는 Meta learning에 대한 발표들이 기억에 남고 유익했다 기회가 되면 다음에도 꼭 참가해보고 싶고  SKT같은 좋은 회사에 입사하려면 부지런히 연구 역량을 쌓아야 겠다는 생각이 드는 하루였다. 

[청취 후기]

1. Frontiers of Metric-based Few-shot Learning - Jake Snell(University of Toronto)

Meta learning 방법론 중 적은 양의 데이터로 분류모델을 학습시키는 Few-shot classification 방법론에 대한 강연이였다. 빅 데이터 시대라고는 하지만 막상 프로젝트나 연구를 수행함에 있어 활용할 수 있는 양질의 데이터를 구하는 것은 쉽지 않은 일이다. 이러한 문제를 Data Augmentation 등 유사한 데이터를 생성해내는 방법으로 해결하는, 데이터의 절대적인 양을 증가시키는 방법에 대하여는 들어본 적이 있다. 하지만 training data의 class에 속하지 않는 test set의 class가 존재한다고 할 때, 이 test set을 training의 pre-defined class만을 가지고 학습을 어떻게 시킬 것인가는 전혀 다른 문제가 된다.  이를 해결하는 방법론이 Few-shot learning이고 그 중에서도 Metric-based approach에 대한 설명이 주 내용이였다. 최근에 핫하게 연구가 되고 있는 분야인 만큼 Relation Network, Prototype Network, MAML, TADAM   다양한 방법론들이 연구되어 논문으로 발표되고 있기 때문에 나도 관심을 갖고 공부를 해봐야겠다는 생각을 했다.  요즘 수행하고 있는 프로젝트 중에서 데이터 수급의 한계로 막막했던 프로젝트가 있었는데 few-shot learning을 적용하여 domain shift문제를 해결해 볼 수 있겠다는 생각이 들었고 나에게는 조금 생소했던 Meta learning에 대하여 조금이나마 더 잘 알게 되어 유익했던 발표였다.

2. Meta AI research and System Development - Dongyeon Cho(SK Telecom)

Jake Snell 박사에 이어 SK T-brain에서 Meta Learning group을 이끌고 계신 조동연님의 Meta learning에 대한 강연이였다. 크게 발표 내용은 Few-shot classification 문제를 풀기 위한 Gradient-based approach와 Hyperparmeter optimization에 대한 발표였다. 특히 AutoML 발표 이후 많은 사람들이 관심을 갖고 있던 Hyperparameter optimization을 SK T-brain에서 어떻게 연구하고 있는지에 대하여 자세하게 소개해준 점이 인상깊었다. 간단한 테스크에 적용되는 알고리즘들에 대해서는 grid search 방법으로 최적의 하이퍼파라미터를 찾을 수 있지만 하이퍼파라미터 조합이 수십만개 이상이 넘어가게 되는 복잡한 알고리즘에 대해서는 grid search를 적용할 수 없다. 최적화 알고리즘이 언뜻 보기에는 크게 복잡하지 않은 구조였지만 수치적으로 보여준 그 성과는 굉장해보였다. 수업 과제를 하거나, 프로젝트를 하면서 모델 아키텍쳐와 하이퍼파라미터 세팅은 어느 순간부터 크게 고민을 하지 않고 경험적으로 많이 사용하는 값을 쓰거나 논문이나 유사 사례에서 성능이 잘 나왔다고 하면 그걸 믿고 그 근방에서 약간의 튜닝을 하는 정도로만 실험을 하는 경우가 많았다. 이쪽 분야가 연구가 많이 되어 유의미한 성과가 나오게 되면 여러 AI분야에서 모델 퍼포먼스를 향상시킬 수 있게 될 것이기 때문에 관심을 갖고 지켜봐야겠다는 생각을 했다.