[참석후기]

  판교의 NCsoft 본사에 방문하여
NC AI day 2019에 참석하였다. 산업공학학회가 아닌 사기업에서의 컨퍼런스이다 보니
computer vision, game AI, recommeder system 등 다양한 주제로 발표를
들을 수 있어서 좋았다. 그리고 NCsoft에서 AI에 투자를 많이 하고 이번 행사 준비도 많이 했다는 점을 느낄 수 있었다. AI
관련 실이 따로 있고 산하에 5개의 전문적인 조직이 운영되고 있는 것을 보면서 커리어를
쌓아 나가기 좋을 것 같은 회사라는 인상을 받았다. 발표 내용 모두 양질의 발표였고 기회가 되면 내년에도
꼭 참석하고 싶다.

[청취후기]

1. Coloring with words : Guiding Image
Colorization Through Text-based Palette Generation(고려대학교 방효진 유승주)

  텍스트가 input으로 들어왔을 때 텍스트와 어울리는 색상 조합(Palette)을 찾고 이 조합으로 gray-scale image에
색상을 입히는 모델에 대한 발표였다. 연구 모델은 크게 텍스트에 색상을 매핑해주는 Text2palette generation network(TPN)와 매핑된 색상을 적절하게 조합하여 이미지에 색을
입히는 Palette-Based Colorization network(PCN)의 두 가지로 구분된다. 연구자들은 먼저 디자인 관련 사이트에서 데이터를 크롤링하고 직접 검수하여 dataset을
구성하였다. 그리고 conditional seq2seq model으로
텍스트에 어울리는 색상 조합을 학습시켰는데 I think I love you와 I thought I loved you 같은 아주 작은 차이까지 색상을 구분하는 것이 신기했다. 이 학습된 palette data와 이미지 데이터를 input으로 Unet GAN model을 학습시켜 이미지에 색을
입혔다.

  이 발표를 흥미롭게 들을 수 있었던 것은 먼저 연구 주제가 창의적이였기 때문이다. 텍스트와 이미지 데이터를 함께 활용하는 연구는 개채명 인식과 Visual Q/A
정도를 접해봤는데, 이 두 데이터를 input으로
이미지에 색깔을 입힌다는 연구 아이디어가 흥미로웠다. 카메라 필터 기술이나 의상, 화장품 등의 추천 시스템으로도 연구를 확장해본다면 재밌을 것 같다. 그리고
프레젠테이션 능력이였다. 연구 동기부터 과정 및 성과까지 이번 AI
day에서 들었던 발표 중에서 가장 깔끔했던 발표라고 생각한다. 마지막으로는 연구실 세미나에서
주제로 다뤘던 GAN을 연구 모델에 적용했기 때문에 좀 더 쉽게 들을 수 있었다. 연구실 세미나 자료도 잘 정리해놓고 봐야겠다는 생각이 들었다. 더불어 GAN 기반 모델에 대한 공부를 더 심도있게 해야겠다는 필요성을 느꼈다.

2. Recent advances in recommender system
using deep learning(성균관대학교 이종욱 교수님)

  Netflix, Amazon 등 많은 기업들이 추천시스템을 활용하여
많은 성과를 내었다. 국내에서도 네이버, 카카오 등 많은
기업들이 다양한 분야에 추천시스템을 도입하고 지속적으로 연구를 하고 있다. 추천시스템은 크게 Contents based filtering(CBF), Collaborative filtering(CF) 그리고
이 둘을 결합한 hybrid model으로 나눌 수 있다. CBF는
item의 meta data를 사용하여 item간의 유사도를 계산하고 이를 기반으로 user가 선호할만한
item을 추천해주는 방식이다. 반면 CF의 경우 input으로 rating
matrix 형태를 사용한다. 평점이나 로그 데이터를 활용하여 나와 유사한 취향을 가진
user를 찾고 이를 기반으로 user가 선호할 만한 item을 추천해주는 방식이다. CF 방식의 고질적인 문제인 cold start problem / sparsity problem과 신규 item
및 user 처리 문제 때문에 CBF와 CF를 결합한 hybrid model, Matrix Factorization 기반
모델이 계속적으로 연구가 되고 있고, 최근에는 Deep learning
model이 각광받고 있다. Deep learning based recommender system은
크게 Neural network model과 Integration
model으로 나눌 수 있다. NN 계열 model은
잘 알려진 CNN, RNN, Autoencoder, GAN 등의 모델을 활용한 추천 시스템이다. 발표 시간 상 MLP와 GMF 방식을
활용한 Neural network CF와 Autoencoder기반의
CF 두가지만 자세하게 발표해주셨는데, MLP -based
matrix factorization은 user와 item
vector을 embedding시키고 이를 결합하고 layer을
층으로 쌓고 마지막에 fully connected layer을 쌓아 평점을 예측하는 모델이다. Autoencoder based model은 rating matrix를 input으로 Autoencoder을 통해 차원을 축소하여 핵심 feature을 찾고 이를 기반으로 rating을 추정하는 모델이다. Input에 denoising을 하여 좀 더 robust하게 학습할 수 있는 CDAE 모델도 소개해주셨다. 마지막으로는 연구생들이 참가했었던 music recommendation
system competition 내용을 설명하셨는데 Autoencoder based model에
곡 제목 정보를 추가로 활용하여 예측성능을 높인 점이 흥미로웠다.