지난주 1월 25일
금요일 판교에 위치한 NCSOFT 회사에서 제2회 AI-DAY를 개최해 이를 참석하였다. 그동안 코앞에 급하다고 생각되는
것을 해내느라 그동안 너무 근시안적으로 바라보고 연구하고 하루를 살고있었구나 깨닫는 하루였다. 박영준, 강현구 선배들의 발표 때 강의실 좌석 뿐만 아니라 많은 사람들이 서서 발표를 듣는 것을 보며 또 한번 연구실에
자부심도 느낄 수 있었다. 또한 그들과 같은 공간에서 토론하고
의논하며 연구할 수 있는 것에 감사함도 느꼈다.

[청취후기]

Coloring with Words: Guiding Image
Colorization Through Text-based Palette Generation, 방효진, 유승주, 고려대학교

이 발표는 우리 대학 주재걸 교수님 연구실 두 연구원의 발표였다. 텍스트를 색으로 표현하는 모델이 Text2Colors모델의 핵심이다. 사실 발표자들의 발표를 듣기 전에는 과연 이것이 얼마나 쓸모가 있나 싶기도 하고 그냥 재미있는 연구구나 생각을
했다. 하지만 발표가 끝이 난 후 내 식견이 얼마나 얕은지 깨달았다.
비슷한 맥락으로 Style Transfer 모델이나
Deep Dream Generator도 나에게 그런 느낌을 주었다. 이번 기회로 비젼 쪽
논문도 틈틈이 읽어야겠다고 생각했다. Text2Colors은 크게 두개의 모델로 구성되어 있다. 첫번째는 conditional seq2seq model로 text가 입력되면 그에 어울리는 색 팔레트를 출력하도록 구성되어 있다. Conditional
개념이 어떻게 seq2seq모델에 녹아들었는지 다시 한번 논문을 보고 알아두어야겠다고 생각했다. 이렇게 학습된 GAN 모델은 새로운 text가 입력되면 그에 어울리는 색 팔레트를 생성할 수 있게 된다. 두번째
모델은 UNet이며 이로 grayscale의 이미지가 입력되면
색 팔레트로 해당 이미지를 채색한다. 하나 인상깊었던 것이 Conditional
Seq2seq 모델 결과 설명하면서 해당 모델로 생성된 팔레트가 가장 사람들에게 높은 평가를 받았다고 했다. 이를 발표자들은 색팔레트에 주관적으로 text가 붙여져서
있던 것이 모여서 모델에 학습되었기 때문에 모델은 같은 사랑이 들어갔다고 해도 여러 색으로 모델에 학습되면서 일반화된 결과를 생성하는 모델이
되었다고 해석하였는대 당연한 내용 같지만 가장 무서운 내용으로 기억되었다. 머지않아 우리에게 가장 기억되는
추억되는 노래, 영화, 소설이 모두 인공지능이 작품이 되는게
아닐까하는 생각이 들었기 때문이었다.

Sequential
Experimental Design for Multi-Component System Using Gaussian Process
Regression, 정지환, KAIST

보통 실험 설계를 하기 이전에 우리는
실험 설계를 진행하고 그 결과를 살펴보는 것에 익숙하다. ML에서 익숙한 Grid Search도 이렇게 모델의 hyperparameter를 tuning한다. 이렇게 되면 실험에 도움이 되지 않는 곳에서 실험을
하며 비용을 허비하게 되는 경우가 허다하다. design point(실험할 point)가 adaptive하게 선택된다면 이런 비용을 줄일 수
있다. 이 발표의 아이디어는 Gaussian process
regression을 활용하여 정보가 가장 높게 획득될 point를 알 수 있다. 이런 정보가 가장 높은 곳을 알려주는 지표는 Expected
Improvement로 하였고 이는 GP regression의 결과물이 예측에 대한 uncertainty를 알 수 있듯이 uncertainty가 큰 곳에서
커짐으로 초기 point에 따라서 local optima로
빠지는 문제도 해결할 수 있다고 하였다. 지금의 연구는
continuous한 point 찾는 것에 국한되어 있기에 categorical한 것에도 적용할 수 있는 방향으로 연구를 진행 중에 있다고 하였다. 이 발표가 눈에 띄었던 이유는 최근 내가 GP regression에
대해서 공부를 할 때 느꼈던 것 중에 배우긴 하였지만 어디에 이를 어디에 활용해야 좋은 것인지 생각을 할 수 없던 것 때문이었다. 이번 발표를 보고 ‘아 이런 부분에 이런 개념을 활용할 수 있겠구나’ 이런 깨달음을 얻을 수 있었다.

SARN : Relational Reasoning Through
Sequential Attention, 안진원, 서울대학교

Visual
Question Answering (VQA)는  image와 그에 짝지어진
question이 제공되면 그 답을 찾는 문제이다. VQA를 해결하기위해 image의 spatial, translation한 정보는 CNN으로 Text의
sequential한 정보는 LSTM으로 학습하는 모델이 익히 사용된다. 하지만 이때 사진 내 여러가지 object의 relation이 반영된 Question에는 정확도가 낮은 문제가
발생한다. 이를 반영하기위해 object의 pair 사이의 관계를 학습할 수 있는 방향으로 연구들이 진행되고 있다. 이때 object의 pair를 지을 때
computation이 커지는 문제를 reference object를 선정하여 pair 의 수를 줄이는 아이디어로 해결한 발표였으며, reference
object를 찾을 때 attention을 활용하였다.
attention이 요즘 실제 문제를 풀기위해 많이 활용됨을 알 수 있다. 나는 attention은 black box인 딥러닝 모델을 해석할 수 있는
한 가지 종류로 이해한다. 결국 궁극적으로 black box를
이해하려는 설명하려는 방향으로 연구들이 진행되는 것을 다시 한번 느낄 수 있었다.