1월
25일은 제 2회 NC
AI_DAY가 열린 날이다. 연구실 선배들의 발표와 다른 연구자들의 발표를 듣기 위해 참석하였다. 위의 포럼에 참가하면서 느낀 점은 다음과 같다. 첫번째는 ‘나는 엄청 좋은 환경에서 연구를 시작할 기회를 얻었다’이다. 해당 포럼에 참석하는 연구실과 연구자들을 보니, 국내 최고라 불리는
연구실에서 뛰어난 논문들을 쓰고 연구를 하시는 분들이었다. 해당 발표들의 퀄리티가 매우 뛰어나고, 어렵지만 실생활에 적용된다면 많은 효율성이 있을 것이라 생각했다. 두번째는
AI라는 분야의 범위가 매우 넓다는 것을 다시 한번 느낄 수 있었다.
마지막으로 느낀 점은 Random Process의 확장이었다. KAIST의 학생들의 발표내용이 Random Process를 AI에 적용한 부분이다. 해당 부분은 학부 시절, 관심이 있었지만 수업의 내용을 따라가기 급급했다. 이 부분을 다시
찾아보아야 다짐했던 것을 시작하면서 AI분야로 확장 해볼 것이라는 의지가 생겼다.

[SARN : Relational Reasoning through
Sequential Attention- 안진원]

 발표자가
해결하고자 하는 문제는 Visual Question Answering문제였다. 해당 발표를 듣기 전까지는 Computer Vision에서는 Object Detection & Semantic Segmentation이 가장 어려운 문제라는 생각이
들었다. 하지만 발표를 듣고 난 뒤, 생각이 바뀌었다. 해당 문제에 대한 데이터셋은 이미지와 해당 이미지에 대한 질문과 답으로 구성되어 있다. 이미지를 인식하는 부분은 CNN을 이용해서, 질문을 처리하는 방법은 RNN을 이용해서 의미를 해석하고 이에 대한
답을 추론하였다. 여기서 Attention이 사용되는 부분은
이미지에 대해서 특정 물체의 테두리와 테두리의 경계선을 살펴보는 것이었다. 내가 알고 있는 Attention은 Sequence Data에서 데이터의 앞뒤를 살펴보며, 이들을 관계를 반영하는 것으로 이해하고 있었는데, Attention의
이미지로의 확장은 매우 인상적이었다. 기존 VQA문제를 해결하는
방식에 Attention을 덧붙인 논문과 그 논문이 나오게 된 과정을 설명해주었다. 현재 다변량 시계열모델에 Attention을 적용하려는 나에게 매우
흥미로운 발표였다. 학부 수업에서 적용하려고 했던 Mask R-CNN에에
Attention을 적용하는 것과, 기존의 정형데이터를 이미지의
형태로 변환하여 이미지 상에 Attention을 적용하는 것을 시도 해 보아야 겠다는 생각이 들었다.

[Sequential Experimental Design for
Multi-Component System Using Gaussian Process Regression -정지환]

 해당
논문의 기저에 있는 내용은 Random Process의 Gaussian
Process였다. GP는 매 시점마다 변수들이 Multivariate
Normal Distribution을 따른 다는 것이다. GP와 관련한 컨셉은 17년 1월 네이버에서 진행되었던 Bayesian
Neural Network(BNN) 수업을 통해서 미리 접해보았다. 또한 여기에 커널 함수를
덧붙여 차원을 변경해가며, 회귀모델의 파라미터인 베타에 대해 적절한 값을 찾아가는 것이다. 또한 커널의 적절한 차원을 결정하기 위해 무작위로 커널의 차원을 정하는 것이라, 발표자가 알고리즘을 만들어 MLE와 비교해서 결정하는 방법론을 제안하였다. 점심을 먹은 직후 들은 세미나여서, 내용을 100% 이해하지는 못했지만, Random Process를 공부하면서
반드시 찾아보아야 하는 논문일 것이라는 생각을 했다. 과거의 Random
Process 강의와 OR2수업을 복습하며 Random
Process를 복습하며, 이를 머신 러닝에 적용해 볼 예정이다. 또한 발표자가 깔끔한 옷과 적절한 소리의 강약조절을 통해 의미를 잘 전달해주는 모습은 내가 추후에 이러한 느낌으로
발표하는 날을 상상하게 해주었다.

[Hierarchical Dirchelet Gaussian Marked
Hawkes Process for Narrative Reconstruction in Continuous Time Domain - 선우연]

 Attention을
제외한 NLP에 대해 들어본 적은 이번이 처음이었다. 해당
논문의 내용은 예시로 설명하는 것이 편할 것 같다. 만약 2018년
2분기 페이스북의 주가가 하락했다는 기사가 등장하였다. 발표자가
제안한 알고리즘을 가지고 해당 기사가 등장하기 가까운 시점의 원인이 될 만한 기사를 찾는 방법과 과거에 나온 기사 중 이와 내용적으로 유사한 기사를
찾아내는 논문이었다. 여기서 과거의 시점들에서 나타난 기사들을 Local
Cluster에 포함시키고고, 이들 여러 개가 합쳐져 전체적으로 페이스북 주가하락과 관계된 Global Cluster를 구성하는 내용이었다. 해당 알고리즘에는
Hawkes Process라는 개념이 포함이 되는데 확률의 분포가 포아송 분포의 중첩과 같은 느낌이었다.  아직은 잘 모르는 이론이지만 추후에 살펴
보아야 할 것이다. 해당 발표에 대해서는 많은 인사이트를 얻지 못하였다. 하지만 인기있는 분야인 NLP에 관심을 가지게 해주었고, GP Regression처럼 Random Process에 대한 나의
관심을 불러 일으키기에는 충분했다.