[들어가는 말]

2019 ICCV(International Conference on Computer Vision)가 지난 10월 27일부터 일주일 간 서울 코엑스에서 진행되었습니다. 대학원에 발을 들이고 처음 경험하는 학회가 운이 좋게도 세계적으로 명성있는 컴퓨터 비전 학회여서 훌륭한 연구자들의 발표를 직접 보고 들을 수 있었고 이런 것들이 저에게는 아주 감사한 기회였습니다. 또한 DMQA 연구원분들과 함께 좋은 경험을 하고 꿈을 자극하는 시간이 된 것 같아 기뻤습니다. 아직 여러 부분에서 공부가 부족하여 발표의 많은 부분을 이해하지 못했지만 이번 학회를 통해 느꼈던 점과 흥미로웠던 주제들에 대해 훗날에 다시 보고자 복기하여 두는 차원에서 간략하게 정리해보았습니다.

[논문과 저자에 대한 생각]

이번 학회 참가 전까지 가지고 있던 논문에 대한 개념은 막연하게 복잡한 수식과 난해한 그래프로 표현된 어려운 글이었습니다. 또한 논문의 저자들이 범접할 수 없는 내공의 소유자로 느껴졌습니다. 실제로 대학원에 진학하여 여러 편의 논문을 읽어보기 시작하고 하나하나 뜯어서 이해해보고자 노력하는 와중에도 종종 이것을 쓰는 사람들은 대체 어떤 사람들일까 생각해보곤 하였습니다. 하지만 이번 학회를 통해 그러한 생각이 많은 부분 변하게 되었습니다. 우선 논문이라는 것에 대해 바뀐 생각은 다음과 같습니다. 논문이란 어떤 아이디어를 구체화하여 잘 설명하는 글이고 글을 통해 전달하고자 하는 바가 명확하게 존재한다는 점입니다. 왜 논문을 쓰게 되었고(예를 들면 잘 라벨링된 이미지 데이터 수집의 어려움을 해결하기 위해) 어떠한 방법으로 저자들이 노력하여서 마침내 어떤 결과를 도출하였다는 것을 논리적이고 순차적으로 설명하고 있다고 느꼈습니다. 이렇게 시각을 달리하니 어렵게만 느껴졌던 수식과 논문이 저의 아이디어를 실현할 수 있게끔 도움을 줄 수 있는 존재로 보였습니다. 왜냐하면 세상에 어떤 아이디어를 주장하려면 남들을 설득할 수 있어야 하는데 잘 쓰여진 글과 수식 그리고 정돈된 발표가 중요한 요소라고 생각하기 때문입니다.

또한 이번 학회 포스터 세션에서 직접 연구자들이 설명해주고, 간단하게 이야기 나누는 과정에서 그들에게 느꼈었던 거대한 벽이 허물어지는 기분이 들었습니다. 왜냐하면 그들이 보여주는 적극적이고 열정적인 자세와 본인들의 아이디어를 주장하고 설득시키려는 모습을 보면서 한편으로는 존경스러웠고 한편으로는 그들이 열심히 노력하는 연구자이지만 다른 차원에서 온 외계인은 아니라는 것을 느꼈기 때문입니다. 그래서 지금 실력에서는 부끄러운 생각이 될 수도 있지만, 앞으로 이 생각에 부끄럽지 않게 최선을 다한다면 저의 논문도 어떤 학회의 포스터나 발표 단상에 올라갈 가능성이 있다는 것에 대해 조금은 다행스러웠고 한편으로는 스스로를 자극시키는 좋은 기회가 되어 좋았습니다.

[Best Paper Award – SinGAN]

이번 2019 ICCV에서 Best Paper Award를 수상한 논문은 「SinGAN : Learning a Generative Model from a Single Natural Image」입니다. 제가 이해한 범위 안에서 위 논문을 소개하자면 이름에서 직관적으로 느껴지는 것처럼 SinGAN은 GAN(Generative Adversarial Network) 구조에서 단일 이미지를 활용하는 형태로 발전된 형태입니다. SinGAN에 대해 설명하기 전에 GAN에 대해 간단히 설명하면, generator라고 불리는 신경망과 discriminator라고 불리는 신경망, 두가지로 이루어진 심층 신경망 구조입니다. GAN에는 generator와 discriminator라는 것이 있는데 여기서 generator는 가짜 이미지를 생성하고 discriminator는 그 이미지를 가짜인지 진짜인지 식별하는 구조입니다. generator의 목표는 discriminator가 진짜와 구별할 수 없을 정도의 정교한 이미지를 만들어내는 것입니다. 또한 위와 같은 과정속에서 각각의 신경망이 상호 발전하면서 상당히 정확한 generator와 discriminator가 학습 및 생성됩니다.

이렇게 독창적이고 획기적인 아이디어인 GAN에도 단점이 있습니다. 그것은 바로 원하는 수준까지 학습시키기 위해서는 상당히 많은 양의 이미지 데이터가 있어야 한다는 점입니다. 하지만 잘 정돈된 이미지 데이터가 부족하고 이 데이터들의 distribution을 알아내기 또한 어렵다는 점입니다. 위와 같은 문제점을 해결하기 위해 SinGAN은 한장의 이미지 데이터를 가지고 노이즈를 추가하여 GAN을 학습시킨 뒤 새로운 이미지를 생성하는 방식을 사용하였습니다. 정확하게는 이해하지 못했지만 중요한 점은 이미지에서 이미지를 만드는 것이 아닌, 노이즈를 사용했다는 것이고 뒤에서 GAN을 학습시키는 것은 기본 방식과 크게 차이가 없습니다.

그리고 이러한 연구를 바탕으로 여러가지 적용사례들이 나오는데 확실히 컴퓨터 비전분야라서 그런지 직관적으로 이해가 되는 예시들이 많았습니다.  Harmonization라는 적용 사례가 그 중에서 기억에 남아 설명해보자면 새로운 객체를 특정 배경 이미지에 추가하였을 때 자연스러운 느낌이 들게끔 객체를 변화시키는 것을 보여주었습니다. 주변 배경을 인식해서 자연스럽게 변화시키는 것이 활용도가 높다고 생각했습니다. 이처럼 연구에서 시작하여 다양한 실제 적용사례까지 가는 것을 보니 머신러닝과 딥러닝이 단순히 학문을 넘어서 실제 현장에 영향을 준다는 것을 체감할 수 있었습니다.

[마치는 말]

위와 같이 생각을 정리하면서 간단하게 후기를 작성하고 나니 대학원 생활의 첫 학회를 2019 ICCV로 가게 되어 정말 감사했고 운이 좋았다는 생각이 다시 한번 들었습니다. 앞으로 또 다양하고 훌륭한 학회에 참가할 기회가 생긴다면, 항상 이번 처음의 마음가짐을 기억하며 다니면 좋을 것 같다는 생각을 해보면서 이번의 ICCV 참관 후기글을 마치겠습니다. 감사합니다.