이번 INFORMS annual meeting은 미국 시애틀에서 개최되었다. 미국은 몇 번 방문한 적이 있었지만, 시애틀에는 첫 방문이었다. 또, 몇 번 해외 학회를 다녀온 적은 있었지만, INFORMS annual meeting를 오게된 것은 대학원 생활을 하면서 처음이었다. 해외 학술대회에 참가하게되면 여러가지 방면에서 많은 경험을 할 수 있는데, 이번 학회는 그동안 겪어본 학회들 중 가장 특별했다고 생각한다.

이번 학회 참석과 시애틀 방문으로 나 뿐만이 아니라 같이 온 연구실의 다른 연구원들도 많은 생각을 하게 된 것이 느껴졌다. 이번 경험을 통해 연구에 대한 동기부여가 되고 진로에 대해 다양한 생각을 할 수 있는 좋은 기회가 된 것 같다. 학회에서 일상으로 돌아간 뒤에도 이번에 느끼고 생각한 많은 것을을 오래 가져갈 수 있으면 좋을 것 같다.

1. INFORMS 학회에서 발표된 주제들은 정말 다양했다. 데이터마이닝 알고리즘, 다양한 도메인에 대한 데이터마이닝 적용사례, 최적화 이론과 적용사례 등등. 정말 다양한 알고리즘에 관련된 연구, 다양한 분야에 관련된 연구들이 발표되었다. 우선 가장 눈에 띄는 것은 데이터마이닝과 관련된 발표가 많았다는 것이다. 이전 INFORMS의 발표 구성이 어떘는지는 잘 모르지만 INFORMS는 기본적으로 OR학회이기 때문에 데이터마이닝과 관련된 발표만 이루어지는 것은 아니다. 하지만 최근에는 데이터마이닝과 관련된 연구들의 비중이 늘어나고있다고 한다. 정말 다양한 데이터마이닝 연구들이 발표되었고, 전통적인 방법론을 이용한 연구들도 상당 수 있었다. 그리고 뉴럴네트워크와 관련된, 또는 뉴럴네트워크를 이용한 연구들도 많았다. 다양한 주제의 연구들 사이에서 내가 하고 있는 연구, 우리 연구실에서 하고 있는 연구가 어느정도 위치에, 어떤 방향에 있는지를 어느정도 알 수 있었다.

2. 많은 발표들 중에서 가장 흥미로웠던 주제는 기계학습 문제를 최적화 문제로 formulation하고, 이를 효율적으로 풀어내는 연구들이었다. 예전부터 관심이 많았던 선형 회귀분석에서 변수선택 문제를 discrete optimization으로 formulation하거나, 주어진 데이터에서 optimal decision tree를 찾는 문제, 또는 변수가 많은 상황에서 large scale문제를 효율적으로 풀기위한 다양한 optimization technique에 대한 연구 등. 기계학습은 기본적으로 잘 설계된 objective function을 최적화하는 최적화문제인데, 이러한 연구들에서는 기존의 solution strategy를 개선하거나, large scale에서 문제를 잘 풀 수 있도록 formulation을 다시 하는 등의 여러가지 접근 방식을 사용한다. 예전 best subset selection 문제를 discrete optimization을 이용해서 풀어내는 논문을 보고 재미있어 보여서 무작정 그 쪽 연구를 시작했었는데, 여전이 재미있는 연구분야라는 생각이 든다. 이번 학회에서 들은 몇 가지 발표들이 앞으로 연구를 하는 데 있어 많은 도움이 될 것 같다. 특히 MIT의 Rahul Mazumder와 Dimitris Bertsimas 교수님 연구실에서 나오는 연구들 중에서 재밌는 결과들이 많았다. 평소에도 가끔씩 두 연구실에서 나오는 논문들을 확인했었는데, 더 많은 관심을 가질 필요가 있을 것 같다.

3. 이번 학회에서 발표를 진행했다. 국내 학회에서는 발표를 꽤 많이 했지만, 해외학회에서 발표를 한 것은 이번이 두번째다. 지난 해외학회 발표는 오래전이기도 했고, INFORMS만큼 큰 학회는 아니었기 때문에, 처음 발표하는 듯한 느낌도 들었다. 특히 지난 며칠간 여러 발표들을 들으면서 다들 발표를 잘 한다는 생각이 들었고, 그런 사람들과 같은 학회에서 발표한다는 게 부담스럽기도 했다. 긴장한 상태로 발표를 하게 되었는데, 발표장 프로젝터에 문제가 생겼다. 빔 프로젝터 화면이 계속 깜빡거려서 발표자료가 제대로 보이지 않았고 발표를 제대로 진행하지 못했다. 결국은 다른 발표자의 노트북을 써서 문제가 해결되긴 했고 처음부터 다시 하기는 했지만, 전혀 만족스럽지 않은 발표였다. 발표 준비를 더 철저하게 했더라면 그런 문제가 있어도 발표를 정상적으로 마칠 수 있었을지도 모르고, 그런 문제가 발생하는 동안 좀 더 여유롭게 대처할 수도 있었을 것이다. 그러지 못한 것이 아쉬웠고, 다음 발표에는 더 많은 준비를 해야겠다는 생각이 들었다. 특히, 학회 발표를 들으면서 저런 식으로 발표하면 좋겠다는 생각이 든 적이 많았는데, 참고해서 발표하는 방식을 바꿔보는 것도 좋을 것 같다.

4. 이번 학회에서 발표 주제는 unsupervised anomaly detection with data-describing deep neural network로, neural network의 feature space에서 학습 데이터가 하나의 hypersphere로 잘 표현되도록 학습하고, hypersphere를 통해서 anomaly detection을 수행하는 방법론이다. 기본적인 아이디어는 support vector data description과 동일하나, 고정된 kernel mapping을 갖는 SVDD에 비해, 데이터로부터 좋은 feature space를 학습할 수 있다는 장점이 있으며 (데이터가 충분히 많다면), neural network 특성 상 kernel method에 비해 많은 관측치(large n)에 대한 scalability가 높다는 장점도 있다. 유사한 기존 연구로는 deep support vector data description (Ruff et al., 2018)이 있으며, Deep SVDD에 feature representation learning을 더해 generalization performance를 높여보려는 아이디어가 추가된 것이 특징이다. Feature representation learning의 필요성이나 효과에 대해서 실험적인 검증을 수행했고, image benchmark data set들에 대한 실험 결과가 제안 방법론이 기존 방법론들 (deep learning-based anomaly detection methods)에 비해 좋은 성능을 보인다는 것을 확인했다. 발표 이후 “anomaly detection 문제 상황에서는  정상 데이터가 다수이고 이상 클래스는 적게 발생하는 것이 일반적인데, 실험에서는 이상 데이터가 더 많이 사용된 것 같다”는 질문이 있었는데, 이에 대해서는 anomaly detection 상황에서 정상이 다수이고 이상이 적은 것이 일반적이긴 하나, 실험 상황에서 sampling을 통해 이상 클래스의 비율을 낮추게 될 경우, 실험에서 sampling에 의한 bias가 생길 수 있기 때문에 모든 testing set을 사용했다고 대답했다. 현실과 유사한 세팅을 통해 검증하는 것도 의미가 있지만, 실제 문제가 아닌 benchmark data set에서는 크게 중요하지 않다고 생각한다.

5. University of Washington을 방문했다. Washington 주립대학인데, 캠퍼스가 상당히 넓고 멋있었다. 분수와 잔디밭, 나무들이 인상적이었지만 가장 기억에 남는 것은 Paul G. Allen Center for Computer Science & Engineering Building이었다. UW의 Computer Science & Engineering을 위해 Microsoft에서 지어준 건물인데, 내부가 정말 잘 구성되어 있었다. UW의 computer science에서 나온 논문 몇 개를 재밌게 읽어본 적이 있었는데, 직접 와보니 신기했다. 한참 학기중이라 건물에도 캠퍼스에도 학생이 많았는데, 다들 열심히 공부하거나 돌아다니는 모습을 보면서 더 열심히 살아야겠다는 생각이 들었다.

6. Amazon에도 방문할 기회가 있었다. 짧은 시간이었지만 많은 것을 보고 느낄 수 있었다. Amazon 본사에 들어가기 전에는 1층에 있는 AmazonGo에 들어가보기도 했는데, 정말 특별할 것 없는데도 내 행동을 모니터링하면서 내가 들고 나가는 물건을 결제한다는 것이 신기했다. 사실은 인터넷에서 동영상으로 보는 것과 다를게 하나도 없었는데도. Amazon 내부는 상당히 자유로웠다. 강아지와 함께 출퇴근을 하기도 했고 (고양이는 안 된다고 한다) 외부인이 내부 사진을 찍는 데도 아무런 문제가 없었다. 우리를 초대해주신 분들이 말씀해주셨는데, 그 외에도 출퇴근이라든가 회의 같은 것들이 한국에서보다는 상당히 자유로운 분위기라고 했다. 자유로운 분위기도 매력적이었지만, Amazon에서 실제로 다루는 문제들이 재밌어 보였다. Amazon은 산업공학에서 전통적으로 다루는 거의 모든 주제들을 필요로 하는 회사인데다가, Amazon.com의 추천시스템, Alexa의 인공지능 등 기계학습/데이터마이닝과 관련된 기술도 많은 필요로 한다. Amazon에서는 내가 관심있는 거의 모든 주제들을 다루고 있어서 신기했다. 특히 많은 문제들을 최적화를 통해 해결하려고 한다는 것이 인상적이었고, 최적화 만으로는 모든 것을 해결할 수 없어서 기계학습이나 통계 방법론을 사용한다는 것도 인상적이었다.

7. 학회와 Amazon 방문, 그리고 여러 사람들과의 대화를 통해 최적화의 중요성을 절감하게 되었다. 예전에도 중요하다고 생각하기는 했지만, 많이 모자라다는 것을 다시한번 깨닫게 되었다. 연구에 필요한 내용 뿐만 아니라 전반적으로 많은 공부를 할 필요가 있을 것 같다.