[전체 후기]

International Conference on Machine Learning (ICML) 이름만으로도 학회의 위상이 커다랗게 느껴지는 ICML이 코로나 펜데믹 이슈로 온라인으로 진행되었다. 코로나 바이러스가 오히려 많은 사람들이 ICML을 접할 수 있는 기회를 만들어 주었기 때문에 평소에 정말 싫어하던 바이러스 사태였는데 고마운 마음도 들었다. 더욱이 해당 학회의 영상이 다음 ICML까지 계속 볼 수 있기 때문에 온라인 학회의 진면목을 느낄 수 있었다. 하지만 현장감의 부재는 아쉬움으로 남기도 하였다.

[DropNet: Reducing Neural Network Complexity via Iterative Pruning]

인공신경망의 성능은 기본적으로 2가지에 달려있다고 한다. 바로 신경망의 Depth & Width. 깊이가 깊어지고, 넓이가 넓어지면 기본적으로 파라미터의 수가 많아지면서 더 많은 신경이 교차하기 때문에 계산의 정확도가 높아지는 원리이다. 하지만 파라미터의 개수가 많아질수록 계산량이 많아지고 프로그램이 무거워지기 때문에 적절한 파라미터의 세팅이 필수적으로 요구된다. 해당 연구에서는 Drop-Out방법을 연구에 적용하여 학습에 영향도가 적은 Node를 속아내는 작업을 수행하였다. 지정된 몇몇 노드를 제외하고 학습하여 일정수준에 이르면 Early-Stopping 시킨다. 그리고 그 다음에는 또 다른 노드를 제외하고 학습하여 일정수준에 이르면 Early-Stopping 시키는 방법으로 이러한 과정을 반복하면서 학습에 영향도가 적은 Node를 솎아내는 방법을 취한다. 딥러닝이 인공지능 연구 분야에서 자리를 잡은 이후 딥러닝의 오류를 줄이고, 성능을 개선시키고 또한 보다 가벼운 환경에서 구동할 수 있도록 모델의 파라미터를 줄이는 연구가 많아지고 있다. 하지만 결국 본질은 딥러닝의 구조와 구동원리를 완벽히 이해해야 할 수 있는 연구라는 생각이 많이 들었다.

[Does label smoothing mitigate label]

지난 연구를 하기 위해서 접했던 Label smoothing 기법에 대한 연구가 있어 흥미롭게 보았다. 해당 연구는 새로운 기술을 발표하거나 혹은 새로운 분야에 기존 기술을 접목하는 것이 아닌 Label smoothing 그 자체가 의미가 있는 기술임을 증명하는 것에 초점이 맞춰져 있었다. 처음에는 Label smoothing이 무엇인지 설명하고 어떤 경우에 효과가 있을지 나열하였다. 그리고 수학적으로 증명함과 동시에 여러 조건하에서 실험한 결과로 증명하는 방법을 택했다. 증명 역시 단순히 숫자로만 증명하는 대신 Clustering을 통한 visual 이미지를 통시에 보임을 통해 Label smoothing의 효과를 직관적으로 표기했다.

지난 ICCV와 더불어 세계 최고 수준의 학회에 참석할 수 있었던 것만으로 영광이었던 것 같다. 특히, ICCV가 서울 코엑스에서 개최되어 실시간으로 발표하고 Poster section에서 저자들과 여러 토론을 할 수 잇다는 장점이 있었다면, 이번 ICML은 그러한 현장감은 없었지만, 녹화되어 있는 동영상을 돌려보고 멈춰보고 다시 볼 수 있어 개인적으로는 훨씬 도움이 된 학회였던 것 같다.