스웨덴 스톡홀름에서 열리는 35째 ICML 학회에 참석했다. 학회 프로그램은 크게 4가지 항목으로 Tutorials, Invited Talks, Main session, Workshop로 구성되어 있다. 다양한 주제의 발표가 진행되었지만, Neural Networks (NN)에 관한 연구들이 많은 비율을 차지하였다. 특히, NN Architecture, Reinforce Learning, Generative Adversarial NN 주제의 연구가 가장 많았다. 이외에 Optimization, Online Learning, Transfer/Multi-task Learning, Active Learning 등 응용 연구 세션 및 Supervised Learning, Clustering, Feature Selection 등의 전통 Machine learning 연구들이 존재하였다. 개인적으로 관심을 끌었던 연구 트렌드 중 한 부분은 Bayesian 확률 모형을 이용해서, NN 모델의 예측 불확실성 설명, Generative 모델의 성능 향상 등 NN 모델을 확률적으로 설명 및 구축하고자 하는 연구가 활발히 진행되고 있다는 점이 인상 깊었다.  

Tutorials, Invited Talks, Main session에서 인상 깊었던 주제에 대해서 간단히 소개 및 후기를 남기고자 한다.

Tutorial  

튜토리얼은 총 9개의 주제가 발표되었다. 9개의 주제 중 Imitation learning, Toward Theoretical Understanding of Deep Learning, Machine Learning for Personalised Health 3가지 발표를 들었다.

(1)   Imitation learning

Imitation learning은 말 그대로 모방 학습이다. 기계에게 사람이 하는 동작을 모방하도록 시키는 것이다. 알파고 제로와 같이 사람을 거치지 않고 기계를 학습시켜 인간 이상의 성능을 낼 수 있다면 좋지만, 현실의 다양한 문제들은 바둑보다 고려해야 할 요소들이 훨씬 복잡하고 다양하기 때문에 사람의 인지 및 추론능력을 기계에 학습하고자 하는 것이 모방 학습의 핵심이다. 모방 학습에는 Behavioral Cloning, Direct Policy Learning, Inverse Reinforce Learning이 존재한다. Behavioral Cloning은 가장 단순한 모방 학습으로써, 시뮬레이션 환경에서 사람 행동을 그대로 복사하는 것으로, 주어진 State에서 사람처럼 동일하기 행동했을 때는 +Reward 주고 사람과 달리 행동했을 때는 - Reward를 주는 Supervised Learning방법이다. Behavioral Cloning은 사람의 주어진 환경에서 사람의 행동을 그대로 복제하는 것이기 때문에, 시뮬레이션 환경 변화가 조금만 있어도 성능이 떨어진다. Direct Policy Learning, Inverse Reinforce Learning은 사람의 행동을 그대로 흉내내기 보다는 일반화하고 추상적인 명령어로 전환하여 학습하는 것이다. Imitation learning 연구에는 다양한 방향성이 존재하는데 그 중 하나는 Multi-Agent Imitation Learning이다. 축구게임과 같이 멀티 player들의 행동들을 효과적으로 학습하는 연구로써, 연구실에서 진행되는 강화학습 연구에서 유용하게 사용 될 수 있지 않을까 생각한다.

(2)   Toward Theoretical Understanding of Deep Learning

Deep Learning 모델을 이론적으로 이해하는 세션으로써, Nonconvex한 objective function에서 어떻게 좋은 해가 구해지는지, 데이터 보다 모델 파라미터가 많음에도 불구하고 왜 NN가 좋을 예측력을 보이는지, Depth에 역할이 무엇인지 등 Deep Learning을 이해하고자 했던 연구 결과들에 대해 소개하였다. 예를 들어 Depth 역할을 살펴 보기 위해, activation function들을 linear function을 사용하고 여러 층의 레이어를 쌓아 모델 성능을 비교한 연구를 소개하였다. 사실 linear activation function을 이용해 레이어를 쌓게 되면, 최종적인 모델의 형태는 선형모형과 동일하다. 그럼에도 불구하고 레이어를 깊게 쌓았을 때 빠른 acceleration 효과를 보여주는 연구 결과들을 소개하였다. 

(3)   Machine Learning for Personalised Health

헬스케어 산업에서 기계학습 연구가 집중되고 있는 이유를 환자, 산업, 정책 관점에서 소개하고, 과거의 데이터 기반 헬스케어와 현재의 기계학습 기반의 헬스케어가 어떤 차이가 있는지, Personalised Health에 어떠한 이슈들이 있는지를 소개하였다. 특징적인 부분은 ICML 학회 전반에서 나타나는 Deep NN 모델 등 최신 각광받고 있는 최신 알고리즘 및 기법을 적용하기 보다는 데이터 수집, 모델 해석 능력, 분석결과에 대한 인과관계 설명 등을 중점 연구과제로 나타내었다. 전체적으로 데이터 수집 및 이용이 쉽지 않고, 사람의 생명과 관계되기 때문에 아직까지 다른 산업에 비해 공격적인 접근보다는 보수적인 접근에 연구 성향을 유지하고 있었다. 앞으로 최신 기계학습을 활용한 연구 기회가 많지 않을까 생각이 든다.

Invited Talks

Invited Talks은 총 4개의 주제가 발표되었다.

(1) AI and Security: Lessons, Challenges and Future Directions

보안과 AI의 교차점에서 연구 기회 및 방향 등에 대해서 소개하는 자리였다. 특히, Generative Adversarial NN를 활용한 연구가 인상 깊었다. AI 시대를 맞이해서 앞으로의 보안산업 또한 변화가 발생할 것으로 사료된다. 특히, AI가 악의적으로 사용될 경우 현재 보안시스템상으로는 정상과 이상을 구별하기 어렵다고 하였다. 이러한 문제를 배경으로 Generative Adversarial NN 연구를 소개하였다. 정상과 매우 유사한 Adversarial Example 생성하는 연구이다. 결과적으로 GAN의 분류자는 기존의 모델로는 분간하기 어려운 이상패턴 탐지가 가능하다. Invited Talk외에 보안문제를 해결하기 위한 GAN 연구가 활발히 진행되고 있음을 학회에서 확인 할 수 있었다. 보안문제를, 제조, 자동차 산업 등으로 확장해서 진행 한다면 좋은 방향이 되지 않을까 생각이 든다.   

(2) Intelligence per Kilowatthour

인공지능 모델을 에너지 사용관점에서 바라보는 연구내용에 대해 소개를 해주었다. 발표자는 에너지가 효율성이 인공지능 모델 및 산업에 큰 영향을 끼치는 요인이라 소개하였다. 실제로 인공지능을 휴대용 기기 및 소형 기기에 탑재 하기 위해서 에너지 효율성이 매우 주요한 요소이며, 학회에서는Compressing Neural Networks라는 이름으로 많이 연구되고 있음을 확인하였다. Compressing Neural Networks란 모델에 성능에서 적은 영향을 미치면서 에너지를 많이 차지하는 부분을 제거해주는 개념이다. 쉽게 말해, 모델 파라미터 축소 연구 등이 포함된다고 생각 할 수 있다. 발표자는 모델의 에너지 효율성을 베이지안을 이용해서 측정하는 모델을 연구 중 이었다. 발표 후 동료 연구원과 이야기를 했을 때, 최적화 연구가 Compressing 연구에서 주요한 역할을 할 수 있지 않을까 생각하였다.

(3) Language to Action: towards Interactive Task Learning with Physical Agents

언어 의사 소통은 인간의 학습 및 기술 습득에 중요한 역할을 한다. 로봇에게 사전에 준비된 데이터 셋을 통해 학습하기 보다는 인간의 의사소통 능력을 방법을 학습시켜, 궁극적으로 인간의 행동과 생각을 학습하는 연구에 대해 소개하였다. 기존의 학습기법은 방대한 데이터에서 주요 개념을 학습시켜야 하기 때문에 데이터 내의 단어의 빈도 등이 중요하였다. 하지만 상대적으로 데이터의 양이 적은 인간의 의사소통에서 중요한 점은 대화에서의 의도 및 문맥를 파악하는 것으로, 발표자는 Semantic Role Rebelling 연구가 이러한 부분을 보완해주는 개념으로 설명하였다. 이외에 의사소통 능력을 학습시키는데 있어서 상식적 지식을 학습시키는 것이 중요한 점이라 하였다. 기계학습이 연구하는데 필요한 기존의 선형대수 및 확률통계 외에 언어학, 인지학, 교육학 등의 다양한 배경지식이 필요한 연구라고 생각된다.

(4)   Building Machines that Learn and Think Like People

어떻게 보면 인가의 의사소통 능력을 기계에게 학습하고자 했던, Invited talk(Language to Action: towards Interactive Task Learning with Physical Agents)의 수평적 또는 연장선에 있는 연구를 소개하는 자리라 볼 수 있다. 발표 중 소개했던 동영상이 생각난다. 어른이 무거운 짐을 들고 있어 문을 열고 들어가야 하는 상황에서 계속 못 들어가자, 1 세의 아기는 사전에 그러한 상황의 배운 적이 없지만, 문을 열어주었다. 발표자는 이러한 인간의 행동을 유연성과 상식적 지식으로 표현하였다. 인간은 보는 것을 설명하고 이해하고, 볼 수 있지만 아직 알지 못하는 것을 상상해서 행동한다고 한다. 발표자는 이러한 인간의 특성을 기계에 학습하기 위해 다양한 연구를 진행하였다. 대표적으로 확률 적 프로그래밍, 3D generative model 등 다양한 연구를 진행하였다. 지금까지는 인간이 했던 단순 작업을 기계에 학습 것에 초점을 두었다면, 최근 연구는 인간이 갖고 있는 유연성과 상식 등을 학습시켜 다양한 측면에서 좀 더 인간다운 인공지능을 만들어 내는 연구들이 진행되고 있음을 확인하였다.

Transfer Learning

앞서 언급했듯이 ICML 학회에서는 Reinforce Learning, GAN, Optimization, Online Learning, Transfer/Multi-task Learning, Active Learning, Supervised Learning, Unsupervised Learning, Clustering, Feature Selection 등 다양한 주제의 세션이 열렸다. 그 중 개인적으로 관심 있게 본 Transfer Learning 연구들의 흐름에 대해 소개하고자 한다. 전통적으로 기계학습은 학습 데이터의 분포와 실제 적용 할 테스트 데이터의 분포가 동일하다고 가정하고 있다. 따라서 학습된 모델은 학습데이터와 동일한 데이터 분포에서 생성된 테스트 데이터에 있어 높은 성능을 볼 일 수 있지만, 반대의 경우 성능은 급격히 하락한다. 결국 기존에 프레임워크에서는 새로운 데이터 분포에 대해 새롭게 모델을 학습시켜야 된다. 하지만, Deep NN 같이 복잡한 모델의 경우 학습 시키는데 상당한 시간이 많이 들며, 새로운 데이터의 양이 충분히 확보되지 않은 경우 좋은 성능을 나타낼 수 없다. Transfer Learning 이러한 한계점을 극복하기 위해, 고안 되었다. 기존 학습 환경(Source Domain)과 새로운 환경(Target Domain) 간의 유사점을 바탕으로, Target과 유사한 Source 내의 데이터 셋을 추출해서 활용하던지, Source에서 생성된 모델의 하이퍼파라미터 및 구조를 그대로 사용하는 연구 등이 진행되어 왔다. 하지만 기존의 Transfer Learning의 한계점은 Target과 Source 많은 공통점을 갖고 있다는 가정이다. 사실 주어진 Target과 Source 이 실제로 유사한 점이 있는지 확인하는 것 또한 많은 비용이 존재 할 뿐만 아니라, 축적했던 Source가 매우 다양한 경우 유사한 Source 은 찾아낸 것 또한 많은 시간과 비용이 드는 작업이다. 이러한 Transfer Learning한계점을 극복하기 위해, Meta Learning 연구들이 활발히 진행되고 있었다. Meta Learning의 프레임워크는 다음과 같다. 기존에 다양한 Source 간 특징을 반영하는 하는 모델1 (meta-learner) 하나와 Source 에서 전달 받은 정보를 활용에서 실제 분류/예측 문제를 해결하는 모델2 총 2두개의 모델이 존재한다. 예를 들어 초기 주어진 파라미터 셋팅에서 모델2가 분류/예측을 진행했을 때 발생하는 에러를 바탕으로 모델2는 모델1의 초기 파라미터 값을 정한다. 반복적 학습을 통해 meta leaner모델1은 A라는 Target이 들어왔을 때 적절한 초기 모델의 파라미터를 뱉어주기 때문에 적은 영의 데이터 상황에서 빠르고 정확한 모델 피팅이 이뤄진다. Meta-learning은 초기 모델 파라미터 선정 이외에 다양한 부분에서 연구되고 있다. Meta-learning 핵심은 인간의 다재다능함을 학습시키는 것이다. 특정 Source에 포함되어 있는 특징만을 학습하는 것이 아니라, 새로운 Source가 나타났을 때 현재 모델에서 어떻게 변화되어야 하는지 유연함을 학습시키는 것으로 볼 수 있다.

ICML 학회는 기존에 참가했었던 다른 학회와 달리, 이론 및 알고리즘 개발이 주를 이루는 학회였다. 응용연구는 거의 눈에 찾아보기 힘들었다. 결국 연구가 당장에 산업과 어떻게 연결되어서 이익을 창출해 내는가에 초점을 맞추기 보다는 현상을 설명하고 새로움을 탐구하고자 하는 연구의 본질적인 측면에 집중하고 있었다. 그러기 때문에 좀 더 창의적이고 새로운 발상의 연구들을 살펴 볼 수 있었다. 현실과 동떨어질 수 없지만, 현실과 연구의 적절한 거리를 다시 한번 생각해 볼 수 있는 계기였다. 다른 연구원들에게도 좋은 자극을 전달하고 싶다.​