[ICML 전체 후기]

ICML은 세계적인 머신 러닝 학회로 주로 외국에서 개최되기 때문에 오프라인 참석에는 어려움이 있었지만, 온라인으로 진행되어 연구실 인원 모두가 참석할 수 있었다. 코로나 19 사태로 인해 이례적으로 처음 시행되는 온라인 학회로 장단점들이 느껴졌다. 현장감을 느끼지 못하는 아쉬움이 느껴졌고 실시간 채팅이나 로딩이 원활하지 못한 경우도 발생했다. 그럼에도 체계적으로 구성된 홈페이지를 사용하기 편리했고 시간의 제약없이 다양한 논문을 접할 수 있어 오히려 장점이 크게 느껴졌다. 이번 학회를 통해, 추후에도 오프라인 학회와 온라인 학회가 같이 병행되면 학회에서 놓치는 부분없이 참여할 수 있을 것이라고 생각했다.

[Adversarial Attacks on Probabilistic Autoregressive Forecasting Models]

해당 논문은 2019년에 Amazon SageMaker가 공개한 논문 ’DeepAR: Probabilistic Forecasting with Autoregressive Recurrent Networks’을 기반으로 하고 있다. Deep probabilistic autoregressive model (Deep AR)은 모든 이전 시퀀스가 주어진 상태에서 새로 시퀀스를 예측하는 generative model을 학습하는 것이 목표로 한다. Uncertainty와 associated risk를 허용하여 single 값이 아닌 출력 값의 joint distribution을 제공하는 장점을 가지고 있다 주요 Contribution은 Deep AR에 adversarial attack을 생성하는데 효과적인 방법 제안했다는 점이다 (확률 분포를 형태의 출력 값을 가지는 모델에는 adversarial attack을 처음 적용하는 연구). Deep probabilistic autoregressive model에 adversarial attack을 생성하기 어려운 이유는 적분 연산하기 복잡하고 Monte-carlo방법에 의해 추정되기 때문이다.

해당 논문은 2가지 방법으로 극복

1.     기울기와 기대값의 적분을 반전시켜 기대값의 기울기를 표현하고, Monto-carlo방법으로 추정

2.     Variational inference 방법을 통해 무작위로 reparametrization (δ와 관련하여 개별 샘플을 구별할 수 있도록 x에 의존하지 않는 보조 랜덤 변수로 출력 분포 y를 재 파라미터화.)

미세한 변동을 주며 Robust한 시계열 예측을 가능하게 한다는 점에서 참여하고 있는 프로젝트에도 활용하고 싶다는 생각을 했다. 예측 불가한 부분이 많은 도메인에 효과적으로 작용할 수 있는 방법론으로 보인다. 

DeepAR논문도 병행하며 읽어야 이해되는 부분이 있어서 어려움이 있었고,  수식적으로 완벽히 와닿지 않은 부분들이 있었다.  깃허브에 공개된 코드 구현을 통해 완벽히 이해하고 싶은 논문이다.