Online Continual Learning(OCL)은 데이터가 실시간으로 연속적으로 주어지는 환경에서, 이전에 학습한 정보를 잊지 않으면서 새롭게 유입되는 데이터를 효과적으로 학습하는 것을 목표로 한다. 그러나 기존의 지도학습 기반 Continual Learning 방법론들은 제한된 자원 등의 현실적인 제약으로 인해 실시간 적용이 어렵다는 한계가 존재한다. 이번 세미나에서는 OCL에서 Gradient 정보를 기반으로 빠른 학습이 가능하면서도 Replay 기반의 방식으로 Catastrophic forgetting 문제를 해결하고자 하는 모델들에 대해 소개하고자 한다.

[1] Lopez-Paz, D., & Ranzato, M. A. (2017). Gradient episodic memory for continual learning. Advances in neural information processing systems, 30.

[2] Aljundi, R., Lin, M., Goujaud, B., & Bengio, Y. (2019). Gradient based sample selection for online continual learning. Advances in neural information processing systems, 32.

[3] Chaudhry, A., Ranzato, M. A., Rohrbach, M., & Elhoseiny, M. (2019), Efficient lifelong learning with a-gem. International Conference on Learning Representations (ICLR).