이번 세미나는 생성 모델을 사용하여 continual learning을 수행한 방법론들에 대해 소개해주었다. Continual learning은 본질적으로 기존 데이터 정보를 잊어버리는 catastrophic forgetting 문제를 지니고 있다. 이번 세미나에서 소개해 준 방법론들은 GAN, diffusion model 등을 사용하여 데이터를 지속적으로 생성하여 사용함으로써, 데이터 관점에서 해당 문제점을 해결하였다.
먼저 DGR은 GAN 모델을 사용하였다. 각 task마다 기존 데이터로 solver를 학습하고 WGAN-GP 모델을 통해 데이터를 새로 생성 후, 학습해둔 solver를 통해 labeling을 하여 memory buffer에 저장한다. 다음 task에서는 저장한 기존 데이터와 신규 데이터를 통해 새로운 solver를 학습하고, 이러한 과정을 순차적으로 반복하게 된다. 본 논문에서는 solver들의 성능을 통해 성능 평가를 했고, 모든 solver가 좋은 성능을 보였고 두 데이터셋들을 순차적으로 continual learning을 하였을 때 생성한 데이터를 사용한 GR이 실제 데이터를 사용한 ER에 준하는 성능을 보였다. 그러나 MNIST, SVHN등 비교적 난이도가 쉬운 데이터셋을 사용하였다.
그 다음으로, DDGR은 diffusion model인 DDPM을 사용하여 DGR과 같은 방식으로 학습을 진행한다. 다만, 성능 평가 시 직전 task와의 기억 손실 정도 차이를 forgetting ratio라는 지표를 통해 보여주었다. 단순 finetuning, 모델 관점 continual learning, 그리고 다른 데이터 관점 continual learning 방법론들과 비교하여 가장 우수한 성능을 보여주었다. 보다 난이도가 있고, 다량의 class를 가지는 CIFAR 100, ImageNet 데이터셋을 사용하였음에도 우수한 성능을 보여주었고, 정성적으로 비교했을 때도 DGR에 비해 고품질의 데이터를 생성해내는 것을 입증하였다.
이번 세미나를 통해 continual learning에 대해 접해볼 수 있었다. 생각보다 프레임워크 자체는 단순하지만, task마다 solver와 generator를 학습 및 구축하는데에 큰 시간과 리소스가 필요할 것 같다는 생각을 하였다. 산학 프로젝트를 할 때도, 지속적으로 새로운 데이터를 받고 그 때마다 새로 모델을 학습해야 되는데, continual learning을 적절히 적용하면 좋을 것 같다. 좋은 세미나를 준비하느라 고생한 시후형에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

Generative Replay를 활용한 Continual Learning에 대해 진행되었다. 해당 제목을 더 쉽게 작성하면, “생성 모델로 이전 Task데이터를 생성하여 Continual Learning을 수행한다” 라는 것이다. Continual Learning의 목적은 새로운 데이터로 학습할 때, 기존 모델이 가진 지식이 잊혀지는 것(catastrophic forgetting)을 막기 위함이다. 따라서 본 세미나는 생성 모델을 통해 이전 Task 데이터를 생성해내서 Continual Learning을 달성하고자 한다.

본 세미나에서는 GAN 기반 접근법(DGR)과 Diffusion 기반 접근법(DDGR) 두 가지를 소개하였으며, 생성모델이 만든 이전 Task스러운 데이터와 함께 학습한다는 것이 핵심이다. GAN을 쓰는지, Diffusion을 쓰는지에 대한 차이점만 존재한다.

이번 세미나를 통해 Continual Learning의 새로운 접근을 알 수 있었다. 하지만, 데이터를 생성하는 모델을 학습하기 위해서는 이전 Task의 데이터가 필요하다는 전제가 생길 것 같다. 그런데 이전 Task 데이터가 있다면, 굳이 생성모델을 또 만들 필요가 있을까? 이 부분에 나는 궁금증이 남았다. 추가적으로, Catastrophic Forgetting은 Fine-tuning에서 중요한 문제 중 하나로 생각된다. 최근 대형 모델들이 많이 나오고 있는데, Catastrophic Forgetting을 고려한 Fine-tuning을 연구하는 것도 하나의 재미있는 소재가 될 것 같다. 유익한 세미나를 준비해준 안시후 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

생성형 AI 모델 기반 continual learning 세미나를 청취하였다. 청취를 통해, GAN이나 DDPM과 같은 생성형 모델을 활용한 replay-based continual learning 알고리즘 2개를 이해할 수 있었다. 세미나 초반부에서는 replay-based continual learning에 대한 개념 및 목적성에 대해서도 자세히 소개되어 있으니, 해당 분야에 낯선 사람들도 잘 이해할 수 있다. 오늘 소개되었던 2가지 알고리즘 방법을 정리해보면 아래와 같다.

1. 직전 task에서 수집된 데이터들로 생성형 모델과 solver(downstream task을 위한 모델이라 생각하면 된다)를 확보한다.
2. 확보된 생성형 모델과 solver를 통해, 직전 task에서 수집될만한 데이터쌍 (x,y)를 만들어낸다 (직전 task의 지식을 보유한 데이터셋을 만든다고 생각하면 좋다). 해당 데이터는 다음 task에서 수집된 데이터셋과 병합된다.
3. 병합된 데이터를 통하여 직전 task에서의 solver를 미세조정학습한다. 미세조정되는 solver는 직전 task의 지식을 forgetting하지 않으면서도, 새로운 task의 지식을 학습할 수 있다.