이번 세미나는 학습이 완료된 모델에서 특정 데이터의 영향을 제거하는 Machine Unlearning의 개념과 주요 방법론, 그리고 최근 연구에서 다루는 문제를 중심으로 진행되었다. Machine Unlearning이라는 개념을 처음 접했는데, 이미 학습된 모델에서 특정 정보의 영향만을 제거한다는 문제 설정 자체가 매우 흥미로웠다.

1. Machine Unlearning이란?
Machine Unlearning은 학습된 모델에서 특정 데이터의 영향을 제거하는 기술이다. 단순히 데이터를 삭제하는 것이 아니라, 해당 데이터를 제외하고 다시 학습했을 때의 모델과 유사한 상태를 만드는 것을 목표로 한다.

2. 왜 필요한가?
개인정보 보호와 데이터 삭제 요구가 증가하면서 이미 배포된 모델에서도 특정 데이터의 영향을 제거할 필요성이 커지고 있다. 하지만 데이터의 영향이 모델 전체에 분산되어 있기 때문에 원하는 정보만 선택적으로 제거하는 것은 쉽지 않다.

3. 주요 Unlearning 방법
세미나에서는 기존 방법들을 data reorganization, model manipulation, auxiliary model 활용 방식 등으로 나누어 살펴보았다. 또한 개별 데이터뿐만 아니라 특정 클래스와 관련된 정보를 제거하는 class-level unlearning에 대해서도 다루었다.

4. Retain-Forget Entanglement 문제
최근에는 삭제하려는 forget 정보와 유지해야 하는 retain 정보가 서로 유사한 특징을 공유하는 경우가 중요한 문제로 다뤄지고 있다. 이 경우 forget 정보만 제거하려 해도 관련된 retain 정보의 성능까지 함께 영향을 받을 수 있다.

5. 최근 연구의 접근
세미나에서는 이러한 문제를 고려한 Cheng et al.의 연구와 MLLM을 활용한 MeGU를 함께 살펴보았다. 클래스 간 유사성이나 feature-level 관계를 고려해, 제거해야 할 정보와 유지해야 할 정보를 보다 구분하려는 접근이 인상적이었다.

이번 세미나를 통해 Machine Unlearning은 단순히 특정 데이터의 성능을 낮추는 것이 아니라, 지워야 할 정보는 제거하면서 필요한 정보는 최대한 유지하는 것이 중요하다는 점을 알 수 있었다. 처음 접한 주제였지만 기본 개념부터 최근 연구까지 이어지는 흐름을 함께 볼 수 있어 흥미로웠다.

이번 세미나는 학습된 모델에서 특정 클래스 전체의 영향을 지우는 class-level unlearning을 다뤘다. 흥미로웠던 건 목표 설정이었는데, forget 클래스의 그 클래스 없이 학습한 재학습 모델과 구분되지 않게 만드는 것이 목표라는 점이다. 방법론은 세 관점으로 나눠 소개했다. 데이터 관점에서 라벨을 재배치하는 방식, 모델 파라미터 관점에서 결정 경계를 직접 옮기는 방식, 그리고 원본 모델을 교사로 두고 forget에서는 멀어지고 retain에서는 가까워지도록 학습하는 대체 모델 관점이다. 실제로는 한 범주만 쓰기보다 이들을 섞어 쓰는 경우가 많다고 한다.

발표의 핵심은 entanglement였다. latent space에서 의미가 가까운 클래스들은 feature를 공유하고 있어서, 호랑이를 지우면 고양이와 사자 정확도까지 같이 떨어진다. 지워야 할 것과 지키고 싶은 것이 같은 표현을 쓰고 있으니 둘을 따로 떼어낼 수가 없다는 것이다.
Cheng et al.은 먼저 retain을 호랑이와 관련 있는 쪽(고양이, 사자)과 관련 없는 쪽(자동차)으로 나눈다. 1단계에서는 자동차 성능을 원래 수준에서 벗어나지 못하게 묶어둔 채 호랑이만 지우고, 그러고 나면 고양이와 사자는 여전히 망가져 있다. 2단계가 그걸 되살리는 단계인데, 회복시키는 방향으로 가중치를 그냥 움직이면 애써 지운 호랑이가 다시 살아나거나 자동차가 망가진다. 그래서 그 회복 방향에서 호랑이·자동차와 겹치는 성분을 걷어내고 남은 방향으로만 움직인다.
MeGU는 아예 외부 지식을 끌어왔다. 호랑이를 아무것도 아닌 것으로 만드는 대신 고양이로 읽히게 만드는 게 목표인데, 어떤 클래스가 호랑이와 가까운지를 MLLM에게 물어 유사도 행렬로 받아온다. 그 다음 호랑이 이미지에 고양이 라벨을 붙이고, 고양이로 보이게 만드는 노이즈는 더하고 호랑이로 보이게 만드는 노이즈는 빼는 식으로 공유 특징은 살리고 고유 특징만 눌렀다.

클래스 레벨 언러닝에서 entanglement 문제 해결은 real world application 관점과 매우 닿아 있다고 느꼈으며, 회귀 상황에서는 y는 가깝지만 입력 특성은 전혀 다른 샘플들의 경우 언러닝을 어떻게 할 수 있을지 새로운 문제 상황에 대한 생각이 들었다. 좋은 세미나 발표를 해준 시후에게 고맙다는 이야기를 전한다.

이번 세미나에서는 Machine Unlearning의 기본 개념과 Class-Level Unlearning의 주요 방법론을 살펴보았다. Machine Unlearning은 학습된 모델에서 특정 데이터의 영향을 제거하는 기술로, 개인정보 보호 규제가 강화되고 배포 이후의 모델 수정 요구가 늘어나면서 그 필요성이 커지고 있다.

학습된 정보는 여러 가중치에 분산되어 서로 섞여 있어 특정 데이터의 영향만 골라 제거하기 어렵다. 해당 데이터를 제외하고 처음부터 재학습할 수도 있지만 비용이 크기 때문에, Approximate Unlearning은 재학습 모델의 동작을 더 적은 비용으로 근사하고자 한다.

Class-Level Unlearning은 저작권 문제가 있는 브랜드·로고 이미지나 오염된 클래스, 단종된 제품군처럼 특정 범주 전체를 제거해야 하는 상황을 다룬다. 이때 유사한 클래스가 특징을 공유하는 얽힘(entanglement)으로 인해, 삭제의 영향이 보존해야 할 다른 클래스까지 이어질 수 있다. 예를 들어 호랑이 클래스를 삭제하는 과정에서 유사한 특징을 가진 고양이나 사자 클래스가 일부 손상되어 인식 정확도도 낮아질 수 있다.

이후에는 삭제 과정에서 보존 클래스의 손상을 줄이는 두 연구가 소개되었다. 삭제 효과를 유지하면서 유사한 클래스의 성능을 회복하도록 학습 방향을 조정하거나, MeGU처럼 멀티모달 언어 모델로 클래스 간 유사도를 파악해 공유 특징은 남기고 삭제 클래스의 고유 특징은 억제하는 방식이다.

클래스 간 얽힘을 고려하고 적절히 다루는 것이 삭제 대상의 영향을 제거하면서 보존 클래스의 성능을 유지하는 데 중요하다는 점을 알 수 있었다. Machine Unlearning의 기본 개념과 목표부터 각 방법론의 핵심 아이디어까지 구체적인 예시로 설명해 주신 안시후 연구원님께 감사드린다.

언러닝 (unlearning)은 굉장히 흥미로운 분야입니다. 언러닝은 AI가 학습한 지식을 지우는 행위인데, 사람에 비유하자면 부분 기억 상실증이나 치매에 강제로 걸리도록 만드는 것입니다. AI의 기본이 되는 신경망 (neural network)는 사람의 뇌구조를 본따 만들어졌기 때문에 해당 비유가 적절하다고 볼 수 있습니다. 이번 세미나에서는 "AI 잘 잊는 법을 학습하려면 어떻게 해야할까?"에 대해서 다루고 있습니다.

언러닝을 할 때는 기존 지식을 유지하면서, 어느 정보를 얼만큼 지울 것인지가 관건입니다. 예를 들어, Instance-level에서 개별 정보를 지우는 것과 class-level에서 특정 class 정보를 지우는 것이 있습니다. 둘 다 어렵긴 하지만, 개인적으로 후자가 더 어려운 것 같습니다. 개별 정보를 지우는 것보다 특정 class 정보를 지우는 것이 고려해야 할 점이 더 많기 때문입니다. 학습된 지식에서 특정 class 정보를 지우기 위해서는 class 간 retain-forget entanglement을 고려해야 합니다. 기억해야 할 정보와 잊어야 할 정보가 서로 얽혀있어 특정 정보만 쉽게 잊지 못한다는 것입니다. 발표에서는 데이터 관점, 모델 파라미터 관점, 그리고 대체 모델 관점과 같이 다양한 접근 방식에 대해서 다루고 있습니다. 최근 연구들은 이러한 다양한 접근 방식을 결합해 쓰고 있습니다.

첫 번째로 소개하는 (Cheng et al., 2026)은 데이터의 특성과 모델의 파라미터를 고려하여 잘 잊는 학습을 유도하는 loss를 설계하였습니다. Latent space에서 유사한 class는 feature를 공유한다는 가정 하에서 기존 class 정보를 잘 유지 (loss 작게)하면서 특정 class 정보만 잊게 (loss 크게)하는 방식을 사용합니다. 잊는 것을 main task로 하되, 기존 정보를 잘 유지하는 것을 규제항으로 추가하여 구현합니다. 해당 방법만으로는 부족해서, 언러닝 시에 발생한 기존 class 정보 손상을 완화하기 위해 gram-schmidtz를 이용하여 잊음 정보를 반영하는 gradient와 기존 class 정보를 학습하는 gradient를 서로 직교하게 만들어, 사후 보정 (post-calibration)을 수행합니다. 그 결과 얽혀 있는 class들의 정보도 잘 유지하면서 특정 class를 잘 잊는 모습을 보였습니다. 즉, 잊는 방법을 학습시키고 끝나는 것이 아니라 사후 보정까지 이루어져야 효과적이라는 것을 보여줍니다.

두 번째로 소개하는 MeGU는 데이터의 특성과 모델의 파라미터를 고려하여 class 간 유사도를 기반으로 언러닝을 합니다. 사전 학습된 VLM을 활용하여 데이터의 특징을 추출하고 이를 기반으로 class 간 유사도를 정의하는 transition matrix를 생성합니다. 그 다음이 중요한데, 잊지 말아야 할 정보를 담고 있는 노이즈들을 학습하여 positive noise로 정의한 다음, 잊어야 할 정보를 담고 있는 노이즈들은 negative noise로 정의합니다. 이때, negative noise는 잊어야할 정보의 label에 새로운 perturbating label을 부여하여 방식으로 학습됩니다. 그런 다음 두 종류의 노이즈를 일정 비율로 결합해 특정 class 이미지에 추가하여 해당 class 정보를 잊도록 학습합니다. 실험 결과, 잘 잊으면서도 기존 class는 잘 기억하는 모습을 보였습니다. 이를 통해 MeGU는 이미지 정보에 혼동을 주는 방식 (noise from original label and perturbating label)으로 언러닝을 하는 것이 좋다는 것을 보여줍니다.

MeGU 방법론은 label noise learning (LNL)과 유사한 점이 있는데, LNL은 noise label에 강건하게 만들기 위해 노력한다면 MeGU는 noise label에 취약하게 만드는 접근과 비슷하다고 볼 수 있습니다. MeGU의 성능지표가 꽤나 좋아서, "LNL을 역이용 하는 방식으로 언러닝하는 방식이 꽤나 유효하지 않을까?"라는 생각을 하게 되었습니다.

발표는 핵심만 간략하게 짚어주어 가볍게 시청할 수 있어 좋았습니다. 특히, 수식 부분에 색깔로 표기한 점이 눈에 잘 들어와서 좋았습니다.
좋은 발표 감사합니다.