- 2026년 7월 31일 오전 4:18
- 조회수: 293
INFORMATION
- 2026년 7월 31일
- 오후 1시 ~
온라인 비디오 시청 (YouTube)
안시후
TOPIC
On-Line Video
OVERVIEW
최근 machine unlearning은 학습이 완료된 모델에서 특정 데이터의 영향을 재학습 없이 제거하는 문제로 주목받고 있으며, 개인정보 보호 규제와 배포된 모델의 사후 수정 요구가 커지면서 그 중요성이 부각되고 있다. 특히 특정 클래스 전체를 삭제하는 class-level unlearning은 요청 단위가 개별 샘플이 아니라 클래스라는 점에서 별도의 접근을 필요로 한다. 처음부터 다시 학습하는 exact unlearning은 확실하지만 비용이 크기 때문에, 재학습한 모델의 행동을 근사하는 approximate unlearning이 실용적 대안으로 연구되어 왔다. 이때 삭제의 목표는 forget 클래스의 정확도를 0으로 만드는 것이 아니라, 해당 클래스 없이 학습한 모델과 구분할 수 없는 행동을 재현하는 것이며, 과도한 삭제는 오히려 삭제 흔적을 노출한다는 점에서 평가 방식이 핵심 과제로 자리 잡았다. 본 세미나에서는 class-level unlearning의 기본 개념과 주요 방법론의 계보, 평가 방식의 원칙, 그리고 서로 닮은 클래스 간 얽힘이라는 최신 문제의식까지의 흐름을 살펴보고자 한다.
참고자료:
청취자 후기
김현이
이번 세미나는 학습이 완료된 모델에서 특정 데이터의 영향을 제거하는 Machine Unlearning의 개념과 주요 방법론, 그리고 최근 연구에서 다루는 문제를 중심으로 진행되었다. Machine Unlearning이라는 개념을 처음 접했는데, 이미 학습된 모델에서 특정 정보의 영향만을 제거한다는 문제 설정 자체가 매우 흥미로웠다.
1. Machine Unlearning이란?
Machine Unlearning은 학습된 모델에서 특정 데이터의 영향을 제거하는 기술이다. 단순히 데이터를 삭제하는 것이 아니라, 해당 데이터를 제외하고 다시 학습했을 때의 모델과 유사한 상태를 만드는 것을 목표로 한다.
2. 왜 필요한가?
개인정보 보호와 데이터 삭제 요구가 증가하면서 이미 배포된 모델에서도 특정 데이터의 영향을 제거할 필요성이 커지고 있다. 하지만 데이터의 영향이 모델 전체에 분산되어 있기 때문에 원하는 정보만 선택적으로 제거하는 것은 쉽지 않다.
3. 주요 Unlearning 방법
세미나에서는 기존 방법들을 data reorganization, model manipulation, auxiliary model 활용 방식 등으로 나누어 살펴보았다. 또한 개별 데이터뿐만 아니라 특정 클래스와 관련된 정보를 제거하는 class-level unlearning에 대해서도 다루었다.
4. Retain-Forget Entanglement 문제
최근에는 삭제하려는 forget 정보와 유지해야 하는 retain 정보가 서로 유사한 특징을 공유하는 경우가 중요한 문제로 다뤄지고 있다. 이 경우 forget 정보만 제거하려 해도 관련된 retain 정보의 성능까지 함께 영향을 받을 수 있다.
5. 최근 연구의 접근
세미나에서는 이러한 문제를 고려한 Cheng et al.의 연구와 MLLM을 활용한 MeGU를 함께 살펴보았다. 클래스 간 유사성이나 feature-level 관계를 고려해, 제거해야 할 정보와 유지해야 할 정보를 보다 구분하려는 접근이 인상적이었다.
이번 세미나를 통해 Machine Unlearning은 단순히 특정 데이터의 성능을 낮추는 것이 아니라, 지워야 할 정보는 제거하면서 필요한 정보는 최대한 유지하는 것이 중요하다는 점을 알 수 있었다. 처음 접한 주제였지만 기본 개념부터 최근 연구까지 이어지는 흐름을 함께 볼 수 있어 흥미로웠다.
심세진
이번 세미나는 학습된 모델에서 특정 클래스 전체의 영향을 지우는 class-level unlearning을 다뤘다. 흥미로웠던 건 목표 설정이었는데, forget 클래스의 그 클래스 없이 학습한 재학습 모델과 구분되지 않게 만드는 것이 목표라는 점이다. 방법론은 세 관점으로 나눠 소개했다. 데이터 관점에서 라벨을 재배치하는 방식, 모델 파라미터 관점에서 결정 경계를 직접 옮기는 방식, 그리고 원본 모델을 교사로 두고 forget에서는 멀어지고 retain에서는 가까워지도록 학습하는 대체 모델 관점이다. 실제로는 한 범주만 쓰기보다 이들을 섞어 쓰는 경우가 많다고 한다.
발표의 핵심은 entanglement였다. latent space에서 의미가 가까운 클래스들은 feature를 공유하고 있어서, 호랑이를 지우면 고양이와 사자 정확도까지 같이 떨어진다. 지워야 할 것과 지키고 싶은 것이 같은 표현을 쓰고 있으니 둘을 따로 떼어낼 수가 없다는 것이다.
Cheng et al.은 먼저 retain을 호랑이와 관련 있는 쪽(고양이, 사자)과 관련 없는 쪽(자동차)으로 나눈다. 1단계에서는 자동차 성능을 원래 수준에서 벗어나지 못하게 묶어둔 채 호랑이만 지우고, 그러고 나면 고양이와 사자는 여전히 망가져 있다. 2단계가 그걸 되살리는 단계인데, 회복시키는 방향으로 가중치를 그냥 움직이면 애써 지운 호랑이가 다시 살아나거나 자동차가 망가진다. 그래서 그 회복 방향에서 호랑이·자동차와 겹치는 성분을 걷어내고 남은 방향으로만 움직인다.
MeGU는 아예 외부 지식을 끌어왔다. 호랑이를 아무것도 아닌 것으로 만드는 대신 고양이로 읽히게 만드는 게 목표인데, 어떤 클래스가 호랑이와 가까운지를 MLLM에게 물어 유사도 행렬로 받아온다. 그 다음 호랑이 이미지에 고양이 라벨을 붙이고, 고양이로 보이게 만드는 노이즈는 더하고 호랑이로 보이게 만드는 노이즈는 빼는 식으로 공유 특징은 살리고 고유 특징만 눌렀다.
클래스 레벨 언러닝에서 entanglement 문제 해결은 real world application 관점과 매우 닿아 있다고 느꼈으며, 회귀 상황에서는 y는 가깝지만 입력 특성은 전혀 다른 샘플들의 경우 언러닝을 어떻게 할 수 있을지 새로운 문제 상황에 대한 생각이 들었다. 좋은 세미나 발표를 해준 시후에게 고맙다는 이야기를 전한다.