Multimodal Unlearning: How can MLLMs forget across image and text?
- 2026년 10월 16일 오후 4:03
- 조회수: 14
INFORMATION
- 2026년 10월 16일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
심세진
심세진
TOPIC
Multimodal Unlearning: How can MLLMs forget across image and text?
On-Line Video
OVERVIEW
주제: Multimodal Unlearning: How can MLLMs forget across image and text?
요약: 멀티모달 대규모 언어 모델(multimodal large language model, MLLM)은 이미지와 텍스트를 함께 이해하고 답변을 생성하는 모델로, 방대한 이미지-텍스트 데이터로 학습된다. 이 과정에서 얼굴, 개인정보와 같은 민감한 정보까지 기억하게 되어, 이름을 모르더라도 얼굴 이미지만으로 해당 인물의 정보가 노출될 우려가 있다 [1]. 이를 해결하기 위해 모델을 처음부터 재학습하지 않고 특정 정보만 제거하는 머신 언러닝(machine unlearning, MU)을 MLLM에 적용하려는 연구가 진행되고 있다. 그러나 얼굴 이미지로 질문하면 답하지 못하면서도 이름을 텍스트로 질문하면 여전히 답하는 것처럼, 한 모달리티에서 지운 정보가 다른 모달리티에는 남아 있는 모달리티 불일치(modality misalignment) 문제가 발생한다 [2]. 본 세미나에서는 MLLM MU의 개념과 어려움을 정리하고, 관련 방법론들을 소개하고자 한다 [3, 4, 5].
참고자료:
[1] Liu, Z., Dou, G., Jia, M., Tan, Z., Zeng, Q., Yuan, Y., & Jiang, M. (2025). Protecting Privacy in Multimodal Large Language Models with MLLMU-Bench. In NAACL.
[2] Wang, C., Li, Y., Feng, X., Chen, C., Zheng, X., & Yin, J. (2025). UMU-Bench: Closing the Modality Gap in Multimodal Unlearning Evaluation. In NeurIPS Datasets and Benchmarks Track.
[3] Liu, Z., Dou, G., Yuan, X., Zhang, C., Tan, Z., & Jiang, M. (2025). Modality-Aware Neuron Pruning for Unlearning in Multimodal Large Language Models. In ACL.
[4] Li, K., Li, W., Wu, D., Yang, L., Bai, J., Jia, J., & Xue, J. (2026). Cross-Modal Unlearning via Influential Neuron Path Editing in Multimodal Large Language Models. In AAAI.
[5] Li, H., Yu, M., Yao, J., Singh, P., Li, X., Wang, D., & Hu, L. (2026). Towards Reasoning-Preserving Unlearning in Multimodal Large Language Models. In CVPR.