고려대학교 DMQA 연구실

Introduction to Hallucination Mitigation in Multimodal Large Language Models

2026년 8월 21일 오전 7:20
조회수: 31

REFERENCES

[260821 Open Seminar] Introduction to Hallucination Mitigation in Multimodal Large Language Models.pdf

INFORMATION

2026년 8월 21일
오전 10시 ~
온라인 비디오 시청 (YouTube)

발표자:

김혜준

TOPIC

Introduction to Hallucination Mitigation in Multimodal Large Language Models

On-Line Video

OVERVIEW

요약: 멀티모달 대규모 언어모델(MLLM)은 이미지와 텍스트를 함께 이해하며 다양한 과제를 수행할 수 있지만, 입력 이미지와 일치하지 않는 내용을 생성하는 hallucination 문제가 주요 한계로 지적되고 있다. 이를 완화하기 위해 모델의 생성 행동을 직접 교정하는 학습 기반 방법, 추론 과정에서 시각적 근거를 강화하는 decoding 기반 방법, 그리고 최근에는 모델 내부의 시각 정보 처리 과정을 분석하고 제어하는 접근까지 다양한 연구가 제안되고 있다. 본 세미나에서는 MLLM hallucination의 기본 개념과 주요 원인을 살펴보고, 대표적인 완화 방법들이 어떻게 발전해왔는지를 소개하고자 한다.

참고자료:

[1] Yu, T., Yao, Y., Zhang, H., He, T., Han, Y., Cui, G., Hu, J., Liu, Z., Zheng, H. T., Sun, M., & Chua, T. S. (2024). RLHF-V: Towards trustworthy MLLMs via behavior alignment from fine-grained correctional human feedback. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

[2] Leng, S., Zhang, H., Chen, G., Li, X., Lu, S., Miao, C., & Bing, L. (2024). Mitigating object hallucinations in large vision-language models through visual contrastive decoding. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

[3] Jiang, Z., Chen, J., Zhu, B., Luo, T., Shen, Y., & Yang, X. (2025). Devils in middle layers of large vision-language models: Interpreting, detecting and mitigating object hallucinations via attention lens. In Proceedings of the IEEE/CVF Conference on Computer Vision and Pattern Recognition.

청취자 후기

김현이

이번 세미나는 멀티모달 대규모 언어모델(MLLM)에서 발생하는 hallucination의 원인과 이를 완화하기 위한 연구들을 다루었다. 주요 내용은 다음과 같이 정리할 수 있을 것 같다.

1. MLLM은 이미지를 어떻게 이해하고 답변을 생성하는가?
MLLM은 이미지에서 시각 정보를 추출하고, 이를 LLM이 처리할 수 있는 표현으로 변환한 뒤 여러 layer에서 시각, 언어 정보를 통합하여 최종 응답을 생성한다. 따라서 hallucination 역시 시각 정보의 표현부터 최종 생성 과정까지 여러 단계와 관련될 수 있음을 이해할 수 있었다.

2. Hallucination은 어디에서 완화할 수 있을까?
Hallucination을 줄이기 위해 학습 과정에서 생성 행동을 교정하거나, decoding 과정에서 시각적 근거를 강화하거나, 모델 내부의 시각 정보 처리 과정을 분석하는 다양한 접근이 제안되고 있다.

3. 생성 행동을 교정하는 RLHF-V
RLHF-V는 기존 preference 기반 학습이 hallucination의 정확한 위치를 알려주기 어렵다는 한계를 보완하기 위해, hallucinated segment를 직접 교정하는 방식을 제안한다. 이를 통해 모델이 이미지와 일치하는 내용을 생성하도록 보다 구체적으로 학습할 수 있음을 보여주었다.

4. 모델 내부를 살펴본 Devils in the Middle Layers
이 연구는 LLM의 layer별 visual attention을 분석하여 hallucination의 내부 메커니즘을 살펴 본다. 특히 시각 정보의 핵심 처리가 중간 layer에 집중되어 있고, 최종 출력 이전부터 hallucination과 관련된 신호가 나타날 수 있음을 보여주었다는 점이 흥미로웠다.

이번 세미나를 통해 MLLM hallucination을 단순히 잘못된 출력을 생성하는 문제로 보는 것이 아니라, 모델이 시각 정보를 내부에서 어떻게 표현하고 활용하는지의 관점에서 이해할 수 있었다. 또한 학습, decoding, 내부 layer 분석으로 이어지는 hallucination 완화 연구의 흐름을 파악할 수 있어 흥미롭게 들었다. 다양한 연구를 연결해 이해하기 쉽게 설명해 주신 김혜준 연구원에게 고마움을 전하며 세미나 후기를 마친다.