이번 세미나는 멀티모달 대규모 언어모델(MLLM)에서 발생하는 hallucination의 원인과 이를 완화하기 위한 연구들을 다루었다. 주요 내용은 다음과 같이 정리할 수 있을 것 같다.

1. MLLM은 이미지를 어떻게 이해하고 답변을 생성하는가?
MLLM은 이미지에서 시각 정보를 추출하고, 이를 LLM이 처리할 수 있는 표현으로 변환한 뒤 여러 layer에서 시각, 언어 정보를 통합하여 최종 응답을 생성한다. 따라서 hallucination 역시 시각 정보의 표현부터 최종 생성 과정까지 여러 단계와 관련될 수 있음을 이해할 수 있었다.

2. Hallucination은 어디에서 완화할 수 있을까?
Hallucination을 줄이기 위해 학습 과정에서 생성 행동을 교정하거나, decoding 과정에서 시각적 근거를 강화하거나, 모델 내부의 시각 정보 처리 과정을 분석하는 다양한 접근이 제안되고 있다.

3. 생성 행동을 교정하는 RLHF-V
RLHF-V는 기존 preference 기반 학습이 hallucination의 정확한 위치를 알려주기 어렵다는 한계를 보완하기 위해, hallucinated segment를 직접 교정하는 방식을 제안한다. 이를 통해 모델이 이미지와 일치하는 내용을 생성하도록 보다 구체적으로 학습할 수 있음을 보여주었다.

4. 모델 내부를 살펴본 Devils in the Middle Layers
이 연구는 LLM의 layer별 visual attention을 분석하여 hallucination의 내부 메커니즘을 살펴 본다. 특히 시각 정보의 핵심 처리가 중간 layer에 집중되어 있고, 최종 출력 이전부터 hallucination과 관련된 신호가 나타날 수 있음을 보여주었다는 점이 흥미로웠다.

이번 세미나를 통해 MLLM hallucination을 단순히 잘못된 출력을 생성하는 문제로 보는 것이 아니라, 모델이 시각 정보를 내부에서 어떻게 표현하고 활용하는지의 관점에서 이해할 수 있었다. 또한 학습, decoding, 내부 layer 분석으로 이어지는 hallucination 완화 연구의 흐름을 파악할 수 있어 흥미롭게 들었다. 다양한 연구를 연결해 이해하기 쉽게 설명해 주신 김혜준 연구원에게 고마움을 전하며 세미나 후기를 마친다.

이번 세미나에서는 Multimodal Large Language Model(MLLM)에서 발생하는 hallucination을 단순히 잘못된 응답 생성의 문제로만 보는 것이 아니라, 이미지의 시각 정보가 모델 내부에서 어떻게 표현되고 활용되는지의 관점에서 살펴볼 수 있었다. MLLM은 이미지에서 시각 정보를 추출한 뒤 이를 LLM이 처리할 수 있는 형태로 변환하고, 여러 layer에서 시각 정보와 언어 정보를 통합하여 최종 응답을 생성한다. 따라서 hallucination 역시 최종 출력뿐 아니라 시각 정보의 전달과 처리 과정 전반과 관련될 수 있다는 점을 이해할 수 있었다.

세미나에서는 hallucination을 서로 다른 단계에서 완화하려는 세 가지 대표적인 연구를 소개하였다. RLHF-V는 hallucinated segment를 직접 교정하는 fine-grained human feedback을 활용하여 모델의 생성 행동을 보다 구체적으로 정렬하고, VCD는 원본 이미지와 손상된 이미지의 예측 차이를 이용해 decoding 과정에서 시각적 근거는 강화하고 언어적 편향은 억제한다. 또한 Devils in Middle Layers는 LLM의 layer별 visual attention을 분석하여 시각 정보의 핵심 처리가 middle layers에 집중되어 있으며, hallucinated token이 실제 객체 token과 다른 attention 특성을 보일 수 있음을 보여주었다.

이번 세미나를 통해 hallucination을 생성 행동의 정렬, decoding 과정의 개입, 그리고 모델 내부의 시각 정보 처리 과정 분석이라는 서로 다른 관점에서 접근할 수 있다는 연구 흐름을 이해할 수 있었다. 특히 최종 응답만을 평가하는 것을 넘어, 모델 내부에서 시각 정보가 실제로 어떻게 활용되고 있는지를 분석하려는 접근이 인상적이었으며, MLLM의 신뢰성을 높이기 위해서는 이러한 내부 메커니즘에 대한 이해도 중요하다는 생각이 들었다. 재밌는 세미나를 준비해 준 혜준에게 고마운 마음을 전하며, 이상으로 세미나 후기를 마친다.

발표 자료는 multimodal large language model(MLLM)에서 발생하는 hallucination의 원인과 이를 완화하기 위한 대표적인 접근법을 모델의 처리 단계에 따라 설명하였습니다. 먼저 MLLM의 hallucination을 이미지의 실제 시각적 근거와 일치하지 않는 내용을 생성하는 현상으로 정의하고, 이것이 단순히 최종 출력 단계의 문제가 아니라 visual grounding, language prior, LLM 내부의 visual information processing 등 전체 처리 과정과 관련된 문제임을 설명하였습니다.

이후 세 가지 대표적인 연구를 통해 서로 다른 관점의 해결 방법을 소개하였습니다. RLHF-V는 기존의 응답 전체에 대한 preference feedback 대신 hallucination이 발생한 부분을 직접 수정하는 fine-grained human feedback과 DDPO를 이용하여 모델의 생성 행동을 정렬하는 방법으로, 적은 correction data로도 hallucination을 효과적으로 감소시키는 접근입니다. VCD(visual contrastive decoding)는 별도의 추가 학습 없이 원본 이미지와 손상된 이미지에서 나타나는 prediction의 차이를 이용하여, 시각적 근거에 의해 지지되는 token은 강화하고 language prior에 의한 token은 억제하는 방법입니다. 마지막으로 devils in middle layers는 hallucination을 단순히 최종 출력에서 교정하는 것을 넘어 LLM 내부의 layer별 visual attention을 분석하고, 특히 middle layers가 시각 정보를 축적하고 의미적으로 정제하는 핵심 구간임을 보여줌으로써 hallucination의 내부 발생 메커니즘을 설명하였습니다.

각 슬라이드를 질문으로 시작하여 해당 슬라이드에서 무엇을 이해해야 하는지를 먼저 생각하게 한 구성이 인상적이었으며, 개별 논문을 단순히 나열하기보다는 앞선 방법의 한계가 다음 연구의 필요성으로 자연스럽게 이어지도록 발표 전체의 흐름을 구성한 점 좋았습니다.

다만 실험 결과를 설명하는 부분에서는 제안 방법의 성능이 기존 방법보다 우수하다는 사실을 전달하는 데 그치지 않고, 해당 실험을 왜 수행하였는지, 그리고 결과 테이블의 각 비교가 무엇을 검증하기 위한 것인지까지 설명하였다면 더욱 깊이 있는 발표가 되었을 것 같습니다. 예를 들어 단순히 “hallucination이 감소하였다”라고 결론짓기보다는, 어떤 baseline과의 비교를 통해 제안 방법의 어떤 설계 요소가 효과적임을 보여주는지, 여러 dataset이나 model에서 일관된 결과가 나타나는 것이 어떤 의미를 가지는지 등을 짚어주었다면 논문의 핵심 contribution을 청중이 보다 명확하게 이해할 수 있었을 것입니다.

아울러 그림과 도식이 포함된 슬라이드에서는 설명을 조금 더 천천히 진행하면 좋겠습니다. 특히 VCD의 original/distorted image 비교나 middle layer의 attention 분석과 같은 그림은 방법론을 직관적으로 이해하는 데 매우 중요한 역할을 하므로, 그림 속 하나의 구체적인 예를 처음부터 차근차근 따라가면서 각 요소가 무엇을 의미하는지 설명한 후 전체적인 의미를 정리하는 방식이 효과적일 것입니다.

전반적으로 내용 준비와 발표의 논리적 구성은 매우 좋았으나, 다소 빠르게 진행되어 발표가 약간 급하다는 인상을 받았습니다. 설명의 속도를 조금 늦추고 중요한 그림과 실험 결과에서 충분한 시간을 할애한다면, 준비한 내용을 청중에게 훨씬 효과적으로 전달할 수 있는 더욱 완성도 높은 발표가 될 것 같습니다. 수고했습니다!

Multimodal Large Language Model의 Hallucination 문제와 관련해서 혜준이의 세미나를 들었다. MLLM의 hallucination 자체는 익숙했지만, 단순히 최종 답변에서 발생하는 오류가 아니라 시각 정보가 전달되고 처리되는 전 과정에서 발생할 수 있다는 점이 흥미로웠다. 특히 잘못 생성된 부분을 직접 교정하는 RLHF-V, 추가 학습 없이 decoding 단계에서 hallucination을 줄이는 VCD, 그리고 모델 내부의 middle layer에서 시각 정보가 어떻게 처리되는지를 분석한 연구까지 서로 다른 관점의 접근을 한 번에 볼 수 있어 이해하는 데 도움이 되었다. 또한 시각 정보가 모든 layer에서 동일하게 처리되는 것이 아니라 middle layer에 집중된다는 점도 인상적이었다. 최근 MLLM의 연구가 활발히 진행되면서, 단순히 reasoning을 잘하는 것 뿐만 아니라 그 reasoning의 신뢰성에 대한 연구도 활발히 진행되고 있음을 알게 되었다. 관련 연구를 진행한 적이 없어 다소 복잡할 수 있는 내용을 차근차근 설명해줘서 hallucination 연구의 큰 흐름을 이해할 수 있었다. 유익한 세미나를 준비해준 혜준이에게 감사의 말을 전한다.

본 세미나는 MLLM에서 발생하는 hallucination 현상의 원인을 규명하고, 이를 완화하기 위해 서로 다른 전략을 취하는 3가지 연구를 소개하였다. 이를 요약하자면 (1) RLHF-V (데이터를 통한 사후학습), (2) VCD (추론 단계에서 시각적 대비를 통한 언어적 편향 억제), (3) Devils in Middle Layers (중간 계층 Attention 분석을 통한 근본적 해석 및 제어)로 소개할 수 있으며 자세한 내용은 아래와 같이 정리 가능하다.
1. RLHF-V
RLHF-V는 인간 피드백을 통해 모델의 생성 행동을 정렬함으로써 환각을 줄이는 기법이다. 기존의 일반적인 RLHF와 달리, 환각이 발생한 특정 구간(hallucinated segment)을 직접 수정하고, 모델의 응답(A)과 수정된 응답(A*)을 pair로 구성하여 DDPO를 수행하는 특징을 가진다. (인간 피드백이 필요하고 재학습이 필요하다는 연구문제가 있음)
2. VCD
VCD는 모델의 추가 학습 없이 추론 단계에서 환각을 완화하는 디코딩 전략을 제안하였다. 보다 구체적으로는, 원본 이미지와 의도적으로 손상시킨 이미지를 각각 입력해 나온 logits에 대한 output distribution 차이를 비교하는 전략을 제안한다. 이로써 시각적 근거가 희박함에도 불구하고 통계적 확률에 의해 생성되던 모델의 halluciation을 완화할 수 있도록 한다.
3. Devils in Middle Layers
이 연구는 LLM 내부의 계층적 구조를 분석하여 환각의 내부 메커니즘을 해석하고 이를 감지·완화하는 접근 방식을 제안한다. 해당 연구에 따르면 시각 정보는 모든 층에서 균일하게 처리되지 않고, LLM middle layers에서 정보가 강화된다. 따라서 본 논문은 attention lens 기법을 통해 특정 중간 계층에서 시각 정보가 어떻게 처리되는지 추적함으로써 환각이 발생하는 시점을 특정하고, 시각 정보가 불충분하게 결합되는 지점을 찾아내어 모델의 신뢰성을 확보한다.

최근 MLLM에 관심을 가지고 공부하고 있어서 더욱 관심을 가지고 들었던 세미나였고, 전반적으로 자료가 성의있게 잘 작성되어 이해하기 편했던 것 같다. 앞으로도 김혜준 연구원이 해당 분야에서 좋은 연구 성과를 낼 수 있기를 응원한다.

MLLM은 다양한 입력 형태를 가지고 모델이 이해한 바를 텍스트로 출력하는 구조를 가지고 있습니다. 그 과정에서 어떤 정보를 얼마나 어떻게 활용해야 하는 지가 모델이 맥락을 이해하는 중요한 요소일 것입니다. 하지만 실제 사람과 비슷하게 인공지능 모델도 잘 이해하지 못하는 부분이 있으며, 맥락에 맞지 않는 엉뚱한 대답을 하기도 합니다. 이와 관련하여, 이번 세미나에서는 해당 주제와 관련하여 인공지능 모델의 hallucination을 어떻게 해결해야 하는가에 대한 insight를 제공하고 있습니다.

발표는 hallucination을 바라보는 큰 관점을 3가지로 나누어 각각의 접근법을 소개합니다. 모델 출력에서 생기는 hallucination을 보정하는 RLHF-V, 디코딩 과정에서 시각적 정보를 의도적으로 훼손하여 언어적 편향성을 완화하는 VCD, 그리고 모델의 파라미터 값을 기반으로 모델의 어느 부위에서 hallucination이 발생하는지를 분석하는 Devils in Middle Layers에 대해 다룹니다.

개인적으로 인상깊었던 것은 Devils in Middle Layers의 분석 과정입니다. Devils in Middle Layers는 실제 사람이 생각하는 과정을 AI에 빗대어 분석한 것 같다는 느낌이 들었습니다. MLP의 전신은 인간의 뇌를 구성하는 뉴런을 모방하기 위해 논리 게이트를 구성하는 것에서 시작했습니다. 해당 논문은 어텐션 시각화를 통해 모델이 실제로 어느 레이어에서 어느 정보에 집중하고 있는 지를 보고 있는데, 실제 사람과 비슷하다는 생각이 들었습니다. 예를 들어, 일반 게이머의 뇌 활성 상태와 프로게이머의 뇌 활성 상태에 차이가 있는데 이는 전문가와 비전문가의 숙련도 차이로 이어집니다. 실제 분석 결과에서는 hallucination 발생 시 객관적인 시각적 정보를 활용하는 것이 아니라 답만을 내기 위한 언어적 추론을 하고 있음이 관찰되었습니다.

한 가지 궁금한 것은 "hallucination이 발생하는 파라미터에 대한 보정 기준이 시각적 정보인데, 시각적 정보 뿐만 아니라 언어적 정보도 같이 활용하는 연구는 없을까?"입니다. 본 세미나에서 다룬 내용처럼 인간이 생각하는 과정을 AI를 통해서 알아볼 수 있는 연구가 더 많아졌으면 좋겠습니다.

발표 흐름이 이해하기 쉽게 구성되어 있고 청자의 흥미를 돋구는 진행 방식이었습니다. 특히, 오른쪽 위에 hallucination을 바라보는 관점을 그림으로 표시해두어 발표 중간중간 집중을 잃지 않게 도와주어 좋았습니다. 그리고 기존 연구들의 한계점을 언급하고 이를 해결하기 위한 생각 흐름을 정리하여 발표 이해에 큰 도움이 되었습니다.

좋은 발표 감사합니다.