- 2026년 10월 28일 오전 9:01
- 조회수: 201
INFORMATION
- 2026년 10월 30일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
김성수
TOPIC
On-Line Video
OVERVIEW
요약: 최근 Multimodal Large Language Model(MLLM)은 텍스트 요약, 이미지 분류 등 다양한 시각 및 언어 과제에서 뛰어난 성능을 보이며 널리 활용되고 있다. 그러나 이러한 모델들은 이미지를 한 번 인코딩한 이후 대부분의 추론을 언어 공간에서 수행하기 때문에, 공간 관계나 깊이 인식과 같이 세밀한 시각 정보가 요구되는 과제에서는 여전히 한계를 보인다. 이를 보완하기 위해 최근에는 입력 텍스트나 이미지를 수정하여 관심 정보를 강조하거나, 외부 도구(tool)를 활용하거나, 추가 학습을 수행하는 등 MLLM의 시각 인식 능력을 개선하기 위한 연구들이 활발히 진행되고 있다. 본 세미나에서는 이러한 흐름에 따라 MLLM의 시각 과제 성능을 향상시키기 위한 최신 연구 사례들을 살펴보고자 한다.
참고문헌
[1] Mitra, C., et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR.
[2] Zhang, J., et al. (2025). MLLMs Know Where to Look: Training-free Perception of Small Visual Details with Multimodal LLMs. In ICLR.
[3] Hu, Y., et al. (2024). Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models. In NeurIPS.
[4] Qin, Y., et al. (2026). Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens. In ECCV.
청취자 후기
장현성
개인적으로 AI는 텍스트만 놓고 보았을 때, 이미 최고 수준에 도달했기 때문에 더이상 괄목할만한 발전이 없을 것이라고 생각합니다. 이제는 텍스트가 아닌 이미지를 사람처럼 이해하는 것이 필요합니다. 이와 관련하여 본 세미나에서는 시각과 언어 정보를 동시에 활용하는 MLLM이 어떤 문제 때문에 시각 정보를 잘 이해하지 못하고 이를 해결하기 위해 어떤 방법들이 제안되어 왔는지에 대해서 다룹니다.
사전학습된 MLLM 모델들은 시각 정보를 처리할 때, 어떤 객체가 있는지에 대해서만 학습하고 그 의미 정보도 알지만 객체 간의 의미 정보 연결은 하지 못한다는 문제가 있습니다. 이러한 문제를 풀기 위해 총 4가지 유형의 접근 방식이 제안되었습니다. 단순한 접근부터 복잡한 접근 방식으로 이어집니다.
첫 번째로 CCoT는 이미지 속 객체들의 의미 정보를 잘 연결하기 위해 텍스트를 구조화하여 문제를 접근합니다. CCoT는 프롬프트가 이미지를 명확한 구조로 디테일하게 작성될 경우 성능이 좋다는 것을 보여줍니다.
두 번째로, ViCrop은 입력 이미지에서 중요하게 봐야할 부분을 강조하는 방향으로 문제를 접근합니다. ViCrop은 원본 이미지 외에 사람이 이미지에서 중요하다고 생각하는 부분의 crop하여 추가로 넣어서 모델이 중요성을 이해하게 합니다. 여기서는 중요한 시각 정보가 이미지 어디에 있는지를 아는 것이 중요하다는 것입니다.
세 번째로, Visual Sketchpad는 외부 비전 도구를 활용하여 이미지 속 객체가 의미하는 정보를 더 쉽게 변환하도록 합니다. 실제로 사람도 무언가를 이해하기 위해 추가적인 선을 그어보거나 다른 시각에서 보는 등의 과정을 거치면 이해도가 높아지는데, 이 현상이 MLLM에서도 일어났다는 것을 보여줍니다.
마지막으로, CoVT는 추론할 때마다 정보의 가공을 해야 하는게 불편하니, 이러한 가공된 정보들을 미리 학습하여 지식으로 내재화합니다. 가공된 정보들을 모델에 미리 지식으로 넣어두니, 이해력이 높아지고 성능이 향상되는 것을 확인할 수 있습니다.
이제 이미지를 잘 이해하니 다음 과제는 무엇일까요? 아마도 영상일 것 같습니다. 정적인 이미지에서 관련 정보를 잘 이해하고 있으니 이제는 이미지 여러 장에 대한 의미 정보를 모델이 연결할 수 있는가에 대해서 질문하게 될 것 같습니다. 앞으로의 연구 방향은 어떨지 궁금합니다.
MLLM이 어떤 문제가 있고, 무엇을 해결하고자 했는지 기존 연구들의 동향을 쉽고 빠르게 파악하기 좋은 세미나였습니다.
좋은 발표 감사합니다.
조문영
이번 세미나는 Multimodal Large Language Model(MLLM)에서 visual reasoning을 잘하는 방법을 주제로 진행되었다. MLLM은 이미지를 한 번 인코딩한 뒤 대부분의 추론을 언어 공간에서 수행하기 때문에, 작은 객체나 깊이처럼 세밀한 시각 정보가 필요한 task에서 약하다. 세미나에서 이러한 한계를 텍스트 프롬프트, 입력 이미지, 외부 도구, 모델 학습이라는 네 가지 방법으로 해결하고자 한 연구를 살펴보는 흐름으로 구성되었다.
CCoT는 MLLM이 이미지에 어떤 객체가 있는지는 잘 맞히지만, 객체의 속성과 객체 사이의 관계는 잘 파악하지 못한다고 지적하며, 이를 해결하기 위해 객체 간 관계를 Scene Graph 형태의 텍스트로 먼저 생성한 뒤 이를 근거로 답하게 하는 프롬프트 방법이다.
ViCrop은 정답과 관련된 객체의 사이즈가 작으면 잘 맞히지 못해 원본 이미지와 잘라낸 이미지를 함께 입력한다. 이때 중요한 것은 MLLM이 틀린 답을 낼 때도 정답 영역에 attention이 높게 나와 중요한 시각 정보가 어디에 있는지를 안다는 것이다.
Visual Sketchpad는 사람이 보조선을 긋거나 표시하면서 시각적으로 생각한다는 점에서 동기를 얻었다. 모델은 thought, action, observation 과정을 반복하면서 detection, depth 등의 외부 도구를 사용해 스케치를 만들고 그 결과를 보며 추론하도록 한다.
CoVT는 외부 도구를 추론할 때 호출하는 대신 학습 단계에서 전문 모델들의 지식을 visual token에 담아 둔다. 모델은 추론 중에 텍스트 토큰과 함께 segmentation, depth, DINO 정보를 담은 연속적인 visual token을 직접 생성한다. 학습할 때는 이 토큰을 각 전문 모델의 decoder로 복원해 정답과 비교함으로써 토큰에 시각적 의미를 부여한다. 이 과정을 거치면 추론 시에는 도구 호출 없이도 도구를 쓴 것과 비슷한 효과를 얻을 수 있다.
이번 세미나를 통해 MLLM을 처음으로 제대로 이해할 수 있었다는 점에서 많은 도움이 되었다. 처음에는 내용이 어려울 것 같아 걱정했으나, 각 방법론이 어떤 문제의식에서 출발했는지부터 차근차근 설명해 주셔서 연구 흐름을 수월하게 따라갈 수 있었다. CoVT를 들으면서, 성능 향상이 정말 시각 정보 덕분일까 하는 의문이 들었다. 추론 과정에 토큰이 추가되면 모델이 계산할 공간이 늘어나기 때문에 토큰 수 자체가 성능을 올렸을 가능성도 있겠다고 생각했다.
좋은 세미나를 준비해 주신 김성수 선배님께 감사드리며 세미나 후기를 마친다.
안채원
이번 세미나에서는 MLLM의 시각적 추론 능력을 향상시키기 위한 다양한 접근법을 살펴보았다. 최근 MLLM은 이미지 내 객체를 인식하거나 일반적인 시각 질의에 응답하는 데 높은 성능을 보이지만, 객체 간 관계를 종합적으로 이해하거나 작은 영역에 포함된 세부 정보를 식별하는 데에는 여전히 한계가 존재한다. 이번 발표에서는 이러한 문제를 해결하기 위해 제안된 CCoT, ViCrop, Visual Sketchpad, CoVT의 핵심 아이디어와 방법론을 다루었다.
CCoT는 이미지에 포함된 객체와 속성, 관계를 Scene Graph로 표현하고 이를 중간 추론 단계로 활용하는 방법론이다. 별도의 모델 학습 없이 MLLM이 직접 Scene Graph를 생성하도록 유도하여 복합적인 시각 정보를 단계적으로 해석할 수 있도록 한다. ViCrop은 MLLM이 정답을 틀리더라도 질문과 관련된 이미지 영역에는 주목할 수 있다는 관찰에서 출발한다. 이를 바탕으로 모델 내부의 attention 및 gradient 정보를 활용해 중요한 영역을 자동으로 추출하고, 해당 영역을 확대하여 다시 입력함으로써 작은 객체에 대한 인식 성능을 개선한다.
Visual Sketchpad는 언어 기반 추론만으로 해결하기 어려운 시각적 문제에 대해 외부 도구를 활용한 중간 시각 표현을 생성한다. 모델이 추론 과정에서 필요한 도구를 선택하고, 이미지에 선이나 표시를 추가하거나 객체 탐지 결과를 시각화한 뒤 이를 다시 확인하는 과정을 반복한다. 반면 CoVT는 이러한 시각적 정보를 추론 과정에서 직접 생성할 수 있도록 모델을 학습시킨다. Segmentation, Depth, DINO 등의 전문 비전 모델이 제공하는 정보를 연속적인 visual token으로 표현하고, 학습 과정에서 이를 복원하도록 하여 시각적 특성이 토큰에 반영되도록 한다. 이를 통해 추론 시 별도의 외부 도구 호출 없이도 다양한 시각적 단서를 활용할 수 있다.
네 가지 연구를 통해 MLLM의 시각적 추론 성능을 개선하기 위해서는 단순히 언어적 추론 과정을 확장하는 것뿐만 아니라, 문제 해결에 필요한 시각적 정보를 어떻게 추출하고 표현하며 활용할 것인지가 중요하다는 점을 확인할 수 있었다.
현재 개인 주제로 이 분야를 연구하고 있는데, 복합적인 요소로 구성된 쿼리가 주어졌을 때 하나의 조건만 판단하고 다른 조건들은 구분할 필요 없이 shortcut으로 객체를 찾을 수 있는 이미지들이 기존 dataset에 즐비하다는 사실을 지적하며 shortcut만으로 찾을 수 없는 데이터셋을 제시하는 연구가 등장하고 있다. 이런 경우, 모든 후보들을 찾고 조건 하나하나에 대해서 판단하면 되는 거 아니야? 라고 생각할 수 있지만, 생성되는 text token이 많아질 수록 시각 토큰에 대한 attention이 감소하게 되어 hallucination이 일어나는 현상이나 모델이 시각적으로 제대로 서술을 해도 최종 판단과 일치하지 않는 등 해결해야 할 과제가 많은 태스크이다. 이를 해결하기 위한 접근법으로 최근에는 강화학습 기법들이 많이 등장하고 있는데, v-dpo는 같은 이미지-쿼리 쌍에서 더 정확한 응답을 비교하는 response-contrast pair/ 질문과 응답이 같지만 더 잘 맞는 이미지를 선호하도록 하는 image-contrast pair를 구축해 이미지를 무시하고 언어적 사전지식으로 답을 정하는 문제를 완화시킨다. 이처럼 다양한 기법들이 적용되는 분야인 만큼 다각적으로 문제를 접근하려는 태도를 길러야겠다는 생각이 들었다.
좋은 주제로 세미나를 진행해주신 성수 선배께 감사드리며 후기를 마친다.