이미지 및 비디오 이상탐지에는 vision 기반 모델들이 널리 활용되어 왔다. 그러나 이러한 모델들은 시각적 픽셀 정보에만 의존하기 때문에, 이미지 내 semantic한 특성을 충분히 반영하기 어렵다는 한계가 있다. 이를 보완하기 위해, 최근에는 언어 정보를 함께 활용하여 다양한 특성을 추가적으로 고려할 수 있는 vision-language model (VLM) 기반 이상탐지 연구가 활발히 수행되고 있다. 특히, OpenAI의 CLIP이나 Alibaba의 Qwen 등 빅테크 기업에서 개발한 foundation VLM들이 등장하면서, 이들의 풍부한 사전 지식을 기반으로 이상탐지 성능을 크게 향상시키는 연구들이 활발히 등장하고 있다. 본 세미나에서는 이러한 foundation VLM을 활용하여 이미지 및 비디오 이상탐지를 수행한 최신 연구 사례들을 살펴보고자 한다.

[1] Mitra, C., et al. (2024). Compositional Chain-of-Thought Prompting for Large Multimodal Models. In CVPR.

[2] Zhang, J., et al. (2025). MLLMs Know Where to Look: Training-free Perception of Small Visual Details with Multimodal LLMs. In ICLR.

[3] Hu, Y., et al. (2024). Visual Sketchpad: Sketching as a Visual Chain of Thought for Multimodal Language Models. In NeurIPS.

[4] Qin, Y., et al. (2026). Chain-of-Visual-Thought: Teaching VLMs to See and Think Better with Continuous Visual Tokens. In ECCV.