김혜준

이번 세미나는 Video Object Segmentation(VOS)의 기본 개념에서 출발해, 자연어 기반 객체 분할과 추론 기반 Video Object Segmentation으로 이어지는 연구 흐름을 소개하는 내용이었다. 세미나를 통해 VOS가 단순히 첫 프레임의 mask annotation을 따라 객체를 추적하는 방식에서 벗어나, 자연어로 원하는 객체를 지정하고 더 나아가 모호한 표현까지 해석하는 방향으로 확장되고 있다는 점을 이해할 수 있었다.

세미나에서 다룬 주요 흐름은 다음과 같이 정리할 수 있을 것 같다.

먼저 VOS는 video 내에서 특정 객체를 프레임 단위로 분할하고 추적하는 기술이다. 기존의 semi-supervised VOS는 첫 frame의 mask와 같은 visual annotation을 필요로 했지만, 이러한 annotation을 자연어로 대체하려는 시도에서 Language-guided VOS가 등장했다. 이 과정에서 명확한 text query를 기반으로 객체를 찾는 Referring VOS와, 암시적이고 모호한 query를 이해해야 하는 Reasoning VOS로 연구가 확장되었다는 점이 흥미로웠다.

Referformer는 Referring VOS를 설명하는 대표적인 방법론으로, language를 query로 활용한다는 아이디어가 핵심이었다. 기존 bottom-up 방식은 언어와 시각 정보를 feature 수준에서 결합하기 때문에 어떤 객체를 찾아야 하는지에 대한 명확한 개념이 부족했고, top-down 방식은 segmentation과 grounding이 분리되어 있어 계산 비용이 크다는 한계가 있었다. Referformer는 DETR의 object query 구조를 활용해 언어 정보를 객체 탐색 과정에 직접 반영함으로써, 모델이 처음부터 자연어가 지칭하는 객체에 집중할 수 있도록 만든다는 점에서 의미가 있었다.

이후 VISA는 Reasoning VOS task를 제안하며, 단순한 vision-language alignment만으로는 해결하기 어려운 문제를 MLLM의 reasoning 능력으로 풀고자 했다. Text-guided Frame Sampler를 통해 중요한 keyframe을 선택하고, MLLM이 추론한 객체 정보를 token에 압축한 뒤 SAM과 XMem을 활용해 mask decoding과 tracking을 수행하는 구조였다. 다만 하나의 token만으로 전체 video의 시공간 정보를 충분히 표현하기 어렵고, keyframe selection과 segmentation/propagation이 서로 분리되어 있다는 한계도 함께 확인할 수 있었다.

마지막으로 VRS-HQ는 VISA의 한계를 보완하기 위해 token뿐만 아니라 temporal 정보를 담는 token을 함께 사용했다. 각 frame의 spatial 정보와 전체 video의 temporal context를 동시에 고려하고, Temporal Dynamic Aggregation과 Token-driven Keyframe Selection을 통해 더 적절한 keyframe을 선택하는 방식이 인상적이었다. 특히 SAM2를 활용해 segmentation과 propagation을 보다 통합적으로 처리하려는 흐름은 Reasoning VOS가 단순히 “어떤 객체를 분할할 것인가”를 넘어, “왜 그 객체가 대상인가”를 이해하는 방향으로 발전하고 있음을 보여주었다.

이번 세미나는 VOS의 기본 개념부터 Referring VOS, Reasoning VOS, 그리고 최신 high-quality video reasoning segmentation 연구까지 자연스럽게 연결해 주어 분야의 전체적인 흐름을 이해하는 데 많은 도움이 되었다. 특히 각 방법론이 어떤 문제 의식에서 등장했고, 이전 연구의 한계를 어떻게 보완하려 했는지를 중심으로 설명해 주어 단순한 논문 소개보다 훨씬 이해하기 쉬웠다. 좋은 세미나를 준비하느라 고생한 안채원 연구원에게 감사하다는 말과 함께 본 세미나 후기를 마친다.

김성범 교수님

이번 발표는 video object segmentation(VOS)이 첫 프레임의 마스크를 이용해 객체를 추적하는 방식에서, 자연어로 지칭한 객체를 분할하는 referring VOS, 나아가 문맥과 지식을 활용해 대상을 추론하는 reasoning VOS로 확장되는 흐름을 다루었습니다. ReferFormer, VISA, VRS-HQ를 중심으로 각 연구가 해결하려는 문제와 방법을 연결하고, 마지막에 최근 연구 방향까지 소개하여 분야의 발전 과정을 논리적으로 구성하였습니다.

세 논문의 핵심을 정리하면, ReferFormer(CVPR 2022)는 언어 정보를 조건으로 하는 object query를 사용하여 처음부터 지칭된 객체에 집중하도록 설계한 방법입니다. Query로부터 dynamic kernel을 생성해 마스크를 예측하고, 프레임 간 대응하는 query를 연결하여 추적을 수행합니다. 언어를 객체 탐색 과정에 직접 반영한다는 점이 핵심입니다.

VISA(ECCV 2024)는 명시적인 외형 설명을 넘어, 세계 지식과 영상 문맥을 이용해야 대상을 찾을 수 있는 reasoning VOS 과제와 ReVOS 벤치마크를 제안하였습니다. 멀티모달 대규모 언어모델의 추론 능력을 분할·추적 과정에 연결한 연구입니다. 여기서 reasoning은 단순히 “모호한 문장”을 처리하는 것이 아니라, 문장에 직접 드러나지 않은 대상을 문맥과 지식으로 도출하는 과정이라고 설명하면 더욱 정확합니다.

VRS-HQ(CVPR 2025)는 프레임별 정보를 담는 토큰과 비디오 수준의 정보를 담는 토큰을 구분하고, temporal dynamic aggregation으로 이를 결합합니다. 또한 토큰 정보와 SAM2의 객체 존재 관련 점수를 활용해 키프레임을 선택하고, SAM2로 분할과 마스크 전파를 수행합니다. 단일 토큰의 제한된 표현력과 부정확한 키프레임 선택 문제를 개선하려는 접근입니다.

세 논문을 연결 지으며 설명한 점이 좋았습니다. 특히 VISA에서 VRS-HQ로 넘어갈 때, VISA의 시간적 맥락 활용과 키프레임 선택의 한계를 먼저 명시하고 이를 개선하기 위한 설계로 VRS-HQ를 소개한 흐름이 좋았습니다.

다만 큰 흐름에서 보여 준 문제 중심의 설명이 방법론의 세부 단계까지 일관되게 이어지지는 않았습니다. 방법론 설명에서 각 단계를 그냥 순서대로 읽기보다, “왜 이 단계가 필요한가?”를 먼저 질문하는 방식으로 설명하면 좋을 것 같습니다. 예를 들어 TDA를 소개할 때는 “비디오 전체를 나타내는 토큰이 있는데도 왜 프레임별 정보를 다시 결합해야 할까?”, 키프레임 선택에서는 “언어와 잘 맞는 프레임이 반드시 분할하기 좋은 프레임일까?”라는 질문으로 시작할 수 있습니다. 실험결과의 해석도 아쉽습니다. “제안 방법이 가장 우수했다”는 결론은 핵심이 아닙니다. “이 실험으로 무엇을 확인하려는가?”를 명시하기 바랍니다.

52페이지에 제시한 Table 9는 random, uniform, CLIP sampling을 비교하는 실험이므로, 엄밀하게는 구성 요소를 제거하는 ablation이라기 보다는 ‘샘플링 전략 비교 실험’이라고 설명하는 것이 명확합니다. 원 논문에서 ablation을 넓은 의미로 사용하더라도 발표자는 이를 올바른 표현으로 바로 잡을 수 있어야 합니다. 아울러 ablation은 “어블레이션”에 가깝게 발음하는 연습을 하기 바랍니다. “에블레이션”으로 들리는 경우는 있더라도 “아블레이션”이라는 발음은 교정하는 것이 좋겠습니다.

논문 소개에서는 발표 연도와 학회명 또는 저널명 정도를 간결하게 전달하면 충분합니다. 인용수는 슬라이드에 참고 정보로 표시하되 매번 읽거나 강조할 필요는 없습니다. 다만 인용수가 500회를 넘어 실제로 후속 연구의 토대가 된 seminal 논문이라면 그 영향력을 상징적으로 언급할 수 있습니다.

전반적으로 세 연구의 관계를 이해하고 최근 연구까지 연결하려는 준비가 잘 드러난 발표였습니다. 앞으로는 이러한 구성력을 세부 방법론과 실험 해석에도 적용하기 바랍니다. 각 단계의 필요성을 질문으로 제시하고, 결과의 의미와 한계를 본인의 판단으로 설명한다면 훨씬 설득력 있는 연구 발표로 발전할 수 있을 것입니다. 수고 많았습니다.

신승민

이번 세미나에서는 Video Object Segmentation(VOS)의 기본 개념과 Referring VOS(RVOS), Reasoning VOS의 대표 방법론을 다루었다. Referring VOS는 명확한 text query로 지칭된 객체를 분할하고 추적하며, Reasoning VOS는 세계 지식이나 인과추론, 시공간적인 추론이 추가적으로 필요한 암묵적인 text query를 사용한다.

Referring VOS 방법인 ReferFormer는 Language as Queries라는 핵심 아이디어로 RVOS 분야에 새로운 패러다임을 제시했다. 문장 수준의 언어 정보를 object query에 직접 반영하여, 처음부터 지칭된 객체를 중심으로 탐색하도록 한다. 또한 language-guided query를 frame 간 공유하여 동일한 객체를 추적하며, detection-segmentation-tracking을 하나의 end-to-end 구조로 통합한다.

Reasoning VOS 방법인 VISA는 단일 token을 통해 MLLM reasoning과 segmentation을 연결한다. 이를 통해 implicit한 text query도 처리할 수 있게 되었지만, 하나의 token으로는 시공간 정보를 충분히 표현하기 어렵고 keyframe 선택을 외부 모델에 의존한다는 한계가 있다. 또한 segmentation과 propagation 모듈이 분리되어 있어 end-to-end 학습과 추론이 불가능하다.

VRS-HQ는 이러한 VISA의 한계를 개선한 방법으로, Temporal Token Encoding, TDA(Temporal Dynamic Aggregation), TKS(Token-driven Keyframe Selection)의 세 단계로 구성된다. 먼저 frame별 spatial 정보를 담는 token과 video 전체의 temporal 정보를 담는 하나의 token을 생성한다. TDA에서는 두 token 사이의 cosine similarity를 정규화하여 가중치로 사용하고, frame별 정보를 에 가중 합산한다. 이를 통해 전체 video의 맥락에 각 frame의 local 정보를 더한 풍부한 시공간 표현을 생성한다. TKS에서는 이렇게 보강된 를 SAM2에 전달하고, token similarity score와 객체의 존재 여부를 나타내는 occlusion score를 함께 고려하여 keyframe을 선택한다. 이후 선택된 keyframe에서 mask를 생성하고 나머지 frame으로 전파한다. VISA가 단일 token 하나로 모든 것을 표현하려했던 것과 달리 VRS-HQ는 공간 정보와 시간 정보를 계층적으로 분리해서 각각의 토큰을 담는다는 것이 핵심적인 차이점이다.

Referring VOS에서 Reasoning VOS로 이어지는 발전 과정뿐 아니라 최신 연구 흐름까지 함께 소개해 주셔서 전체적인 분야의 연구 흐름이 와닿았다. 이를 통해 대표 방법론을 넘어, 최근에는 CoT-RVS(ICLR 2026)처럼 별도의 fine-tuning 없이 MLLM의 강력한 추론 능력을 직접 활용하는 방향으로 연구가 발전하고 있다는 점을 알 수 있었다. VOS의 기본 개념부터 각 방법론의 기여와 한계, 이를 보완하는 다음 방법론까지 차례로 설명해 주신 안채원 연구원님께 감사드린다.