김정인

이번 세미나에서는 Weakly Supervised Video Anomaly Detection(WSVAD)의 기본 개념부터 최근 Vision-Language Model을 활용한 연구까지의 발전 과정을 살펴볼 수 있었다. WSVAD는 각 frame이나 segment의 정답을 모두 제공하지 않고 비디오 전체의 정상·이상 여부만을 이용해 실제 이상이 발생한 구간을 찾아내는 문제로, 세밀한 frame-level labeling에 필요한 비용을 줄이면서도 이상 구간을 탐지할 수 있다는 점이 흥미로웠다.

초기 연구에서는 MIL Ranking을 통해 이상 비디오에서 가장 높은 anomaly score를 가진 segment가 정상 비디오에서 가장 높은 anomaly score를 가진 segment보다 높은 점수를 갖도록 학습하였다. 하지만 이러한 방식은 가장 높은 score를 가진 segment에 학습이 집중되어 이상 비디오 내의 여러 anomaly 구간을 충분히 반영하기 어렵고, 기존 C3D 기반 visual feature는 action recognition 중심으로 학습되어 동일한 행동도 상황에 따라 정상과 이상으로 달라지는 의미적 맥락을 표현하는 데 한계가 있었다.

이후 CLIP-TSA에서는 CLIP의 visual representation과 temporal information을 활용하여 이상 상황의 맥락과 여러 이상 구간을 함께 고려하였고, VadCLIP은 visual feature와 text label을 연결하여 단순히 정상과 이상을 구분하는 것을 넘어 어떤 종류의 이상이 발생했는지까지 파악하는 방향으로 확장하였다. 또한 최근에는 정상 패턴 자체를 학습하고 이상 사건과 배경 정보를 분리하려는 접근까지 제안되면서, WSVAD 연구가 단순한 anomaly score 예측에서 점차 영상의 의미적 맥락을 이해하는 방향으로 발전하고 있음을 알 수 있었다.

이번 세미나를 통해 제한된 supervision만으로 이상 구간을 탐지하는 기본 아이디어에서 시작하여, CLIP과 Vision-Language Alignment를 활용해 이상 상황의 의미까지 이해하려는 연구 흐름을 파악할 수 있었다. 특히 video anomaly detection에서는 단순한 시각적 패턴뿐 아니라 상황의 맥락과 정상성에 대한 이해가 중요하다는 점이 인상적이었다. 휼륭한 세미나를 준비해 준 동훈에게 고마운 마음을 전하며, 이상으로 세미나 후기를 마친다.

신승민

이번 세미나에서는 Weakly Supervised Video Anomaly Detection(WSVAD)의 기본 개념과 그 과제를 해결하기 위한 방법론의 발전 과정을 살펴보았다. Video Anomaly Detection(VAD)은 비디오에서 이상 사건과 그 발생 구간을 탐지하는 task이다. 모든 frame에 이상 여부를 표시하려면 많은 시간과 비용이 들기 때문에, Weakly Supervised Learning에서는 frame-level label 대신 비디오 전체의 정상·이상 여부를 나타내는 video-level label을 활용한다. WSVAD의 핵심 task는 비디오 전체가 정상인지 이상인지만 알 수 있을 때, 실제 이상이 발생한 시간 구간을 찾아내는 것이다.

이를 해결하기 위해 제안된 MIL Ranking은 비디오를 여러 segment로 나누고, 정상 비디오와 이상 비디오에서 각각 anomaly score가 가장 높은 segment를 Max-score instance로 선택한다. 정상 비디오의 모든 segment는 정상이고 이상 비디오에는 적어도 하나 이상의 anomaly segment가 있다는 점을 이용해, 이상 비디오에서 선택한 Max-score instance의 점수가 정상 비디오에서 선택한 것보다 높아지도록 학습한다. 이로써 video-level label만으로 segment별 anomaly score를 학습할 수 있게 하였다. 다만 Action Recognition 중심으로 학습된 C3D 기반 feature는 같은 행동도 상황에 따라 달라지는 맥락을 충분히 표현하기 어렵고 Max-score instance에 집중하므로 다른 anomaly segment를 충분히 반영하지 못한다.

CLIP-TSA는 이러한 한계를 보완하기 위해 CLIP의 visual feature로 상황 맥락을 표현하고, Temporal Self-Attention(TSA)과 Top-k 선택으로 시간적 관계와 여러 anomaly segment를 함께 고려하였다. UCF-Crime과 XD-Violence에서 기존 C3D·I3D 기반 방법보다 높은 성능을 보였지만, CLIP의 Image Encoder만 활용한다는 한계가 있다. 따라서 텍스트 정보를 직접 활용하거나 이상 사건의 종류까지 구분하지는 못한다.

VadCLIP은 CLIP의 사전학습된 시각·언어 지식을 WSVAD에 활용하기 위해 세 가지 구성을 활용한다.
1. LGT-Adapter(Local-Global Temporal Adapter)는 시간적 관계를 효과적으로 반영하고자 Local Temporal Adaper로 가까운 시간 범위 안에서 발생하는 변화와 흐름을 포착하고 Global Temporal Adapter로 비디오 전체에서 멀리 떨어진 frame들 사이의 관계를 포착하여 시간적 관계를 반영한다.
2. Dual-branch는 Pretrained CLIP을 효과적으로 활용하기 위해 video 전체에 대한 이상 여부를 판단하는 C-branch와 이상 사건의 종류를 구분하는 A-branch를 사용한다.
3. MIL-Align은 각 구간에서 어떤 종류의 이상 사건이 발생했는지 학습하기 위해, 각 frame과 이상 class 간 유사도를 기반으로 Alignment Map을 구성한다. 이후 text label별 Top-k 유사도 점수를 평균하여 video-level category score로 사용한다.
다만 VadCLIP은 anomaly score가 높은 구간에 학습이 집중되어 비디오 내부의 다양한 정상 패턴을 충분히 활용하지 못한다. 또한 Anomaly Event와 Background Context가 함께 섞여 학습되면서, 폭발과 방화처럼 시각적으로 유사한 이상 사건을 혼동할 수 있다는 한계가 있다.

DSANet은 이러한 한계를 보완하기 위해 SG-NM branch에서 anomaly score가 낮아 정상으로 추정되는 frame들을 선택하고, 이들로부터 정상 패턴을 학습한다. 이를 바탕으로 video feature를 복원한 뒤, 원래 feature와의 Reconstruction error를 이상 판단에 활용한다. 또한 DCSA로 video feature를 Event-centric prototype과 Background-centric prototype으로 분리하고, 각각 anomaly category text와 normal text에 연결하여 사건과 배경을 구분하도록 학습한다. 실험에서는 VadCLIP보다 Coarse-grained detection과 Fine-grained detection 성능이 모두 향상되었다.

DSANet의 설명을 들으며, 이상 상황이 길게 이어지는 비디오에서는 정상 후보로 선택한 frame에도 실제 이상이 포함될 수 있겠다는 생각이 들었다. 이러한 frame이 정상 패턴 학습에 어떤 영향을 미칠지 궁금해 원논문을 찾아보았다. 논문에서는 후보 feature가 정상 prototype 가까이에 모이도록 하는 Normalcy Concentration Loss를 도입하여, 후보에 섞인 이상 frame이 정상 패턴 학습에 미치는 영향을 줄이고자 하였다. 또한 Consistency Loss로 detection branch의 anomaly score와 Reconstruction error 기반 점수가 일치하도록 학습하여 두 branch가 서로 보완하도록 하였다. 이를 통해 정상 후보를 선택하는 방식과 선택한 후보로 정상 패턴을 학습하는 과정을 더 구체적으로 이해할 수 있었다. WSVAD의 기본 개념부터 각 방법론의 기여점과 한계, 그리고 그 한계를 보완하는 후속 방법론까지 자연스럽게 연결해 설명해 주신 강동훈 연구원님께 감사의 말씀을 전하며 세미나 후기를 마친다.