이번 세미나는 CCTV 영상에서의 이상 탐지라는 주제로 진행되었다. 시계열 데이터나 이미지에 대한 이상탐지는 많이 접해봤지만 동영상에 대한 이상탐지 논문은 처음 접해봤기 때문에 흥미롭게 세미나를 청취할 수 있었고, 실제 현장에서 CCTV를 많이 활용하고 있기 때문에 영상 이상탐지는 정말 중요하고 많은 연구가 진행되어야 하는 분야인것을 다시금 느꼈다. 이어서 방법론 소개가 진행되었는데, 첫번째로 프레임 단위가 아니라 인스턴스 단위로 레이블링을한 데이터를 활용하는 방법론을 소개하였다. 이상과 정상 영상을 인스턴스로 나누어 Positive/Negative Bag에 담고 해당 Bag간의 이상치 점수의 차이를 Loss로 설계하여 우수한 성능을 보였다. 이상 영상이 담긴 Positive Bag이라고 해도 대부분은 정상 데이터이지 않을까 라는 의문을 가졌는데, 저자들이 Loss에 추가한 Smoothness Constraint Term을 통해서 이상과 정상 사이에 이상치 점수를 작게끔 유도하여 해결하였다. 또한 이상과 정상 영상을 모두 활용하기 때문에 강건한 이상감지를 할 수 있다고 한다. 두번째로 소개한 방법론은 첫번째 방법에서 인스턴스 하나가 이상치 하나를 뜻하는 경우가 실생활에서 많지 않기 때문에 여러 인스턴스에 걸쳐서 이상 영상이 발생할 수 있고 이런 경우를 제대로 탐지하기 위하여 연속된 인스턴스를 시퀀스로 묶고 해당 시퀀스의 이상치 점수를 평균으로 사용한 점이 차별점이었다. 또한 이상치 점수를 도출할 때 해당 영상이 이상을 포함하고 있을 확률을 곱하는 Score Correction 방법을 사용하여 변동을 줄였다. 그리고 초기 예측 성능이 낮기 때문에 정상적인 학습을 위하여 pseudo labeling을 하고 점차 튜닝 하며 해결하는것도 인상깊었다. 본 세미나를 통해 영상 이상탐지라는 분야와 해당 방법론들을 알기 쉽게 설명해주어 유익하였고, 관련해서 연구를 해보고 싶다는 생각이 드는 세미나였다. 좋은 세미나를 준비한 김경수 연구원에게 감사의 인사를 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 Anomaly Detection in Surveillance Video 주제로 진행되었다. 환경안전의 중요성이 부상하면서 최근 CCTV영상에서 이상을 탐지하는 분야가 떠오르고 있다. 회사에서도 작업 안전을 위해서 복장 불량이나 안전모 착용 불량 등을 detect하는 작업이 필요한 상황으로 이전부터 관심이 있던 분야의 세미나로 집중하면서 세미나를 들을 수 있었다. Video anomaly detection은 labeling 방법에 따라 방법론이 나눠진다. Fully supervised learning(Frame마다 label설정), Weakly supervised learning(1개 영상을 1개의 dataset으로 설정하고 label 설정), Unsupervised learning(labeling 없이 학습)으로 나눠진다. 해당 방법 중 Weakly supervised learning에 초점을 맞추어서 논문 2개를 소개한다. 첫번째 논문은 감시카메라를 활용한 이상탐지에서 모든 이상 현상들을 나열할 수 없다는 한계점에 대하여 이야기한다. 이 때문에 프레임 별로 label을 정하는 방법은 한계가 존재한다. 이를 해결하기 위해서 Weakly labeled 를 적용한다. 그리고 Anomaly video와 Normal video를 인스턴스 단위로 나누어서 Anomaly video는 positive bag에 Normal video는 Negative bag에 담는 방법을 적용한다. 이어서 insatance들의 feature 추출을 통해 anomaly score를 산출하고 이상을 탐지한다. 이때 loss는 SVM loss가 활용되었고 추가적으로 Smoothness constrain을 추가하여 Frame간의 anomaly score가 급격하게 변하지 않도록 해주는 regularization방법을 적용한다. 두번째는 instance 1개만으로 anomaly score를 산출하는게 아니라 K개의 연속 insatance를 선택하여 Anomaly score 평균을 산출하는 방법을 선택하여 영상 속 이상이 sequence하게 발생한다는 것을 탐지하여 성능을 높인 방법론이다. 해당 방법론에서 특별한 부분은 CTE(video의 전체적 특징을 추출)에서 나온 특징을 classifier를 통해서 video에 이상이 포함되어있을 확률을 산출하여 Score correction에 활용한다는 것이다. Score correction을 통해 anomaly score의 변동에 대하여 보정을 실시한다. 그리고 초기 학습시 Anomaly score 예측 성능이 너무 낮기 때문에 이를 보정하기 위해서 video에 부여된 label을 Pseudo label로 활용하여 Self-training을 실시합니다. 이번 세미나를 통해 영상 속 이상 탐지 분야에 대하여 자세하게 배울 수 있었다. 회사에서 CCTV 영상 속 이상 탐지 연구를 실시할 때 이번 세미나를 다시 한번 더 참고하여 연구를 실시해보아야겠다. 좋은 세미나를 준비한 김경수 연구원에게 감사의 인사를 전하며 이상으로 세미나 후기를 마친다.

이번 세미나는 비디오 도메인의 이상탐지에 대해 진행되었다. 비디오 데이터의 이상탐지도 여느 이상탐지와 마찬가지로 정상데이터로만 학습한다는 특징을 갖는다. 이때, 프레임 단위로 학습이 진행된다는 비디오 데이터의 특성을 반영하는 차이점을 가질 뿐이다. 하지만 프레임 단위로 학습이 진행되기 때문에, Fully-labeled 데이터를 얻는 것은 쉽지 않다. 왜냐하면 하나의 프레임마다 레이블링이 이루어져야 하기에, 일반적인 이미지보다 훨씬 많은 시간이 걸리기 때문이다. 따라서 본 세미나에서는 Weakly-labeled 상황에서 비디오 이상탐지를 다룬 연구 2가지를 소개한다.

첫 번째 연구는 Weakly-labeled 상황에서 4개의 Frame을 하나의 Instance로 취급하여 진행한다(Multiple Instance Learning, MIL). 이때 목적함수는 Anomaly 데이터의 Score는 커지도록, Normal 데이터의 Score는 작아지도록 학습한다. 추가적으로 인접한 프레임 간 차이가 커지지 않도록 그리고 이상 데이터 Score 크기가 너무 커지지 않도록 규제한다.

두 번째 방법론(MSL)은 프레임 간 연속성을 반영하지 못하는 MIL의 한계를 극복하고자 한 연구이다. 이는 Score가 가장 큰 Instance에서 연속된 K개의 Instance를 추가적으로 고려한다. 이를 위해 BCE Loss에서 Instance 들이 이상일 확률을 산출하고, MSL Ranking Loss에서 어떤 Instance가 가장 이상이 있는 Frame인지 식별하는 과정을 거친다. 추가적으로, MSL Ranking Loss에 BCE Loss에서 산출된 이상확률을 곱해주어 Anomaly Score를 최종적으로 정의한다.

이번 세미나를 통해 비디오 데이터에서 이상탐지가 어떻게 이루어지는지 알 수 있었다. 여태까지는 늘 이미지를 기반으로 한 연구들만 살펴봤었는데, 비디오 데이터의 경우 인공지능 모델에서 어떻게 입력되고 출력되는지 간단하게 살펴볼 수 있었다. 개인적으로 이러한 비디오 데이터처럼 레이블이 어려운 환경에서 모델링을 하는 것에 관심이 있는데, 추후 기회가 된다면 자세하게 공부해보고 싶다. 유익한 세미나를 준비해주신 김경수 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 감시 카메라에서의 이상치 탐지에 대해 경수형께서 진행해주었다. 감시 카메라 도메인 역시 실시간 모니터링에 많은 cost가 필요하기 때문에 자동화가 필요한 상황이고 이에 따라 다양한 연구들이 진행되고 있다.
비디오 이상치 탐지에서는 크게 Fully Supervised, Weakly Supervised, Unsupervised 세 가지 방식으로 나뉘고 본 세미나에서는 이상 프레임이 있는 영상을 이상으로 간주하는 Weakly Supervised의 방법론에 대해 소개해주었다.
첫 번째 방법론은 MIL(Multiple Instance Learning)을 사용한 방법론이다. 학습 과정에 대해 간단히 설명하면 anomaly bag에서의 anomaly score는 작아지도록, normal bag에서의 anomaly score는 커지도록 하는 SVM loss를 사용했고 거기에 Sparsly constrain을 추가한 전체 loss로 모델을 학습한다.
두 번째 방법론은 MIL의 문제점을 보완하고자 sequence를 반영하는 MSL(Multi-Sequence Learning)을 제안하였다. 이상치 스코어가 가장 높은 instance를 포함하는 K개의 길이를 갖는 sequence의 이상치 스코어 평균을 계산하여 MIL처럼 SVM loss를 사용한다. 추가로, classifer를 통해 나오는 이상치 확률을 가지고 BCE loss를 계산하고 이 확률 값으로 이상치 스코어를 보정해주는 작업을 수행한다.
비디오 이상치 탐지에 관해서는 접해본 적이 없었어서, 본 세미나를 더욱 호기심 가지고 시청할 수 있었다. Feature extractor에 사용되는 backbone 모델들이 생소했는데 추후에 학습하면 좋을 것 같다. 정상과 이상을 모두 가지고 학습하고, 기존에 알지 못했던 테크닉이 많이 사용되어 새로운 점이 많았다. 좋은 세미나 자료를 준비해주신 경수형께 감사드리며 본 세미나 후기를 마친다.

딥러닝 기반의 비디오 이상 탐지 혹은 모니터링에 관한 세미나를 청취했다. 이 세미나는 비디오 데이터를 예시로 들었지만, 시계열 데이터와 같이 시간에 따라 연속적으로 수집된 모든 데이터 포맷에 적용 가능한 방법론들을 설명했기 때문에 많이들 참고하면 좋을 것 같다(데이터 특징 추출기인 Backbone 모델만 바꾸면 된다).
딥러닝 기반 비디오 모니터링을 수행하기 위해서 가장 먼저 시도해볼 수 있는 방법은 비디오 내 모든 프레임들에 대해 이상 여부를 Labeling하는 것이다. 그러나 비디오 내에 모든 프레임 별 이상 여부를 Labeling하는 것은 어려워 단순한 지도학습 알고리즘으로 문제를 해결하는 것이 어렵다. 이에 따라, 비지도학습 기반 혹은 weakly-supervised 기반의 방법론을 활용하여 문제 해결을 시도해 볼 수 있는데, 오늘 세미나에서 가장 중요하게 소개된 방법론들은 Weakly-supervised 기반 방법론들이었다.
여기서, weak-supervision은 한 비디오 안에서 이상 프레임이 존재했는가 아닌가를 의미하는 것으로, 모든 프레임 별로 Labeling을 해야만 하는 fully-supervision보다 레이블링 비용이 저렴하다. weak-supervision을 기반하여 학습을 하게 되면 한 비디오 전체를 입력 데이터로 활용해야만 하는데, 여기서 multiple-instance, multiple-sequence 기반의 데이터 분석 방법론 개념들이 등장하게 된다. 복잡한 컨셉은 아니지만, 데이터 여러 개를 하나의 데이터 Bag으로 간주하다 보니, 다소 생소할 수 있다. 이런 흥미로운 내용을 많은 연구원들이 보면 좋을 것 같다.
이 연구 방식은 제조 공정 모니터링 연구에도 많이들 활용될 수 있을 것 같다. 많은 산학 연구원 분들께서 참조하시면 좋을 것 같다. 좋은 세미나를 준비하느라 많이 고생하셨을 경수형에게 감사의 말씀을 전하며, 세미나 후기를 마치도록 한다.

이번 세미나는 Anomaly Detection in Surveillance Video을 주제로 진행되었다. 감시 카메라 수는 증가하며 다수의 카메라 모니터링이 필요하지만, 비용과 이상 탐지에 대한 자동화가 필요하다. 비디오 이상치 탐지에는 프레임별 라벨링인 Fully supervised, 이상치가 포함된 동영상 자체를 이상치로 간주하는 Weakly supervised, 레이블 없이 학습하는 Unsupervised 세가지로 구분할 수 있다.

관련하여 소개된 첫 번째 논문은 Multiple instance learning을 사용하여 weakly label 학습으로 이상탐지를 해서 좋은 성능을 내었다. 두 번째 소개된 논문은 Multi-sequence learning을 제안하였는데 여러 개 인스턴스로 구성된 시퀀스를 최적화 단위로 사용해서 이상 점수가 높은 시퀀스를 선택해 학습하는 방식이다.

비디오 이상치 감지에 특화된 방법론들을 처음 접할 수 있었는데, 일반적으로 이미지 데이터에 사용되는 백본과는 다른 모델을 사용한다는 것이 인상 깊었다. 앞으로 CCTV에 대한 수요는 계속 증가하기 때문에 이미 수집 되고 있는 비디오 영상들을 실시간으로 활용할 수 있는 해당 분야에 대해 지속적인 연구가 이뤄지지 않을까 하는 생각이 들었다. 유익한 세미나를 해준 김경수 연구원에게 수고했다는 얘기를 전하며 세미나 후기를 마친다.