Face Anti Spoofing을 주제로 세미나가 진행되었다. 얼굴 인식 기술이 다양한 곳에서 사용되고 있는 만큼 실제 인물이 아닌 사진 등을 통해 보안을 뚫고자 하는 시도가 많이 이루어지고 있다. 이를 막고자 하는 것이 Face Anti Spoofing 기술로 다양한 딥러닝 연구가 진행되고 있다. 특히 오늘 세미나에서는 RGB 카메라로 촬영된 사진에 대한 딥러닝 기술 중 도메인 일반화에 대한 부분과 공격에 대한 일반화에 대해서 다뤘다. Progressive Transfer learning은 semi-supervised learning 기반으로 domain adaptation을 수행하는 방법론이다. 데이터는 많이 있지만 다수의 레이블 데이터를 얻기 어렵다는 현실 문제를 temporal confidence consistency mechanism을 통해 pseudo 레이블을 정의하여 해결하고자 하였다. Domain Ivariant Vision Transformer는 알려지지 않은 도메인에서도 효과적인 일반화를 하기 위해서 두 가지 손실 함수를 제안한다. 실제 얼굴은 특징 공간 원점에 위치하는 손실 함수와 다양한 공격 유형을 도메인에 상관없이 유형 별로 군집화 하는 손실 함수를 제안하였다. 이를 통해 보지 못했던 공격 유형에 대해서도 좋은 성능을 보인다.

본 세미나를 통해 Face Anti Spoofing에 대해 알 수 있었다. 청취하면서 빛이나 각도에 데이터를 분석하기가 참 어렵겠다는 생각을 했다. 핸드폰을 통해 매일 얼굴 인식을 하다 보니 보안 문제가 궁금했었는데 방법은 다르겠지만 해당 분야를 알 수 있는 좋은 시간이었다. 흥미로운 분야인 것 같고 좋은 세미나 전해준 정인이형에게 감사의 말을 전한다.

이번 세미나는 Face Anti Spoofing에 대해 진행되었다. 간략하게 요약하면, 얼굴(Face) 인식에서 촬영한 이미지나 사진 등을 활용하여 불법적으로 보안을 뚫으려는(Spoofing) 시도를 방지(Anti)하기 위한 연구분야이다. 본 세미나에서는 준지도학습 관점과 도메인 일반화 관점의 두 가지 연구를 소개한다.

1) Progressive Transfer Learning: Spoof 데이터는 실제와 가짜를 구분하기 어려워서 인간 노동력이 크게 소요된다는 문제를 갖는다. 따라서 Labeled 데이터를 확보하기 어렵다. 이를 위해 준지도학습을 활용하고자 하였다. 크게 Progressive Learning과 Adaptive Transfer로 구분된다. Progressive Learning는 Pseudo Labeling처럼 신뢰성 있는 Unlabeled 데이터 일부를 Labeling 후, 이를 Labeled 데이터와 함께 학습하여 모델을 업데이트 한다. 이때, “신뢰성 있는 Pseudo Labeled 데이터”를 확보하기 위해 Thresholding을 활용한다는 것이 큰 특징이다. 이때 Temporal Consistency 메커니즘을 활용한다. 이는 여러 프레임의 Max 확률 평균값, Thresholding, Top-K기법을 동시에 활용하여 신뢰성 있는 데이터를 확보할 뿐만 아니라, 다양한 종류의 데이터 확보에도 도움주었다. (Max 확률 평균값만 활용 시, 모든 Frame이 동일한 값을 갖게 되어 다양성이 저해될 수 있다.)Adaptive Transfer는 Progressive Learning과 유사하며, Target 도메인에 대해 적용된다는 차이를 갖는다.

2) DiVT: 도메인 일반화 관점에서 Face Anti Spoofing을 해결하고자 하였다. 도메인 일반화와 관련된 내용만 살펴본다면, DiC Loss는 기준이 되는 실제 이미지를 원점에 위치시키도록 한다. 또한 그 외 다른 도메인들을 군집화하여 각 도메인 유형을 구분하는 DiA Loss를 함께 활용한다. 개인적으로 오히려 도메인 유형을 구분하도록 학습하면 Domain Generalization의 취지에 맞는지 궁금하다. 단순하게 세미나를 청취했을 때는 Domain 유형을 구분 못하도록 학습하는 것이 맞을 것 같다는 생각이 들었기 때문이다.

이번 세미나를 통해 Face Anti Spoofing에 대해 접할 수 있었다. 늘 이야기로만 듣던 분야를 이렇게 장표를 통해 다시 한 번 복기하니 비교적 수월하게 이해할 수 있었다. 개인적으로는 Face Anti Spoofing에서 도메인 일반화가 가장 큰 효과를 얻을 수 있을 것 같다는 생각이 들었다. 다양한 Attack Type이 있을텐데, 이를 충분히 학습하기 위해서는 기존에 갖고 있는 데이터만으로 강건한 Feature를 학습하는 것이 중요하다고 생각했기 때문이다. 유익한 세미나를 준비해준 김정인 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

본 세미나는 Face Anti Spoofing에 대한 내용으로 구성되었다. 최근 많은 상품이나 서비스에 대한 결제 시스템에 얼굴 인식을 적용하고 있기 때문에, 보안 문제가 중요하다. 이에 보안 시스템이나 인증 체계를 속이는 것을 Spoofing, 이를 방지하는 기술을 Anti Spoofing이라고 한다. Face Anti Spoofing에서는 이전에 보지 못한 도메인에 대한 일반화와 보지 못한 공격 타입에 대한 일반화를 하고자 한다. 이에 이번 세미나에서는 2가지의 논문에 대해서 설명한다.

1. Progrssive Transfer learning for Face Anti-spoofing : 좋은 성능의 모델을 위해서는 많은 양의 레이블 데이터가 필요하지만, Spoof 데이터는 많은 양의 레이블 데이터의 수집이 어렵다. 또한, 새로운 유형의 Spoof 데이터는 수집이 어렵다. 이에 본 논문에서는 semi-supervised learning 기반 framework와 adaptive transfer mechanism을 제안한다. pseudo-labeling 방법을 통해 unlabeled data를 활용하고, 이때 pseudo-label의 신뢰도 향상을 위하여 Temporal Consistency Mechanism을 사용한다. 이후 동일한 방식으로 target damain data에 대한 학습을 진행한다. 이때 source domain data는 기존의 labeled data와 pseudo-labeling된 데이터를 함께 사용한다.

2. Domain Invariant Vision Transformer Learning for Face Anti-spoofing : 가짜 데이터의 위조 패턴은 이미지 전체에 분포하지만, 기존의 CNN모델은 이미지의 지역적인 정보에 집중한다. 따라서 Transformer 계열의 모델을 통해 전역적인 정보에 집중하며, 이때 모델 사이즈의 연산 복잡도 측면의 이점을 갖는 Mobile ViT-S를 사용한다. 이후 도메인에 상관없이 실제 얼굴에 대한 특징 벡터를 원점에 위치하도록 하는 손실 함수(L_DiC)와 도메인에 상관없이 실제와 공격 유형을 잘 분류하도록 하는 손실함수(L_DiA)를 통해서 새로운 도메인의 데이터에 대한 일반화 성능을 확보하고자 한다.

이번 세미나를 통해서 Face Anti Spoofing분야에 대해 알 수 있어서 좋았다. 기술의 발전과 함께 보안이 중요한 문제라고 생각하고 있는데, 이에 걸맞는 분야로 매우 흥미롭게 들을 수 있었다. 좋은 세미나를 준비해준 김정인 연구원님께 고맙다는 인사를 전하며, 세미나 후기를 마친다.

해당 세미나는 Face Anti Spoofing에 대한 내용을 다루었다. 현재 다양한 분야에서 보안을 거는 방식으로 사람의 얼굴을 활용하기도 한다. 이를 악용하기 위해 가짜 혹은 조작된 데이터를 활용하는 사례들이 존재하는데, 이를 방지하기 위한 분야가 바로 Face Anti Spoofing이다. 본 세미나에서는 Face Anti Spoofing 방법들 중에서도 보지 못한 도메인과 공격 타입에 대한 문제를 해결한 논문들에 대해서 소개한다.

[1] Progressive Transfer Learning for Anti Spoofing: 모델이 좋은 성능을 내기 위해서는 많은 양의 레이블된 spoof 데이터가 필요하지만 이를 구하는 것은 어려우며 대부분의 spoof 데이터는 실제 데이터와 유사성이 높다. 이를 해결하기 위해 semi supervised learning기반 progressive learning을 제안하였다. Pseudo labeling으로 unlabel 데이터를 활용하면서 Temporal consistency mechanism을 통해 Pseudo label의 신뢰도를 높였다. 더하여 실시간 학습이 가능하도록 하는 adaptive transfer mechanism을 제안하였는데, Source domain에 적용되는 progressive learning과는 달리 Target Domain에 대해서만 적용된다.

[2] Domain Invariant Vision Transformer Learning for Face Anti Spoofing: Spoof 데이터의 위조 패턴은 이미지 전체에 분포를 한다. 따라서 지역적인 정보에 집중하는 CNN과 달리 전역적인 정보를 파악할 수 있는 mobile ViT를 사용하였다. 또한 실제 얼굴 데이터 특징 벡터가 특징 공간상에서 중간에 위치할 수 있도록 하는 loss와 spoof 데이터의 공격 유형에 따라 공간 상에서 군집화 하도록 하는 loss를 제안하였다.

해당 세미나를 통해 Face Anti Spoofing이라는 생소한 분야에 대해 배울 수 있어 좋았다. 현재 디퓨젼 모델과 생성 모델에 관심이 있는데, 기술의 발전이 보안과 안전 관련 문제를 야기할 수도 있다는 생각을 다시금 하게 되었다. 좋은 세미나를 준비해준 김정인 연구원에게 고맙다는 말을 전하며 세미나 후기를 마친다.

Face Anti-Spoofing에 관한 세미나를 청취하였다. Anti-Spoofing은 이전에 본 적 없는 데이터 도메인 및 공격 유형에 대한 강건한 성능을 유지해야 하는 특성을 가지고 있고, 이에 따라 DA(Domain Adaptation)와 DG(Data Generalization) 연구와 결합하여 연구되고 있으며, 분야 특성상 Labeled 데이터 부족 문제도 자주 발생하여 Semi- 방법론도 적용되고 있는 듯 하다. 오늘 세미나에서는 DA, DG, Semi- 등 다양한 방법론을 기반으로 한 Anti-Spoofing 연구 사례들을 살펴볼 수 있었고, Anti-Spoofing 분야에서만 사용되는 평가 지표까지 이해할 수 있어 흥미로웠다.

한편, Spoofing을 시도하여 이익을 챙기려는 자들은 주로 새로운 유형의 공격 방식에 집중할 것 같다는 생각이 들었다. 그리고, 이러한 신규 유형들은 사례가 적고 다양할 것으로 예상되기 때문에, 분류 알고리즘보다는 이상 탐지 알고리즘이 더 효과적이지 않을까 호기심이 생겼다.

흥미로운 주제로 질 좋은 세미나를 준비해주신 정인이 형에게 감사의 말씀을 전하며 세미나 후기 작성을 마치도록 한다.