Test time adaptation (TTA)는 사전 학습된 모델을 래아블이 없는 평가 데이터에 맞춰 조정하는 방법이다. TTA가 필요한 이유는 학습 되었던 데이터와 평가에 사용되는 데이터 간의 분포 차이가 있어 성능 하락이 발생 할 수 있기 때문이다. 평가 데이터를 얼마나 모아 업데이트 할 것인지에 따라 TTDA (domain, full), TTBA (batch), OTTA (online)로 나눌 수 있다. TTDA인 SHOT은 사전학습 후 classifier는 고정하고 전체 평가 데이터를 통해 information maximization과 pseudo-label두 단계로 feature extractor를 업데이트하는 방식이다. TTBA인 TENT는 배치 데이터만을 활용하여 엔트로피를 최소화하는 방향으로 batch normalization 과정에서 affine 파라미터를 업데이트하는 방식으로 학습한다. OTTA인 MEMO는 단 하나의 샘플만이 들어와도 적용이 가능한데, 다양한 방식으로 증강시켜 마진 엔트로피를 최소화하는 방식으로 학습한다.

실용적인 연구인 TTA에 대해서 알아 볼 수 있는 좋은 시간이였다. 흥미로운 주제 쉽게 설명해준 소연이에게 고맙다는 말 전하고 싶다.

이번 세미나는 Test-time Adaptation(TTA)에 대해 진행되었다. 이전에 황순혁 연구원이 최신 TTA 방법론들을 다뤘다면, 오늘은 조금 더 근본 논문들에 대해 진행되었고 전체적인 개요에 대해 소개한다. 본 세미나에서는 SHOT, TENT, MEMO라는 3가지 방법론을 소개한다. 각 방법론은 TTDA, TTBA, TTBA (정확하게는 TTIA)에 속한다. 각 방법론들은 공통적으로 “엔트로피”를 활용하여 모델을 개선한다. 아무래도 테스트하는 시점에 레이블 등 활용할 수 있는 정보가 없기에, 엔트로피가 가장 신뢰도 있게 쓰인 것으로 생각된다.

본 세미나는 TTA를 입문하려고 하는 사람에게 정말 추천한다. 특히나, 각 접근법 및 Loss 활용에 대해 상세하게 분석한 내용은 나도 몰랐던 기존 내용들을 다시 한 번 리마인드 하는데 큰 도움이 되었다. 사실 TTDA나 TTBA의 근본적인 개념 그리고 해당 논문들을 살펴보면 잘 와닿지 않지만, 본 세미나에서는 정말 쉽게 정리되어 있다 (54분이라고 뒤로 가기 누르지 말자). 유익한 세미나를 준비해준 박소연 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

이번 세미나는 TTA에 대한 학습 시나리오와 더불어 이를 다룬 3가지 근본 연구들 (TENT, SHOT, MEMO)에 대해 소개받았다. 세미나 초반 부분에 유관 연구 분야와의 problem definition의 차이를 정확하고 상세하게 잘 짚어주어서 처음 TTA를 접하는 사람들도 쉽게 들을 수 있도록 구성된 점이 좋았다. 아울러, TTA 내에서도 TTDA / TTBA / OTTA로 구분되는 학습 시나리오와 더불어 TTA 방법론의 카테고리에 대해서도 개괄적인 개념 차이를 자세히 설명해주어서 survey paper를 보는 듯 했다.
세미나에서 소개되었듯 TTA의 여러 학습 시나리오 / 방법론 카테고리에 따라서 여러 연구들이 수행되어왔는데, 이번에는 가장 baseline으로 사용되는 대표적인 방법론 SHOT, TENT, MEMO에 대해 소개받을 수 있었다.

1. SHOT
- Source free adaptation의 첫 시작을 알렸다고 보아도 과언이 아닌 방법론으로, pretrained source classifier에 '맞추어' target을 조정해주는 방향으로 학습을 수행한다. 즉, source decision boundary에 맞추어 target features를 조정해주는 것이다.
- 그렇다면 features를 어떤 방식으로 조정해야 source decision boundary에 맞출 수 있을까? 라는 질문에 대해서, 저자들은 source의 특성은 (1) discriminative & (2) diverse 일 테니, target feature도 information maximization을 통해 (1), (2)와 같이 유도할 수 있다고 답한다.
- 이러한 방식과 더불어서, SHOT은 성능을 보다 개선시키기 위한 추가적인 학습 모듈로서 centroid 기반 pseudo-labeling을 진행한다.
- 해당 논문을 읽으며 들었던 가장 큰 질문 중 하나는 source로부터 학습한 결정 경계를 그대로 고정한다는 점이었다. UDA 분야의 논문을 읽다보면, linear classifier에 내재된 domain-specific bias 등이 문제시 되는 경우도 있는데, 단순히 target domain을 source에 맞게끔 정렬을 진행하는 것이 과연 큰 효과가 있을까 하는 의문이 들었다.

2. TENT
- TENT는 test-time 입력 샘플의 예측 확률 분포 엔트로피 최소화를 통해 adaptation을 수행하는 가장 기본적인 TTA 방법론이다. 이때 모델 파라미터 변경 시 모든 파라미터를 변경하는 대신 BN layer의 affine 파라미터만 업데이트하는 특징을 가진다.
- 아주 기본적이고 직관적인 모듈로 이루어져 있지만, TTA 연구의 시발점이 된 초석연구라는 점에서 큰 의미를 가진다.

3. MEMO
- marginal 엔트로피 최소화와 더불어 input augmentation을 함께 적용해서, test-time inference 시 robustness를 향상시키는 방법론이다. 즉, test sample을 여러 augmentation으로 변형하고, 평균 entropy를 최소화 함으로써 예측 일관성을 잘 유지하는 것을 목표로 한다.
- 해당 방법론은 하나의 test sample에 대한 adaptation을 수행했다는 점에서 실용성이 높은 특징을 가진다는 생각을 했다.

최근 소연이와 TTA 스터디를 함께 진행하고 있는데, 관련한 초석 연구들을 오픈 세미나에서도 잘 소개해주어 한 번 더 복습할 수 있는 기회를 얻은 듯 하다. 앞으로 소연이가 연구를 해 나가는 데 있어서도 이번 세미나와 더불어 스터디 경험들이 좋은 기폭제가 되어주면 좋겠고, 양질의 세미나를 준비해준 소연이에게 감사의 말을 전하며 후기를 마무리한다.