김성수

이번 세미나는 Segment Anything (SAM)의 경량화 모델에 대해 소개하였다. SAM은 Segmentation 계 Foundation 모델로 우수한 Zero-shot 능력을 갖지만, 모델이 매우 커서 온디바이스 등 일반적인 환경에서는 적용하기 어렵다. 이에 본 세미나는 이러한 현실에 쉽게 적용할 수 있는 SAM 경량화 모델 3개를 소개한다.

1) FastSAM: YOLOv8 기반 CNN Backbone에 SAM을 학습한 SA-1B의 2% 데이터로 학습한 것이 전부이다. SAM을 활용한 지식 증류 기법도 없으며, YOLOv8의 적절한 구조 및 SA-1B 데이터의 힘이라고 볼 수 있을 것 같다.
2) MobileSAM: 지식 증류를 활용한다. 이때, Encoder 및 Decoder를 모두 학습 시 비용이 크고 불안정하기 때문에, Encoder에서 나온 Feature만 비교하여 Encoder를 업데이트하는 Decoupled Distillation 기법으로 안정성을 높였다.
3) EfficientSAM: SAMI Pretraining이라는 전략을 도입했다. 이는 SAM을 지식 증류하는 프레임워크이다. 특이한 점은 단순하게 작은 크기의 Student 모델만 활용하는 것이 아닌, 마치 MAE처럼 Masking 된 결과를 복원한 것에 대해서 기존 Teacher 모델의 Output과 비교한다. 세미나에서는 이러한 방식이 추상적인 특징을 더 잘 학습할 수 있다고 말한다.

본 세미나를 통해 SAM 경량화 연구들을 살펴볼 수 있었다. 이제는 모든 모델들이 거대 모델 규모로 나오기에, 이러한 경량화 연구는 필수적이다. 개인적으로는 EfficientSAM처럼 지식 증류하는 방식이 새롭게 다가왔다. 단순하게 Encoder-Decoder 구조가 아닌, 자기지도학습 전략을 저렇게 활용할 수 있다는 점이 새로웠다. 유익한 세미나를 준비해준 이혜승 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.