이정민

이번 세미나는 federated learning(FL)에 vision-language models(VLMs) 기반의 prompt tuning을 적용한 연구들에 대해 소개해주었다. 데이터 프라이버시가 중요해지면서, FL 연구가 활발히 진행되고 있는 것으로 알고 있는데, FL 분야에도 역시 VLMs이 활발하게 적용되고 있다는 것을 본 세미나를 통해 알 수 있었다.
PromptFL은 이러한 연구 갈래 중 첫 연구로, 텍스트 프롬프트 파라미터만 튜닝함으로써, VLM 을 전체 튜닝하는 것에 비해 효율성 측면에서 큰 장점을 가져왔고, 뿐만 아니라 우수한 성능도 달성했다. FedOTP는 프롬프트를 global prompt와 local prompt로 분리하고 unbalanced OT를 적용하였다. 이 부분에서는 Visual patch 중 클래스와 관련된 patch만 선택적으로 매칭하도록 한 것이 주요한 특징인 것으로 이해하였다. FedMGP는 기존 연구들이 텍스트 프롬프트 튜닝에만 국한되었던 것을 개선하여, 비주얼 프롬프트 역시 튜닝하도록 하였다. 이 때, 각 프롬프트가 서로 유사하지 않도록 하여, 더 넓은 표현을 학습할 수 있도록 하는 diversity loss를 도입하였으며, dynamic aggregation으로 유사한 프롬프트들을 같이 집계하는 방식으로 업데이트를 진행하였다. 추가적인 분석 실험들을 상당히 다양하게 리포트 하였는데, 기존 연구들에서도 텍스트 프롬프트 튜닝을 중점적으로 활용했던 것과 같이, FedMGP에서도 텍스트 프롬프트 튜닝이 비주얼 프롬프트 튜닝보다 훨씬 중요함을 알 수 있었다. 그 외에도 프롬프트 길이, 그룹 수, top-s 등 다양한 실험들을 보여주었다.
기존 FL의 한계와 VLM이 어떻게 도입되기 시작하였고 어떻게 발전되어 왔는지를 잘 설명해주어 이해하기 용이했던 세미나였다. 개인적으로, 논문에서 각자의 방법론을 잘 어필할 수 있는 실험 구성이 중요하다고 생각하는데, 다빈이가 다양한 실험들을 잘 설명해준 것 같다. 다빈이가 이러한 FL+VLM 연구 중 특히 open-set recognition task에 대해 연구를 수행하고 있는데, 그 동안 기존 연구들의 장점들을 잘 참고해서 연구하고 있었다라는 것을 알 수 있었고, 좋은 결과로 마무리 했으면 좋겠다. 끝으로, 좋은 세미나를 준비하느라 고생한 다빈이에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

김현이

이번 세미나에서는 federated learning(FL)에 vision-language models(VLMs) 기반 prompt tuning을 적용한 연구들을 소개해주었다. FL은 각 클라이언트가 보유한 데이터를 외부에 공유하지 않고, 로컬에서 학습한 모델의 정보만 서버에 전달하여 하나의 글로벌 모델을 만드는 방식이다. 데이터 프라이버시를 보호할 수 있다는 장점이 있지만, 모델 전체의 파라미터를 반복적으로 주고받아야 하므로 통신 비용이 크고 주로 작은 모델에 적용되어 왔다. 또한 클라이언트마다 보유한 이미지의 특징이나 클래스 분포가 달라 학습이 불안정해질 수 있다. 이번 세미나를 통해 CLIP의 인코더는 동결하고 소수의 프롬프트만 학습함으로써, 통신 비용을 줄이면서 사전학습된 표현도 활용할 수 있다는 것을 알게 되었다.

PromptFL은 텍스트 프롬프트만 학습하고 서버에서 집계하여 통신 효율을 높였다. FedOTP는 프롬프트를 global prompt와 local prompt로 나누고, unbalanced optimal transport를 활용해 클래스와 관련된 visual patch를 선택적으로 프롬프트와 정렬하였다. FedMGP는 여기서 더 나아가 text와 visual prompt를 여러 그룹으로 학습하고, diversity loss를 통해 각 그룹이 서로 다른 특징에 집중하도록 하였다. 또한 dynamic aggregation을 적용해 유사한 클라이언트의 프롬프트를 선택적으로 집계하였다.

기존 FL의 한계에서 시작해 PromptFL, FedOTP, FedMGP로 방법이 발전하는 흐름을 순서대로 설명해주어 이해하기 쉬웠다. 좋은 세미나를 준비해준 김다빈 연구원에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.