이번 세미나는 federated learning(FL)에 vision-language models(VLMs) 기반의 prompt tuning을 적용한 연구들에 대해 소개해주었다. 데이터 프라이버시가 중요해지면서, FL 연구가 활발히 진행되고 있는 것으로 알고 있는데, FL 분야에도 역시 VLMs이 활발하게 적용되고 있다는 것을 본 세미나를 통해 알 수 있었다.
PromptFL은 이러한 연구 갈래 중 첫 연구로, 텍스트 프롬프트 파라미터만 튜닝함으로써, VLM 을 전체 튜닝하는 것에 비해 효율성 측면에서 큰 장점을 가져왔고, 뿐만 아니라 우수한 성능도 달성했다. FedOTP는 프롬프트를 global prompt와 local prompt로 분리하고 unbalanced OT를 적용하였다. 이 부분에서는 Visual patch 중 클래스와 관련된 patch만 선택적으로 매칭하도록 한 것이 주요한 특징인 것으로 이해하였다. FedMGP는 기존 연구들이 텍스트 프롬프트 튜닝에만 국한되었던 것을 개선하여, 비주얼 프롬프트 역시 튜닝하도록 하였다. 이 때, 각 프롬프트가 서로 유사하지 않도록 하여, 더 넓은 표현을 학습할 수 있도록 하는 diversity loss를 도입하였으며, dynamic aggregation으로 유사한 프롬프트들을 같이 집계하는 방식으로 업데이트를 진행하였다. 추가적인 분석 실험들을 상당히 다양하게 리포트 하였는데, 기존 연구들에서도 텍스트 프롬프트 튜닝을 중점적으로 활용했던 것과 같이, FedMGP에서도 텍스트 프롬프트 튜닝이 비주얼 프롬프트 튜닝보다 훨씬 중요함을 알 수 있었다. 그 외에도 프롬프트 길이, 그룹 수, top-s 등 다양한 실험들을 보여주었다.
기존 FL의 한계와 VLM이 어떻게 도입되기 시작하였고 어떻게 발전되어 왔는지를 잘 설명해주어 이해하기 용이했던 세미나였다. 개인적으로, 논문에서 각자의 방법론을 잘 어필할 수 있는 실험 구성이 중요하다고 생각하는데, 다빈이가 다양한 실험들을 잘 설명해준 것 같다. 다빈이가 이러한 FL+VLM 연구 중 특히 open-set recognition task에 대해 연구를 수행하고 있는데, 그 동안 기존 연구들의 장점들을 잘 참고해서 연구하고 있었다라는 것을 알 수 있었고, 좋은 결과로 마무리 했으면 좋겠다. 끝으로, 좋은 세미나를 준비하느라 고생한 다빈이에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

이번 세미나에서는 federated learning(FL)에 vision-language models(VLMs) 기반 prompt tuning을 적용한 연구들을 소개해주었다. FL은 각 클라이언트가 보유한 데이터를 외부에 공유하지 않고, 로컬에서 학습한 모델의 정보만 서버에 전달하여 하나의 글로벌 모델을 만드는 방식이다. 데이터 프라이버시를 보호할 수 있다는 장점이 있지만, 모델 전체의 파라미터를 반복적으로 주고받아야 하므로 통신 비용이 크고 주로 작은 모델에 적용되어 왔다. 또한 클라이언트마다 보유한 이미지의 특징이나 클래스 분포가 달라 학습이 불안정해질 수 있다. 이번 세미나를 통해 CLIP의 인코더는 동결하고 소수의 프롬프트만 학습함으로써, 통신 비용을 줄이면서 사전학습된 표현도 활용할 수 있다는 것을 알게 되었다.

PromptFL은 텍스트 프롬프트만 학습하고 서버에서 집계하여 통신 효율을 높였다. FedOTP는 프롬프트를 global prompt와 local prompt로 나누고, unbalanced optimal transport를 활용해 클래스와 관련된 visual patch를 선택적으로 프롬프트와 정렬하였다. FedMGP는 여기서 더 나아가 text와 visual prompt를 여러 그룹으로 학습하고, diversity loss를 통해 각 그룹이 서로 다른 특징에 집중하도록 하였다. 또한 dynamic aggregation을 적용해 유사한 클라이언트의 프롬프트를 선택적으로 집계하였다.

기존 FL의 한계에서 시작해 PromptFL, FedOTP, FedMGP로 방법이 발전하는 흐름을 순서대로 설명해주어 이해하기 쉬웠다. 좋은 세미나를 준비해준 김다빈 연구원에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.

이번 발표는 CLIP과 같은 vision-language model(VLM)의 사전학습 지식을 활용하면서, 소수의 프롬프트 파라미터만 학습·공유하여 연합학습의 통신 부담과 데이터 이질성 문제를 다루는 연구를 소개하였습니다. 연합학습의 기본 개념에서 출발하여 PromptFL, FedOTP, FedMGP를 차례로 설명하였으며, 효율적인 공동 학습에서 클라이언트별 개인화와 일반화의 균형으로 발전하는 연구 흐름을 보여 주었습니다.

각 논문의 핵심을 정리하면, PromptFL은 사전학습된 CLIP을 고정하고 텍스트 프롬프트만 각 클라이언트에서 학습한 뒤 서버에서 집계하여, 전체 모델을 업데이트하는 부담을 줄이는 방법입니다. FedOTP(CVPR 2024)는 공통 지식을 담는 global prompt와 클라이언트별 특성을 담는 local prompt를 함께 학습하고, unbalanced optimal transport를 이용해 두 프롬프트를 이미지의 관련 영역과 정렬합니다. FedMGP(NeurIPS 2025)는 여러 그룹의 텍스트·시각 프롬프트와 diversity loss를 활용하여 다양한 특성을 학습하고, 이전 글로벌 프롬프트와의 유사도에 기반한 확률적 선택으로 집계에 참여할 프롬프트 그룹을 정합니다. 따라서 단순히 “유사한 클라이언트끼리 집계한다”기보다는, “각 클라이언트에서 공유할 프롬프트 그룹을 선택한다”라고 설명하는 것이 어떨까 합니다.

전반적으로 자신감 있게 발표하였으며, 방법론의 세부 과정을 충실하게 설명한 점이 좋았습니다. 특히 포인터를 이용하여 설명하고 있는 부분을 하나씩 짚어 주어, 복잡한 구조에서도 청중이 내용을 따라가기 편했습니다. 각 구성 요소가 어떻게 작동하고 학습과 집계가 어떤 순서로 이루어지는지 전달하기 위해 충분히 준비한 점이 드러났습니다.

다만 세부 설명에 들어가기 전에, 왜 이러한 방법이 필요한지를 먼저 제시하면 더욱 좋은 발표가 될 것입니다. 예를 들어 FedOTP에서는 “하나의 공통 프롬프트로 서로 다른 클라이언트의 특성을 충분히 표현할 수 있는가?”, FedMGP에서는 “여러 프롬프트를 학습하더라도 모두 비슷한 정보를 담거나 무조건 평균하면 어떤 문제가 생기는가?”를 먼저 제기 할 수 있습니다. 이러한 문제의식이 선행되어야 듣는 사람들이 global/local 구조, diversity loss, 선택적 집계를 각각 필요한 해결책으로 이해할 수 있습니다.

실험결과도 먼저 “이 실험으로 무엇을 확인하려는가”를 명시한 뒤 설명하면 좋을 듯 합니다. PromptFL의 자원 사용량 비교는 프롬프트 학습의 효율성을, FedOTP의 label·feature shift 실험은 서로 다른 종류의 이질성에 대한 대응력을 확인하는 실험입니다. FedMGP의 Local, Base, Novel 결과는 개인화 성능과 다른 클래스에 대한 일반화 성능 사이의 균형을 살펴보는 데 의미가 있습니다. 따라서 평균 점수가 높다는 설명에 머무르지 말고, 어떤 성능이 향상되었으며 그 과정에서 다른 성능이 낮아지지는 않았는지까지 해석해야 합니다.

또한 발표자료 60페이지에서 프롬프트 길이, 그룹 수, 선택할 그룹 수를 변화시키는 실험은 ablation study보다는 hyperparameter sensitivity analysis라고 구분하는 것이 정확합니다. 반면 시각 프롬프트를 제거하거나 diversity loss를 제외하는 비교는 구성 요소의 기여를 확인하는 ablation study라고 할 수 있을 것 같습니다. 원 논문이 이를 모두 ablation으로 묶어 표현하더라도, 발표자는 실험의 목적에 맞게 용어를 바로잡아야 합니다. 논문의 표현을 그대로 전달하는 데서 나아가, 그 표현과 해석이 정확한지 판단하는 것도 연구자의 중요한 역할입니다.

방법론을 자세히 설명하는 능력과 자신감 있는 전달은 이번 발표의 분명한 강점입니다. 앞으로는 여기에 방법론의 필요성을 먼저 설득하는 과정과 실험 목적에 근거한 해석을 더하기 바랍니다. 준비한 내용을 잘 전달하는 수준에서, 논문의 설계와 주장을 스스로 평가하는 수준으로 발전하기를 기대합니다. 잘 들었습니다. 수고 많았습니다.