김현이

이번 세미나에서는 CLIP에서 사용하는 프롬프트가 어떻게 학습 가능한 형태로 발전해왔는지를 소개해주었다. CLIP은 이미지와 텍스트의 유사도를 이용해 분류를 수행하는데, 같은 의미의 문장이라도 프롬프트를 어떻게 작성하느냐에 따라 성능 차이가 크게 발생한다. 이러한 문제를 해결하기 위해 사람이 직접 프롬프트를 만드는 대신, 데이터로부터 프롬프트를 학습하는 연구가 등장하였다.

CoOp은 적은 수의 이미지로도 과제에 적합한 프롬프트를 학습할 수 있었지만, 모든 이미지에 동일한 프롬프트를 사용하여 새로운 클래스에 대한 성능이 떨어지는 문제가 있었다. CoCoOp은 입력 이미지마다 다른 프롬프트를 생성하여 이를 보완하였다. 이후 MaPLe은 텍스트 쪽만 조정하던 기존 방식에서 벗어나 이미지와 텍스트 인코더를 함께 학습하는 멀티모달 프롬프트 방식을 제안하였다.

마지막으로 MMRL은 이미지와 텍스트가 하나의 공유 표현을 함께 학습하도록 하고, CLIP이 기존에 가지고 있던 일반화 능력과 새로운 과제에 적응하는 능력을 나누어 학습하였다. 특히 앞부분의 특징은 최대한 유지하고 뒷부분에서만 새로운 표현을 학습한다는 점이 인상적이었다.

이번 세미나를 통해 프롬프트 학습이 단순히 문장을 잘 만드는 문제를 넘어, 이미지와 텍스트의 표현을 함께 조정하는 방향으로 발전하고 있다는 것을 알 수 있었다. 각 연구가 이전 방법의 한계를 어떻게 보완했는지 순서대로 설명해주어 전체 흐름을 이해하는 데 도움이 되었다. 좋은 세미나를 준비해준 손병우 연구원에게 고맙다는 말을 전하며 후기를 마친다.

김정인

이번 세미나에서는 Vision-Language Model(VLM)에서 사용되는 Prompt Learning의 개념과 발전 과정을 살펴볼 수 있었다. CLIP과 같은 VLM은 이미지와 텍스트 표현 간의 유사도를 활용해 분류를 수행하지만, 사용하는 prompt에 따라 성능이 달라질 수 있기 때문에 데이터셋에 적합한 prompt를 사람이 반복적으로 설계하고 평가해야 한다는 한계가 있다. Prompt Learning은 이러한 prompt를 데이터로부터 학습함으로써 효율적으로 VLM을 task에 적응시키는 방법이라는 점을 이해할 수 있었다.

초기 CoOp은 handcrafted prompt를 learnable context vector로 대체하였고, CoCoOp은 입력 이미지에 따라 prompt를 조건화하여 unseen class에 대한 일반화 성능을 개선하였다. 이후 MaPLe은 text branch뿐 아니라 visual branch에도 prompt를 적용하고 두 modality의 prompt를 함께 최적화함으로써 multimodal prompt learning으로 확장하였다.

최근의 MMRL은 prompt 자체를 학습하는 것을 넘어 text와 visual modality가 shared representation space를 공동으로 학습하도록 확장하였다. 또한 pretrained CLIP의 일반화 지식과 task-specific representation을 분리하여 활용함으로써 adaptation과 generalization 간의 균형을 고려하였다.

이번 세미나를 통해 Prompt Learning이 text prompt tuning에서 conditional prompting, multimodal prompting, 그리고 multimodal representation learning으로 점차 확장되어 온 흐름을 이해할 수 있었다. 특히 사전학습된 VLM의 지식을 유지하면서 적은 학습 비용으로 새로운 task에 효과적으로 적응하고, 동시에 unseen class나 새로운 domain에 대한 일반화 성능을 확보하는 것이 Prompt Learning의 중요한 연구 방향이라는 점이 인상적이었다. 유익한 세미나를 준비해 준 병우에게 고마운 마음을 전하며, 이상으로 세미나 후기를 마친다.

김지현

최근에 prompt tuning을 주제로 개인연구를 마무리했기에 특히나 흥미롭게 들었던 세미나였다. 나는 text promt learning (CoOp, CoCoOp)에 기반한 튜닝 방법론에 대해서만 공부했었는데, 본 세미나에서는 multi-modal 기반 learning 기법(MaPLe, MMRL)까지 다루어주어, vision-language model의 구조적 특성을 활용한 prompt learning의 발전 과정을 더 깊이 알 수 있는 기회가 되었다.
CoOp은 수동으로 작성된 handcrafted prompt를 학습 가능한 벡터로 대체하는 기법을 최초로 제안하며, CLIP 인코더는 고정한 채로 이 벡터들만을 학습시켜 few-shot classification 성능을 극대화시킨 연구이다. 다만, 학습에 이용된 특정 데이터 분포에 과적합되어 일반화 성능이 낮은 문제가 있기에, 후속 연구로서 CoCoOp이 제안되었다. CoOp에 추가적으로 작은 신경망을 하나 더 학습해서 각 이미지마다 conditional token vector를 생성하고 학습하도록 하여, 기존 CoOp의 정적인 구조에서 탈피하고 unseen class에 대해서도 일반화 성능을 높일 수 있었다. 그러나 두 연구는 CLIP과 같은 vision language model을 기반으로 하면서도 vision modality를 이용하지는 않았다. 이러한 한계를 지적하며 제안된 방법론인 MaPLe은 텍스트와 이미지 모두에 대해 함께 적응을 수행하며 시너지를 유도한다. 보다 구체적으로는, 두 모달리티 모두에 learnable prompt를 삽입해 학습 가능하도록 하고, VL coupling function을 통해 vision, text 모달리티 간의 정렬을 유지하는 전략을 취한다. 그리고 MMRL은 여기서 더 나아가, 이미지와 텍스트가 함께 공유할 수 있는 표현 공간을 도입하여 멀티모달 상호작용을 촉진하는 기법을 제안한다.
결국 CLIP과 같은 vision language encoder 구조를 이용해 연구할 때는, 어떻게 vision과 text 모달리티 두 가지를 적절히 함께 이용할 수 있는가?를 중심적으로 고민해야 하는 것 같다. 좋은 세미나 준비해준 병우에게 감사의 말을 전하며, 앞으로의 연구도 잘 마무리할 수 있기를 응원한다.

신승민

이번 세미나에서는 Vision-Language Model(VLM)의 Prompt Learning을 주제로, 등장 배경과 기본 개념부터 CoOp, CoCoOp, MaPLe, MMRL로 이어지는 발전 과정을 소개하였다. 대표적인 VLM인 CLIP은 image feature와 text feature의 유사도를 비교하여 이미지를 분류하지만, 어떤 prompt를 사용하는지에 따라 성능이 달라진다. 따라서 데이터에 적합한 prompt를 찾으려면 다양한 문장을 반복적으로 설계하고 평가해야 한다. Prompt Learning은 이러한 부담을 줄이기 위해 사람이 직접 작성하던 prompt를 주어진 데이터로부터 학습하는 접근이다.

CoOp은 기존 CLIP의 handcrafted prompt를 학습 가능한 continuous context vector로 대체한다. CLIP encoder는 frozen 상태로 유지하고 context vector만 학습하여, 적은 데이터와 파라미터로 분류 성능을 높인다. 다만 입력 이미지와 관계없이 동일한 prompt를 사용하는 static prompt 구조로 인해, base class에 과적합되어 unseen class에 대한 일반화 성능이 떨어지는 한계가 있다.

CoCoOp은 입력 이미지에 조건화된 Prompt Learning으로 이러한 한계를 개선한다. Meta-Net을 통해 Image Feature를 context vector에 반영하며, 실험에서는 일반화 성능 강화 특성으로 인해 base class의 정확도가 소폭 감소한 반면 unseen class의 정확도는 크게 향상되었다. 다만 입력 이미지마다 class별 text feature를 다시 계산해야 하므로 연산과 GPU memory 부담이 커지고, prompt를 통한 조정이 text branch에만 적용된다는 한계가 있다.

MaPLe은 text branch와 visual branch 모두에 prompt를 삽입하는 Multimodal Prompt Learning을 제안한다. V-L coupling function을 통해 language prompt로부터 visual prompt를 생성하고, 여러 transformer layer에 prompt를 삽입하는 deep prompting으로 두 modality의 표현을 함께 조정한다. 이를 통해 base class와 novel class의 성능을 함께 개선했지만, 여전히 text 중심으로 두 modality를 연결한다는 한계가 남는다.

MMRL은 Shared Representation Space에서 Visual Representation token과 Textual Representation token을 각각 생성하여 text 중심의 연결 구조를 개선한다. 또한 lower layer의 사전학습 특징을 보존하도록 higher layer에만 representation token을 삽입한다. Decoupling Strategy에서는 generalization knowledge를 유지하는 class feature와 task-specific knowledge를 학습하는 representation feature를 분리한다. 추론 시 base class에는 두 feature를 함께, novel class에는 class feature만 사용하여 학습 데이터에 치중되는 overfitting 영향을 차단하고자 하였다.

평가에서는 Base-to-New Generalization(B2N), Cross-Dataset Evaluation(CD), Domain Generalization(DG)을 통해 새로운 class와 데이터셋, 변화된 이미지 스타일에 대한 일반화 성능을 확인하였다. 또한 파라미터 수와 학습·추론 비용을 함께 비교하여 각 방법의 성능과 효율성을 살펴보았다. 이처럼 다양한 평가 설정과 지표를 함께 제시하여, 각 방법이 어떤 상황에서 강점을 보이고 어떤 한계가 있는지 여러 관점에서 이해할 수 있었다.

MMRL에서 novel class에도 representation feature를 사용했을 때 오히려 성능이 하락한 실험 결과가 흥미로웠는데, 학습 과제에 잘 맞는 feature가 새로운 class에도 유용한 것은 아니라는 점을 알 수 있었고 이를 통해 base class와 novel class에서 feature를 다르게 활용하는 decoupled strategy의 필요성을 느낄 수 있었다. Prompt Learning의 배경부터 각 방법론의 한계와 발전 과정까지 자세히 설명해 주신 손병우 연구원님께 감사의 말씀을 전하며 세미나 후기를 마친다.