전체적으로 논문의 핵심을 매우 잘 전달하면서 흐름이 명확한 발표였습니다. 특히 visual prompt tuning (VPT)의 개념 자체뿐만 아니라, 왜 이러한 방법론이 필요하게 되었는지를 설명하기 위한 빌드업 과정이 매우 훌륭했습니다. Transformer → Vision Transformer → Pretrain-then-Finetune Paradigm → Visual Prompt Tuning으로 이어지는 초반부의 전개가 자연스럽고 직관적이어서, VPT가 등장하게 된 배경과 필요성을 이해하는 데 큰 도움이 되었습니다.

또한 구체적인 방법론의 세부 사항을 지나치게 깊게 설명하기보다는 왜 이 방법론이 제안되었는지에 초점을 맞춘 점이 좋았습니다. 실험 결과에 대해서는 비교적 구체적으로 설명하여 논문의 핵심적인 성과가 무엇인지 명확하게 전달한 점도 인상적이었습니다.

한 가지 사소한 의견을 덧붙이자면, VPT 논문의 model variant design 관련 실험은 원 논문에서 그렇게 표현해서 그랬겠지만, 실험의 성격상 ablation study라기보다는 hyperparameter sensitivity analysis라고 표현하는 것이 더 정확할 것 같습니다.

이후 VPT의 핵심 설계 과제인 ‘Prompt를 어디에, 얼마나 개입시킬 것인가’에 관한 후속 연구를 소개하는 흐름도 매우 자연스러웠습니다. 이 연구 역시 세부 방법론에 지나치게 집중하기보다는 연구가 해결하고자 하는 핵심 문제와 주요 아이디어를 잘 전달했습니다.

Conclusion에서 전체 내용을 다시 정리한 부분도 간결하고 효과적이었으며, 마지막 슬라이드에서 최근 연구 동향까지 연결하여 소개한 점도 좋았습니다.

전반적으로 논문의 세부 내용을 단순히 나열하기보다는 연구의 배경과 문제의식, 방법론이 등장한 이유, 그리고 이후 연구로의 발전 과정을 하나의 흐름으로 잘 구성한 발표였습니다. 매우 좋은 발표였습니다. 수고 많았습니다.

이번 세미나는 Transformer와 Vision Transformer(ViT)의 기본 구조에서 시작하여, 사전학습된 비전 모델을 효율적으로 새로운 task에 적응시키기 위한 Visual Prompt Tuning(VPT)과 이를 발전시킨 연구들을 다루었다. 기존에 알고 있던 Transformer와 VPT의 개념을 다시 정리하면서, 각 방법론이 어떤 한계를 해결하기 위해 등장하고 발전해 왔는지를 중심으로 들을 수 있었다.

1. Transformer에서 Vision Transformer까지
Transformer는 Self-Attention을 통해 입력 간의 관계를 계산하며, ViT는 이러한 구조를 이미지에 적용하여 이미지를 patch 단위의 token으로 처리한다. 익숙한 구조였지만, 이후 설명되는 VPT를 이해하기 위한 관점에서 다시 살펴보면서 ViT의 입력 token과 layer 구조가 prompt tuning과 어떻게 연결되는지 정리해 볼 수 있었다.

2. Full Fine-Tuning에서 Parameter-Efficient Fine-Tuning으로
사전학습된 ViT를 새로운 task에 적용할 때 전체 backbone을 업데이트하는 Full Fine-Tuning은 학습 및 저장 비용이 크다. 이를 줄이기 위해 일부 parameter만 학습하는 PEFT가 사용되며, VPT는 backbone을 고정하고 learnable prompt token을 이용해 task에 적응한다. 특히 이번 세미나에서는 단순히 VPT의 구조 자체보다, 왜 전체 모델을 수정하지 않고 입력 prompt를 조정하는 방식이 유용한지를 다른 PEFT 방식들과 비교해 볼 수 있었다.

3. VPT에서 중요한 것은 Prompt를 어디에, 얼마나 넣을 것인가
VPT는 첫 번째 layer에만 prompt를 삽입하는 VPT-Shallow와 여러 layer에 서로 다른 prompt를 삽입하는 VPT-Deep으로 나뉜다. 특히 prompt의 위치, 길이, depth에 따른 실험을 통해 prompt를 많이 사용하는 것이 항상 좋은 것이 아니라, 어느 위치와 layer에 개입시키는지가 중요한 설계 요소라는 점이 인상적이었다.

4. VPT의 한계를 보완하는 E²VPT와 Gated Prompt Tuning
E²VPT는 visual prompt를 self-attention의 Key와 Value까지 확장하고, 중요도가 낮은 prompt를 pruning하여 효과와 효율성을 함께 고려한다. Gated Prompt Tuning은 각 block에 learnable gate를 두어 layer별 prompt의 개입 정도를 조절한다. 이를 통해 VPT 이후의 연구가 단순히 prompt의 수를 늘리는 방향이 아니라, 어떤 정보와 어떤 layer에 prompt가 실제로 필요한지를 선택적으로 반영하는 방향으로 발전하고 있다는 점을 볼 수 있었다.

이번 세미나를 통해 기존에 알고 있던 Transformer, ViT, VPT의 개념을 다시 정리하는 동시에, VPT가 어떤 문제의식에서 출발했고 이후 연구들이 그 한계를 어떻게 보완해 왔는지 하나의 흐름으로 살펴볼 수 있었다. 특히 prompt tuning을 단순한 parameter-efficient 방법으로 보기보다, 사전학습된 representation을 유지하면서 task에 필요한 정보를 어디에, 얼마나 개입시킬 것인지 설계하는 문제로 바라볼 수 있다는 점이 흥미로웠다. VPT의 기본 개념부터 E²VPT와 Gated Prompt Tuning으로 이어지는 연구 흐름을 이해하기 쉽게 설명해 주신 김윤아 연구원에게 고마움을 전하며 세미나 후기를 마친다.

이번 세미나는 Visual Prompt Tuning(VPT)을 중심으로, ViT와 PEFT의 기본 개념부터 VPT, E²VPT, Gated Prompt Tuning으로 이어지는 발전 과정을 다루었다.

먼저 기본적인 ViT 의 개념부터 출발하였을 때, ViT에서는 이미지를 patch token으로 변환하고 self-attention을 통해 patch 간 관계를 학습한다. 이 때, 전체 backbone을 다시 학습하는 full fine-tuning의 비용 문제에서 출발해 일부 parameter만 학습하는 PEFT의 필요성이 나오게 되었으며, Prompt Tuning은 backbone을 고정한 채 learnable prompt token과 classification head만 학습한다는 점에서 비교적 적은 parameter로 task adaptation이 가능하다.

VPT에서는 prompt를 첫 번째 layer에만 삽입하는 VPT-Shallow와 각 layer마다 서로 다른 prompt를 삽입하는 VPT-Deep을 비교한다. 특히 prompt의 위치, 길이, 깊이에 대한 ablation을 통해 단순히 prompt 수를 늘리는 것이 항상 성능 향상으로 이어지는 것은 아니며, task에 따라 적절한 설계가 달라질 수 있다는 점이 인상적이었다. 또한 초기 layer부터 prompt를 개입시키는 방식이 전반적으로 더 높은 성능을 보였다는 결과도 확인할 수 있었다.

이후 E²VPT에서는 기존 input visual prompt뿐 아니라 self-attention의 Key와 Value에도 task-specific prompt를 삽입해 어떤 정보에 주목할지를 직접 조절하고, 중요도가 낮은 prompt token이나 segment를 pruning하여 parameter 효율성까지 높이는 방향으로 확장하였다.

또한 VPT가 supervised pretraining에서는 강한 성능을 보이지만 MAE나 MoCo v3와 같은 self-supervised ViT에서는 동일한 방식이 항상 잘 작동하지 않는다는 한계에서 출발해, Gated Prompt Tuning을 통해 task와 backbone에 따라 각 layer에서 prompt가 얼마나 개입할지를 학습적으로 조절한다는 아이디어도 흥미로웠다. 이는 결국 Visual Prompt Tuning에서 중요한 문제가 단순히 prompt를 넣을 것인가가 아니라, 어느 layer에, 얼마나, 어떤 방식으로 개입시킬 것인가라는 점을 잘 보여준다고 느꼈다.

최근 multimodal 방향의 prompt tuning을 살펴보고 있었기 때문에, 이번 세미나를 통해 Visual Prompt Tuning의 기본 구조부터 layer별 활용과 발전 방향까지 한 번에 정리할 수 있어 유익했다. 특히 task와 backbone에 따라 중요한 layer가 달라질 수 있다는 점은 multimodal prompt tuning에서도 prompt의 위치와 역할을 어떻게 설계할지 생각해보는 데 도움이 되었다. 좋은 세미나를 준비해 준 김윤아 연구원에게 감사의 말을 전하고 싶다.

Visual prompt tuning과 관련한 윤아의 세미나를 들었다. 일전에 잠깐이지만 Vision-language model 기반의 Text prompt tuning를 연구해본적은 있지만 최근에는 나아가 Visual prompt tuning 연구도 활발히 진행되고 있는 것을 알게 되었고, 때마침 윤아가 차근차근 잘 설명해줘서 이해하기 편했다. 기존 모델 전체를 다시 학습시키는 대신 필요한 부분만 조금 조정해서 새로운 작업에 활용할 수 있다는 점이 흥미로웠다. 현재 진행 중인 개인 연구도 pretrained CLIP 모델을 업데이트하지 않고, 작은 adapter를 추가해 모델을 tuning하는 방식을 취하고 있는데, 이번 세미나를 들으며 내가 익숙하게 사용하던 방식 외에도 훨씬 다양한 tuning 방법들이 빠르게 발전하고 있다는 생각이 들었다. 모델을 크게 바꾸지 않고도 적은 양의 추가 학습만으로 좋은 성능을 낼 수 있다는 점이 특히 인상적이었다. 또한 단순히 프롬프트를 넣는 것뿐만 아니라, 어디에 넣고 얼마나 활용하느냐에 따라 결과가 달라진다는 점도 새롭게 알게 되었다. 이후에는 필요 없는 프롬프트를 줄이거나, 층마다 다르게 활용하는 방식으로 발전하고 있다는 설명을 들으면서 AI 모델을 효율적으로 사용하는 방법이 생각보다 다양하다는 것을 느꼈다. 최근 AI 연구가 단순히 모델을 더 크게 만드는 것뿐 아니라 기존 모델을 효율적으로 활용하는 방향으로도 발전하고 있다는 점을 이해하는 데 도움이 된 세미나였다. 유익한 세미나를 준비해준 윤아에게 감사의 말을 전한다.

본 세미나에서는 윤아가 ViT 모델을 대상으로하는 VPT 기법과 더불어 그 발전 모델인 E2VPT 모델에 대해 소개해주었다. VPT는 전체 backbone에 대한 파라미터를 업데이트하고 저장하는 기존의 full fine-tuning 방식과는 달리, 최소한의 파라미터만 학습하는 parameter-efficient 튜닝 방법론이다. 이때, 어떤 파라미터를 튜닝의 대상으로 삼느냐도 매우 중요한데, VPT-shallow에서는 첫 번째 레이어 입력단만을, VPT-deep에서는 모든 레이어의 입력단에 prompt token을 업데이트한다. 그리고 E2VPT는 VPT의 설계를 self-attention 구조 내부로까지 확장하여 성능을 더욱 개선한 모델이며, 중요도가 낮은 prompt token이나 segment를 pruning하여 성능 저하를 최소화하면서도 파라미터 효율성을 극대화하였다.
최근 윤아와 함께 vpt 기법을 이용해서 test-time tuning을 수행할 수 있는 방법론을 함께 연구 중인데, 관련 선행연구를 깊이 있게 읽고 효과적으로 전달해준 윤아의 발표를 들으며 연구 열의가 더욱 오를 수 있는 계기가 되었다. 윤아가 이번 연구에서 좋은 성과를 낼 수 있기를 바라고, 향후에도 vpt 기법을 응용해서 더욱 좋은 연구를 수행할 수 있기를 응원하며 세미나 후기를 마무리한다.

Parameter-efficient fine-tuning (PEFT)란 거대한 사전 학습 모델을 특정 태스크의 소수 데이터에 학습하기 위한 효율적인 방법론들을 연구하는 분야이다. Full fine-tuning의 경우 로컬 머신의 gpu 용량 부족, task specific 데이터의 부족, 그리고 긴 학습 시간이라는 문제가 있어 PEFT 연구에 대한 수요가 급증하고 있다. PEFT의 갈래는 크게 세 가지, (1) partial tuning, (2) extra module learning, 그리고 (3) prompt tuning으로 나눌 수 있는데, 금일 세미나에서는 김윤아 연구원이 prompt tuning 관련 세미나를 소개하였다. 여기서 주의해야할 점은, 해당 세미나에서 언급하는 prompt tuning이 NLP에서 활용하는 CoT나 도메인 프롬프트를 어떻게 잘 설계할 것인가에 대한 테크닉이 아니라, CV에서 CLS token처럼 embedding space에서 입력되는 learnable prompt를 어떻게, 어디에, 그리고 얼마나 주입할건지에 대한 연구라는 점이다.

이 분야를 처음 알게된 것은 약 2년전 연구실 세미나에서 김지현 연구원이 소개하였을 때인데, 그때만 하더라도 모델의 파라미터가 아니라 토큰을 학습한다는 점이 잘 와닿지 않았다 (물론 김지현 연구원이 발표를 잘 못했다는 얘기가 아니라 그 당시 내가 꽉막힌 사고를 가지고 있어서 이해가 가지 않았다). 이번 세미나를 계기로 visual prompt tuning이 무엇인지 개략적으로 알 수 있었고, 특히 사전학습된 VLM등을 많이 활용하는 요즘 시대에 특히 필요한 지식이라 도움이 되었다.

(1) Visual Prompt Tuning (VPT)
초창기 VPT는 모델 입력단에서 CLS token과 patch token 사이에 들어가는 learnable parameter로써 제안되었으며 (VPT-shallow), intermediate layer까지 learnable 토큰을 주입하는 variant (VPT-deep)이 함께 등장하였다. 놀라운 점은 VPT를 통해 학습하였을 때 full fine-tuning의 준하는 성능을 넘어 더 높은 성능을 달성했다는 점이다. 그리고 visual prompt를 앞쪽에 붙일지, concat을 할지, 원본 pixel space에 붙일지 등 어디에 붙여주면 좋을까가 궁금할 수 있는데, 이에 대한 추가 실험 또한 존재해서 가려운 부분 또한 긁어 주었다.

(2) E2VPT
VPT의 토큰을 추가적으로 어디에 넣을까에 대한 연구로써 input embedding space뿐만 아니라 self-attention 내의 key와 value에 대해서도 visual prompt를 concat하는 방식을 통해 어떤 정보를 집중해서 볼지까지 고려한 방법론이다. 다만 input prompt와 self-attention prompt의 정보 중복을 제거하기 위해 input prompt에 대해 pruning을 실시하였다. 구체적으로는 해당 프롬프트에 대한 마스킹을 씌웠을 때에 대한 loss의 미분값을 중요도로 평가하여 중요도가 낮은 prompt를 없애는 방식이다. 놀라운 점은 self-attention에 들어가는 key-value prompt를 추가할 경우 파라미터 증가는 거의 없으나 SVHN에서 약 6%성능 향상을 보였다는 점이다.

(3) Gated Prompt Tuning
자가지도학습으로 학습된 ViT의 개별 representation 성능을 고려하기 위해 모든 layer에 visual prompt를 삽입한다. 이 때, 단순히 모든 visual prompt를 동일한 가중치로 개입시키지 않고, GRU처럼 learnable gating function을 제안하여 현재 representation과 이전 prompt representation을 동적으로 혼합하도록 한다. 개별 최적 가중치는 task및 backbone마다 다르지만, segmentation의 경우 global부터 local까지의 모든 feature가 고루 중요하기 때문에 selection ratio가 고루 분포되어있음을 확인할 수 있다.

47분이라는 시간이 길지않게 느껴진 세미나였다. 김윤아 연구원에게 감사의 말을 전한다.

이번 세미나는 Vision Transformer(ViT)가 여러 downstream task에서 backbone으로 쓰이면서 발생한 full fine-tuning의 계산 문제를 해결하기 위해 prompt token만 학습하는 Visual Prompt Tuning(VPT)에 대해 다루었다. Transformer와 Vision Transformer(ViT)의 기본 구조부터 설명해 주었고, 사전 학습된 비전 모델을 다른 task에 적용하기 위해 Pre-trained backbone은 공유하고 일부 parameter만 학습하는 Parameter-Efficient Fine-Tuning(PEFT)이 필요한 이유를 설명해 주었다.

그중 prompt tuning 방식을 사용한 VPT에 대한 모델 구조와 실험 결과를 자세하게 설명해 주었고, VPT의 핵심 설계 과제인 "Prompt를 어디에, 얼마나 개입시킬 것인가"라는 하나의 문제의식으로 묶어서 설명해 준 점이 전체적인 흐름을 이해하는 데 좋았다. "어디에"에 해당하는 E²VPT는 self-attention의 Key, Value까지 prompt를 확장하고 중요도가 낮은 prompt는 pruning하여 효율성을 높인 방법이었고, "얼마나"에 해당하는 Gated Prompt Tuning은 레이어마다 learnable gate로 prompt의 개입 정도를 동적으로 조절해 self-supervised ViT에서의 한계를 보완한 방법이었다. 마지막으로 VPT 계열의 연구 방향에 대한 후속 연구를 소개해 주어 연구 발전 방향을 파악할 수 있었다.

Visual Prompt Tuning이라는 주제를 처음 접했음에도, 초반 배경 설명이 탄탄해서 전체 내용을 이해하는 데 큰 어려움이 없었다. 시계열에 대한 기본 지식만 있어 이 분야에 대한 내용이 낯설었지만, backbone은 그대로 두고 최소한의 파라미터만 조정하는 방식은 도메인과 무관하게 적용해 볼 여지가 있어 흥미로웠다. 전체 모델을 다시 학습시키지 않고 일부 learnable token만으로 성능에 영향을 준다는 점도 인상 깊었다. 전체 구성이 문제 제기부터 후속 연구까지 하나의 흐름으로 잘 짜여 있어서 발표를 듣는 내내 다음 내용을 예상할 수 있었다. 그뿐만 아니라, 구조에 대한 그림도 이해하기 쉽게 구성하였고, 실험 결과 장표에 대한 설명을 세세하게 해 주어 이해하는 데 수월했다.

좋은 세미나를 준비해 주신 김윤아 선배님께 감사드리며 세미나 후기를 마친다.

인공지능 쪽은 메이저 한 것들은 대부분 안다고 생각했었는데, VPT라는 접해보지 못한 방법론을 소개하고 있어 흥미롭게 들었습니다. VPT에 대한 세미나를 들으며 성능이 좋고 나쁨을 떠나 해당 분야가 왜 생겼는 지와 어떻게 동작하는 지에 대한 매커니즘이 궁금했습니다. VPT는 모델의 파인튜닝 비용을 획기적으로 줄이는 데 성공한 방법론으로써 사전 학습 가중치를 건드리지 않고 학습 가능한 토큰을 활용해 모델의 task 처리 능력을 향상시키는 방식입니다.

사실 VPT를 어떻게 구현하느냐 같은 연구 동향보다는 VPT가 어떻게 동작하고 학습되며 추론 시에는 어떤 역할을 하는 지에 대해 더 궁금했습니다. 세미나에서는 구현 관점에서의 VPT를 다루지 않고 있기 때문에 따로 김윤아 선배님께 질문을 드렸습니다. 저와 같은 궁금증을 가진 분들이 있을 지도 모르기 때문에 질의응답 내용들을 후기로 남깁니다.

Q1: 학습 가능한 토큰이란게 정확히 어떤 형태인건가요? 문장이나 이미지 패치 같은 건가요?
A1: 벡터 형태의 가중치 같은 것입니다.

Q2: 학습 가능한 토큰이 가중치라면 입력 데이터는 해당 가중치를 통과해서 변환된 값이 모델에 들어가는 건가요?
A2: 입력 데이터와 토큰 (업데이트 전)은 고정되어 있고, backbone을 통해 흐른 gradient를 가지고 학습 가능한 토큰을 업데이트 하는 방식입니다.

Q3: 추론 시에는 학습한 토큰들이 고정되어 모델의 일부처럼 쓰이는 건가요?
A3: 맞습니다. 추론 시에는 모델의 입력과 프롬프트 (학습된 토큰)가 함께 들어가는 구조입니다.

Q4: 일종의 잘 만들어진 사전 프롬프트 (하네스)같은 걸 만드는 과정과 비슷하다고 봐도 될까요?
A4: 그런 관점에서는 비슷하다고 볼 수 있습니다.

좋은 발표와 친절한 질의응답 감사합니다.