Re-organizing Representations through In-context Learning
- 2025년 1월 17일 오후 5:54
- 조회수: 26
REFERENCES
INFORMATION
- 2025년 1월 17일
- 오전 12시 ~
온라인 비디오 시청 (YouTube)
발표자:
장건희
장건희
TOPIC
Re-organizing Representations through In-context Learning
On-Line Video
OVERVIEW
사전학습된 대형언어모델(LLM)은 추가적인 파라미터 업데이트 없이도 주어진 context를 기반으로 태스크를 수행하는 in-context learning 능력을 갖추고 있다. 일반적으로 언어모델은 사전에 학습한 prior를 바탕으로 주어진 context의 패턴을 파악하며 응답을 생성한다. 이때, 만약 사전학습에서 봐왔던 역할과 다른 역할을 하는 예제들이 in-context로 제공된다면 모델은 이 새로운 맥락에 따라 표현을 재구성할 수 있을까? 예를 들어, 새로 출시된 소프트웨어 제품 이름이 "strawberry"라고 모델에게 설명하는 경우 이상적으로 모델은 이 context를 기반으로 "strawberry"의 의미를 기존의 <과일>이 아닌 <제품>으로 파악해야 한다. 이번 세미나에서는 이러한 이상적인 상황이 언어모델의 in-context learning에서 발생할 수 있는지 분석한 연구에 대해 알아본다.
참고자료:
[1] Park, Core Francisco, et al. "ICLR: In-Context Learning of Representations." arXiv preprint arXiv:2501.00070 (2024).
[2] Dong, Qingxiu, et al. "A survey on in-context learning." arXiv preprint arXiv:2301.00234 (2022).