이정민

이번 세미나는 LLM이 in-context learning(ICL)을 수행하는 과정에서 analysis 관점으로 다양한 분석을 수행한 연구에 대해서 소개해주었다. 사전 학습된 LLM을 추가 학습하는 것은 시간적, computing 측면에서 큰 자원을 요구하기 때문에, 다양한 측면에서 ICL 분야가 연구되고 있다. 해당 논문에서는 그래프 분야에서 검증된 이론들을 통해 LLM이 context를 어떻게 반영하는지를 다양한 시각화 분석을 통해 보여주었다. 또한 제시한 정량적 지표들을 통해서도 LLM의 여러 패턴도 보여주었다. LLM이 context를 이해하는 방식으로 그래프 이론에서 에너지 최소화 방식으로 해석할 수 있다는 것을 보여주는 측면이 매우 흥미로웠다.
어떻게 모델을 잘 학습해서 SOTA의 성능을 내는지가 아닌, 다양한 분석을 통해 인사이트를 제시한 매우 흥미로운 논문이었다. 개인적으로 논문 제목을 ICLR이라고 한 후에 ICLR 학회에 제출한 점도 재밌는 부분이었고 좋은 결과로 마무리되면 좋겠다는 생각을 했다. 이런식으로도 유의미한 연구가 진행될 수 있다는 것을 다시금 느끼게 되었고 흥미로운 주제로 세미나를 진행해준 건희에게 고마운 마음이 들었다. 다시 한 번 좋은 세미나를 만드느라 고생한 건희에게 고맙다는 말을 전하며, 본 세미나 후기를 마친다.

김성수

이번 세미나는 In-context Learning (ICL)에서 모델이 주어진 맥락에 맞게 정보를 잘 파악했는지 그래프 관점에서 분석하는 세미나였다. 본 세미나에서는 그래프 관점에서 Dirichlet Energy 등을 활용하여 Pretrained LLM이 추가적인 파라미터 업데이트 없이 기존에 보지 못한 문맥을 잘 파악할 수 있다는 것을 증명한다. 다만, 내가 ICL과 그래프에 대한 자세한 개념이 없어서 엄청 와닿지는 않았다. 사실 “ICL은 어떻게 파라미터 업데이트 없이 문맥을 파악하는 것인가?”라는 의문부터가 해소되지 못했어서, 다소 어려운 세미나였다. 다만, 파라미터 없이 문맥을 파악할 수 있는 하나의 연구분야라는 그 자체가 매력적이기에, 향후 내 개인연구에 큰 도움이 되지 않을까 생각하였다. 유익한 세미나를 준비해준 장건희 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.

* ICL이 뭔지를 몰라서, ChatGPT랑 간단하게 대화하며 무엇인지 알아보았다. 혹시나 세미나 청취하는 사람들에게 도움이 될까 한 줄 남겨놓는다.
ICL: 새로운 문맥을 입력 받음 → 기존 지식과 비교 및 조정 → 새로운 문맥을 반영하여 추론
- 이때, 새로운 개념이 들어왔을때, Self-attention 가중치가 조절되어 새로운 문맥을 반영될 수 있다고 한다. 다만, "가중치 조절"에서 가중치가 바뀌는 것이 아닌, 재구성(Re-organizing)이 되는 것이기에 재학습이라고 칭하지는 않는다.