이정민

현재 large language models(LLM)은 다양한 사람들이 활용하고 있지만, 지속적으로 업데이트 되는 여러 정보들에 대해서는 아직까지 약점을 보이고 있다. 이를 극복하기 위해 단순히 정보 삭제에 초점을 둔 machine unlearning과 최신 정보를 수정하는 knowledge editing이 주목을 받고 있다. 이번 세미나는 이러한 knowledge editing 갈래 중 메모리/입력 기반 방법론들에 대해 소개해주었다. 특히 decomposition이 필요한 multi-hop 능력을 향상 시키기 위함에 초점을 맞추었다.
질문 분해, 답변 생성, 충돌 감지를 하나의 프롬프트 안에서 LLM이 처리하는 MeLLO의 문제를 해결하기 위해 PokeMQA 가 등장하였지만, 여전히 최종 decomposition 후 마지막 답변은 LLM 추론에 맡기는 문제를 가지고 있다. 또한, decomposition 과정에서 맥락을 잘못 파악하여 결과적으로 잘못된 답변을 하게 되는 문제가 발생하였다. 마지막으로 소개해준 CHECK는 이러한 문제를 해결하기 위해 기존 nlp 분야에서 연구가 많이 되었던 개체명 인식 방법과 비슷하게 개체와 관계를 추론하는 방식을 도입하였다. 이러한 방식을 통한 subquestion resolution 을 수행함으로써 비논리적인 decomposition 문제를 해결하였고, 결과적으로 복잡한 multi-hop 문제에서 가장 우수한 성능을 도출하였다.
Transformer, ChatGPT를 포함한 GPT series, 이 후 다양한 LLM들의 등장으로 끝날 것만 같았던 LLM 분야도 계속적으로 발전이 필요하다는 것을 이번 세미나를 통해 다시금 느낄 수 있었다. 다른 이야기지만 제미나이의 그림 실력에 놀랐고 많이 활용해 볼 필요가 있는 것 같다. 좋은 세미나를 준비하느라 고생한 세진 누나에게 고맙다는 말을 전하며 본 세미나 후기를 마친다.

김성수

이번 세미나는 LLM에 내재된 지식을 수정하는 방법론들에 대해 진행되었다. 특히, 그 중 프롬프트만을 수정하여 추가적인 학습 없이 개선한 사례들을 소개한다. 3개 방법론은 모두 질문을 분해하고, 외부 DB 정보를 Retrieval 하여 정보를 수정한다는 특징을 갖는다. 그 외 PokeMQA는 LLM 외 다른 검출기를 새롭게 정의하고 답변에 대한 심층적인 검증을 위해 2단계 필터링 구조를 갖는다. 또한 Check는 Question을 분해 시 먼저 Entity를 찾고 각 Entity 간 관계성을 고려하는 방향으로 접근한다.

외부 지식 DB 기반 프롬프트 튜닝만으로 이렇게 LLM 정보 수정이 가능한 것이 굉장히 쉽게 다가왔다. 요즘 이러한 Foundation LLM을 활용하는 것이 추세인데, 해당 접근 방법은 다른 Task에서도 유의미하게 활용 가능할 것 같다. 유익한 세미나를 준비해준 심세진 연구원님께 고맙다는 말을 전하며 세미나 후기를 마친다.