김윤아

이번 세미나는 LLM Agent의 Tool Calling 성능을 향상시키는 방법을 주제로 진행되었다. 일반적인 LLM이 주어진 질의에 대한 답변을 생성하는 데 그치는 것과 달리, LLM Agent는 사용자의 요청을 해결하기 위해 필요한 도구를 선택하고 외부 환경과 상호작용하며 작업을 수행한다. 이때 LLM이 각 도구의 기능과 사용법을 이해하기 위해 제공되는 tool documentation이 tool calling 성능에 중요한 역할을 한다. 하지만 기존의 tool documentation은 주로 사람을 중심으로 작성되어 필요한 정보가 누락되거나, 불필요한 내용이 포함되거나, 실제 도구의 동작과 설명이 일치하지 않는 문제가 존재한다.

이를 해결하기 위한 첫 번째 연구로 DRAFT가 소개되었다. DRAFT는 사람이 새로운 도구를 시행착오를 통해 익히는 과정에서 착안하여, LLM이 직접 도구와 상호작용하면서 tool documentation을 반복적으로 개선한다. 구체적으로 다양한 사용 상황을 탐색하는 Explorer, 실제 도구의 피드백을 바탕으로 기존 설명서의 문제를 분석하는 Analyzer, 분석 결과를 반영하여 설명서를 수정하는 Rewriter의 과정을 반복한다. 또한 유사한 상황만 반복적으로 탐색하는 것을 방지하기 위한 diversity-promoting exploration strategy와 불필요한 반복을 방지하기 위한 tool-adaptive termination mechanism을 활용한다.

두 번째 연구인 Play2Prompt에서는 설명서 자체의 개선뿐만 아니라 tool-use example을 함께 활용하는 방향을 다루었다. Tool calling에서는 정확하고 충분한 설명서도 중요하지만, 실제로 도구가 어떻게 사용되는지를 보여주는 예제 역시 LLM의 도구 사용에 도움을 줄 수 있다. 이에 따라 도구를 직접 호출하며 유효한 사용 사례를 탐색하고, 실제 실행 결과를 바탕으로 사용 예제를 생성한 뒤 이를 활용해 tool documentation을 최적화하는 접근이 소개되었다.

이번 세미나를 통해 LLM Agent의 성능을 높이기 위해서는 단순히 더 성능이 좋은 LLM을 사용하는 것뿐만 아니라, LLM에게 도구의 사용법을 어떤 방식으로 전달하는지도 매우 중요하다는 점을 알 수 있었다. 특히 DRAFT를 통해 개선된 설명서를 사용했을 때 여러 LLM에서 성능이 향상되었으며, 일부 실험에서는 개선된 설명서를 사용한 작은 모델이 그렇지 않은 더 큰 모델보다 높은 성능을 보였다는 결과가 흥미로웠다. 이를 통해 모델 자체의 성능뿐만 아니라 모델과 외부 도구 사이의 인터페이스를 효과적으로 설계하는 것 역시 중요함을 알 수 있었다. 또한 사람이 직접 모든 사용법을 정의하는 대신, LLM이 실제 도구와의 시행착오를 통해 필요한 정보를 발견하고 스스로 설명서를 개선해 나간다는 아이디어도 인상적이었다.

복잡할 수 있는 방법론을 시험을 준비하는 학생이 문제를 풀고 오답을 분석하며 다음 시험을 대비하는 과정에 비유하는 등 직관적인 예시를 활용해 설명해 주셔서 내용을 이해하는 데 큰 도움이 되었다. 약 1시간 40분 동안 진행된 세미나의 시간이 길게 느껴지지 않을 만큼 내용이 알차고 흥미로웠다. 유익한 세미나를 준비해 주신 김지현 연구원님께 감사의 말씀을 전하며 후기를 마친다.

장현성

LLM agent는 사용자가 수행할 작업들의 유형과 특징을 이해하고 간단하고 반복되는 작업을 자동화하는 점에서 큰 관심을 받고 있는 것 같습니다. MCP, harness, skill, 그리고 OpenClaw 등과 같은 LLM agent 자동화 도구들이 최근 3개년 동안 큰 관심을 받고 있는 것이 그 증거입니다. LLM이 agent가 되기 위해선 학습한 것 외에 사용자가 사용하는 실제 tool을 규칙에 맞게 사용할 수 있어야 합니다. 이와 관련하여 이번 세미나에서는 LLM agent의 tool calling 능력을 어떻게 향상시킬 것인가에 대해 다루고 있습니다.

LLM agent의 tool calling 실력을 향상시키는 방법 중 하나로 설명서 (description) 작성이 있습니다. 발표에서는 tool 사용 설명서를 잘 적으면 LLM의 tool 이해도가 높아질 것이라는 의도를 담은 DRAFT 방법론과 의미있는 사용 설명서 초안을 먼저 만들고 적절한 예시로 최적화를 해주자는 의도를 담은 Play2Prompt 방법론을 소개합니다. 개인적으로는 전자인 DRAFT 방법론이 tool calling 실력 향상 접근 방식 측면에서 더 합리적이라고 생각합니다. Tool 별로 좋은 설명서만 만들어두면 간단하고 빠르게 자동화에 사용할 수 있기 때문입니다. 반면, Play2Prompt는 설명서 외에도 예제를 함께 넣어주기 때문에 one/few-shot prompt tuning 효과로 인해 성능이 좋아질 것이 뻔히 예상됩니다. 실제로 Play2Prompt의 실험 결과들도 해당 효과가 성능 향상에서 차지하는 영향력이 큰 것을 보이고 있습니다. 정리하자면 LLM agent 자동화 측면에서 보면, 간단하면서 강력한 성능을 발휘하는 DRAFT 방법론이 더 우수하다는 것입니다.

다만, DRAFT 방법론에 한계가 있습니다. DRAFT 방법론에서 중요한 것은 설명서 업데이트를 언제 멈춰야 하는지에 대한 기준 (수정 반복 횟수)가 모호하다는 것입니다. 개인적으로 발표 중간에 다루어졌던 좋은 질문들 외에도 'DRAFT 저자들이 제안하는 설명서 수정 반복 횟수 임계값이 실제로 유효했는지에 대한 검증'이 있었으면 좋겠다고 생각합니다. 수정 반복 횟수가 일정 기준 이상으로 많아지면 성능이 급격하게 하락한다는 좋은 근거는 보여주고 있지만, tool 유형 별로 경향성이 어느정도인지나 제안 임계값이 실제로 tool이 요구하는 임계값을 잘 맞췄는지에 대해 궁금하기 때문입니다.

좋은 발표 감사합니다.