type
Post
status
Published
date
Nov 23, 2026
slug
agent-接了上百个工具就变慢变贵gemini-把工具加载改成了按需检索
summary
tags
AI
category
技术分享
icon
password
Tweet Link
Staus
类型
平台
做过 AI Agent 开发的人大概都遇到过一个很憋屈的场景。
你想让 Agent 真正能干活,于是给它接了 CRM、工单系统、邮件、数据库,再挂上几个 MCP 服务器,工具数量很快突破几十甚至上百个。结果系统一跑起来,用户还没发几句话,输入 Token 账单先飙上去了,首字延迟肉眼可见地变长,模型在关键时刻还经常选错工具。
问题往往不出在模型智力不够,而在于每次发请求,你都得把所有工具的完整 JSON 参数说明书一字不落地塞进上下文。
2026 年 11 月 19 日,Google 在 Gemini API 中推出了 Tool Retrieval(工具检索)功能的预览版,专门用来解决这个痛点。它目前内置在 Gemini 的 Interactions API(v1beta)中,支持 Gemini 3.6 及之后的所有模型,包括 Gemini 4 全系列。
把参数说明书留在门外
把参数说明书留在门外

把参数说明书留在门外

过去用 Function Calling,不管这轮对话用不用得上,开发者的代码都得把所有工具的参数名、类型、校验规则全量传给模型。工具一多,上下文就像一本还没翻开正文就先附带几百页目录和附录的书。
Google 这次的做法很克制,改动只有两行配置。
开发者在请求的 tools 数组里加上 {"type": "tool_search"},然后在那些不需要每次都出场的函数或工具上,加上一个标记 "defer_loading": true。高频核心工具可以继续留在前台常驻,长尾工具全部设为延迟加载。
模型在初始状态下,只能看到这些延迟工具的名称和简短描述,完整的 parameters 参数结构会被留在上下文之外待命。
当用户发出一条具体指令,比如「订单 A-1042 破损了,请退款 40 美元」,整个调用会在单次 API 请求内部自动走完三步。模型先发起 tool_search_call 按名称检索 issue_refund,服务端返回 tool_search_result 并把完整参数 Schema 加载进来,紧接着模型发出标准的 function_call 传入订单号和金额。
这三步都会完整记录在 interaction.steps 里。调试的时候,开发者能清楚看到模型到底检索了哪些工具、为什么选中它。而且服务端搜索由 Gemini 自动托管,开发者不需要自己搭建或维护向量索引。
为什么多轮对话和 MCP 尤其需要它
为什么多轮对话和 MCP 尤其需要它

为什么多轮对话和 MCP 尤其需要它

很多团队之前也尝试过自己在应用层做 RAG 搜工具,写完往往发现多轮对话缓存全失效了。
因为一旦你在每轮请求里动态修改 Prompt 开头的工具列表,系统前缀就会发生变化,原本能省钱提速的前缀缓存(Prefix Caching)直接命中失败。
Tool Retrieval 把顺序反了过来。延迟加载的 Schema 不会塞在 Prompt 开头,模型按需查出来的工具定义,会追加在对话的后半段。这样一来,前面固定的系统提示和核心工具前缀在多轮对话里纹丝不动,前缀缓存可以继续正常命中。
对接入远程 MCP 服务器的团队来说,这个改动也很实用。以前接一个大型 MCP 服务,往往要面对几十个暴露出来的接口。现在只要在 mcp_server 工具定义上设置 "defer_loading": true,这个服务器下的所有工具都会自动进入按需加载池,不用再手工逐个声明或裁剪列表。
如果团队有自己的权限系统,或者工具列表会在对话中途随着用户授权新集成而动态变化,Gemini 也留了一个口子。把 tool_search 的执行模式设为 "execution": "client",搜索请求就会交还给开发者自己的后端处理。你可以在本地按当前用户的权限过滤工具,再把匹配的 Schema 返回给模型。

写代码前要先算清的几笔账

Google 这次没有为 Tool Retrieval 单独收费,输入和输出 Token 依然按所选模型的标准费率结算。
但要不要立刻全量切过去,有几件事得先看清楚。
开启 tool_search 本身会占用一小段固定的输入 Token,而且模型一旦把某个工具的 Schema 检索加载进来,在后续对话里它就会像普通工具一样持续计入输入 Token。Google 官方博客也说得很直白:只有当你「永远不会用到的 Schema」多于「实际加载的 Schema」时,才能真正省下 Token,建议用自己的真实流量去测。如果一个 Agent 总共只有五六个工具,或者每次任务几乎都要把工具全用一遍,开延迟加载反而划不来。
接口层面也有明确限制。Tool Retrieval 目前只支持较新的 Interactions API,旧版 generateContent 接口用不了;而且每次请求只允许存在一个 tool_search 定义,如果只写了 defer_loading: true 却忘了加 tool_search,接口会直接报 400 错误。
如果你选了 "execution": "client" 客户端自定义检索模式,还要接受一个代价:每次搜索工具都会多一次网络往返延迟,不像服务端检索那样在单次请求里闭环。
还有一点很容易被忽略。延迟加载后,模型第一眼能看到的只有工具名称和描述。如果原本代码里的函数名起得含糊、description 写得敷衍,模型在检索阶段就可能找不到对的工具,后面的参数填写再准也白搭。把工具描述写清楚,比以前更重要了。
对于正在把上百个业务接口和 MCP 服务往 Agent 里塞的团队来说,Tool Retrieval 至少省掉了自己搓工具路由和重排索引的力气。你可以把核心高频工具留在前台,长尾接口全部标记 defer_loading: true,先拿一组典型业务对话跑一遍 Token 账单和调用准确率,再决定拆多细。
Word接入ChatGPT,写个周报、作文一键搞定-Windows版本Inkling 2 Mini 实测解析:26.4B 模型把中间层循环跑 3 遍,20GB 内存塞进笔记本
Loading...