type
Post
status
Published
date
Nov 23, 2026
slug
agent-接了上百个工具就变慢变贵gemini-把工具加载改成了按需检索
summary
tags
AI
category
技术分享
icon
password
Tweet Link
Staus
类型
平台
做过 AI Agent 开发的人大概都遇到过一个很憋屈的场景。
你想让 Agent 真正能干活,于是给它接了 CRM、工单系统、邮件、数据库,再挂上几个 MCP 服务器,工具数量很快突破几十甚至上百个。结果系统一跑起来,用户还没发几句话,输入 Token 账单先飙上去了,首字延迟肉眼可见地变长,模型在关键时刻还经常选错工具。
问题往往不出在模型智力不够,而在于每次发请求,你都得把所有工具的完整 JSON 参数说明书一字不落地塞进上下文。
2026 年 11 月 19 日,Google 在 Gemini API 中推出了 Tool Retrieval(工具检索)功能的预览版,专门用来解决这个痛点。它目前内置在 Gemini 的 Interactions API(v1beta)中,支持 Gemini 3.6 及之后的所有模型,包括 Gemini 4 全系列。

把参数说明书留在门外
过去用 Function Calling,不管这轮对话用不用得上,开发者的代码都得把所有工具的参数名、类型、校验规则全量传给模型。工具一多,上下文就像一本还没翻开正文就先附带几百页目录和附录的书。
Google 这次的做法很克制,改动只有两行配置。
开发者在请求的
tools 数组里加上 {"type": "tool_search"},然后在那些不需要每次都出场的函数或工具上,加上一个标记 "defer_loading": true。高频核心工具可以继续留在前台常驻,长尾工具全部设为延迟加载。模型在初始状态下,只能看到这些延迟工具的名称和简短描述,完整的
parameters 参数结构会被留在上下文之外待命。当用户发出一条具体指令,比如「订单 A-1042 破损了,请退款 40 美元」,整个调用会在单次 API 请求内部自动走完三步。模型先发起
tool_search_call 按名称检索 issue_refund,服务端返回 tool_search_result 并把完整参数 Schema 加载进来,紧接着模型发出标准的 function_call 传入订单号和金额。这三步都会完整记录在
interaction.steps 里。调试的时候,开发者能清楚看到模型到底检索了哪些工具、为什么选中它。而且服务端搜索由 Gemini 自动托管,开发者不需要自己搭建或维护向量索引。
为什么多轮对话和 MCP 尤其需要它
很多团队之前也尝试过自己在应用层做 RAG 搜工具,写完往往发现多轮对话缓存全失效了。
因为一旦你在每轮请求里动态修改 Prompt 开头的工具列表,系统前缀就会发生变化,原本能省钱提速的前缀缓存(Prefix Caching)直接命中失败。
Tool Retrieval 把顺序反了过来。延迟加载的 Schema 不会塞在 Prompt 开头,模型按需查出来的工具定义,会追加在对话的后半段。这样一来,前面固定的系统提示和核心工具前缀在多轮对话里纹丝不动,前缀缓存可以继续正常命中。
对接入远程 MCP 服务器的团队来说,这个改动也很实用。以前接一个大型 MCP 服务,往往要面对几十个暴露出来的接口。现在只要在
mcp_server 工具定义上设置 "defer_loading": true,这个服务器下的所有工具都会自动进入按需加载池,不用再手工逐个声明或裁剪列表。如果团队有自己的权限系统,或者工具列表会在对话中途随着用户授权新集成而动态变化,Gemini 也留了一个口子。把
tool_search 的执行模式设为 "execution": "client",搜索请求就会交还给开发者自己的后端处理。你可以在本地按当前用户的权限过滤工具,再把匹配的 Schema 返回给模型。写代码前要先算清的几笔账
Google 这次没有为 Tool Retrieval 单独收费,输入和输出 Token 依然按所选模型的标准费率结算。
但要不要立刻全量切过去,有几件事得先看清楚。
开启
tool_search 本身会占用一小段固定的输入 Token,而且模型一旦把某个工具的 Schema 检索加载进来,在后续对话里它就会像普通工具一样持续计入输入 Token。Google 官方博客也说得很直白:只有当你「永远不会用到的 Schema」多于「实际加载的 Schema」时,才能真正省下 Token,建议用自己的真实流量去测。如果一个 Agent 总共只有五六个工具,或者每次任务几乎都要把工具全用一遍,开延迟加载反而划不来。接口层面也有明确限制。Tool Retrieval 目前只支持较新的 Interactions API,旧版
generateContent 接口用不了;而且每次请求只允许存在一个 tool_search 定义,如果只写了 defer_loading: true 却忘了加 tool_search,接口会直接报 400 错误。如果你选了
"execution": "client" 客户端自定义检索模式,还要接受一个代价:每次搜索工具都会多一次网络往返延迟,不像服务端检索那样在单次请求里闭环。还有一点很容易被忽略。延迟加载后,模型第一眼能看到的只有工具名称和描述。如果原本代码里的函数名起得含糊、description 写得敷衍,模型在检索阶段就可能找不到对的工具,后面的参数填写再准也白搭。把工具描述写清楚,比以前更重要了。
对于正在把上百个业务接口和 MCP 服务往 Agent 里塞的团队来说,Tool Retrieval 至少省掉了自己搓工具路由和重排索引的力气。你可以把核心高频工具留在前台,长尾接口全部标记
defer_loading: true,先拿一组典型业务对话跑一遍 Token 账单和调用准确率,再决定拆多细。- 作者:可夫小子
- 链接:https://koffuxu.com/article/agent-%E6%8E%A5%E4%BA%86%E4%B8%8A%E7%99%BE%E4%B8%AA%E5%B7%A5%E5%85%B7%E5%B0%B1%E5%8F%98%E6%85%A2%E5%8F%98%E8%B4%B5gemini-%E6%8A%8A%E5%B7%A5%E5%85%B7%E5%8A%A0%E8%BD%BD%E6%94%B9%E6%88%90%E4%BA%86%E6%8C%89%E9%9C%80%E6%A3%80%E7%B4%A2
- 声明:本文采用 CC BY-NC-SA 4.0 许可协议,转载请注明出处。
相关文章



