工具选择是行为问题
把浏览器智能体的工具发现、选择、参数构造、执行与结果使用作为分开的行为阶段来评估。
第 18 章构建了一个构造上正确的工具:它的契约被测试、结果被限定、生命周期被追踪。这些都不决定智能体是否把它用好。
一旦模型能看到多项能力,结果就取决于一条行为流水线:
发现 → 选择 → 参数构造 → 准入 → 执行 → 结果使用
一个孤零零的"任务通过"分数无法告诉你哪个阶段失败了。第 13 章针对模型输出提出过这个论证:resolve 的 promise 不是正确的答案。同样的分层适用于工具使用,只是阶段更多、利害更高。
1. 发现在选择之前
一个从未进入智能体有效上下文的工具无法被选择,而它的缺席很容易被误读为一次推理失败。对每次运行,记录:
- 页面注册的工具;
- 过滤后对智能体可见的工具;
- 被用户或开发者政策移除的工具;
- 因为达到列表上限而被省略的工具;
- 每个工具的描述与 origin;
- 有效的工具列表大小。
工具列表的压力是真实的。从五个操作中选择的智能体,面临的问题不同于从五百个中选择的:更多路由含糊性、推理开始前消耗更多上下文、一条有说服力的描述有更大空间占据主导。列表的大小是一个变量,不是常量。
2. 选择需要负面用例
如果套件中每个 fixture 都要求一次工具调用,评估就是在奖励不必要的行动,而且什么也教不会克制。一个工具选择套件需要以下正确行为的用例:
- 调用
search_book; - 改调用
get_chapter; - 调用一次更狭窄的搜索;
- 就一个缺失细节询问用户;
- 完全不用工具;
- 拒绝一项被禁止的动作;
- 在空结果之后停止,而不是重试或捏造。
第 19 章的套件包含所有这些。三个 fixture 期望一个特定工具;一个期望一个澄清性问题;一个期望不带工具的直白回答;一个期望拒绝一项未授权的 publish_note;一个期望智能体在搜索一无所获后停止。
3. 含糊的边界测的是接口,不是模型
引入受控的竞争者:
search_book — 全部已注册章节
search_current_chapter — 仅本章
search_site — 更广的站点,在本书索引之外
目的不是欺骗模型。而是要弄清能力边界是否可理解。如果一个智能体在任务明显只关乎某章时反复搜索整本书,那是关于工具的证据,而修复属于接口修复:
- 重命名它们,让作用域出现在名字里;
- 缩窄其中一个,让重叠消失;
- 合并两个没人能分辨的;
- 重写描述,让它们用于区分而非宣传;
- 减少这一类任务所暴露的工具集。
只会产出提示词微调的评估,错过了一半价值。第 19 章的实验室在三份元数据配置档下运行每个 fixture——清晰的、重叠的,以及一条刻意有说服力的 search_site 描述——于是一次选择偏移可以归因于措辞,而不是靠猜。
4. 参数需要语义检查,不只是 schema 检查
schema 有效的参数仍可能是错的。把这些问题分开:
| 问题 | 失败例子 |
|---|---|
| 语法 / schema | 工具封顶 10 时的 limit: 11 |
| 语义相关性 | 与任务不匹配的查询词 |
| 作用域 | 任务指名了某章却搜索整本书 |
| 效率 | 一个结果就能回答时的 limit: 10 |
| 授权 | 指名一个被政策拒绝的工具 |
| 资源成本 | 每次调用都拉满摘录预算的查询 |
limit: 10 是 schema 有效的,而且常常浪费。一个章节标识可能解析成功却指名了错误的书。参数评估保护相关性、作用域、成本与权威性——形状检查看不到的那些东西。
5. 成功的调用不是有依据的答案
一次工具调用的结果是一个不受信输入。它可能过期、可能是应用错误、可能包含敌意文本。执行之后,评估模型是否:
- 使用实际返回的内容,而不是它先入为主的信念;
- 归因或引用它所使用的具体结果;
- 在结果为空时停止,而不是一边暗示搜索成功、一边用想象填补空白;
- 区分工具失败(“搜索出错了”)与没有证据(“搜索什么也没找到”);
- 不捏造语料中并不存在的内容。
第 19 章的实验室把这作为执行之后的第二次决策、对照其自己的 schema 来评估:usedToolResult、citedChapters,以及 answer、clarify、stop、refuse、not-applicable 之一的动作。有一个样本在空结果之后刻意回答"这本书讨论了这个话题"——这正是该度量存在的理由所要捕捉的失败。
6. 独立地为各阶段打分
一条轨迹产出多个度量,把它们折叠成一个"智能体分数"会毁掉诊断:
| 阶段 | 度量 |
|---|---|
| 发现 | 所需工具可见吗? |
| 选择 | 选对工具了吗? |
| 参数 | schema 有效且语义恰当吗? |
| 准入 | 政策决策正确吗? |
| 执行 | 工具完成了吗? |
| 结果使用 | 最终答案基于该结果吗? |
| — | 不必要的工具使用率 |
| — | 弃权质量 |
一个智能体可能带着错误的章节号选对了工具。另一个可能完美地调用了它、却无视其返回。第三个可能在正确做法是提个问题的地方调用了工具。这些需要不同的修复,而只有阶段级度量指向正确的那个。
7. 跨配置比较行为
这是第四部分的 worker 架构重新连接的地方。本地协调器可以把同一批工具选择 fixture 发给多个浏览器 worker——不同的 Chrome 构建、不同的模型配置——每个结果携带其 worker 来源、其被发现的工具集与其完整的决策轨迹。
配对运行让我们在发生变化时提出精确的问题:
- 不必要的工具使用上升了吗?
- 正确选择下降了吗?
- 无效参数率变化了吗?
- 弃权质量变化了吗?
- 结果依据性变化了吗?
- 延迟与上下文成本怎么样了?
比较发生变化的用例,远比比较最终散文信息丰富。一次浏览器更新让每个答案看起来都不错、却把不必要的工具使用率翻倍,这是一次散文比较会错过的回归。
8. 决策轨迹
Agent Inspector 应当把一次完整的工具决策重构为一个序列:
观察到的工具集
→ 提议的候选
→ 生成的参数
→ 归一化的参数
→ 政策决策
→ 工具执行
→ 结果
→ 最终答案
每次转换携带一个关联 ID、一个时间戳与相关版本——政策版本、套件版本、schema 哈希。被拒绝的参数与产生它的候选并排保持可见。当一次运行失败时,开发者应当能指着一根箭头说出那个阶段。
9. 运行工具选择评估器
从第 19 章选择 Run with Browser AI 以打开:
/tools/ai/browser-ai-from-first-principles/19-chapter/
评估器向 Prompt API 发送一份显式目录快照与一个 schema 约束的选择决策请求,然后是第二个结果使用决策请求。它在三份元数据配置档下分别对发现、选择、参数、准入、执行与结果使用打分,并能回放预先录制的候选样本,好让打分逻辑本身也可以被检查。
这确立了什么:阶段级打分已实现、负面用例存在、元数据配置档使措辞效应可测量。什么仍是被规定而非被观察的:这是一次受控的路由试验。目录被显式交给模型;模型返回 schema 约束的 JSON。它不是一个自主浏览器智能体自行发现了第 18 章 WebMCP 注册的证据——search_site 在实验室中标为不受支持、publish_note 被拒绝,这些都没有对着活跃的智能体运行时行使过。记录中的轨迹仍是 Prompt API 生命周期。
结论
工具选择不是一个决策。它是发现、选择、参数构造、准入、执行与结果使用,每个阶段因自己的原因失败,需要自己的度量。
两个工具之间持续的混淆是一个关于接口的事实,修复属于接口。下一章加入敌意内容与有后果的能力,在那里一个选错的阶段不再只是一次糟糕答案,而成为一次安全失败。
参考与延伸阅读
- Chrome for Developers, WebMCP.
- Model Context Protocol, Specification.
- OWASP, LLM Prompt Injection Prevention Cheat Sheet.