评估的是功能,不是演示
把浏览器 AI 例子变成有代表性的功能评估:切片、基线、重复、回归门禁与可评审的证据。
演示问的是:一个精心挑选的例子能不能行。
功能评估问的是:在用户实际会遇到的输入、状态与失败之下,产品契约有多经常成立。
两者都有价值。把它们混为一谈才是问题。
1. 评估的单元是功能
「评估 Gemma 4」对我们的应用太宽泛。「评估这个提示词」又太窄。
有用的单元是用户会尝试的一件事:
摘要选中的文档
改写权限文案而不改变权威性
检测语言并决定是否翻译
为一个只读工具产生结构化参数
每个功能都包括输入准备、能力选择、模型输出、验证、回退与 UI 行为。
模型只是那个系统中的一个部件。
2. 从一份成文的契约开始
在收集例子之前,先讲清楚成功意味着什么:
feature: summarize-selection
must:
- preserve warnings and negation
- distinguish browser and application responsibilities
- remain grounded in selected text
must_not:
- invent browser guarantees
- expose uncaptured page content
may:
- vary wording and bullet order
abstain_when:
- selection contains insufficient prose
这份契约决定了 fixture 与度量。没有它,评估就变成了一场对漂亮数字的搜索。
3. 用例需要切片
一个总体的通过率可能藏起一个毁掉产品的子群。
对摘要而言,有用的切片包括:
- 短、中与接近上限的输入;
- 散文、列表、表格与混合代码;
- 警告、否定与数量;
- 单一语言与混合语言;
- 干净内容与类提示词注入的文本;
- available、downloadable 与 unavailable 的运行时状态。
对语言检测而言,长度与含糊性值得单独切片。对改写而言,受保护术语与情态动词很重要。
fixture 应当携带它的切片标签:
{
"id": "summary-warning-03",
"feature": "summarize-selection",
"slices": ["warning", "negation", "short"],
"input": "...",
"assertions": ["..."]
}
于是回归可以被定位。
4. 基线阻止我们奖励不必要的 AI
每个 AI 功能都应当与一个更简单的替代方案竞争。
可能的基线包括:
- 显示原始选区;
- 抽取第一句话;
- 使用确定性模板;
- 应用基于规则的语言阈值;
- 让用户选择语言;
- 禁用该功能。
如果一段生成的摘要省不下多少时间、却偶尔漏掉警告,原文基线可能更好。
相关的比较不是"AI 对没有 AI"。而是"这条功能路径对最好的实际替代方案"。
5. 重复揭示不稳定
一次运行无法刻画一个概率性部件。即使 most-predictable 采样模式,也不应被假定在浏览器版本、模型更新与硬件路径之间保持相同。
对用例 $i$ 在 $r$ 次重复上,记录:
保留每一份输出。用成功的重试替换失败的运行,会把评估变成挑选。
6. 环境变化时做配对比较
要比较浏览器配置,就使用同一份 fixture 与同一套决策规则:
fixture A → 基线配置 → 结果 A₀
fixture A → 新配置 → 结果 A₁
最有用的问题常常不是绝对分数,而是结果是否改变:
| 之前 | 当前 | 解读 |
|---|---|---|
| 通过 | 通过 | 在该用例上稳定 |
| 失败 | 通过 | 改进候选 |
| 通过 | 失败 | 回归候选 |
| 失败 | 失败 | 持续弱点 |
直接评审结果改变的用例。总体上一分的改进,可能藏起一次权限处理上的严重回归。
7. 发布门禁编码的是风险,不是口味
发布门禁应当把失败与后果连起来:
gates:
- name: no_authority_regressions
slices: [permission, approval, data-route]
allowed_new_failures: 0
- name: summary_quality
minimum_pass_rate: 0.90
- name: operational_availability
minimum_supported_cases: 0.95
高风险的不变式可以要求零已知回归。较低风险的风格偏好可以容忍变化与人工评审。
门禁不证明普遍安全。它阻止一个已知的发布,在我们选择保护的那些用例上变得更糟。
8. 操作矩阵与行为矩阵属于一起
对每次 fixture 运行,二者都要保留:
| 操作证据 | 行为证据 |
|---|---|
| API 可用性 | 断言结果 |
| 会话创建 | 人工细则 |
| 首个分片时间 | 受保护事实 |
| 完成或中止 | 功能接受 |
| 上下文用量 | 用户更正 |
这使以下问题成为可能:
- 质量只在冷运行时下降了吗?
- 新配置变快了,但更不可靠了吗?
- 失败是不可用的 API 造成的,还是被拒绝的输出造成的?
- 上下文压力与丢失的指令相关吗?
把这两个矩阵分开会丢弃这些关系。
9. 评估数据有自己的生命周期
浏览器内容可能是私密的。一次有用的交互不自动就是可允许的评估数据。
脚手架需要为以下事项制定政策:
- 显式的收集范围;
- 内容脱敏;
- 保留与删除;
- 对导出轨迹的访问;
- 人工更正是否可被复用;
- 公开 fixture 与私密事故的分离。
合成与公开的 fixture 也应当携带来源。它们可能不真实,或在措辞中意外地把期望答案编码了进去。
数据质量是评估质量的一部分。
10. 防止评估器泄漏
如果提示词恰好包含那句期望短语,只因为断言会搜索它,那么这个用例测的可能是抄写,而不是理解。
我们应当区分:
- 该功能所必需的指令;
- 源中存在的受保护事实;
- 对生成隐藏的、仅评估器知道的期望;
- 只用于评审的参考答案。
fixture 运行器不应把隐藏的细则文本放进模型上下文。
这听上去是基本功,但紧凑的演示 fixture 经常泄漏它们自己的答案。
11. 失败需要一条调查路径
评估报告应当能引回证据:
门禁失败
↓
slice: permission
↓
fixture: writer-permission-copy
↓
运行与浏览器配置
↓
提示轨迹
↓
失败的断言与人工理由
没有这条路径的分数难以改进,也容易被钻空子。
Browser AI Observatory 已经拥有关联 ID、运行信封与 fixture 事件。第四部分把这些原语扩展成比较与门禁,而不是发明一套孤立的评估体系。
12. 第一道发布门禁应当很小
我们最初的七个 fixture 不是完整的基准。它们是一套覆盖 Prompt API 与六个任务 API 的规范冒烟套件。
第一道有用的门禁可以要求:
- 每个必需的 API 状态都被分类;
- 没有 metrics-only 轨迹保留输入内容;
- 全部结构化断言通过;
- 每条人工细则都收到一个决策;
- 没有受保护的权威性主张发生回归;
- 浏览器配置的变更产出一份比较报告。
这道门禁足够克制因而可以维护,又足够有力因而能捕捉演示路径所隐藏的失败。
结论
演示确立可能性。评估在选定的证据上刻画一个功能契约。
有代表性的切片、简单的基线、重复的运行、配对的比较与基于风险的门禁,把孤立的输出变成工程决策。评估仍是不完整的,但它的不完整是可见、可操作的。
下一章处理另一种不完整来源:有时本地能力根本不存在。可靠的浏览器 AI 必须有意识地降级,而不悄悄改变用户数据的去向。
参考与延伸阅读
- NIST, Artificial Intelligence Risk Management Framework.
- Chrome for Developers, Built-in AI APIs.
- Chrome for Developers, The Prompt API.