解析成功的 Promise 不是正确的答案
把运行时成功与结构有效性、语义正确性与功能成功分开,然后把行为评估放在浏览器 AI 轨迹之旁。
下面的代码只有一种成功的定义:
try {
const output = await session.prompt(input);
show(output);
} catch (error) {
showFailure(error);
}
如果 promise resolve,界面就显示结果。
对于返回值就是权威的确定性查找,这足够了。对于一个可能返回流畅、格式良好却错误的文本的概率性系统,这不够。
一个 resolve 的 promise 证明某次操作按照运行时契约完成了。它不证明该功能完成了本职工作。
1. 成功有层次
一次浏览器 AI 操作可以通过上一层、却在下一层失败:
| 层 | 问题 | 失败例子 |
|---|---|---|
| 操作 | API 完成了吗? | 会话创建被拒绝 |
| 结构 | 应用能消费该结果吗? | 无效 JSON |
| 语义 | 结果保留了必需的含义吗? | 摘要漏掉一条警告 |
| 功能 | 面向用户的任务成功了吗? | 正确文本显示在错误位置 |
| 权威性 | 该结果被允许造成这个效果吗? | 草稿未经批准被发出 |
这些不是相互竞争的定义。它们构成一条验证流水线。
运行时完成
↓
结构验证
↓
语义验证
↓
功能政策
↓
经授权的效果
系统应当在每个边界保留该结果。
2. 流畅的输出不是正确性的证据
考虑前面引入的摘要 fixture。它保护一个区分:
浏览器拥有模型生命周期
应用拥有功能行为
一段摘要可以合语法、简短且有说服力,同时把这些职责坍缩成一个主张。promise 的 resolve 检测不到这个变化。
同理,一次改写可以变得更清楚,却把 “must” 弱化成 “may”。一次翻译可以听起来自然,却颠倒了行为者。语言检测器可以返回一个完全有效的带排序数组,而它的第一候选项是错的。
这个失败属于功能契约,不属于传输。
3. 断言让契约变得可执行
Browser AI Observatory 的 fixture 把确定性检查与人工细则组合起来:
assertions: [
{ kind: "contains", value: "browser" },
{ kind: "contains", value: "application" },
{
kind: "custom",
rubric: "Do not claim local execution is automatically private or faster."
}
]
自动检查便宜且可复现。细则保护的是一项子串匹配无法诚实评估的语义主张。
评估器为单项检查返回三种状态:
passed: true;passed: false;passed: null,需要人工评审。
它不把"无法自动检查"转换成通过。
4. 检查可能因为错误的原因通过
假设一条断言搜索 browser。这个输出会通过:
The browser has nothing to do with model management.
必需的词出现了,而主张是反的。
词面断言对狭窄的不变式有用,例如必需的键、产品名与被禁止的短语。它们不应被呈现为语义裁判。
每条断言都有它的作用域:
{
"kind": "contains",
"value": "browser",
"claim": "required term appears",
"doesNotClaim": "the surrounding statement is correct"
}
当每个度量都声明它不确立什么时,评估就变得更可信。
5. 分别保留输出与判断
一条评估事件应当引用提示轨迹,而不是重写它:
{
"type": "fixture.evaluated",
"correlation": {
"sessionId": "session-7",
"traceId": "prompt-12"
},
"data": {
"fixtureId": "prompt-session-accounting",
"passed": true,
"automaticChecks": 4,
"humanChecks": 1
}
}
之后的人工评审可以追加另一条判断,附带其评审者、细则版本与决策。它不应当改动生成的原始输出,也不应当假装是自动评估器做出了后来的决策。
这种分离使分歧与重新评估成为可能。
6. 失败、拒绝与弃权各不相同
运行时可能在产出输出之前失败。验证器可以拒绝已完成的输出。该功能还可能因为证据不足而弃权。
switch (result.outcome) {
case "runtime-failed":
return showRetryOrFallback(result.error);
case "invalid":
return showRejectedOutput(result.reasons);
case "abstained":
return askForMoreInformation(result.reason);
case "accepted":
return commitFeatureResult(result.value);
}
把这四种都坍缩成"AI 失败了"会妨碍诊断。把所有完成的调用都坍缩成"AI 成功了"更糟。
弃权可以是正确的功能结果。一个拒绝从两个含糊字符里猜测的语言检测器,可能比一个总是选择某种语言的检测器表现得更好。
7. 验证有自己的延迟与失败模式
如果一个功能先执行模型生成、再执行验证,用户可见的延迟是:
因此轨迹应当在 feature.validation.finished 之前记录 prompt.finished。否则一个缓慢的验证器可能被误认为缓慢的推理。
验证器本身也必须受约束。把私密的本地输出悄悄发给一个远程裁判,会抵消当初促成端侧推理的数据路由属性。
8. 先用领域不变式,再用通用质量分数
像 “helpfulness: 0.86” 这样的通用分数很难解读。功能专属的不变式更有可操作性:
- 每个被引用的来源都存在;
- 日期与输入相符;
- 否定被保留;
- 没有主张新的权限;
- 必需字段可解析;
- 不确定的语言结果选择弃权;
- 改写不改变任何受保护术语。
这些检查不完整,但失败会解释是哪里坏了。
最强的评估器往往是下游的确定性系统。如果生成的代码必须编译,就编译它。如果一个工具参数指名了某个文件,就验证该文件在允许的作用域内。如果一段摘要喂给一个决策,就测试该决策所依赖的受保护事实。
9. 人工评审需要一个可见的问题
「这样看起来可以吗?」不构成一份细则。
有用的人工检查会指名那个决策:
改写是否保留了"插桩开始前用户必须授予权限"这一点?
[是] [否] [不清楚]
评审者应当看到输入、输出、受保护的主张与相关上下文。他们不应需要推断 fixture 作者的意图。
人工判断仍然是易错的。给细则做版本控制并保留 Unclear,让那份不确定性变得可见。
10. 调试器必须显示两条时间线
操作事件回答跑了什么:
检视 → 创建 → 提示 → 分片 → 完成
评估事件回答通过了什么:
解析 → 断言 → 人工细则 → 功能决策
完成后的 Agent Inspector 会按 trace ID 对齐它们。开发者应当能看到:一次请求在 420 毫秒内完成,却因为它改动了一条权限主张而被拒绝。
这比一个绿色的 “200 OK” 与糟糕输出并排出现有用得多。
结论
一个 resolve 的 promise 是一个操作事实。
正确性需要额外的证据:结构有效性、领域不变式、语义评审、功能政策与权威性检查。每一层都可能因不同的原因接受、拒绝或弃权。
Browser AI Observatory 已经把 fixture 评估放在运行时轨迹之旁。下一步是把单个 fixture 变成可重复的功能评估:有代表性的用例、有意义的切片、基线与发布门禁。
参考与延伸阅读
- Chrome for Developers, The Prompt API.
- Chrome for Developers, Built-in AI APIs.
- NIST, Artificial Intelligence Risk Management Framework.