← Browser AI From First Principles

冷启动、热运行与真实延迟

运行一个延迟分解实验室:在显式的 fresh 或操作者核实的冷协议下,测量能力检视、monitor 回调、会话创建、首个输出、生成、完成、验证与取消。

“本地 AI 更快"不是一次测量。

它把几种不同的等待压缩成一个形容词。浏览器原生功能可以避开网络往返,却仍让用户等待模型获取、进程启动、会话创建、上下文摄入或缓慢的生成。

要理解延迟,我们必须把生命周期拆开。


1. 一个时长藏着几只钟

对一次交互而言,有用的时间戳包括:

阶段 开始 结束 用户可见?
能力检视 availability() 调用 状态返回 通常不可见
获取 会话请求需要资源 资源就绪 是,如果它阻塞
会话创建 调用 create() 会话返回 常常可见
提示启动 调用提示 首个分片 是
生成 首个分片 最后分片 是
验证 输出完成 功能被接受/拒绝 有时可见

流式功能的感知等待常常由首个输出时间主导:

$$ L_{first} = t_{first\ chunk} - t_{prompt\ start} $$
完成延迟则不同:
$$ L_{total} = t_{prompt\ finish} - t_{prompt\ start} $$
一个功能即使 $L_{total}$ 很大,只要 $L_{first}$ 低,体感也可能是响应式的。非流式任务可以在总延迟可接受的同时,不提供任何中间反馈。

2. 第一次真实观察只测到了获取

我们第一条导出的 Chrome 轨迹包含十个事件。它确立了:

  • LanguageModel 已暴露;
  • 可用性返回 available;
  • 会话创建在约 8.2 毫秒内完成;
  • 会话报告了配额与生命周期能力;
  • 没有执行任何提示。

因此该轨迹对提示延迟只字未提。

这听起来显而易见,但它是常见的测量错误。快速的会话构造器不是快速的答案。快速的首个分片不是快速的完成。完成的生成不是成功的功能。

报告中缺失的值是正确的:

测量 第一条轨迹
会话创建 8.2 ms
首个分片时间 Not measured
提示总耗时 Not measured
Fixture 结果 Not measured

缺失胜过一个从错误事件推断出来的数字。


3. 进度回调不是下载的证明

同一条轨迹包含两个 downloadprogress 回调:

loaded = 0
loaded = 1

它们大约相隔 0.7 毫秒到达,而能力状态当时已经是 available。

回调名来自 API。解读它需要周围的上下文。这组事件序列无法合理地确立那 0.7 毫秒内传输了一份完整的模型资源。

受支持的结论更窄:

会话 monitor 在创建期间发出了获取进度回调。

它可能是在通知监听者一个已完成的资源状态。它可能代表另一个浏览器管理的步骤。没有网络或浏览器内部的证据,Observatory 不应把它重新标注为已下载的字节。

这就是为什么轨迹需要事件,而不是"模型下载成功"之类的散文。


4. 冷与热是操作性定义

“冷"可以指好几件事:

  • 模型不在磁盘上;
  • 模型已安装但进程未启动;
  • 浏览器已重启;
  • 会话不存在;
  • 操作系统文件缓存为空;
  • 加速器上下文不存在。

扩展无法可靠地强制或验证全部这些。

因此我们的运行协议使用显式的操作性标签:

  • Download path: 可用性表明在获取且观察到了进度。
  • Cold start: 浏览器重启后的第一个会话与提示;模型可能已安装。
  • Warm session: 只清空轨迹之后,在同一活跃会话中再次运行相同的提示。

这些标签说明我们做了什么。它们不声称对隐藏缓存的完全控制。


5. 比较路径,而不是孤立的数字

对配对的运行而言,有用的增量包括:

$$ \Delta L_{session} = L_{session,cold} - L_{session,warm} $$
$$ \Delta L_{first} = L_{first,cold} - L_{first,warm} $$
只有当我们把重要因素固定住时,比较才可信:
  • 浏览器构建与 flag;
  • 硬件与供电状态;
  • fixture 输入与创建选项;
  • 捕获模式;
  • 争用的负载;
  • 重复次数;
  • 会话是复用还是重建。

即便如此,三次重复只产生一个初步估计,不是一条性能定律。

报告使用中位数,因为在小样本中一次启动中断就能主导均值。我们仍应保留每一条原始观察,包括失败与缓慢的离群值。


6. 吞吐需要一个我们守得住的分母

流式产生分片,但分片不是 token。一个实现可能每个分片发一个 token;另一个可能批处理若干;还有一个可能修订或替换累积的文本。

Observatory 可以安全地报告:

  • 分片数;
  • 输出字符与字节;
  • 首个分片时间;
  • 总时长;
  • 作为接口层近似的字符吞吐。

除非运行时提供可靠的 token 计数,或我们显式标注基于 tokenizer 的估计,否则它不应报告每秒 token。

对首个分片之后的输出字符 $C$ 与生成间隔 $G$:

$$ R_{chars} = \frac{C}{G} $$
这对于在相同输出约束下比较同一个 fixture 有用。它不是一个可跨语言与格式比较的模型基准。

7. 流式传输改变了取消

长生成创造了取消的机会:

const controller = new AbortController();

const result = session.promptStreaming(input, {
  signal: controller.signal
});

stopButton.addEventListener("click", () => controller.abort());

取消延迟也很重要:

用户点击 Stop
      ↓
请求中止
      ↓
流结束
      ↓
观察会话状态

我们需要测量:部分输出是否仍然可见、会话是否可复用,以及中止操作之后用量是否增加。

当用户停止工作时,AbortError 是一个预期结果。它不应被计为模型失败。


8. 对功能边界做基准测试

本地生成可以很快,而面向用户的功能仍然很慢,原因包括:

  • DOM 抽取;
  • 文档切分;
  • 提示构造;
  • 模型获取;
  • 输出解析;
  • 验证;
  • 渲染;
  • 应用侧持久化。

Observatory 的直接提示轨迹测量运行时边界。其应用 SDK 可以补上周围的功能事件。

选区已捕获
    ↓
上下文已准备
    ↓
提示已开始
    ↓
首个分片
    ↓
提示已完成
    ↓
验证已完成
    ↓
UI 已提交

只有到那时,我们才能解释用户在等什么。


9. 模型变更需要配对实验

那个驱动性实验在不同浏览器管理配置下比较同一个应用边界。

Observatory 把模型/配置标签记录为操作者提供,因为 API 不会向扩展背书模型身份。因此报告可以说:

在 Chrome 152.0.7977.65 上操作者记录的 “Gemma 4 flag enabled” 配置下,本次运行产生了以下测量。

它不能说:

Chrome 证明了这段输出由 Gemma 4 生成。

这个区分可能显得谨慎,但正是它让之后的比较可信。


10. 下一个语料库

最小有用的性能语料库现在已经定义:

  1. 一次冷的 Prompt fixture 运行;
  2. 一次相同的热会话运行;
  3. 一次克隆会话续写;
  4. 一次显式取消;
  5. 我们发布的任何延迟主张都要有三次重复;
  6. 比较配置下的同一张矩阵;
  7. 原始失败与成功运行并排保留。

本章现在可以解释测量系统。其数值比较保持开放,直到那些轨迹存在。

这不是弱点。这是一条可见的实验边界。


11. 运行延迟分解实验室

从第 11 章选择 Run with Browser AI 以打开:

/tools/ai/browser-ai-from-first-principles/11-chapter/

实验室给每只钟自己的字段,并保留每一条原始观察。工作流是:

  1. 提供一个操作者配置标签;
  2. 选择一个诚实的首路径协议;
  3. 检视能力可用性;
  4. 创建一个被测量的会话;
  5. 运行固定的首路径 fixture;
  6. 在同一热会话中重复相同的 fixture;
  7. 把取消作为单独的协议运行;
  8. 显式销毁会话。

默认协议是 fresh session。它只表示页面在当前浏览器进程中创建了新会话。隐藏的模型、进程、操作系统与加速器缓存仍属未知。

另一种 cold start · operator verified restart 不由 JavaScript 推断。操作者只有在手动重启 Chrome 之后的第一个会话与提示时才应选择它。所选协议与配置标签随创建与提示事件一同记录。会话存在期间两个控件均被锁定,使一个资源无法在生命周期中途改变实验身份。

固定 fixture

首路径与热测量使用相同的创建选项与确切提示:

Reply with exactly this sentence and nothing else: Browser AI timing fixture complete.

这条词面断言刻意狭窄。它确认被计时的操作返回了预期的 fixture,而不是一次拒绝或无关响应。它不会把延迟运行变成一次通用质量评估。

首路径控件记录一次观察。热控件在同一活跃会话中按配置次数顺序运行。三次重复是显示初始中位数的默认下限。表格把失败与离群值与成功行并排保留。

重复的热提示仍是有状态的。它们的上下文在增长,隐藏缓存仍不受控。实验室暴露的是一份可复现的应用协议;它不声称硬件隔离的模型基准。

分解每次提示

对流式操作,模块记录:

  • 会话创建时长(当该行是首路径运行时);
  • 从提示开始到首个分片的时间;
  • 从首个分片到流完成的时间;
  • 提示总时长;
  • 验证时长;
  • 分片数;
  • 输出字符与字节;
  • 在观察到的生成间隔上的字符吞吐;
  • 结果与会话标识。

对非流式操作,首个输出随完整结果一同到达。总时间仍可测量。分开的生成间隔与字符吞吐保持 Not measured,因为没有被独立观察到的首个分片边界。

分片数绝不会被改标为 token 数。

把 monitor 回调当作观察

创建期间,UI 显示回调数与首尾回调之间的经过时长。事件字段保留 API 报告的 loaded 与 total 值。

面板刻意说 monitor callbacks,而不是 model bytes downloaded。一个从零到一的序列可以描述获取状态,而不确立一次网络传输、资源尺寸或缓存未命中。

从请求开始测量取消

取消探针使用一个刻意很长的 fixture,以及一个可编辑的自动中止延迟。操作者也可以按下 Stop。

轨迹记录:

提示已开始
首个分片(如有)
请求中止
流已结束
操作后会话快照

只有当中止请求之后跟着一个 aborted 结果时,才报告取消延迟。如果生成在计时器之前完成,该行显示 completed-before-abort。如果完成发生在中止请求之后却没有 AbortError,请求到完成的间隔可以作为诊断保留,但它不作为取消延迟呈现。

部分输出保持可见,并按字符与字节测量。会话保持显式可寻址,使之后的实验可以测试它是否仍可复用。

连同样本数一起读中位数

摘要分别为会话创建、首路径首个分片时间、热首个分片时间与热总时间报告中位数。每个中位数都附带其样本数。基于单行的首路径中位数会保持可见的 n=1。

目的是比较而不抹除:

摘要中位数
      ↓
样本数
      ↓
完整原始行
      ↓
轨迹事件与失败

一个缓慢的离群值不会仅因为中位数比均值更稳定就被移除。

只回放存在的钟

那份已评审的 9 月 2 日轨迹包含两次能力检视、两个 monitor 回调,以及一次持续约 8.2 毫秒的会话创建。它不含提示。

因此回放增加一行 session only。首个分片、生成、提示总耗时、验证、字符吞吐与取消保持 Not measured。回调区间作为一项观察被显示,而不声称该区间内发生了一次完整的模型下载。


结论

浏览器 AI 的延迟是一段生命周期,不是一个秒表。

能力检视、获取、会话创建、首个输出、完成与验证回答不同的问题。进度回调需要上下文。冷与热需要操作性定义。分片数不得伪装成 token 数。

我们第一条真实轨迹测到了一次快速的会话创建,对推理则什么都没测。仪器正确地把缺失字段留空。第 11 章现在让完整协议变得可执行,但数值上的冷热对比保持开放,直到在显式记录的条件下存在配对的实时运行。

下一章追问:为什么同一份会话配置能用、随后又失败。一旦浏览器管理模型,模型生命周期与兼容性就成为应用工程的一部分,即使应用自己从不下载模型。


参考与延伸阅读

  1. Chrome for Developers, The Prompt API.
  2. Chrome for Developers, Get started with built-in AI.
  3. Chrome for Developers, Understand built-in model management in Chrome.