← Browser AI From First Principles

当上下文窗口填满时

运行一个上下文预算实验室:测量或估计下一个轮次、应用显式的安全储备、单独探测运行时、验证结构化检查点并创建替换会话。

有状态的会话最终会遇到一个物理限制。

提示、初始指令、示例、对话历史与模型输出都在争夺一份有限的上下文预算。一旦预算耗尽,应用无法靠假装下一条消息是独立的来解决问题。

困难的问题不是怎么删文本。

是怎么保留正确的状态。


1. 上下文窗口是一份预算

当会话暴露用量与配额时,上下文压力变得可观测:

$$ p_t = \frac{U_t}{Q_t} $$
其中 $U_t$ 是当前用量,$Q_t$ 是会话配额。

一条简单策略可以把这个比值转换成状态:

function contextState({ inputUsage, inputQuota }) {
  if (!Number.isFinite(inputUsage) || !Number.isFinite(inputQuota)) {
    return { kind: "unknown" };
  }

  const pressure = inputUsage / inputQuota;
  if (pressure >= 0.9) return { kind: "critical", pressure };
  if (pressure >= 0.75) return { kind: "high", pressure };
  return { kind: "normal", pressure };
}

这些阈值是策略选择,不是 Chrome 的属性。它们为下一个请求与输出留出空间,而后者的成本未必能提前精确知晓。

我们的第一个会话报告了 9,216 的配额、用量为零。这是一次被观察到的会话配置,不是固定的 Prompt API 常量。配额可能随浏览器版本、模型、模态、创建选项或实现变更而变化。


2. 剩余容量不等于安全容量

如果会话报告剩余 500 单位,一个 400 单位的输入并不自动安全。该操作还可能需要用于格式化、内部表示、先前状态或输出的容量。

因此我们区分:

报告的剩余容量
        ↓
应用安全储备
        ↓
可准入的下一操作

一次准入检查可能是:

function canAttempt({ remaining }, estimatedInput, reserve = 512) {
  if (!Number.isFinite(remaining)) return { allowed: true, confidence: "unknown" };
  return {
    allowed: estimatedInput + reserve <= remaining,
    confidence: "estimated"
  };
}

这个估计必须被标注为估计。字符数不是 token 数,应用的 tokenizer 也可能与浏览器管理的模型不匹配。

运行时仍是最终权威:记录它接受什么、用量如何变化,以及越界时它返回哪个错误。


3. 测量增量,而不只是总量

提示之后的一次快照告诉我们当前状态。一对快照告诉我们该操作的代价:

$$ \Delta U_t = U_{t+1} - U_t $$
Observatory 在同一 session ID 与 trace ID 下记录 `before-prompt` 与 `after-prompt` 快照。这让我们可以问:
  • 输入消耗了多少容量?
  • 输出也改变了报告的用量吗?
  • 重复的相同提示代价相等吗?
  • 克隆保留同样的用量吗?
  • 失败或中止的操作会消耗上下文吗?

这些是经验性问题。API 表面提示了测量;它不替每个运行时回答它们。


4. 溢出是一次状态转换

应用常常在提示处理器深处以异常的方式发现上下文已满。

更好的设计让压力与溢出变得显式:

    stateDiagram-v2
    [*] --> Normal
    Normal --> High: 用量越过策略阈值
    High --> Compacting: 下一操作无法安全容纳
    Compacting --> Normal: 替换会话已创建
    High --> Overflow: 运行时拒绝该操作
    Overflow --> Compacting: 恢复
    Compacting --> Failed: 不变式无法保留
  

Failed 状态很重要。压缩并不总是安全的。如果应用无法为下一个动作保留所需的事实或权威性,它应当停止,而不是从受损的状态产生一次自信的续写。


5. 历史包含不同种类的信息

删除最旧的消息,假定了年龄决定价值。它并不。

会话历史可能包含:

状态种类 例子 压缩策略
用户目标 “比较这两种配置” 显式保留
权威性 “不要发布私密轨迹” 绝不通过摘要削弱
任务状态 已完成的 fixture 与待运行项 转换为结构化状态
证据 被测量的延迟与错误文本 保留确切值与来源
阐述 先前对某个 API 的解释 需要时摘要或检索
闲谈 致谢与重复措辞 通常可丢弃

正确的压缩单元是语义角色,不是消息位置。

这对智能体尤其重要。一条丢掉"发送之前先询问"、却保留用户更宽泛目标的摘要,改变的是系统的权威性,而不只是缩短了它的历史。


6. 压缩应当产出可检视的制品

不要用一段话静默替换历史,而是创建一个结构化检查点:

{
  "goal": "Compare cold and warm Prompt API runs",
  "constraints": [
    "Do not claim browser-attested model identity",
    "Do not publish private content"
  ],
  "observations": [
    {
      "kind": "session-create",
      "durationMs": 8.2,
      "inputQuota": 9216,
      "source": "run-ab766b51"
    }
  ],
  "pending": ["cold prompt", "warm prompt", "clone", "destroy"]
}

这个表示可以在成为替换会话的初始提示之前被验证。

应用应当存储指向源轨迹的链接,而不是把压缩后的状态当作首要证据呈现。


7. 新会话是一次不连续

压缩通常创建一个替换会话:

const checkpoint = buildCheckpoint(history, traces);
const replacement = await LanguageModel.create({
  samplingMode: "most-predictable",
  initialPrompts: [
    { role: "system", content: systemContract },
    { role: "user", content: JSON.stringify(checkpoint) }
  ]
});

替换并不字面地记得最初的交互。它收到的是应用创建的一个表示。

因此轨迹应当记录:

  • 新旧 session ID;
  • 压缩策略及其版本;
  • 源历史范围;
  • 检查点尺寸;
  • 验证结果;
  • 受保护的不变式;
  • 替换原因。

把两个对象都叫作"会话"会藏起一处因果断裂。


8. 在解读溢出实验之前先设计它

我们还没有产出一条真实的溢出轨迹。正确的回应是把实验说清楚,而不是发明它的结果。

该 fixture 将会:

  1. 创建会话并记录初始配额;
  2. 提交带编号的、确定性的文本块;
  3. 在每次提示前后取用量快照;
  4. 在应用的高压阈值处停止;
  5. 克隆会话;
  6. 让一个分支继续,直到运行时拒绝某次操作;
  7. 把另一个分支压缩成一个已验证的检查点;
  8. 比较受保护的事实是否存活;
  9. 销毁两个会话。

测试必须保留确切的异常名与消息。我们不应在观察到溢出错误之前,就围绕一个假定的溢出错误来写这一章。


9. 压缩本身需要评估

一段紧凑的摘要可能流畅而错误。我们需要针对它必须保留的状态做断言:

const invariants = [
  { path: "goal", equals: original.goal },
  { path: "constraints.publishPrivateTraces", equals: false },
  { path: "observations[0].durationMs", equals: 8.2 },
  { path: "pending", contains: "warm prompt" }
];

这些检查保护确切的状态。人工评审随后可以判断细微含义是否存活。

一个有用的比较在下游:替换会话能否在使用更少上下文的情况下,与原始分支一样可靠地执行下一个任务?

压缩率本身不是成功。


10. 未知计数器需要不同的策略

不是每个任务 API 都暴露会话配额,未来实现也可能改变哪些计数器可见。

当用量不可用时,界面应当显示 Not exposed。它不应显示零。

应用仍可使用保守的控制:

  • 限制轮次的数量与大小;
  • 在已知任务边界创建新会话;
  • 在模型之外保留权威状态;
  • 捕获并分类运行时失败;
  • 避免让关键决策依赖隐藏的对话状态。

可观测性必须区分一个被测量的零与一次缺失的测量。


11. 运行上下文预算实验室

从第 10 章选择 Run with Browser AI 以打开:

/tools/ai/browser-ai-from-first-principles/10-chapter/

实验室分开聊天界面通常隐藏的五个操作:

  1. 测量当前会话;
  2. 估计或测量下一个输入;
  3. 应用应用准入策略;
  4. 让运行时接受或拒绝一个显式提交的操作;
  5. 把选定状态转移到一个单独标识的替换会话。

初始策略保留 512 个报告单位,并在预计压力达到 75% 之前停止有界的填充循环。轮次大小、储备、压力阈值与批量上界都是可见输入。它们刻意可编辑,因为它们属于产品,不属于 Chrome。

尝试之前先测量

当活跃会话暴露 measureInputUsage() 时,实验室使用其结果,并把该预测标注为 browser-measured。如果该方法缺失或拒绝请求,回退方案会用字符数除以一个配置的比率,并把结果标注为 character-fallback。

这些标注很重要。两个值都可以支撑准入策略,但它们的权威性不相等。

该决策保留三个量:

下一个被测量或估计的输入
+ 显式输出储备
≤ 报告的剩余容量

它还检查预计用量是否会越过高压阈值。被阻止的轮次会显示在界面中,并作为一次策略决策被记录,而不会被提交。

在上界之下填充

Run one admitted turn 只发送可见策略接受的那个候选。Run bounded fill 对至多配置数量的轮次重复同一序列:

构造编号轮次
        ↓
测量候选
        ↓
应用储备与压力策略
        ↓
运行或停止
        ↓
前后快照

每个成功轮次携带一个唯一标记(如 CTX-003),并要求一个简短的确定性确认。增量表在同一个 session ID 下报告浏览器前后用量。如果任一计数器缺失,增量保持为 Not reported。

批量在达到最大轮次数、收到中止请求、运行时失败或首次被阻止的准入决策时停止。它绝不会仅仅为了制造一张溢出截图而继续填充。

单独探测运行时

当应用策略阻止一个候选时,Probe runtime once 变得可用。这个控件刻意无视策略结果、提交那一个候选。

这个区分让轨迹可以讲出两件有用之事中的某一件:

  • 尽管运行时接受了该操作,应用仍保守地停止了;
  • 运行时拒绝了该操作并返回了某个特定异常。

模块记录实际的异常名与消息。它不把每个失败都翻译成一个假定的 “context full” 错误。

构建可检视的检查点

在至少完成一个轮次之后,读者可以创建一个结构化检查点,包含:

  • 目标与权威性约束;
  • 源会话标识;
  • 已完成轮次范围;
  • 观察到的用量、配额、剩余容量与增量;
  • 首尾保留标记;
  • 待替换验证项;
  • 压缩策略版本。

页面在启用替换之前以确定性方式验证这些字段。完整 JSON 保持可见。因此压缩是一个可审计的应用制品,而不是一段看不见的模型摘要。

跨过不连续

替换会话以新标识创建。其 initialPrompts 包含已验证的检查点,以及一条不得声称字面记得旧会话的指令。

轨迹记录带双方 ID、检查点尺寸、策略版本、源轮次数与受保护字段名的 session.compacted。原会话在显式销毁之前保持存活,使这处不连续可观测,而不是事后把两个资源改名为"这场对话"。

Verify replacement 询问检查点策略版本与最新保留标记。词面检查确立替换能找回这些字段。一项单独的人工检查询问受保护的约束是否仍保有其权威性,而不是仅仅作为被引用的文本出现。

窄窄地解读已评审的回放

9 月 2 日的回放在会话创建时报告用量零、配额 9,216。它不含完成的提示、前后用量增量、运行时溢出失败或压缩事件。

实验室把这些转换渲染为 Not observed。9,216 单位的配额初始化了一个经验问题;它没有被当作硬编码的普适上限用在实时控件里。


结论

上下文窗口是有限的计算机会。

用量与配额让应用可以观察压力,但安全运行仍需要储备、准入策略与被测量的增量。当压缩变得必要时,问题不是缩短散文,而是在一次真实的会话不连续中保留目标、证据、任务状态与权威性。

我们那次 9,216 单位的观察给了我们一个起点,不是普适常量。第 10 章现在让溢出协议变得可执行,同时把结果保持开放,直到一台真实浏览器产出它。准入、运行时拒绝、检查点验证与替换被记录为不同的事件,而不是被折叠成"上下文得到了管理"这一句主张。

下一章从容量转向时间。我们将分开下载信号、会话创建、首个输出与完成,而不是把它们折叠成"本地 AI 很快"这一个主张。


参考与延伸阅读

  1. Chrome for Developers, The Prompt API.
  2. Chrome for Developers, Understand built-in model management in Chrome.
  3. Chrome for Developers, Get started with built-in AI.