当上下文窗口填满时
运行一个上下文预算实验室:测量或估计下一个轮次、应用显式的安全储备、单独探测运行时、验证结构化检查点并创建替换会话。
有状态的会话最终会遇到一个物理限制。
提示、初始指令、示例、对话历史与模型输出都在争夺一份有限的上下文预算。一旦预算耗尽,应用无法靠假装下一条消息是独立的来解决问题。
困难的问题不是怎么删文本。
是怎么保留正确的状态。
1. 上下文窗口是一份预算
当会话暴露用量与配额时,上下文压力变得可观测:
一条简单策略可以把这个比值转换成状态:
function contextState({ inputUsage, inputQuota }) {
if (!Number.isFinite(inputUsage) || !Number.isFinite(inputQuota)) {
return { kind: "unknown" };
}
const pressure = inputUsage / inputQuota;
if (pressure >= 0.9) return { kind: "critical", pressure };
if (pressure >= 0.75) return { kind: "high", pressure };
return { kind: "normal", pressure };
}
这些阈值是策略选择,不是 Chrome 的属性。它们为下一个请求与输出留出空间,而后者的成本未必能提前精确知晓。
我们的第一个会话报告了 9,216 的配额、用量为零。这是一次被观察到的会话配置,不是固定的 Prompt API 常量。配额可能随浏览器版本、模型、模态、创建选项或实现变更而变化。
2. 剩余容量不等于安全容量
如果会话报告剩余 500 单位,一个 400 单位的输入并不自动安全。该操作还可能需要用于格式化、内部表示、先前状态或输出的容量。
因此我们区分:
报告的剩余容量
↓
应用安全储备
↓
可准入的下一操作
一次准入检查可能是:
function canAttempt({ remaining }, estimatedInput, reserve = 512) {
if (!Number.isFinite(remaining)) return { allowed: true, confidence: "unknown" };
return {
allowed: estimatedInput + reserve <= remaining,
confidence: "estimated"
};
}
这个估计必须被标注为估计。字符数不是 token 数,应用的 tokenizer 也可能与浏览器管理的模型不匹配。
运行时仍是最终权威:记录它接受什么、用量如何变化,以及越界时它返回哪个错误。
3. 测量增量,而不只是总量
提示之后的一次快照告诉我们当前状态。一对快照告诉我们该操作的代价:
- 输入消耗了多少容量?
- 输出也改变了报告的用量吗?
- 重复的相同提示代价相等吗?
- 克隆保留同样的用量吗?
- 失败或中止的操作会消耗上下文吗?
这些是经验性问题。API 表面提示了测量;它不替每个运行时回答它们。
4. 溢出是一次状态转换
应用常常在提示处理器深处以异常的方式发现上下文已满。
更好的设计让压力与溢出变得显式:
stateDiagram-v2
[*] --> Normal
Normal --> High: 用量越过策略阈值
High --> Compacting: 下一操作无法安全容纳
Compacting --> Normal: 替换会话已创建
High --> Overflow: 运行时拒绝该操作
Overflow --> Compacting: 恢复
Compacting --> Failed: 不变式无法保留
Failed 状态很重要。压缩并不总是安全的。如果应用无法为下一个动作保留所需的事实或权威性,它应当停止,而不是从受损的状态产生一次自信的续写。
5. 历史包含不同种类的信息
删除最旧的消息,假定了年龄决定价值。它并不。
会话历史可能包含:
| 状态种类 | 例子 | 压缩策略 |
|---|---|---|
| 用户目标 | “比较这两种配置” | 显式保留 |
| 权威性 | “不要发布私密轨迹” | 绝不通过摘要削弱 |
| 任务状态 | 已完成的 fixture 与待运行项 | 转换为结构化状态 |
| 证据 | 被测量的延迟与错误文本 | 保留确切值与来源 |
| 阐述 | 先前对某个 API 的解释 | 需要时摘要或检索 |
| 闲谈 | 致谢与重复措辞 | 通常可丢弃 |
正确的压缩单元是语义角色,不是消息位置。
这对智能体尤其重要。一条丢掉"发送之前先询问"、却保留用户更宽泛目标的摘要,改变的是系统的权威性,而不只是缩短了它的历史。
6. 压缩应当产出可检视的制品
不要用一段话静默替换历史,而是创建一个结构化检查点:
{
"goal": "Compare cold and warm Prompt API runs",
"constraints": [
"Do not claim browser-attested model identity",
"Do not publish private content"
],
"observations": [
{
"kind": "session-create",
"durationMs": 8.2,
"inputQuota": 9216,
"source": "run-ab766b51"
}
],
"pending": ["cold prompt", "warm prompt", "clone", "destroy"]
}
这个表示可以在成为替换会话的初始提示之前被验证。
应用应当存储指向源轨迹的链接,而不是把压缩后的状态当作首要证据呈现。
7. 新会话是一次不连续
压缩通常创建一个替换会话:
const checkpoint = buildCheckpoint(history, traces);
const replacement = await LanguageModel.create({
samplingMode: "most-predictable",
initialPrompts: [
{ role: "system", content: systemContract },
{ role: "user", content: JSON.stringify(checkpoint) }
]
});
替换并不字面地记得最初的交互。它收到的是应用创建的一个表示。
因此轨迹应当记录:
- 新旧 session ID;
- 压缩策略及其版本;
- 源历史范围;
- 检查点尺寸;
- 验证结果;
- 受保护的不变式;
- 替换原因。
把两个对象都叫作"会话"会藏起一处因果断裂。
8. 在解读溢出实验之前先设计它
我们还没有产出一条真实的溢出轨迹。正确的回应是把实验说清楚,而不是发明它的结果。
该 fixture 将会:
- 创建会话并记录初始配额;
- 提交带编号的、确定性的文本块;
- 在每次提示前后取用量快照;
- 在应用的高压阈值处停止;
- 克隆会话;
- 让一个分支继续,直到运行时拒绝某次操作;
- 把另一个分支压缩成一个已验证的检查点;
- 比较受保护的事实是否存活;
- 销毁两个会话。
测试必须保留确切的异常名与消息。我们不应在观察到溢出错误之前,就围绕一个假定的溢出错误来写这一章。
9. 压缩本身需要评估
一段紧凑的摘要可能流畅而错误。我们需要针对它必须保留的状态做断言:
const invariants = [
{ path: "goal", equals: original.goal },
{ path: "constraints.publishPrivateTraces", equals: false },
{ path: "observations[0].durationMs", equals: 8.2 },
{ path: "pending", contains: "warm prompt" }
];
这些检查保护确切的状态。人工评审随后可以判断细微含义是否存活。
一个有用的比较在下游:替换会话能否在使用更少上下文的情况下,与原始分支一样可靠地执行下一个任务?
压缩率本身不是成功。
10. 未知计数器需要不同的策略
不是每个任务 API 都暴露会话配额,未来实现也可能改变哪些计数器可见。
当用量不可用时,界面应当显示 Not exposed。它不应显示零。
应用仍可使用保守的控制:
- 限制轮次的数量与大小;
- 在已知任务边界创建新会话;
- 在模型之外保留权威状态;
- 捕获并分类运行时失败;
- 避免让关键决策依赖隐藏的对话状态。
可观测性必须区分一个被测量的零与一次缺失的测量。
11. 运行上下文预算实验室
从第 10 章选择 Run with Browser AI 以打开:
/tools/ai/browser-ai-from-first-principles/10-chapter/
实验室分开聊天界面通常隐藏的五个操作:
- 测量当前会话;
- 估计或测量下一个输入;
- 应用应用准入策略;
- 让运行时接受或拒绝一个显式提交的操作;
- 把选定状态转移到一个单独标识的替换会话。
初始策略保留 512 个报告单位,并在预计压力达到 75% 之前停止有界的填充循环。轮次大小、储备、压力阈值与批量上界都是可见输入。它们刻意可编辑,因为它们属于产品,不属于 Chrome。
尝试之前先测量
当活跃会话暴露 measureInputUsage() 时,实验室使用其结果,并把该预测标注为 browser-measured。如果该方法缺失或拒绝请求,回退方案会用字符数除以一个配置的比率,并把结果标注为 character-fallback。
这些标注很重要。两个值都可以支撑准入策略,但它们的权威性不相等。
该决策保留三个量:
下一个被测量或估计的输入
+ 显式输出储备
≤ 报告的剩余容量
它还检查预计用量是否会越过高压阈值。被阻止的轮次会显示在界面中,并作为一次策略决策被记录,而不会被提交。
在上界之下填充
Run one admitted turn 只发送可见策略接受的那个候选。Run bounded fill 对至多配置数量的轮次重复同一序列:
构造编号轮次
↓
测量候选
↓
应用储备与压力策略
↓
运行或停止
↓
前后快照
每个成功轮次携带一个唯一标记(如 CTX-003),并要求一个简短的确定性确认。增量表在同一个 session ID 下报告浏览器前后用量。如果任一计数器缺失,增量保持为 Not reported。
批量在达到最大轮次数、收到中止请求、运行时失败或首次被阻止的准入决策时停止。它绝不会仅仅为了制造一张溢出截图而继续填充。
单独探测运行时
当应用策略阻止一个候选时,Probe runtime once 变得可用。这个控件刻意无视策略结果、提交那一个候选。
这个区分让轨迹可以讲出两件有用之事中的某一件:
- 尽管运行时接受了该操作,应用仍保守地停止了;
- 运行时拒绝了该操作并返回了某个特定异常。
模块记录实际的异常名与消息。它不把每个失败都翻译成一个假定的 “context full” 错误。
构建可检视的检查点
在至少完成一个轮次之后,读者可以创建一个结构化检查点,包含:
- 目标与权威性约束;
- 源会话标识;
- 已完成轮次范围;
- 观察到的用量、配额、剩余容量与增量;
- 首尾保留标记;
- 待替换验证项;
- 压缩策略版本。
页面在启用替换之前以确定性方式验证这些字段。完整 JSON 保持可见。因此压缩是一个可审计的应用制品,而不是一段看不见的模型摘要。
跨过不连续
替换会话以新标识创建。其 initialPrompts 包含已验证的检查点,以及一条不得声称字面记得旧会话的指令。
轨迹记录带双方 ID、检查点尺寸、策略版本、源轮次数与受保护字段名的 session.compacted。原会话在显式销毁之前保持存活,使这处不连续可观测,而不是事后把两个资源改名为"这场对话"。
Verify replacement 询问检查点策略版本与最新保留标记。词面检查确立替换能找回这些字段。一项单独的人工检查询问受保护的约束是否仍保有其权威性,而不是仅仅作为被引用的文本出现。
窄窄地解读已评审的回放
9 月 2 日的回放在会话创建时报告用量零、配额 9,216。它不含完成的提示、前后用量增量、运行时溢出失败或压缩事件。
实验室把这些转换渲染为 Not observed。9,216 单位的配额初始化了一个经验问题;它没有被当作硬编码的普适上限用在实时控件里。
结论
上下文窗口是有限的计算机会。
用量与配额让应用可以观察压力,但安全运行仍需要储备、准入策略与被测量的增量。当压缩变得必要时,问题不是缩短散文,而是在一次真实的会话不连续中保留目标、证据、任务状态与权威性。
我们那次 9,216 单位的观察给了我们一个起点,不是普适常量。第 10 章现在让溢出协议变得可执行,同时把结果保持开放,直到一台真实浏览器产出它。准入、运行时拒绝、检查点验证与替换被记录为不同的事件,而不是被折叠成"上下文得到了管理"这一句主张。
下一章从容量转向时间。我们将分开下载信号、会话创建、首个输出与完成,而不是把它们折叠成"本地 AI 很快"这一个主张。
参考与延伸阅读
- Chrome for Developers, The Prompt API.
- Chrome for Developers, Understand built-in model management in Chrome.
- Chrome for Developers, Get started with built-in AI.