← Context From First Principles

先复用,再重算

把跨请求前缀复用当上下文排布的经济与结构属性:重复上下文何时不必重复算子,怎么测复用,为什么可缓存性不说明内容该不该在。

这里是个说明场景,不是测得的 case。长调试会话的团队按第 2 章仪器看到的行动。轨迹显示 20,000 token 重复文件读取与过时工具输出,加清理 pass 每次请求前 strip 它们。可见 token 数降六分之一。假设下张发票涨了,延迟没改善。可见数降了,provider 记账对新处理、缓存写入、缓存读取 token 定价能不同,清理早期历史的 edit 改它们里哪个请求含什么。更小的渲染请求不一定是更便宜的请求:

token 最少 ≠ 成本最低

第 8 章收在反事实:没有跨请求复用,重复稳定前缀要求重复处理。本章问 serving 系统实际复用什么、复用怎么测、改上下文怎么改变它的价值。这是关于经济与排布的章节,不是容量。

两缓存,分开

第 8 章把模型推理 state 和跨请求前缀复用分开。模型推理 state 是模型与 serving 结构在一代的 decode 步骤里用的东西。跨请求复用是 serving 层机制:新请求在 provider 规则下和以前的处理兼容,部分 work 不重复。

Provider 命名实现各异。OpenAI 文档说缓存 state 住单机,请求须到对的机器。SGLang 的 RadixAttention(开放 serving 系统)把提示词组织成 radix 树,共享前缀的请求复用 KV 缓存算子。它说明原则不是 proprietary,不 license 对任何商业 provider 内部的推断。本章 general 想法叫"跨请求复用",各 provider 自己的功能用它自己的词。

重复上下文不必重复算子

智能体会话是重复的研究。一百轮可能同样指令、工具定义、项目规则、早期历史开头,只在最新观察分歧:

请求 1    处理 A B C D
请求 2    处理 A B C D E
请求 3    处理 A B C D E F

有复用,共享 work 做一次:

请求 1    算子 A B C D
请求 2    复用 A B C D,算子 E
请求 3    复用 A B C D E,算子 F

重复上下文 ≠ 重复算子

但只在条件下成立,三层须分开:

结构可复用   两渲染请求共享前导区
        ↓
provider 准入   provider 规则让其中一些准入
        ↓
实现复用       telemetry 显示真复用了

共享前缀不是缓存准入前缀,两者都不是缓存命中:

共享前缀 ≠ 缓存准入前缀 ≠ 缓存命中

准入和命中之间隔着可用与路由:兼容条目须建过、还可用、请求在 serving 系统规则下够得着。provider 用量 telemetry 报告实现的缓存读或命中,但不必揭示准入前缀为什么 miss、哪段 span 复用了。观察器因此把 provider 报告的复用和自己边界测的结构前缀分开记,“可复用"只说结构层。

前缀几何

拿 R1 = A B C D E、R2 = A B C D F。公共前导区 A B C D。第一分歧 E 对 F,结构复用停,因为匹配区 certify 不了后面的东西。这就是本书的抽象,前缀几何:

公共前导区  → 候选复用
第一分歧    → 要新处理

它不是 provider 的算法。实现按块粒度、最小可缓存长度、断点、回看窗口、路由、lifetime、复用自动还是显式不同。几何描述什么能复用,provider 规则与 telemetry 描述复用了什么。

稳定不是位置

几何让第二轴可见。第 6 章结论渲染顺序能行为相关,排布须显式。第 9 章加不同的轴:跨调用的稳定性,条目一请求到下请求变不变。位置和稳定性独立:

位置 ≠ 稳定性

条目能靠前易变、靠前稳定、靠后易变、靠后稳定。坐哪和多久变一次是独立事实。

缓存导向的候选排布跟出来。语义政策约束允许多等价排布处,稳定材料放易变材料前能放大结构可复用前缀:

稳定       指令、工具定义、共享引用
半稳定     历史、早期工具结果
动态       当前 state、最新观察、当前请求

三家 provider 的文档 guidance 共享稳定前缀的偏好,control 不同。OpenAI 建议稳定开发者指令与共享引用材料放前,消息追加不反复改写。Anthropic 文档写缓存断点与覆盖工具系统消息的失效层级;断点须盖住打算共享的请求里相同的前缀。Kimi 同样建议稳定提示词、工具定义、引用材料放逐轮内容前。这里引的 DeepSeek 缓存页没 comparable 的排布 prescription。这些是 provider-specific 指令,不是同样断点策略 lifetime 到处适用的证据,都没确立重排后的行为等价。

缓存优化是约束优化。它在语义、权威性、范围、新鲜度、行为要求已允许的排布里选,违反其中之一就 invalid:

系统要求下 valid 的排布
  ∩ 权威性范围要求
  ∩ 新鲜度要求
  ∩ 行为约束
        ↓
剩下的排布自由
        ↓
缓存优化

那是设计原则,不是实验确立的 law,不给要求排优先级。靠命中 gain 违反管束上下文政策的排布语义 invalid,再便宜也一样。缓存最优顺序和行为最优顺序不必重合,第 6 章说过,排布须说清优化哪个。

追加与改写

历史靠加法或修订增长,复用给两者不同定价。append-only 增长保和 earlier 前缀算子的结构兼容:

第 1 轮    A B
第 2 轮    A B C
第 3 轮    A B C D

每轮延长上轮,结构可复用区能长。earlier 算子还在否看 lifetime、路由、块边界、配置,结构兼容不是实现复用。改写反过来:

第 3 轮    A SUMMARY(B C)
第 4 轮    A SUMMARY2(B C D) E

改写的请求能更短,但改写不一定让后面每轮的第一分歧提前。例子里 SUMMARY(B C) 变成 SUMMARY2(B C D),请求在摘要处分歧,那点之后的材料不再是公共前导区的一部分。后面请求字节相同的摘要本身能成可复用前缀的一部分。剪枝压缩衰减继承的 trade 有条件:更少的准入上下文以丢已有的复用为代价。token total alone 确立不了缓存 effect 或价格。

在 Context Viewer 里检查

本章的 viewer scene 画本章自己的前缀几何:0–100 轴上声明位置 4、50、94 的同样尺寸 edit,各带结构可复用前缀与重算尾。打开 scene 按位置比 footprint。看什么:第一分歧落在哪,多少结构可复用。几何只说候选——可用、路由、过期、定价决定结构损失变不变成实现代价,这里都没观测。

三条等长条,靠近开头、中间、结尾各标一小 edit。靠近开头的 edit 在第一分歧后留长 hatch 重算尾。
同样尺寸的 edit 按位置结构 footprint 不同;实现复用或代价都没断言。按本章声明轴的构造示意。

在 Context Viewer 里打开前缀 scene

变更半径

前面小 edit 改可复用区的一大片,概念值得命名,因为改的 token 数 miss 它。结构变更半径是 mutation 引入的第一分歧之后,原来公共前导区(对指定参照请求)落下的部分。它须相对参照请求定义:记录参照前缀长、mutation 后前缀长、第一分歧偏移、陈述本地渲染计数法下的差。[第 2 章](/zh-cn/books/context/02-chapter/)的观察器测量宿主边界表示,不是 provider 的终分词或缓存块边界。所以结构半径是核算诊断,不是 provider 准入或实现缓存损失的直接测量;不 assumed 通用标量。

三条等长横条,各在不同位置标一小 edit。edit 靠前时几乎整个原来可复用区落在第一分歧后;居中约一半;靠后几乎没有,因为第一处变化之前的东西结构可复用。
变更半径。edit 每行同样尺寸;变的是原来可复用区多少落在第一分歧后。结构示意,不是测得的实现复用或重算。

不对称是小 edit 不一定小 footprint:

edit 小 ≠ 结构 footprint 小

文档展示 effect 的变体。OpenAI 列改前缀的办法有压缩、消息延长,Anthropic 给逐请求块上打断点的时间戳陷阱(每请求写条目从不读),Kimi 说前缀任何部分变,它之后的内容不能复用。

结构半径不是实现损失:

变更半径 ≠ 实现缓存损失

大结构半径能零实现代价,比如 edit 前根本没可用的匹配缓存条目。反过来 provider 报告的缓存读能为 mutation 之外的原因变,含路由、过期、请求时机。下面的实验因此拿结构测量和用量 telemetry、派生费用、延迟对比,不把每个 miss 归因到排布。后面的剪枝改写研究捕获允许时记录第一分歧和 token 省数,但只有受控证据说明它预测有用的实现结果,才把变更半径提成运营优化指标。

核算、计费与延迟

可复用前缀创建不免费。经济对比区分建立准入或缓存 state 的首次请求、报告缓存读的后面请求、没缓存剩下的处理。这些是核算类别,不是说 provider 字面做三次分开的算子或统一计费。缓存条目的生产成本、它还在的概率、后面准入请求数决定复用值不值。

请求核算
  首次用: 输入处理了,可能缓存 state 写了
  后面用: 报告复用的缓存前缀 token
           + 处理没缓存输入 token

报告的复用不是新重算的输入

那不是 provider 的计费模型。写是不是单独收费 provider 不一,不同 token 类别定价能不同,所以算子核算 ≠ provider 计费,计费不是延迟。

一常见结构下算术简单。写乘数 w、读乘数 r,相对普通输入,N 次用。缓存花 w + (N−1)r 对 N 次没缓存 N 次,所以 N > (w − r)/(1 − r) 时便宜。OpenAI 当前模型(写 1.25×、读 0.1×,2026 年 9 月文档)约 1.28,第二次用就过简单输入价格 break-even。Anthropic 五分钟写(1.25×)默认读乘数(0.1×)同样;一小时写(2×)要第三次用。这里忽略后缀成本、部分命中、过期、最小长度、路由 miss、延迟,不说行为。

provider 实现不同,是 dated 例子不是 law:

Provider 复用模式 准入与匹配 Lifetime Telemetry 定价(2026 年 9 月查)
OpenAI,GPT-5.6 及以后 隐式或显式断点,每请求 up to 四写 1,024 可见输入 token 最小 30 分钟,复用刷新 cached_tokens、cache_write_tokens 写 1.25×、读 0.1×
OpenAI,早模型 隐式 请求设置不定 大约 5–10 分钟 idle,up to 一小时 缓存 token 写不另收费;读费率看模型
Anthropic 自动或显式断点,up to 四 按模型 512–4,096 token 最小;20 位置回看;只在断点写 5 分钟或 1 小时,从请求开始计,复用免费刷新 创建、读、断点后 token 写 1.25×(5 分钟)或 2×(1 小时);读 0.1×,有的模型更低
DeepSeek 自动,磁盘 缓存前缀单元全匹配 几小时到几天清;best effort 命中 miss token 命中 miss 输入分开价格;查的页面写不另收费
Kimi 自动 块粒度;部分块算 miss 5 分钟或 1 小时,首次写锁定 缓存与写 token 一模型缓存输入是没缓存一成

这些行不能直接比,不提议跨 provider 综合分。lifetime 重要因为 miss 本身说明不了排布:相同前缀跨过期、路由变化、配置变化都能 miss。

最小长度下限

有的 provider 短前缀不缓存,所以下限下完全稳定的前缀零复用。早稿说前缀要"一百多 token"才值得扩展,从下限 alone 推不出,这里是推导。假设没缓存的稳定提示词 L₀ token 在下限 F 下,加材料到 F,缓存准入了。忽略后缀,N 请求缓存赢的条件 F(w + (N−1)r) < N·L₀,即 L₀ > F(w + (N−1)r)/N。F = 1,024、w = 1.25、r = 0.1,N = 10 时 L₀ 须超约 220 token,N = 100 时约 114,N 无限大时约 102。所以一百 token 上下是多复用极限。只算计费,把加的 token 当只花读费率,不管它们的容量与干扰成本。

这不是 padding 的推荐。为缓存加内容 justification 不了:

缓存准入 ≠ 准入 justification

有用的稳定材料本来就该在包里,缓存改变它的经济。它不让本来不必要的材料准入,padding 带来[第 5 章](/zh-cn/books/context/05-chapter/)要求测的臃肿干扰风险。

断点与复用决定

provider 暴露显式断点处,选断点表达运行时期待:前面区复用够多,值回 provider 规则下的缓存。断点排布是让哪些算子可复用的政策,不决定哪些内容属于上下文:

内容准入 ≠ 复用准入

实践里的稳定材料

跨很多请求复用的稳定工具定义在 provider 匹配、最小长度、lifetime 规则让它准入时是强缓存候选,早改一 schema 缩短后面一切的可复用前缀。OpenAI 建议定义与顺序一致,工具搜索延迟加载,发现的工具后追加。那是 provider 优化,不是 general law,工具设计归[第 17 章](/zh-cn/books/context/17-chapter/)。工具定义在窗口有 standing 占用,缓存改变它的价格延迟,不改变它占不占容量。

项目指令文件同样很多请求稳定,直到当前时间、会话标识、live 分支状态嵌进早期块。动态值往后渲染改善前缀稳定性,但行为等价须保留或测试,移动值改变位置相邻。

保留政策和可缓存性是独立轴:

保留义务 ≠ 可缓存性

每轮变的 PIN 管束条目(比如 live 部署锁)复用差,稳定的引用文件 eminent 可缓存。预测可缓存性(排布与 provider 假设下的期待复用)和实现可缓存性(观测到的)不同,本章不加新 label。观察器的 provider 报告用量是 provider 对处理的说法,事后 joined。它不把缓存读归因到单个 span,逐 span 读比直接观测不到,想要须派生或受控请求测量。

可缓存性不是相关性

span 的命中率不说明它该不该在。缓存的无关还是无关,没缓存的必需不是浪费因为它 miss。

可缓存性 ≠ 上下文价值

缓存没确立相关性、新鲜度、权威性、干扰 absence、臃肿 absence。它减少重算、延迟、输入处理成本(复用实现处)。Anthropic 的文档说缓存前缀照样占上下文窗口:缓存改变付费,不改变 token 计数。OpenAI 的页面没说。所以本章最干净的一句:

缓存让差的上下文更便宜。

缓存和选择互补。选择决定什么值得在场,复用决定重复在场的代价。内容政策问什么值得在场,保留政策问什么表示须留存,排布政策问哪出现,复用政策问以前的哪些算子值得保留。它们互动,不等价。

提议的实验

这里什么都没跑。companion 设计可选,只在生态语料确立跨请求复用的 plausible 机会,或单独记录的 pilot 确立,才跑。捕获的字节相同前缀 alone 证明不了 provider 让它们准入、条目还在、测经济 effect 的东西存在。

**测什么。**等价 mutation 的位置在一 provider 缓存下改变实现复用、成本、延迟否。结构半径不同从渲染请求确定性跟出,不用推理调用。经验断言是实现后果。

**分析单位。**一 provider 一模型一缓存配置下冻结的请求序列 fixture。fixture、条件、重复、provider、计时区间分开报告,一缓存 lifecycle 里重复请求不是独立观测。

**两家族,不是一对比。**mutation 位置家族里同样长度 inert 字段在靠前或靠后位置改。渲染总长度、字段尺寸、改的 token 数、实质任务、周围内容尽量按 provider 渲染允许固定;确认实际渲染请求,不信源模板。mutation 后后缀长度早晚条件匹配不了,因为正是位置 manipulation 改的东西。记录后缀长与第一分歧位置当 manipulation 的结果。改写家族里老段换机械建的固定长度 stand-in;干预改的不只 mutation 位置,单独分析。

**条件。**热稳定 control 确立当时可用的实现复用。再早 mutation、晚 mutation、append-only 增长、改写、阻止复用的冷或 churn control。每条件须有别的条件没有的东西。

**计时。**mutation 位置和过期是独立因子。文档的热身序列 prime 相关缓存 state;早晚 mutation 条件跨独立缓存 lifecycle 随机或平衡顺序,时间相近放稳定 control。热身后马上发请求限制但消不掉过期路由 confound。指定间隔重复稳定 control 描述可用 decay,记录实际流逝时间,不拿名义 provider lifetime 当条目还在的证明。

**度量,分开记。**结构:捕获表示尺寸、来源 label 的估计或 provider 报告 token 数、第一分歧偏移、mutation 前后公共前缀长。provider telemetry:选的 API 真报告处的缓存创建、读、miss 或没缓存 token,加 raw 用量记录。经济:记录 provider 模型定价模式货币生效日期的派生费用,估计和实际发票分开,单独报告的写费用算上。计时:instrument 处首 token 时间,测了就 total 延迟。没有的字段是没观测,不是零;报告缓存读 token 的变化是报告复用的证据,不是内部算子或病因的直接观测。provider 分开分析,不合成综合分。

**结果。**早 mutation 比等价晚 mutation provider 报告复用少,附近稳定 control 命中:mutation 位置在这个测试配置下当运营杠杆成立,记录的不确定度下。结构半径不同、实现复用不动:预测的几何差没产出观测的运营差。两 mutation 都不动复用:这些条件下 mutation 位置 benefit 没 demonstrate,不是永不重要的证明。稳定 control 经常 miss:缓存可用、路由、实验 setup 阻止干净归因。复用变价格不动:这里经济 case 没确立。派生费用变延迟不动:延迟改善不断言。telemetry 或重复不够:报告 unresolved,不做阴性发现。effect 量、重复 lifecycle variability、比较规则先报,再说有用差别。

等价早晚 mutation 在实现复用、provider 报告没缓存处理、派生费用、延迟上没测得差别,本书不能拿 mutation 位置当这个测试配置的优化杠杆。结构几何两种结局都活。

删除须交代什么

回到开篇场景,数是编的:上下文 120,000 token,缓存 80,000,其中 20,000 重复读取与过时输出。缓存降了它们的处理成本,没改成员。删除改的不只占用。决定台账(不是方程)列删除影响什么:

维度 删除的 effect
容量 占用降
处理与经济 重复处理降;实现复用可能丢
行为 干扰可能降;任务性能可能变
信息 损失风险涨
结构 第一分歧可能提前

项不等价,没定义效用模型不加总。删除成功一定改变捕获表示的成员,但不保证实现处理成本更低:前缀失效在一些定价复用条件下盖过省的。行为与信息 effect 分开评估,删除在受影响区从没准入或条目过期时能零缓存后果。下一章带着这个警告开始删除:

哪些上下文删了不丢必需信息,不毁掉价值超删除好处的复用?

参考

  • OpenAI. “Prompt caching.” Official documentation, verified September 2026. Behaviour differs by model generation: write and read multipliers, lifetimes, explicit and implicit breakpoints, minimum length, routing, layout guidance, prefix-change gotchas. Provider-specific and version-sensitive. https://developers.openai.com/api/docs/guides/prompt-caching
  • Anthropic. “Prompt caching.” Official documentation, verified September 2026. Automatic and explicit breakpoints, write and read multipliers with model exceptions, lifetime from request start with free refresh, 20-position lookback, minimum lengths, invalidation hierarchy, timestamp trap. Provider-specific and version-sensitive. https://platform.claude.com/docs/en/build-with-claude/prompt-caching
  • Anthropic. “Context windows.” Official documentation, verified September 2026. Cached prefixes still occupy the context window. https://platform.claude.com/docs/en/build-with-claude/context-windows
  • DeepSeek. “Context Caching” and “Models & Pricing.” Official documentation, verified September 2026. Automatic on-disk caching, full-match rule, hit and miss telemetry, best-effort lifetime; separate hit and miss input prices. https://api-docs.deepseek.com/guides/kv_cache
  • Moonshot AI. “Use the Context Caching Feature of Kimi API.” Official documentation, verified September 2026. Automatic caching, five-minute or one-hour lifetimes locked at first write, block granularity, stable-first layout advice. https://platform.kimi.ai/docs/guide/use-context-caching-feature-of-kimi-api
  • Zheng, L., Yin, L., Xie, Z., et al. “SGLang: Efficient Execution of Structured Language Model Programs.” Preprint, arXiv:2312.07104. RadixAttention for KV-cache reuse in an open serving system. https://arxiv.org/abs/2312.07104