Context From First Principles
把上下文看作从更大的信息世界中建出的有界工作集:选择、准入资格与表示,确定性的上下文编译器(Context Compiler),向运行时的可观察交付,以及行为评估,并诚实记录每种证据止于何处。
上下文窗口(context window)告诉我们模型能接收多少。上下文工程决定它应该接收什么、以什么形式、按什么顺序,以及必须略去什么。
想象一个 AI 编程智能体在一个成熟项目里工作。
它能看到对话。仓库里有几千个文件。项目有指令、架构笔记、测试、issue 历史、工具定义、之前的尝试、摘要、记忆、搜索结果、计划,以及几小时工作累积的状态。模型技术上能接受很大的提示词。
系统应该发送什么?
一种实现不断加材料,直到窗口几乎填满。另一种先确认当前任务,保留必须留存的东西,删除过时与重复的材料,把 bulky 的状态外化,只在相关时回忆,按 deliberate 的顺序排列留存的信息,并精确记录为模型组装了什么。
两套系统可以用同一个模型,访问同样的信息。它们的上下文并不相同。
这个差别就是本书的主题。
窗口不是上下文
生产 AI 系统能动用的信息远超一次模型调用该装的东西:系统与开发者指令、对话历史、项目规则、文件、检索片段、工具定义与结果、执行轨迹、计划与假设、摘要、记忆、外部文档、政策、缓存状态,以及智能体自己生成的 artefacts。
上下文窗口定义容量。它不决定哪些信息值得准入、哪些可以安全删除、摘要是否保留了后来 decisive 的事实、旧计划是否过时、两来源冲突时谁赢。它也不告诉我们,产出的上下文是否改善了模型的行为。
这些是上下文工程问题。
更严格的定义
本书把几个意思分开。
**可用信息(available information)**是系统潜在可及的一切。
**会话状态(session state)**是跨轮次或动作持久化的信息,无论当前是否展示给模型。
**上下文(context)**是为某次计算提供给模型的信息。
**上下文窗口(context window)**是约束这次调用的容量。
**上下文选择(context selection)**决定哪些候选信息进入。
**上下文表示(context representation)**决定准入信息以什么形式出现。
**上下文组装(context assembly)**把准入信息变成有序、合政策的包。
**上下文工程(context engineering)**是围绕这一切的工作:构造有界工作集,把它交付给运行时,并评估它是否有帮助。上下文是名词,上下文工程是必须证明 work 的过程。
这个分开重要,因为更大的窗口只解决一个问题。系统可以容量充裕而上下文很差。它可以纳入错误的证据,保留过时的指令,把 decisive 的信息埋在几千个 merely 相关的 token 里,压缩掉一个矛盾,检索到有用的东西却没准入它,以模型不好用的形式呈现正确的信息,或让不可信的来源看起来比项目规则更权威。
所以中心问题变成:
面对模型能吃或该吃不下的、潜在有用的信息,它现在应该看到什么?
本书还加了第二个后来同样重要的问题:谁能知道组装了什么、是否到达、改变它是否有帮助?
每一步都能成,下一步未必
从信息到行为的链条 link 很多,一处成功不 certify 下一处:
可用 ≠ 有资格 ≠ 已选 ≠ 表示恰当
≠ 合法组装 ≠ 已交付 ≠ 被用 ≠ 有帮助
上下文系统能构造结构合法的包,正确交付,仍无测得的改善。成品书里正好有这个结果,它 shape 了其他一切的呈现。
四个维度,不是一个
第 1 章用四个维度描述上下文包,日常 practice 把它们塌成一个:
容量 内容 表示 时间
多少? 哪些位? 什么形式? 何时有效、
有用、值得
保持 live?
大窗口解决容量。它不解决选择、表示、新鲜度、权威性、范围、来源、顺序或有用性。
这四个是 early 分解,不是全部架构。后面的章节加权威性、新鲜度、范围、依赖、政策、组装、传输与行为评估。
它们的证据也不均等。容量由 provider 与长上下文文献记载。本书自己测的只涉及组装交付后的内容、表示与顺序,而且只在小合成 case 上。时间,以及中间章节关于它的大半说法,是从文献与工程推理论证的。
时间值得强调,因为它把提示词变成别的东西。上下文增长、过时、重复、被摘要、离开 live 窗口、外化进文件、缓存、记忆或派生状态,有时回来。智能体还通过计划、笔记、摘要、工具轨迹与批评制造未来上下文。
上下文因此不是静态提示词。它是变化的工作集。
七个问题,不是一袋技巧
调查按七个实践问题组织:
- 模型实际收到了什么?
- 什么信息对这个任务重要?
- 什么必须精确留存,什么可以变换?
- 什么可以离开 live 窗口?
- 什么该回来,何时回来?
- 留存的信息该怎么排序、怎么表示?
- 改变上下文改变了行为吗,改变有用得值得这套机器吗?
顺序重要。改上下文前先观察。压缩前先决定什么必须留存。加检索、记忆或外部存储前,先弄清信息为什么离开 live 窗口。优化 token 数前,先查更便宜的上下文是否还支撑同样行为。加精巧机制前,先展示简单系统解不了的失败。
最后一个问题分开影响与效用。行为变了说明上下文起作用了。它不说明往好的方向起作用了。
方法,以及实际完成了什么
方法 deliberate 保守:建最强的简单基线,测量,stress,找失败,诊断发生处,只加诊断要求的机制,再跑同样 case 检查 work 的东西没坏。
观察 → 基线 → 失败 → 最小干预
→ 受控测试 → 消融 → 保留、修订或删除
上下文工程里 plausible 的机制很多。更大的窗口、缓存、剪枝、摘要、检索、记忆注入、结构化状态、分级保真度、外化、图与政策层听起来都有用。但有用是有条件的。机制只有修了 demonstrated 的问题,质量、成本、延迟、复杂度代价可接受,才进终架构。
这是本书主张的方法。它不是说每机制都走完了 loop。剪枝、压缩、衰减、外化、回忆、缓存感知改写是从文献与工程推理论证的,没有当独立 pass 建出来测。本书把它们留在讨论里,记为有条件的。没建不等于已证明不需要。去掉机器的阴性结果留在论证里,书到达的系统比产出它的调查小。
证据怎么呈现
两套独立分类贯穿全书,回答不同问题。
第一是来源(provenance):断言从哪来?既定背景是取自一手来源的标准技术事实。本书假设是本书提出待测的预测或机制。本书结果是关于测到的东西的断言,写清覆盖的总体,可跟踪到冻结 artefact。
第二是证据边界:证据支撑哪种命题?结构证据关于 artefact 是否满足声明的约束。传输证据关于意图 artefact 是否到达观测的运行时边界。行为证据关于上下文的受控变化是否改变模型行为。生态证据关于这些在真实工作中多久发生。
正文不印 commit hash、run 标识或软件版本。每个结果有短名,背后的标识、代码修订、发表 artefact 列在 companion 仓库的证据登记里。后来的实验改变看法时,正文写之前怎么想、现在怎么想;登记保留历史。
更大多半不更好
本书的中心断言之一 deliberate 谦虚:
让模型可及更多信息不保证更好的行为。
它不是说更多上下文让模型更差。更多上下文能帮忙。断言是数量是不合格的优化目标。
支撑分层。书外,受控研究显示性能可以取决于相关信息的位置,可以随输入变长或干扰加入而下降,虽然 effect 大小随模型、任务、测试设计变。1那些研究没说明给定生产智能体同样失败。
智能体特定的失败模式,目前是工程推理与假设。重复证据耗预算。旧计划可能与当前竞争。失败尝试可能被读成指令。检索片段可能 topical 相关、操作无用。摘要可能保留主题删掉例外。第 5 章把智能体特定的预测写成假设。
本书自己的行为证据走两条小流。一条里,本地 reader 在六个构造任务上收到冻结包。从无上下文到编译器包改变了每个完整回答,六个所选动作里四个变了,两个任务分数提高、一个变差、三个不变。几个组装器之间的对比后来发现涉及相同的包,一个对照任务 ambiguous,所以这些结果是关于 reader 做了什么的 case 证据,不是 general 估计。另一条里,一波 24 个 live run 验证了每跑的交付,测得的结果上没改善。两者都在下面描述。
所以 token 数不是有用上下文的 proxy。要紧的测试是行为测试:
任务模型固定。改变上下文。模型行为变了吗,变化有用吗?
上下文窗口是预算
窗口不只是尺寸限制。它是预算。每准入项消耗 token、注意力、延迟、provider 成本、缓存性、与其他信息的竞争的某种组合,所以纳入有机会成本。
保留 raw 证据可能比摘要贵,但保护要紧的区分。内联大工具结果可能简化访问,但挤掉源材料。保持稳定前缀可能改善缓存经济,但约束易变材料的排布。
工程问题不是最大化占用。是决定什么值得预算,预算是上限不是目标。
先删除,再压缩
上下文太大时,摘要是诱人的一反应。本书把它放后面。
改写信息前,先问它该不该 live。重复可删。完成的工作可退役。失败分支可外化。过时观察可失效。bulky artefact 可换稳定引用。到那时有损压缩才是下一步。
顺序重要,因为两算子断言不同。删除无关材料对当前任务可以无损。压缩断言某些东西消失不改变未来行为,这个断言要证据。更小的提示词不是成功的证据。
压缩是信息选择
更短的摘要不自动是更好的表示。它能保留 gist 而删掉矛盾、数值约束、例外、没解决的问题、不许重复的失败尝试,或 license 结论的证据。
所以问题不只是省了多少 token。是哪些信息留存、哪些消失、损失改变行为否。有些信息耐激进 reduction。有些要结构,有些要回源的指针,有些必须 verbatim。token 不等价。
上下文能离开而不被遗忘
有界的模型输入不要求有界的系统。信息能离开 live 上下文而在别处可用:
live 上下文是暂时的。可及状态能持久。
外化制造第二个问题。信息离开工作集后,系统怎么知道是否、何时带它回来?检索出现在这里正为这个:不是上下文或记忆的定义,而是为不再 live 的信息产出候选的一种办法。检索识别并排序候选。上下文工程仍须决定检索项进不进、以什么形式、什么 standing、什么代价、什么顺序。本书只取需要的边界,不重教检索。
记忆是上下文来源
本书跟在 Memory From First Principles 之后,但两问题不同。
记忆问保留的过去经验怎么保持改变现在行为的能力。上下文问哪些信息与状态实际提供给一次执行。记忆系统能保留几年项目历史;上下文系统决定其中任何进不进这次模型调用。
记忆因此是上下文来源之一,和检索、对话、工具、文件、政策、五秒前智能体生成的 state 并列。上下文工程坐在这些来源竞争准入的位置。
智能体写自己的未来上下文
智能体系统有不寻常的属性:模型既是未来上下文的消费者又是生产者。现在写的计划以后可能成输入。摘要可能替换它派生的消息。假设能跨工具调用 persist,工具轨迹能成证据。
上下文 → 模型动作 → 生成的 artefact 或状态
→ 未来上下文候选 → 后面的模型动作
智能体不只消费上下文。它参与制造后面执行消费的信息环境。差的上下文能自我复制:错误的摘要能比它替换的 raw 证据活得久,推测的计划能经重复获得权威性,派生 artefact 能在源变了之后还在流通。生成的上下文与检索的上下文要同样的 scrutiny。
工具也一样。从模型看它们制造上下文。定义耗 token,输出能大而 noisy,错误变成 state,重复观察累积。系统因此须决定暴露哪些工具、schema 细节给多少、哪些输出保持 live、何时重读源而不信 earlier 摘要。工具不只作用于世界。它们重塑模型知道的东西。
表示是上下文的一部分
同样的信息能以 raw 散文、引用证据、表格、类型化状态、图边、结构化记录、摘要、diff、紧凑引用出现。这些形式不等价。表示改变 token 成本、哪些关系显式、来源留不留得下、什么能意外省略,以及模型可能注意到什么。
所以选对来源不是工作的终点。表示须挣得位置。两区分重要。内容同一不是表示同一:一份信息能有几种形式。那些形式不总可互换。精确片段旁边的摘要、概览旁边的指针能互补而不冗余。本书当前编译器每内容至多准入一种形式,这是实现限制不是 law。
本书展示表示在保留与代价上不同,展示编译器在政策下限里选择表示。它在小 case 之外没确立哪种形式模型用得最好,数值表示排名当政策处理,不当通用保真梯子。
权威性、新鲜度与范围
几来源组装后,相关性不够了。检索文档可能 topical 对、项目错。记忆能保留已被推翻的决定。工具结果能与缓存摘要矛盾。项目规则能与旧对话冲突。计划能完成,依赖版本能移动,用户能改方向。
系统需要足够的来源与政策来问:哪来的,是 raw 证据还是派生解读,还 valid 吗,属于什么范围,两断言冲突时哪个来源有 standing,原件能重开吗?
权威性、新鲜度与范围因此是独立的准入约束,不是额外的相关性特征。更丰富的判断在上游投影成 verdict,编译器执行给它的 verdict。它不发现来源是否权威、是否 current、是否范围内。本书的 builder 对测试的来源类实现窄投影:范围按相等、新鲜度按给定的状态、权威性按来源类表。那些是政策,不是对真实仓库验证的 truth,开放问题正在这里。
从信息到上下文包
后面的章节里,中心链条变显式:
可用信息
↓
观察 (类型化记录,归一化)
↓
候选项 (每种的形式,带投影的判断)
↓
上下文编译器 ← 请求与政策
↓
包 + 决策轨迹 (或具名拒绝)
↓
渲染与传输 envelope
↓
运行时适配器注入
↓
宿主模型-上下文边界
↓
独立只读观察器,以及 reconciliation
↓
- - provider 与模型路径:不直接观测 - -
↓
行为
↓
外部评估
每箭头都能坏。有用的信息可能成不了候选。好的候选可能被拒。过时的候选可能因为有人说它新鲜而准入。合法的包可能到不了运行时,或到两次。模型可能无视挺过前面每阶段的信息。终答案可能看起来正确而依赖错误的证据。
候选 builder 坐在前面。它不发现来源。它拿调用者给的类型化记录,归一化成观察,为每种生成确定性形式(全文、有损截断、锚点、指针),附上编译器要的判断。发现、观察、表示、准入资格投影是四件不同的事。
观察点坐在宿主的模型-上下文边界。本书没捕获 provider 请求,看不见模型里面。观测的宿主上下文不是 provider 请求,两者都不是模型使用的证据。
一阶段成功不 certify 下一阶段。正确答案不说明前面每阶段都 work。正确的包不说明交付。交付不说明使用,使用不说明 benefit。benchmark 上的 benefit 不说明机制在真实工作中重要。
这就是本书度量路径而不只给终输出打分的原因,也是每阶段允许的证据种类分开的原因。
上下文编译器(Context Compiler)
链条中间是上下文编译器(Context Compiler),名字取窄义。
编译器不把整个输入 universe 倒进目标。它拿定义的输入,强制约束,为特定执行产出特定 artefact,或具名拒绝。
请求(预算、活跃范围)
+ 候选项(带代价的表示、准入资格
判断、必需项、依赖)
+ 政策
↓
上下文编译器(CONTEXT COMPILER)
↓
ContextBundle + DecisionTrace 或 CompileFailure
编译器为一次计算决定成员、表示与顺序。它是确定性的。它把范围、新鲜度、权威性、表示下限当硬门强制,可以拒绝。
它不发现范围、新鲜度、权威性。它不写摘要,不判断摘要是否忠实,不判断答案是否有用。
关于编译器的三个问题要分开的证据。可靠性问返回的包是否满足强制的约束。完备性问合法包存在时流程找不找得到。最优性问合法包里找的是不是最好的。本书的证据三处不均。编译器在有限合成语料的 42 个条件上全对 fixture 期待,34 个期待成功、8 个期待拒绝。那是对有限语料的一致性,不是之外的完备性,构造的反例说明贪心流程能拒绝存在合法包的请求。当前编译器的拒绝因此不证明不可行。最优性不断言。确定性不等于正确,第二个复现第一个缺陷的实现也一样。
编译器是本书构造论证收敛处。它的每条规则都是前面章节展示的失败的答案。最后的章节再问构造证明了什么、artefact 到达否、改变它改变行为否。
当前调查
全书 27 章五部分,走一个 progression:看见、缩减、外化与恢复、治理、编译、交付、观察、评估。
**第一部分,看见东西(第 1–7 章)。**定义上下文,观察模型收到了什么,弄清容量、顺序、信息的不同性质要什么。
**第二部分,容量与缩减(第 8–12 章)。**对有界窗口的主要回应:更大的窗口、缓存、剪枝、压缩、逐渐衰减的保真度。
**第三部分,窗口之外与周围(第 13–18 章)。**外化与回忆、智能体自己生成的状态、记忆、工具、表示。
**第四部分,治理(第 19–21 章)。**权威性、新鲜度与范围:决定候选能不能被考虑的判断。
**第五部分,编译、交付、证明(第 22–27 章)。**为什么排序不是组装,组装的编译器,编译证明什么、不证明什么,结果到达观测边界否,是否有帮助,整个系统什么样。
四种证据分开,书末 state 不均。
结构证据关于包 artefact:成员、顺序、表示、预算合规、确定性。有有限合成语料、共享假设的独立检查器、复现第一个缺陷的第二个实现、完备性反例。它不说明模型收到或用了包。
传输证据说明意图 artefact 到达可观察运行时边界。 rests 在一历史 qualification(earlier 配置)、一仪器 failure、后来 verified 的 wave。它到不了宿主边界之后,不说明模型依赖了什么。
行为证据说明上下文的受控变化在陈述条件下改变测得的行为。有六个构造直接 reader 任务与 verified 的 live null 结果。不说明 general 有用性。
生态证据说明这些在真实使用里多久发生。本书没有:真实会话语料是空的,终章直说了。
第 8–21 章的大多数机制是从文献论证的,没有自己的实验。有证据处不均:更强的结构 core、窄传输证据、小行为 case 证据、无生态证据。
建两样东西
本书建上下文运行时,也建 distrust 运行时的仪器。系统不能问交付它的部件证明上下文到达了。
仪器从高级架构之前开始。只读观察器记录宿主为模型组装的上下文:系统材料、消息、工具定义与顺序。它是独立代码路径,从不修改读到的东西,它不是独立 failure domain,因为它和注入的部件住同一包、同一进程、同一 hook 框架。旁边实验 harness 记录模型做了什么的结果、token 数、打分,上下文去掉、恢复、重排、压缩、替换时对比。
limit 说清了。观察器看到宿主为模型组装的东西。它看不见权威性、范围、仓库 state、provider 侧改写、缓存决策,到不了模型。
reader 把仪器当 Context Viewer 遇到,它随上下文编译器(Context Compiler)在书里一起长。第 1 章它是看占据观测上下文的东西的办法,每章长一能力——预算、顺序、压缩损失、新鲜度、编译器决策、交付验证、行为证据——直到第 27 章把整个 lifecycle 收拢。每发表 figure 都从与其交互例子同样的 scene 数据生成,每 scene 说清测了什么、推断了什么、模拟了什么、还 unknown 什么。Viewer 回答什么可用、什么被选、什么变了、观测到什么、可能哪错了、什么证据支撑结论。它不回答编译器是否改善行为;那仍要受控评估。
本书两种失败都要,才能看清容易 blur 的区分。第一波 24 个 live run 在观察器没 live 时执行,每跑零 valid 观察。跑前检查验证了 identity、版本、digest,全过而 live 路径死了。静默仪器证明不了 treatment 在场或缺席,那波在两方向都不支持行为结论。
教训用了。后来 24 跑一波,八 fixture 各在无上下文、匹配干扰、精确最小证据下,liveness 门与逐跑 reconciliation 每跑验证传输:无上下文跑缺席,其他跑期待块恰一次。任务分数八条件全零,证据使用度量全零,harm flag 落在同样的两任务。分数坐 floor,那波也不可能 showing 下降。那是对这个 reader、这些 fixture、这个仪器的 valid、有界 null 结果。它不说明上下文没 effect。
执行的推理 + 没验证的 treatment = 无 valid 结论
执行的推理 + 验证的 treatment + 不变的结果 = 有界 null
失败的实验与阴性结果是两回事,manipulation check 分开它们。
本书说某机制帮忙时,断言绑在行为上,不绑 token 数,只到证据覆盖处。
读完之后能做什么
目标是实践的。读完你应该能看自己系统的上下文,建改善它的小工具,为任务 deliberate 设计上下文而不是靠累积。章节 notebook 是开始建的地方。
你也应该能问比*上下文窗口多大?*更难的问题。模型实际收到了什么,什么可用而被排除?一东西进、一东西留外的为什么?什么必须精确留存,变换丢了什么?什么离开 live 上下文但可恢复,什么回来是为什么?智能体生成了什么,什么过时了,什么跨了范围边界?两来源冲突时哪个来源有权威?改变上下文改变行为否,有帮助否,架构里哪些部分是测得的结果、哪些是 attractive 的想法?
这些问题把上下文工程从提示词手艺变成系统工程。
更大的想法
更深的论证不是提示词该短该长,不是有检索、记忆、摘要、大窗口的系统才需要。它是把一次执行的有界工作 state 当 deliberate 从更大的信息世界构造、经可观察运行时路径交付、在 effects 被断言的边界评估的东西。
这个构造须决定什么进、什么留外。须保留要紧的区分,不让过时或超范围的信息获得 accidental 影响。须把信息移出 live 窗口而不让它 irrecoverable,带回来而不 flood 模型。须在来源竞争时保留来源与权威性,尊重预算而不把更少 token 误当更好上下文。须交付,并测它是否让模型行为更好。
终点是能回答更 demanding 问题的系统:
什么信息应该被允许影响这次计算,以什么形式,在什么约束下,什么证据说明这个选择帮忙了?
有时答案是 raw 源段落、结构化记录、工具结果、记忆、紧凑引用、摘要或指令。有时是什么都没有。价值不在给模型一切,也不在简单给更少。在给对的信息、对的形式、对的 standing、对的时刻,并能说出为什么:什么进了、什么没进、什么表示、什么代价、到达观测边界否、改变它改变行为否。
本书对多少 established 很 candid。它在有限合成语料上演示确定性包构造,在宿主模型-上下文边界记录窄传输证据,报告直接 reader case 证据与 verified 的 live null 结果。它没确立 general 行为 benefit、喂编译器的判断的 truth、这些失败在真实工作里多久发生。建 trustworthy 的候选,以及证明这些在真实 workload 上重要,都是 open 的。
成就不是完美上下文的 recipe。是把上下文工程的阶段分开,让每阶段在断言处可检查、可测量、可证伪的办法。
上下文工程从大窗口不再是答案时开始。
继续读什么是上下文。
参考
- Project Context 证据登记(companion 仓库,
evidence/README.md)。本书引用的每测得结果按短名;标识、代码修订、artefact digest 在那里不在正文。本介绍提到的结果是 Compiler construction、Implementation parity、Instrumentation failure、Matched behaviour、Reader-transfer probe 与 Oracle leverage requalified run。Live compile-to-observe qualification 与 Earlier runtime qualifications 是传输断言背后的传输结果。完备性反例与有限可行性审计是探索性的,register 里还没冻结。
-
Liu, N. F., Lin, K., Hewitt, J., et al. “Lost in the Middle: How Language Models Use Long Contexts.” Transactions of the Association for Computational Linguistics 12 (2024): 157–173; arXiv:2307.03172 (2023 preprint). Peer-reviewed. Hsieh, C.-P., Sun, S., Kriman, S., et al. “RULER: What’s the Real Context Size of Your Long-Context Language Models?” COLM 2024; arXiv:2404.06654. Peer-reviewed. Modarressi, A., Deilamsalehy, H., Dernoncourt, F., et al. “NoLiMa: Long-Context Evaluation Beyond Literal Matching.” ICML 2025; arXiv:2502.05167. Peer-reviewed. Hong, K., Troynikov, A., Huber, J. “Context Rot: How Increasing Input Tokens Impacts LLM Performance.” Chroma technical report, July 2025. Not peer-reviewed. 第 5 章给出每项的细节与 limit。 ↩︎
章节
上下文是什么意思
把上下文与提示词、上下文窗口、会话状态、记忆、检索,以及系统可及的更大信息宇宙分开。
测量仪器
改善之前先观察运行时为模型组装的上下文:观察器坐在哪、看不见什么,token 怎么计数,仪器为什么先 qualification 才能信任。
你没敲的上下文
用 Claude 与 Claude Code 当 worked case,给组装上下文的内容分类来源,第一方文档、分布式软件、第三方提取分开。
上下文窗口是预算
把模型窗口当分配问题的外约束,区分 provider 上限、运行时自己的准入政策与成本,不再把容量当填满的目标。
多不更好
把容量和有用性分开:受控研究关于长输入、干扰、位置说明了什么,对智能体没说明什么,本书怎么测迁移。
顺序改变含义
说明上下文是序列而不是集合:顺序改变什么、不能和什么搞混,为什么顺序是上下文身份的一部分。
不是所有 token 都相等
保真要求、恢复条件、任务需要推导保留政策,不用单重要性分数,定义后面缩减章节须满足的契约。
把窗口做大
问更强的长上下文模型消除、减少还是搬移上下文管理问题:模型侧机制改变什么和只有运行时能决定的分开。
先复用,再重算
把跨请求前缀复用当上下文排布的经济与结构属性:重复上下文何时不必重复算子,怎么测复用,为什么可缓存性不说明内容该不该在。
删掉不再重要的东西
把剪枝当现行上下文的删除(无语义替代),删除安全当反事实、有证据等级的断言,删得安全和何时删分开。
压缩就是损失
把压缩当表示变换,损失须对声明的保留义务测量,选择失败和变换失败分开,文本质量和留存效用分开。
让旧上下文衰减
问一内容对象多种合法表示在条件变化下选择是否好过一次 abrupt 全量到压缩跳转,什么须测量才知道。
把工作集外化
让有用的信息离开现行上下文而不丢失:外部 payload 可恢复,系统须保留什么,怎么独立模型行为测试。
只带回需要的东西
把外部信息回来当和候选生成恢复分开的准入决定,表示和范围分开,直面渐进披露的停止问题。
智能体写自己的上下文
智能体产出的东西成未来上下文前先治理:状态、证据 lineage、lifecycle 纠正,持久化不能当确认混过去。
记忆是上下文来源
把记忆当进公共准入机器的 durable 来源之一,问它要不要任何 special 准入机制,让克制当测过的能力。
工具产出上下文
工具两独立治理的面分开算账:调用前占上下文的能力表示,调用后成候选信息的结果,省两边上下文丢什么都要测。
表示是上下文的一部分
该模型可见的信息取什么表示,组织编码怎么改变模型能做的操作、保留的区分、消耗的资源?
谁有权是对的?
准入上下文条目竞争或试图指导行为时,每样管什么,每断言什么 standing,分歧何时保留不解决。
上下文会过期
捕获或派生的上下文条目继续 stand 它相关的来源 state,什么证据 license,验证作废派生 state 什么意思。
上下文留在对的世界
条目影响算子前须描述、属于、valid 于哪个世界,范围、共享适用、迁移、隔离怎么 trade 污染和遗漏。
为任务组装
给定能参与算子的候选,什么约束决定 valid 包能不能组装,哪些合格材料占有限预算,为什么正确的输出有时是结构化失败。
上下文编译器
本书挣到的约束强制执行的最小确定性机制:它吃什么,保证什么,实现哪里是或有政策,spec 哪里超前它。
编译证明什么
编译器每种结构证据确立什么,什么假设下,什么没证明:可靠性、完备性、最优性、轨迹、检查器、parity、identity。
到达模型了吗?
编译 artefact 不是交付 artefact。编译器的 artefact 到达定义边界的观测充分是什么,当前仪器确立什么,reach 止于哪。
上下文帮忙了吗?
给定供给上下文的受控变化,什么证据把行为差归因给它,什么证据说那个差别有用?六个构造任务、一 reader,bound 它们的阴性结果。
完整的上下文系统
项目建的端到端路,每部件决定什么、 mere 消费什么,每边界什么证据支撑,最后几章的发现什么还没挣到。