← Context From First Principles

顺序改变含义

说明上下文是序列而不是集合:顺序改变什么、不能和什么搞混,为什么顺序是上下文身份的一部分。

这里有个编的说明,不是事故。harness 团队发小升级。上下文条目集合没加没减。发版注只提渲染变化:工具结果现在出现在项目规则上面而不是下面。假设团队的部署安全规则(智能体几个月一直遵守)开始被违反。条目文本没变,序列变了,观测的行为变了。这 justify 调查顺序回归;还没确立移动导致违反,或哪段改变的关系要紧。团队要用受控 replay 把真排布 effect 和模型 variability、跑间别的差别分开。

标题是简称。移动文本不改变条目说什么。它改变条目间的关系,连同包怎么用。本章问顺序控制什么,答案比位置大。

上下文是序列

上下文包不只是模型取用的信息集合。在组装的有序表示层面,写成 C = (c₁, c₂, …, cₙ),每 cᵢ 有内容和相关边界或 metadata。条目相同、序列不同的两包是不同的上下文条件,词没变也一样。这个形式化描述观测或编译器产出的序列,不是说 provider 保留每边界或下游渲染同样序列。顺序是上下文身份的一部分:

条目相同 ⇏ 上下文相同

那是本章的形式断言。剩下全讲顺序变时什么变,怎么不把一东西误当另一东西。

顺序能变什么

“顺序"覆盖几种不同类的 concern。四是渲染条目间的关系。另两和顺序互动,但不是它的属性。

Concern 类型 变什么或观测什么 证据状态 后面的 owner
位置 渲染排布属性 条目落在哪 外部受控结果;智能体迁移没测 本章
相邻 渲染条目间关系 一起用的条目距离 假设 本章
分组 结构关系 连续或共享 label 下 假设;一矛盾结果 本章
时间排序 时间性条目的政策 按时间还是别的顺序 没测 本章
优先 指令间政策关系 哪个指令管 provider 文档化的政策 第 19 章
稳定 跨调用属性 请求之间哪些 span 不变 provider 文档化的缓存行为 [第 9 章](/zh-cn/books/context/09-chapter/)

六 concern 相关不等价。位置、相邻、分组描述特定渲染排布里的关系。时间排序是关于事件或状态的条目的排序政策。优先是哪个指令管的规则,不是序列里的位置。稳定性是调用间关系,有缓存后果;它本身不是价格或行为 benefit。

**位置。**条目在渲染序列里落在哪。直接证据是 Lost in the Middle,第 5 章 review 过:在测试的问答与键值检索里,相关信息在场,性能还看它出现在哪。那是那些任务上的受控结果。智能体形状包里的位置是本书假设,本章不另称。长度、任务复杂度、字面重叠的更广长上下文结果不是位置证据,不拿来当。

位置在普通重排里很少单独变。移动条目能改变绝对与归一化位置、离当前请求或相关证据的距离、邻居、组成员、跨调用的匹配前缀。消息 role 与边界只在渲染算子也改它们时变;消息内重排不必。位置实验只在伴随差别 hold 固定、平衡、显式报告的程度可解释。特定排布下有些距离独立 hold 不住,那些 effect 还是 confounded。

**相邻。**一起用的条目间的渲染距离或邻居关系:工具调用和结果、断言和证据、规则和它约束的操作、例子和问题。token 距离、条目距离、间隔的分组边界数可测。假设是拉开依赖条目的距离可能降低成功合用。那是待测的候选。第 5 章去掉干扰的机制断言,这里不做。

**分组。**相关条目连续渲染或在共享结构容器 label 下时分组。可能的好处含共享标题、距离小、位置可预测,没有一个是测得的结果。第 5 章记录了挡住通用规则的结果:Chroma 技术报告里打乱 haystack 有时打赢连贯的,机制 unresolved。可以提议任务相关时连贯帮忙、filler 时有害,但那是假设,要 relevance 和连贯一起 manipulation 才分得开。分组也改变相邻,简单 manipulation 里两者可能分不开。

**时间排序。**时间性条目怎么排:按时间、按时间倒序、按 role 分组。每种排布 foreground 不同的关系。记录准确描述时按时间序保留叙述 progression;按时间倒序在简单线性呈现里让新记录好遇到;按 role 分组收拢同类条目,但可能把行动和结果分开。这些是设计可能,不是 demonstrated 的改善。而且条目的时间戳、它描述的事件时间、它准入的时间能不同。时间政策须点名按哪个时钟排序。时间排序在本书自己的实验里没测。

few-shot 提示词提供最早的相关证据。Zhao 等(ICML 2021)发现 GPT-3、GPT-2 的 few-shot 分类精度随提示词格式、例子、例子顺序从近瞎猜变到近 SOTA,归因一部分到偏向提示词末尾或预训练常见的答案。那是那些条件下的行为 effect。长智能体轨迹有没有类似,推测。

recency 一词指三件不同的事:时间新鲜度(更新的信息)、渲染靠后(靠近末尾)、偏向后呈现选项的行为 bias。它们不是一回事。新条目能渲染在前,旧条目渲染在后,位置 effect 能和真实新鲜度无关。新不等于渲染序列里靠后。新鲜度是[第 20 章](/zh-cn/books/context/20-chapter/)的主题。

一动,多 effect

拿包尾读:项目规则、两文件摘录、三工具结果、当前请求。harness 团队把规则移到请求紧上面。

一 edit 改位置,规则从早中部到靠后。改相邻:规则离请求近了,离早些邻居远了。分组只在移动拆散或并入定义的组时变。跨调用匹配前缀可能变短,看上请求和 provider 渲染缓存规则。规则的形式权威性只在 role、来源、适用政策保留时不变。时间性条目的时间排序不必变,移动的规则相对那些条目的位置变了。

所以一处物理 edit 能改几个可测关系,政策关系不动。行为变了,团队可能 credit 它想改的,不加 control 归因不到任何一关系。一次改几个维度的 harness 变化不能把行为差归因到其中之一。

序列不是权威性

团队有时观察后项好似权重更大,或前项定框架,结论位置赋予重要性。然后拿位置当 control 钮:最想遵守的规则放最后。包变成一套关于 standing 的 hint,用序列表达。

*显著性(salience)*在这里是呈现顺序伴随的选择、使用、加权变化的简称。它不是直接测得的内部量,不是权威性。Wang 等(arXiv 预印本,2023)报告候选回答的质量排名能被出现顺序改变,GPT-4、ChatGPT 当 evaluator:某排序下 Vicuna-13B 在 80 查询里 66 赢 ChatGPT,evaluator 是 ChatGPT。支持的结论窄:候选顺序改变测试评估里的 LLM 裁决 verdict。它没展示裁决注意了什么,关于智能体里指令跟随什么都没说。

要紧的区分是位置的行为影响和政策权威性。移动指令改变 compliance,不等于它的权威性变了。OpenAI Model Spec(2026 年 8 月 18 日版)描述指令层级从 Root 经 System、Developer、User 到 Guideline。权威性经指令来源与适用政策 assign,不靠离答案物理近。同权威性层级,后面适用的指令能 supersede 前面冲突的;这是带条件的政策规则,不是"谁文本最后谁赢"的 general 断言。spec 还把工具输出与引用文本默认当不可信。这是 OpenAI 自己系统的文档政策,不是通用 law,也不是模型总遵守的证据。别的 provider 政策能不同。

三不变量跟出来,值得用本书自己的词汇陈述:

新鲜度  ≠ 权威性
位置    ≠ 优先
靠近    ≠ 范围

物理序列不足以表示权威性与范围。后面的章节把权威性范围显式化,不经排布隐式编码。

缓存顺序与行为顺序

稳定性 concern 值得一 caution,完整机制归[第 9 章](/zh-cn/books/context/09-chapter/)。OpenAI 的文档说缓存复用要求整个渲染前缀匹配,压缩截断之类的变化改前缀、重置复用。前缀匹配缓存下,顺序变化缩短可复用的匹配前缀。那是 provider-specific,计费、延迟、本地运行时缓存是另外的事。

durable 的是:缓存最优顺序和行为最优顺序不必重合。缓存可能 favor 稳定 span 在前。行为可能 favor 别的排布。排布政策须说清优化哪个,或怎么 trade,默认哪个都不是。

证据,按类型

本章背后的结果是不同的证据,不等价:

结果 界面 证据类型 迁移到智能体
位置依赖(Liu et al., TACL 2024) 问答与键值检索,2023 代模型 同行评审受控结果 没测
例子顺序 effect(Zhao et al., ICML 2021) Few-shot 分类,GPT-3、GPT-2 同行评审受控结果 没测
顺序改变裁决 verdict(Wang et al., 2023) 两两 LLM 裁决 预印本受控结果 指令跟随没测
打乱打赢连贯(Chroma,2025) 针任务,18 个模型 技术报告结果 机制 unresolved
Role 定权威性(OpenAI Model Spec) OpenAI 模型 provider 文档化政策 不是行为证据;不通用
前缀匹配缓存(OpenAI) OpenAI API provider 文档化缓存行为 provider-specific

本章拒绝三句诱人的话。“重要信息永远放前面"把权威性和 primacy 搞混。“请求永远放最后"符合常见 harness practice,没挣到 law 的地位。“中间上下文被忽略"把退化曲线变成数据从没支持的删除断言。结果分歧处,比如 Chroma 和聚类帮忙的直觉分歧,两边都留可见。

提议的实验

本节什么都没跑。第 5 章引入位置实验,本章复用那个设计,不 claim 独立证据。位置、相邻、分组在相关 fixture 计划里当不同问题提。它们在每渲染排布里保证不了独立变:移动证据通常改变邻居距离,分组常常改变相邻。干净干预不可能处,分析须点名 compound manipulation,不拿结果当孤立 effect。

每实验任务 fixture 是主要分析单位;一 fixture 上重复跑估计 fixture 内 variability,不是独立任务。位置条件里归一化位置定义成关键条目中点 token 序号除渲染 token 总数,选五个覆盖可行范围的目标位置。报告达到的位置,不只 label,连同 token 数差、role 边界、腾地方 displaced 的内容。harness 固定前导指令或尾部用户请求时,“第一"“最后"的目标可能 infeasible。

**位置。**同样关键证据跨可行位置移动。任务、模型版本、设置、指令、工具访问、当前请求排布固定。平衡 vacated 与新位置占什么干扰,记录 identity、位置、离证据的距离。重复跑测证据恢复、任务成功、不支持的断言。位置间可复现差别支持测试任务里这个排布干预的 effect;它本身认不出内部位置机制。没检出差别,报告测试的不确定与灵敏度,不宣布位置无关。剩下局限:位置、离请求的距离、邻居 identity 不总能独立变。

**相邻。**一起用的两条目距离跨几个可行 separation 变,不只相邻和远。内容、任务、模型设置、总长度、结构 label 尽量固定;平衡中间材料,报告达到的距离和绝对位置。fixture 与重复跑测正确合用、任务成功、不支持的断言。距离相关的可复现差别支持测试的相邻干预,不支持纯机制断言,因为 separation 变也改变中间材料或某条目的位置。null 结果是测试的 separation 与精度下 effect 没检出;不证明相邻永不重要。

**分组。**相关条目连续对分散。因为分组改变相邻,除非结构 label 能在相近距离下变,这是 compound 排布干预。分不开相邻,本书该直说,断言 deferred。

时间排序这里不测。哪种排布 serve 编程智能体修复,答案随轨迹长度变否,还是假设,等自己的 fixture 家族。第四个关于指令数据顺序的 fixture 掉了,它混合位置、优先、相邻。延迟记成次要运营测量,这里不当行为 verdict,因为 provider variance 和缓存能移动它。

在 Context Viewer 里检查

本章的 viewer scene 展示一 fixture 包的两种渲染顺序:关键证据一处在前,一处在固定请求旁第三。打开 scene 按槽跟证据的移动。看什么:每种顺序的邻居距离,重要性只从 fixture 任务 spec 取。两种顺序是不同的排布条件;没测行为 effect,不从位置推断。

四 label 块展示两次:上行关键证据在前,下行在固定请求旁第三,箭头标出移动。
条目相同的不同序列是不同的排布条件;effect 没测。构造说明。

在 Context Viewer 里打开排序 scene

排布契约

实验归实验,生产还得 ship。本章挣不到通用顺序,也不给。推荐的是任何排布该满足的契约:

  • 显式确定,可能处,不到来顺序的 accident。
  • 版本化,和 harness 一起。
  • 可观测,渲染顺序从捕获读出来。
  • 可复现,同样输入同样序列。
  • 可跟踪,排布变化看得见、归因得到。
  • 权威性范围不从位置推断。

潜在的顺序回归从没排序的内容清单诊断不了:条目相同的包能以不同序列组装,行为能不同。检出排布变化要 ordered trace;把行为回归归因到它要 comparable 结果与受控对比。想要的 trace 记录每准入条目的标识、渲染起止偏移、分组、相邻条目、已知的 role 通道、来源或显式 unknown 状态。[第 2 章](/zh-cn/books/context/02-chapter/)的观察器保留宿主边界可见的有序 parts,但不一定认出每条目的原始来源或 provider 的终渲染。[第 23 章](/zh-cn/books/context/23-chapter/)的编译器能记录计划排布,和观察器实际捕获的对比。

候选排布能当例子展示,仅此而已:

排布 动机 状态
稳定 span 在前 前缀缓存 provider-specific 经济推断
当前请求在后 常见 harness practice 这里没测
证据靠近任务 state 相邻假设 提议
新观察在后 渲染靠后假设 提议

编译器的默认顺序(按 role 再按标识)是声明的政策,不是实验发现。它须版本化,按 role 约束和须完整的关联检查,比如工具调用和结果;不加区分排序每消息 part 可能毁掉编译器要保留的序列。

顺序回答不了的问题

第 4 章说不是一切都装得下。第 5 章说装得下的不都有帮助。本章说准入的信息还受排布影响,排布是上下文身份的一部分。假设排布定了。容量压力还是来了,须有东西让步。安全规则和编译器日志让步方式一样吗?架构决定和放弃的假设同政策对待吗?顺序说信息出现在哪。它不说信息是哪种,那是分类的事:

准入信息不仅出现位置不同,种类也不同,系统在决定怎么对待前怎么分类?

参考

  • Liu, N. F., Lin, K., Hewitt, J., et al. “Lost in the Middle: How Language Models Use Long Contexts.” Transactions of the Association for Computational Linguistics 12 (2024): 157–173; arXiv:2307.03172 (2023 preprint). Peer-reviewed. https://arxiv.org/abs/2307.03172
  • Zhao, T. Z., Wallace, E., Feng, S., Klein, D., Singh, S. “Calibrate Before Use: Improving Few-Shot Performance of Language Models.” ICML 2021; arXiv:2102.09690. Peer-reviewed. Few-shot classification with GPT-3 and GPT-2. https://arxiv.org/abs/2102.09690
  • Wang, P., Li, L., Chen, L., et al. “Large Language Models are not Fair Evaluators.” Preprint, arXiv:2305.17926, v2 August 2023. Not peer-reviewed. https://arxiv.org/abs/2305.17926
  • Hong, K., Troynikov, A., Huber, J. “Context Rot: How Increasing Input Tokens Impacts LLM Performance.” Chroma technical report, 14 July 2025. Not peer-reviewed. https://www.trychroma.com/research/context-rot
  • OpenAI. “Model Spec.” Current version dated 18 August 2026; first published May 2024. First-party policy documentation, provider-specific. https://model-spec.openai.com/
  • OpenAI. “Prompt caching.” Official documentation, verified September 2026. Prefix-match requirement; provider-specific. https://developers.openai.com/api/docs/guides/prompt-caching