搜索、记忆与长上下文
把任务、改写程序、模型配置与指标固定住,只变动补充证据的获取方式,并测量六种上下文策略——包括自适应选择和一条失败的 RLM 路径。
第 15 章测量了一个占尽优势的智能体。两个文件,一个缺陷,一个有界的工具面, 一份它用得很好的预算。它找到了两个牵涉的文件,在上下文里握住了这个 bug 的 两半,却仍然差了一步。那是一次推理失败,而第 17 章存在的意义就是攻击它。
本章讲的是坐落在推理问题之前的问题。夹具有两个文件。真实仓库有成千上万 个,而有界的工具面并不会告诉程序该读其中的哪些。总得有什么东西来决定程序究 竟去看哪些证据,而这个决定不是一种机制。它至少有五种,而人们常把它们压进一 个词里。
1 把证据直接放进提示词
2 在模型运行之前检索证据
3 让程序在运行过程中检索自己的证据
4 检索过去的案例而不是当前的文件
5 让模型以程序化的方式探索一个大结构
每一种解决的是不同的失败,每一种有不同的代价,而且——这就是本章的方法—— 每一种都是一个实验变量,可以对着固定的程序和固定的指标来保持,这样一个分数 差异才有意义。
1. 一个目标,一个程序,一个指标
面对这样的比较,诱惑是在完整语料库上跑六种策略,然后读一张排行榜。那样每种 策略得到一个数字,却几乎什么也没告诉你,因为这些策略的差别不止在质量——它 们还差在被允许接触什么信息上,而排行榜把这一点藏了起来。
实验因子是证据获取策略。最终的改写程序及其面向任务的输入保持固定,而各 策略的差别在于它们如何选择补充证据,以及选择它所需的代价:
- 一个目标样例。
ed-003,一个规范的开发样例。Anna 正在警告她的兄弟; 句子I do not think we should go there, Anna said, because it is unsafe.需要对话标点。它只被完整走一遍,而不是扫过整个语料库。 - 一个改写程序。
dspy.Predict(RewriteWithEvidence)——普通任务输入,外加 一个可能为空的参考性evidence字段。每种策略最终都调用这同一个程序。 - 一套打分设置。 第 8 章冻结的
editorial_metric_v1提供主分数;v2与之 并排记录,作为次级语义检查。它不是强意义上的独立证据,因为语义评审器使用 的是本书配置的模型家族。 - 一个任务模型配置。 规范的本地
qwen3:latest,temperature 0,执行最终改 写。自适应选择器使用独立的dspy.LM对象,配置与记录的相同。 - 保留集是封着的。 七个保留集样例仍在运行之外;
ed-004就是其中之一。
2. 证据角色不等于证据质量
在看数字之前,先看那个让它们可读的区分。
这六行并不都有相同的证据角色。直接上下文不添加任何补充包。四种策略旨在添加
决策时证据。labeled_training_memory 刻意暴露了一个更丰富的来源:来自其他
训练样例的标签。
| 策略 | 它喂给程序什么 | 角色 |
|---|---|---|
| 直接上下文 | 无补充证据;样例的 context 字段已在签名中 |
当前样例 |
| 固定指南检索 | 来自一个小型编辑指南语料库的前 2 条词法命中 | 决策时指南 |
| 决策时案例记忆 | 被选出的训练样例输入,不含其参考改写;在这次测量运行中它没有选出任何补充样例 | 决策时先例 |
| 带标签的训练记忆 | 包含其参考改写在内的训练样例 | 带标签的训练数据 |
| 智能体指南检索 | 程序通过工具为自己选出的指南 | 决策时指南 |
| RLM 指南探索 | 通过程序化语料库探索选出的指南 | 决策时指南 |
labeled_training_memory 是需要单独看待的那一行。ed-001 和 ed-002 的参考
改写不是 ed-003 的答案,所以按定义,仅仅展示带标签的旧样例并不构成目
标答案泄漏。在一个部署策略允许的系统里,这样的样例可以是合法的示范。
但它们在信息权限上仍然不同于本实验中的决策时策略。因此运行器记录
evidence_role="labeled_training_only",而这次比较绝不能把那个更丰富角色所带
来的任何优势归给检索机制本身。
在更丰富的证据角色下产生的收益,并不是检索策略本身更好的证据。如果声明的 部署协议在推理时禁止那个角色,那么这一行在部署等价的比较中是不可采纳的。
第 18 章把这个区分变成强制执行:运行时只能消费实验声明过的证据角色与来源。 本章让带标签的训练记忆保持可见,作为一个刻意非等价的比较臂。
3. 测量比较
一次由 LM 支撑的运行,ed-003,六种策略,全程使用同一个改写程序和指标。
token 计数来自运行清单;v1 与 v2 在每一行上都一致。
| 策略 | 证据字符数 | 选择 token | 总 token | 耗时 | 分数(v1 = v2) |
|---|---|---|---|---|---|
| 直接上下文 | 0 | 0 | 417 | 2.4 s | 0.8769 |
| 固定指南检索 | 337 | 0 | 474 | 2.1 s | 0.8769 |
| 决策时案例记忆 | 0 | 0 | 408 | 1.9 s | 0.8769 |
| 带标签的训练记忆 | 138 | 0 | 467 | 2.4 s | 0.8769 |
| 智能体指南检索 | 204 | 3,820 | 4,284 | 19.7 s | 0.6500 |
| RLM 指南探索 | 0 | 0 | 408 | 2.0 s | 0.8769* |
* RLM 选择步骤在选出任何东西之前就崩了;这一行是改写程序在没有任何补充证据 下运行的结果,不是一个 RLM 结果。见第 7 节。
这张表已经排除了一种诱人的读法。四个 0.8769 的行并没有喂给程序四个不同
的补充证据字符串:直接上下文和决策时案例记忆都是以一个空的 evidence 字段
到达改写的,而固定检索和带标签记忆提供了不同的包。失败的 RLM 路径也是以一个
空的证据字段到达改写的。
自适应智能体那一行确实付出了明确的代价。它用了 3,820 个选择器 token 和 4,284 个总 token,而固定检索是 474 个总 token——总 token 约为 9.0×。它的 19.7 秒 对 2.1 秒,在这次运行中耗时约为 9.4×。
因此重要的问题不是智能体是否"输了" 0.2269。而是为什么冻结的指标给它产出
的那个特定改写打了 0.6500。
4. 打平的是指标,不是证据
先从四方打平说起,因为它很容易被误读成"证据选择在这里没起任何作用"。
ed-003 确实有数值上的余量:0.8769 低于该指标的理论最大值。因此四方打平
无法用"分数没有可动的空间"来解释。发生的事情更窄:几个不同的输出字符串映射
到了相同的 v1 组件值。
表里还藏着一个内置的阴性对照。直接上下文和决策时案例记忆都给最终改写程序提
供了相同的任务输入和一个空的补充 evidence 字符串,然而它们产出了不同的
输出字符串。案例记忆选择器在这次运行中没有返回任何证据,所以那个输出差异不
可能是案例记忆造成的。这是第 6 章已经警告过的执行顺序或运行时状态变化的又一
个实例。
这些改写仍然暴露出一个真实的指标缺陷:
| 策略 | 改写 | 加了引号吗? |
|---|---|---|
| 直接 / 固定 / 带标签 | "I don't think we should go there," Anna said, "because it's unsafe." |
是 |
| 决策时记忆 / RLM 回退 | I don't think we should go there, Anna said, because it's unsafe. |
否 |
| 智能体 | "I do not think we should go there," Anna said, "because it is unsafe." |
是 |
| 参考 | "I do not think we should go there," Anna said. "It is unsafe." |
是 |
ed-003 的编辑目标是对话标点。决策时记忆的调用和 RLM 回退漏掉了引号,而其
他展示出来的改写加上了引号。然而 v1 仍然可以给有标点和无标点的输出打同样
的 0.8769,因为它的 changed 组件比较的是归一化的词法 token,丢弃标点。
因此一次纯标点的编辑拿不到任何 changed 分,而把 do not 缩成 don't 或把
it is 缩成 it's 会改变 token 序列并拿到那个分,即使标点目标没有达成。
这个确定性的打分缺陷是要带走的结果。它并没有确立案例记忆导致了那个无标 点的改写——没有任何案例记忆证据到达那次改写调用——也没有确立那些打平的检索 策略在行为上等价。
5. 一次纯标点编辑拿到了 0.65 的下限
智能体策略得分 0.6500。对照真实的指标组件分解开来:
| 组件 | 权重 | 结果 | 贡献 |
|---|---|---|---|
| changed | 0.35 | 未改变 | 0.00 |
| scope (length) | 0.25 | 通过 | 0.25 |
| reference overlap | 0.40 | 1.00 | 0.40 |
| 合计 | 1.00 | 0.65 |
这个 1.00 的重合需要精确的措辞。它是在该指标归一化的 token 召回计算之下
的完全重合,而该计算忽略标点。智能体保留了参考答案的词法 token 并加上了引
号,但它并没有逐字复现人类参考答案:参考答案用句号结束了说话语标签,并开始
了第二个被引用的句子,而智能体保留的是一个由逗号连接的句子。
所以这次运行并没有确立智能体产出了那个独一无二"最正确"的改写。它确立的是一
件更干净、完全机械的事:一次像样的、以标点为焦点的改写可能拿到 0.65 的下
限,因为该指标的 changed 组件在比较源文本与候选之前就把标点抹掉了。
这制造了一种扭曲的局部激励。像 do not → don't 这样的缩写能拿到完整的
0.35 改变分,而不改变词法 token、只是加上引号则一分不得。因此一个候选因为
改动词语而得分,可能高于执行目标所点名的那次标点编辑。
选择器本身确实找到并读取了相关的对话标点指南。被选中的证据是否导致了这个特 定的保守改写,一次轨迹确立不了,尤其是在同一个任务模型被跨顺序调用重复使用、 而第 6 章已经展示了顺序相关的变化的情况下。
站得住脚的发现是关于这件工具本身的:v1 可以把一次纯标点编辑排在一次词
法编辑之下,因为标点对它的 changed 组件是不可见的。 测量到的选择器代价是
另一个结果。
6. 自适应不是免费的,而在这里它什么也没买到
智能体策略是跑在两个工具之上的 dspy.ReAct——search_evidence(query) 和
read_evidence(id)——预算为四次迭代。它的轨迹短而合理:
1. search_evidence("improve dialogue punctuation and rhythm, warning")
→ guide-dialogue-punctuation (overlap 4), guide-cause (1), guide-technical-scope (1), ...
2. read_evidence("guide-dialogue-punctuation")
→ the full guideline text
selected: ["guide-dialogue-punctuation"]
它查询,把对话标点指南排在第一,读取了它,并选中了它。固定的词法检索器选中
了那条指南外加 guide-tone。在这个五条的合成语料库上,智能体更窄的集合是站
得住脚的,但一次下游改写并不能确立这个选择更好。
代价差异是可测量的。智能体用了 3,820 个选择 token 和 4,284 个总 token, 而固定检索是 474 个总 token:总 token 约为 9.0×。耗时为 19.7 秒对 2.1 秒,在这次运行中约为 9.4×。
因此,自适应的模型驱动检索引入了一笔固定词法检索不必支付的选择开销。这并不 意味着自适应检索在端到端上必然总是更贵:在一个更大的任务上,它可能减少下游 上下文、避免不必要的读取,或比固定策略更早停下。正确的规则是把选择器调用、证 据大小、下游调用、token 和延迟放在一起测量。
而且"程序选择了自己的证据"仍然不等于"程序选择了更好的证据"。选择质量是被测 量的行为,不是被假定的收益。
7. 报告失败的机制,而不是回退分数
RLM 那一行得分 0.8769,而这个数字是个陷阱。
dspy.RLM 的文档标注为实验性。它让 LM 通过生成 Python 来程序化地探索外部上
下文,这些 Python 在一个沙箱解释器中执行,而不是把整个上下文直接放进提示词。
DSPy 默认的 PythonInterpreter 使用 Deno/Pyodide WASM 沙箱,而这个环境没有兼
容的 Deno 运行时:
CodeInterpreterError: Unable to determine the Deno version from 'deno'.
PythonInterpreter requires Deno >=2.0.0,<3.0.0.
选择步骤在模型探索任何东西之前就抛异常了。运行器捕获了它,连同异常文本一起
记录了 selection_status: "failed",没有选出任何证据,并且仍然让改写程序运
行——这就是那一行得分与直接上下文相同的原因。它就是直接上下文。
运行记录所强制执行的规则:
当一个机制失败时,产物要如实说出来。把它的回退分数记到该机制头上,是血缘 本就旨在阻止的谎言。
放在"RLM"旁边的 0.8769 会告诉未来的读者 RLM 追平了基线。实际发生的是 RLM
根本没运行,而回退之所以追平基线,是因为它就是基线。表里的星号不是一个脚
注;它就是结果。
8. 每一个包都被做指纹,而这正是第 18 章所需要的
每种策略都产出同样形状的记录,无论它是零次模型调用还是崩了:
{
"policy": "labeled_training_memory",
"query": "...",
"evidence_role": "labeled_training_only", # the field that flags the leak
"adaptive": False,
"selection_status": "completed", # or "failed", with the exception
"selected_evidence_ids": ["ed-001", "ed-002"],
"source_ids": ["chapter-opening-a", "chapter-opening-b"],
"evidence_size_chars": 138,
"selection_calls": 0,
"selection_usage": {"total_tokens": 0, ...},
"selection_trace": None, # or the full ReAct / RLM trace
"packet_fingerprint": "…",
}
十二条不变式对照这些记录被检查,全部通过——包括
historical_memory_uses_train_only、holdout_not_selected_as_case_memory 和
holdout_not_inspected。
这不是为记账而记账。第 18 章论证的是:你无法审计一条你没有记录下来的信息边 界,而本章正是记录开始变得要紧的地方。一旦程序能够检索——指南、过去的案例、 仓库历史、它自己先前的输出——“这个结果是否依赖了程序本不该看到的东西?“这 个问题,只有在每一条被检索的条目都带着血缘时才变得可回答。
labeled_training_memory 那一行就是具体的例子。它的 evidence_role 写着
labeled_training_only,所以之后的策略可以机械地判定那份证据在推理时是否被允
许。血缘告诉我们那份证据是什么角色;实验策略决定这个角色是否可采纳。
9. 这次运行确立了什么,没有确立什么
一个样例,一个目标,每种策略一次顺序运行。这是一次机制探查,不是本书在 想要一个效应估计时所用的成对重复设计。第 6 章也明确避免把观察到的执行变化变 成一个普适的标量"噪声底线”。
指标缺陷是最强的结果。 changed 的计算是确定性的:纯标点的改变在 token
归一化之下消失。在这次测量的 ed-003 调用中,这条规则给智能体那个以标点为焦
点的候选打了 0.6500。因此打分失败的存在是由指标定义和分数分解确立的;它在
真实流量中的频率则没有。
四方打平是关于检索的弱证据。 它说的是四个策略行收到了相同的标量分数。 它没有说这些策略提供了等价的证据或造成了等价的行为。直接上下文和决策时案例 记忆实际上是以同一个空的证据字符串到达最终改写的,却仍然产出了不同的文本, 所以至少有一个可见的差异是运行时/顺序变化,而不是检索的因果作用。
指南语料库是合成的、极小的。 五条手写的编辑指南不是一个仓库索引。这里没 有任何东西确立这些策略如何扩展到成千上万个文件。
RLM 从未成功运行过。 它的选择步骤在探索语料库之前就失败了,所以下游分数 属于无证据回退路径。
智能体结果是一条轨迹。 相对于这次运行中的固定检索,它用了约 9× 的总 token 和 9.4× 的耗时,只选出了一条(而不是两条)相关指南,并产出了一次下 游改写。这确立的是观察到的代价和轨迹,不是一个普遍的比率或倾向。
经受住所有这些局限的是结构性的东西:
证据选择是程序行为。它有自己的代价、血缘和失败模式。下游评估器是一件独立 的工具,而那件工具里的一个缺陷可能主导证据策略的表面排序。
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 不同的证据包收到同一个分数 | 指标把不同的输出映射到相同的计分特征 | 比较证据包、输出字符串和组件分解 | 把平局作为评估器结果来报告;不要推断检索没有作用 |
| 完全相同的最终输入产出不同的改写 | 运行时或执行顺序变化 | 比较最终改写的输入指纹,而不只是策略名 | 先以平衡顺序或在新会话中重复,再把差异归给某个策略 |
| 自适应检索更贵且得分更低 | 选择开销是真实的,而分数可能反映证据质量或评估器缺陷 | 把选中的 ID、轨迹、token、延迟、输出和分数组件与固定检索作比较 | 分别测量选择与评估 |
| 一个带标签记忆的策略得分不错 | 它使用了比决策时检索更丰富的证据角色 | 检查 evidence_role 与部署证据策略 |
同类相比;只有当协议声明该角色不可采纳时才封禁它 |
| 一个实验性机制"追平了基线” | 它失败了,回退到无证据 | 读 selection_status 和记录的异常,而不是分数 |
报告失败的机制;绝不把回退算作成绩 |
| 尽管有检索,上下文仍然巨大 | 没有证据预算 | 统计每个证据包的字符数与 token 数 | 限定 top-k、行跨度和摘要 |
| 同一个选择器在不同运行中返回不同证据 | 外部状态或迭代顺序未被固定 | 跨运行对比证据包的差异 | 候选项排序、结果做指纹、固定语料库修订 |
| 智能体检索能触及被禁止的材料 | 工具面包含声明的实验边界之外的证据 | 审计工具、修订、角色和划分权限 | 执行第 18 章的实验防火墙 |
本章小结
我们在一个最终改写程序和一套打分设置之下,比较了六个证据获取策略标签。由此 产生的改写调用并没有收到六份不同的证据输入。
三行是以没有补充证据到达最终改写的:直接上下文、决策时案例记忆——它的 选择器在这次运行中没有返回任何案例——以及失败的 RLM 路径。因此直接上下文和 决策时案例记忆提供了一个有用的阴性对照:完全相同的最终改写输入产出了不同的 字符串,所以那个差异不可能归因于被检索的证据。
固定检索提供了 337 个证据字符,带标签的训练记忆在不同的证据角色下提供了 138 个,智能体在花掉 3,820 个选择器 token 之后提供了 204 个。相对于固定检索,智 能体在这次运行中用了约 9× 的总 token 和 9.4× 的耗时。它选中了相关的对 话标点指南;一次轨迹并不能确立自适应选择总体上更好还是更差。
最清晰的结果在评估器里。智能体那个以标点为焦点的改写拿到 0.6500,因为 v1
在判定文本是否改变之前就把标点归一化掉了。它 1.00 的重合是词法 token 的召
回,而不是与人类参考答案在标点上的精确一致。这足以确立这个打分缺陷,而无需主
张智能体产出了那个独一无二的最佳改写。
RLM 给出的是另一条教训:它的选择机制在探索语料库之前就失败了,下游那次无证据 改写绝不能被记到 RLM 头上。
因此我们在不过度解读这单个案例的前提下,移除两个假设。长上下文不会消除对证据 选择策略的需求,而自适应选择也不会仅仅因为是一个 LM 选了证据就变得更好。选择 必须连同它的代价与血缘一起被测量,而评估器必须被单独审计。
程序现在可以被递交证据,也可以通过有界的机制自己选择证据。第 18 章强制规定哪 些证据角色、工具、修订和样例在一次实验之内是可采纳的。
而第 15 章测量到的那个失败仍然没有被解决。那个智能体把相关证据握在上下文里, 却从中得出了错误的结论。没有任何检索器能修复它。它要求程序在认定之前保持不止 一条推理路径开着,这就是第 17 章。
延伸阅读
- Retrieval-Augmented Generation for Knowledge-Intensive NLP Tasks(Lewis et al., 2020):本章固定检索策略所依据的 RAG 框架的一个小实例。(arXiv:2005.11401)
- Lost in the Middle: How Language Models Use Long Contexts(Liu et al., 2023):为什么"把一切都放进提示词"会随着上下文增长而退化,即使模型名义上支持那个长度。(arXiv:2307.03172)
- MemGPT: Towards LLMs as Operating Systems(Packer et al., 2023):把上下文当作一种被管理的、分页的资源,而不是单一窗口——这与 RLM 式外部状态背后的直觉相同。(arXiv:2310.08560)
- Case-Based Reasoning: Foundational Issues(Aamodt and Plaza, 1994):检索—重用—修订—保留的循环,“决策时案例记忆"和"带标签的训练记忆"是它上面的两个点。(AI Communications 7(1))