示例就是实验数据
搭建真正的评估实验夹具:带来源信息的结构化数据行、家族而非孤立样例、尊重家族的划分,以及围绕优化可以消费什么划定的显式边界。
第 6 章给了程序一条依赖边界,更重要的是给出了证据:被记录下来、完全相同的程序 状态仍然可能产出不同的输出。现在我们可以说清楚程序是什么、由什么运行它,以及为 什么一个小小的分数差值在没有重复测量的情况下无法被解释。
我们仍然做不到的是判断这个程序究竟好不好,因为我们没有任何东西可以拿来跟它对 照测量。
DSPy 里的示例不是程序周围的装饰。它们是带有若干种可能角色的实验数据。优化会消 费这些证据:训练数据可能塑造候选状态,开发数据可能在候选之间做选择,而保留集数 据必须待在这两个过程之外,才能支撑一个独立的主张。
程序
↓
缺乏严谨的证据
↓
"看起来更好"
接下来的七章搭建一个实验:一个夹具、一个基线、一个指标、一次针对该指标的攻击、 四次依据它来优化程序的尝试,以及最后一次只改动目标的运行。本章搭建这个夹具—— 它最不光鲜,却最承重。
关于顺序的一点提醒。第 4 章和第 5 章已经用过这个夹具——那 37 个训练与开发样例 就是从这里来的。它在这里被正式描述。
1. 诱人的捷径
一个手写的少样本提示词看起来是这样的:
Example 1:
Sentence: She opened the door and then she laughed.
Goal: Sharpen rhythm.
Rewrite: She opened the door and laughed.
Example 2:
...
这或许能改进单个提示词。作为证据,它几乎毫无价值。
这些示例没有身份,所以你事后无法指向其中某一个。输入和标签混在一起,于是没有任 何东西把"程序应该看到的"与"评估者应该看到的"区分开。来源信息缺失,你无法判断两 个示例是否出自同一来源。而一个带着*“这个通过了审校者”*之类备注的示例,等于刚刚 把答案交给了模型。
一条数据集行需要结构:
case_id 稳定的身份
program inputs 模型看到的部分
reference fields 评估者拿来对照的部分
evaluation metadata 约束、预期的失败模式
provenance 它来自哪里
split 它扮演的角色
第二行与第三行之间的区分最要紧,而第 5 节会让它变成一种机械保证,而不是靠自觉维 持的纪律。
2. 语料库
这个夹具是为本书构建的。它是一个诊断性语料库,不是编辑流量的代表性抽样,因 此它展示的是机制与失败类别,而不是生产环境中的表现。
44 个样例足以暴露那个只有 4 个样例的夹具无法暴露的行为。但它们仍然太少,不足以 支撑从聚合均值出发的细粒度统计主张。本章余下的部分把这两个事实当作同时为真。
44 个样例,分布在 12 个来源家族。
| 家族 | 划分 | 样例 |
|---|---|---|
chapter-opening |
训练 | ed-001, ed-002, ed-005, ed-006 |
close-third-narration |
训练 | ed-007 – ed-010 |
first-person-memoir |
训练 | ed-011 – ed-014 |
academic-abstract |
训练 | ed-015 – ed-018 |
news-report |
训练 | ed-019 – ed-022 |
legal-plain-language |
训练 | ed-023, ed-024, ed-025 |
instructional-recipe |
训练 | ed-026, ed-027, ed-028 |
dialogue |
开发 | ed-003, ed-029, ed-030, ed-031 |
marketing-copy |
开发 | ed-032 – ed-035 |
childrens-fiction |
开发 | ed-036, ed-037, ed-038 |
technical-explanation |
保留 | ed-004, ed-039 – ed-041 |
email-correspondence |
保留 | ed-042, ed-043, ed-044 |
也就是 26 个训练样例、11 个开发样例和 7 个保留样例。
其中几个你已经见过。ed-025 是那个法律通俗文本样例,第 4 章的直接预测器曾把截止
期限的触发点从"送达"改成了"收到"。ed-035 是那个营销文案样例,第 11 章和第
12 章都会因为丢掉限定词 regularly 而破坏它。ed-033 是第 6 章那句关于咖啡的句
子,在记录下来的程序状态不变时,它的输出会在若干看似合理的备选之间移动。
这些样例之所以有用,恰恰因为家族表给了它们上下文:它们不是在某个失败被发现之后 才造出来的匿名行。它们的身份与划分角色,在各优化章节去解读它们之前就已经冻结。
每一行都带着:
case_id # stable row identity
source_id # provenance handle
source_group # family used to derive the split
sentence # program input
goal # program input
context # program input
reference_rewrite # evaluation only
required_entities # evaluation only — must survive the edit
forbidden_terms # evaluation only — must not appear
semantic_constraints # evaluation only — meaning that must be preserved
target_failure # primary failure mode this case is designed to exercise
划分并不存放在 EditorialCase 本身上。它是通过冻结的家族到划分映射从
source_group 推导出来的。这就是为什么数据集与划分各自拥有独立的指纹:行内容可
以保持不变,而划分策略却发生了变化。
让我们看一条完整的规范行,把这种形状变得具体。ed-003 是那个对话类开发样例,它
提供了最初单样例的 0.8769 基线。即使聚合评估后来扩展到整个开发家族,后面的章节
仍会把它作为一个好用的讲解样例保留下来:
case_id: ed-003
source_id: dialogue-a
source_group: dialogue
sentence: I do not think we should go there, Anna said, because it is unsafe.
goal: Improve dialogue punctuation and rhythm.
context: Anna is warning her brother.
reference_rewrite: "I do not think we should go there," Anna said. "It is unsafe."
required_entities: ["Anna"]
forbidden_terms: ["Anya"]
semantic_constraints:
- do not change the warning
- do not change the speaker
target_failure: semantic_drift
split: dev # derived from source_group for this display
注意参考改写做了什么、又没有做什么。它加上引号,把一个句子拆成两个。它没有把 “do not” 缩写成 “don’t”。编辑目标是标点与节奏,参考答案始终停留在这个目标之内。 一个连措辞也一并现代化的模型,做了参考答案没有要求的事,而第 8 章的指标会注意到 这一点。
3. 夹具是一种仪器,不是抽样
这个语料库不是从有代表性的流量中收集来的。它被设计成一件诊断仪器,而
target_failure 字段记录每个样例被设计出来要演练的主要失败模式。
一行仍然可以包含多条约束,也仍然可能以不止一种方式失败。target_failure 是一个
覆盖度标签,并不主张该行上观察到的每个错误都必须属于某一类:
| 失败模式 | 样例数 | 它检验什么 |
|---|---|---|
semantic_drift |
12 | 散文变好的同时,含义悄悄偏移 |
constraint_violation |
8 | 一条明写的要求被违反 |
style_failure |
7 | 文风或语域发生变化 |
unnecessary_edit |
6 | 这个句子本来就是对的 |
entity_change |
6 | 一个名字、数字或指称被改动 |
invalid_output |
5 | 结果在结构上不可用 |
有代表性的流量抽样与诊断性夹具回答的是不同的问题。如果抽样真正具有代表性,它可 以估计失败在部署中发生的频率。诊断性夹具则刻意对那些你最需要理解的失败做过采 样。
本书需要的是第二件仪器。如果语料库里一个"截止期限触发点可能漂移"的样例都没有, 那么在这个语料库上做的任何实验都无法揭示那一类失败。如果它只包含一个这样的样 例,那个样例仍然可能主导聚合值,同时几乎不告诉你任何关于普遍程度的信息。
所以,围绕你担心的失败来设计覆盖度,然后把频率主张与诊断发现分开。
这些类别中有两个是在明知会带来麻烦的情况下纳入的,而它们确实都带来了麻烦。
这 6 个 unnecessary_edit 样例让克制成为任务的一部分,而不是把改动当成天然的好
事。有些应当保持原样;另一些只允许最小幅度的编辑。因此这个标签的含义是*“不要仅
仅为了迁就改写字段的存在而凭空制造工作”,而不是“reference_rewrite 永远等于
sentence”*。
这个区分很重要。第 2 章表明,当前的契约没有为*“无需编辑”*设置显式的语义状态。第
8 章将表明,一个完全未改动的候选只能拿到 0.65 的结构下限,因为即便克制是正
确的,指标的 changed 分量仍然是零。第 18 章随后从安全一侧发现同样的设计张力:
恒等参考样例与一条字面规则相撞——那条规则把参考文本的输出本身视为泄漏。
我们仍然保留这些克制样例。一个改动永远获奖的语料库,会把错误的编辑先验同时教给 程序和指标。
这个夹具能检测到什么
下面是一段几乎没人在跑实验之前做过、但人人都该做的算术。
有两种分辨率需要考虑,它们不应该被折叠进同一个数字。
第一种是夹具粒度:只有 11 个开发样例时,一个样例就能实质性地移动均值。
第二种是执行可变性:第 6 章已经表明,即使记录下来的程序状态不变,它也会在全 新会话和不同的交错顺序下发生移动,哪怕温度为零。
先看精确的那部分算术:
开发集划分里的样例数: 11
单个样例在均值中的权重: 1 / 11 ≈ 0.0909
一个样例从 0.65 变到 1.00:
样例级的变化: 0.35
对开发集均值的影响: 0.35 / 11 ≈ 0.0318
一个样例变化 0.11:
对开发集均值的影响: 0.11 / 11 = 0.010
这告诉你,在任何模型不确定性进入画面之前,一个 11 样例的聚合值有多粗糙。单个样例一
次 0.35 的摆动就能让均值移动大约 0.032。一个样例上小得多的 0.11 变化,已经能
让均值移动 0.010。
现在把它跟第 6 章对照:未改动的程序状态曾产生大致同一量级的聚合位移,而字节完全 相同的候选产物在交错执行下仍测出了非零差异,构成了一次零效应的阴性对照。
所以,当第 11 章最初报告 +0.011 时,正确的说法不是*“小改进”*,而是**“一次观察
到的聚合差异,其本身并不构成改进的证据”**。一次温和的样例移动或执行状态变化,就
足以解释这个量级的差值。
在机器产物中保留完整精度,以便重跑时可以精确比较。在正文里,不要让四位小数暗示 出四位小数的证据分辨率。
在实验之前先做这个粒度计算。然后围绕你实际观察到的运行时可变性,设计重复的、配 对的测量。如果你关心的效应无法与这两种来源分离开,那就收集更多独立样例或更强的 重复证据,而不是对同一个点估计收集更多解读。
4. 把行转换成 DSPy 示例
DSPy 用 dspy.Example 作为行对象。在 .with_inputs(...) 中点名的字段,就是本书
作为普通任务输入提供的字段。其余字段仍然附着在示例上,供评估、来源追踪和优化器
一侧的代码使用。
这个投影是一条边界,不是普遍的保密保证。优化器或自定义指标只要其实现选择这么
做,仍然可以检视附着在示例上的字段。因此第 18 章在检查 .with_inputs(...) 之
外,还会审计证据访问。
import dspy
INPUT_FIELDS = ("sentence", "goal", "context")
def to_dspy_example(row: dict) -> dspy.Example:
return dspy.Example(
case_id=row["case_id"],
source_id=row["source_id"],
source_group=row["source_group"],
sentence=row["sentence"],
goal=row["goal"],
context=row["context"],
reference_rewrite=row["reference_rewrite"],
required_entities=row["required_entities"],
forbidden_terms=row["forbidden_terms"],
semantic_constraints=row["semantic_constraints"],
target_failure=row["target_failure"],
).with_inputs(*INPUT_FIELDS)
一行就承载了整条边界:
.with_inputs("sentence", "goal", "context")
任务程序通过这个投影收到三个决策时刻的字段。评估代码仍然可以访问附着其上的参考 答案、约束、失败标签与来源信息。
这就是第 3 章第三个输入设计问题背后的机制——*这个值会不会包含、暗示或推导出答 案?*这个投影让普通的生成边界变得可以被机器检查。但它本身并不证明每个优化 器、工具或指标都无法触及其他字段;那条更宽的准入边界会在后面被审计。
合法的程序输入
sentence = "I do not think we should go there, Anna said, because it is unsafe."
goal = "Improve dialogue punctuation and rhythm without changing the warning."
context = "Anna is warning her brother."
仅供评估侧
reference_rewrite = "\"I do not think we should go there,\" Anna said. \"It is unsafe.\""
semantic_constraints = [...]
会是致命的
human_accepted = true
一个看到了 human_accepted 或由答案推导出来的参考材料的程序,就不再是在同一个任
务边界之下被评估了。第 18 章测量了这个问题的规模:在 288 次构造的攻击执行中,全
部 288 次都被拦截;否则其中 224 次会抬高表面上的分数,平均抬高约 0.3856。
这并不意味着 0.3856 可以简单地加到每一个诚实的分数上;指标是有界的,攻击也因样
例而异。这意味着泄漏效应大到足以主导后面各章试图解释的普通程序差值。
5. 按家族划分,而不是按行划分
各划分的角色是常规约定:
| 划分 | 角色 |
|---|---|
| 训练 | 按照实验设计,可用于构造示范或其他候选状态 |
| 开发 | 开发证据:可以保留起来用于比较,也可以对优化器可见以供候选选择,但协议必须说明是哪一种 |
| 保留 | 在本轮实验中绝不对优化器可见;在候选选择冻结之后只花费一次 |
不常规的设计决策,是在家族边界而不是行边界上做划分。
chemistry augmented generation TPSA 项目 最清楚地说明了为什么。它的预测目标是数值型的,其划分会考虑分子骨架,因为彼此密 切相关的分子会让随机按行划分显得过于乐观——模型看起来泛化了,实际上它见到的是答 案的一个近亲。
编辑领域的类比完全成立。如果两个句子来自同一章、同一位作者,或同一段被接受的编 辑历史,随机划分就可能把近乎重复的内容同时放进训练集和保留集。于是程序看起来学 会了编辑,实际上它学到的只是那位作者的节奏。
所以全部 4 个 dialogue 样例都在开发集里。全部 4 个 marketing-copy 样例都在开
发集里。全部 4 个 technical-explanation 样例都在保留集里。没有哪个家族跨越边
界。
flowchart LR
F[12 个来源家族] --> T[训练,7 个家族,26 个样例]
F --> D[开发,3 个家族,11 个样例]
F --> H[保留,2 个家族,7 个样例]
T --> O[优化器可见的证据]
D --> O
H -.->|封闭直到候选选择冻结| S[只花费一次]
一整个家族落进同一个划分。正是这一点让保留集结果成为一个独立的主张:保留集句子 的近亲从未出现在训练或开发之中。
值得注意的是,这条规则的上一个版本有多弱。被它取代的夹具只有 4 个样例,每个样例 在家族边界上实际上都是孤立的。没有任何家族拥有足够多的成员,使得跨划分泄漏成为 可能。
所以"家族不跨划分"在技术上为真,却几乎是空洞的。只有当若干相关样例本来会被打散 到训练、开发和保留三处时,这条规则才开始真正发挥作用。
划分在任何优化器运行之前就被冻结并审计:
| 不变量 | 结果 |
|---|---|
| 样例 ID 唯一 | 通过 |
规范样例 ed-001 – ed-004 齐备 |
通过 |
| 训练 / 开发 / 保留 ID 互不相交 | 通过 |
| 来源家族跨划分互不相交 | 通过 |
| 保留集对优化器可见 | 否 |
| 保留集被运行器检视过 | 否 |
reference_rewrite 被暴露为程序输入 |
否 |
| 任何评估字段被暴露为程序输入 | 否 |
| 数据集指纹与规范辅助函数一致 | 通过 |
数据集和划分各自携带自己的指纹:
dataset fingerprint: 40ab192bc45590803fcf84ea168a8fa26764f82147e4e38b8334677f93d4fe46
split fingerprint: ebe3b001711ea92d6ddc12c983b2ef2dacf559a9a014e044038a7084a35c8567
两个指纹而不是一个,因为它们可以独立变化。新增一个样例改变数据集。把一个家族在 划分之间移动只改变划分。两者中任何一种都会使一次比较失效,而你希望知道究竟发生 了哪一种。
关于保留集的一个承诺
7 个样例,2 个家族,在第 7 章就地封存。
搭建这套装置的书往往从来不花掉它——纪律被描述了一番,最终的测量却悄然从未发 生。我们在第 19 章花掉它,恰好一次,花在晋升策略选中的那个程序上,并且无论它的说 法是否有利于前面的十章,我们都照实报告。
如果你现在就想知道:结果并不像各优化章节让你预期的那样。
6. 四个不是同义词的词
| 术语 | 在本书中的含义 |
|---|---|
| 示例 | 一条结构化行,通常是 dspy.Example |
| 示范 | 被放进程序状态中作为行为指引的示例 |
| 训练样例 | 优化器可以检视的示例 |
| 评估样例 | 被用来测量一个冻结程序的示例 |
一条行可以在不同实验中扮演不同角色,但绝不在同一个实验里同时扮演。一个被当作示 范使用的保留样例,对那次实验而言就永远不再是保留集证据——事后再小心也无法把它恢 复回来。
优化器的可见性在第 10 章到第 13 章之间被刻意设成并不相同。
第 10、11 章的 BootstrapFewShot 在构造示范时能看到训练样例,而开发家族则保留给评 估。第 12、13 章的 MIPROv2 和 GEPA 在自己的搜索或选择循环内部使用开发样例。在每 一种情况下,7 条保留行都留在优化器可见集合之外。
这个区分是实验协议的一部分,不是 dev 这个词的属性。保留集的交集始终为空,运行
器会用机械方式验证这一点,而不是相信这段话。
接下来会走向哪里
到第 20 章仓库修复收官之作的映射是直接的,这正是夹具被搭成这样、而不是一袋子句 子的原因:
| 编辑程序 | 仓库修复 |
|---|---|
| 句子 | 仓库 issue |
| 上下文 | 仓库证据 |
| 参考改写 | 评估预言机(oracle)或预期行为,如果存在的话 |
| 语义约束 | 工程约束 |
| 目标失败 | 该样例演练的失败类别 |
| 被接受或被拒绝的编辑 | 被晋升或被拒绝的干预 |
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 优化器的结果好得离谱 | 评估标签抵达了输入 | 检查 .with_inputs 投影;跑一次泄漏测试套件 |
把标签与元数据字段从程序输入中移除 |
| 一个结果事后无法追溯 | 没有稳定的身份或来源 | 在存储的行里查找 case_id 和 source_id |
在第一次实验之前就加入持久身份 |
| 训练与保留集重叠 | 划分在优化之后才创建或被改动 | 比较 ID、家族与划分指纹 | 在编译之前冻结划分并生成指纹 |
| 在新数据上表现骤降 | 相关的行跨越了划分边界 | 跨划分比较 source_group 的值 |
按家族划分,而不是按行划分 |
| 每次实验都产出微小而不稳定的差值 | 夹具相对于样例级与运行时变化太粗糙 | 计算单个样例对均值的贡献;用配对对照重复 | 在解释差值之前,加入独立样例或更强的重复证据 |
| 只测量了平均表现 | 夹具没有失败模式的结构 | 按预期失败字段对分数分组 | 针对具体失败来设计样例 |
| 语料库从不奖励克制 | 每条参考改写都改动了句子 | 统计参考等于输入的行 | 纳入无需编辑的样例,并修好惩罚它们的指标 |
本章小结
我们有了一个夹具:44 个样例、12 个家族,在家族边界上划分,打了两次指纹,并且在 任何优化器被允许靠近它之前,按照九条不变量做了审计。每个样例都贴上了它被设计出 来要演练的失败模式标签,六个类别是刻意填充的,而不是抽样碰巧产出什么就算什么。
本章的两个想法比语料库本身更值钱。
第一,夹具是一件你可以计算其粒度的仪器。在 11 个开发样例下,单个样例占均值的约
9.1%:一次 0.35 的样例级摆动会让聚合值移动约 0.032,哪怕 0.11 的摆动也会让
它移动 0.010。
运行时可变性是另一个经验量,必须被测量,而不是被乘进那段算术里。正是对这两个量级
的了解,能阻止你把一次运行的 +0.011 写成改进的证据。
第二,划分是一个关于泛化的主张,而按行而不是按家族划分,会悄悄把这个主张削弱到一 无所有。我们之前的夹具遵守家族规则的方式,是每个家族只有一个样例——这种合规能通过 审计,却保护不了任何人。
我们移除了"任何有用的示例都可以放心展示给优化器"这一假设,也移除了"在一行旁边写 上’保留’就算一种控制、而不是一条备注"这一假设。
我们仍然做不到给任何东西打分。我们有参考答案、约束和预期失败模式,却没有一个能 把一次改写和一行数据变成数字的函数。
那个函数将比程序本身更事关重大。
我们究竟在测量什么?当测量出错时,会发生什么?