← DSPy From First Principles

一次只改一件事

把语料库、程序、模型、优化器配置和评测框架固定住,只替换目标,检验当失败变得确定且可具名时,优化是否会改变方向。

前三章拿三个优化器去跑一个我们已经证明是盲的指标,得到的正是第 9 章预言的结果:一次 忠实追逐目标、却损坏了目标看不见之物的搜索。

这个结果有一个显而易见的解读,也有一个正确的解读,而两者并不是一回事。

显而易见的解读是优化器表现不佳。正确的解读需要一次实验,因为“目标才是问题所在”只是 一个假设,而我们还没有检验过它。我们所知道的一切都与另一个解释相符——不管把优化器指 向什么,DSPy 的优化器在一个小型本地模型上都做不出多少事。

所以这一章只改变一样东西。

    flowchart LR
    F[其余一切固定] --> E[同一实验,重新运行]
    M1[editorial_metric_v1] -->|换成| M2[确定性约束满足]
    M2 --> E
  

固定不变的有:44 个句子、程序架构、模型及其量化与温度、优化器的类与预算与种子、各个 划分与顺序,以及七次会话的配对评测框架。只有目标改变。这就是全部设计。它不是一个新任 务、一个更大的模型,或一次更好的搜索。它是同一次实验,只是换掉了尺子。

得到的结果并不是优化器的一场干净胜利。它更有信息量:三个优化器按照其搜索过程能利用 的信号类型分开了。


1. 抵抗把一切都修好的诱惑

这里最强的本能,是在实验进行的时候顺手改进它。新目标是确定性的、免费的——不调用 LM,计算即时——因此优化器负担得起比编辑实验所允许的多得多的搜索。

我们一个预算都没有提高。

Bootstrap 保留 0.70 阈值和四条示范。MIPRO 保留两个候选和四次试验。GEPA 保留 max_metric_calls = 66 和种子 13。每一项配置都逐字照抄自上一章的运行。

这个理由值得讲清楚,因为它很容易搞错。如果目标变了而且预算也变了、结果变好了,你 对究竟是哪一处改动起了作用就一无所知。一个便宜的指标,是邀请你稍后跑一次更好的实验, 而不是许可你现在就换一次不同的实验。

语料库、划分、模型和配对评测框架同理。数据集与划分的指纹都与前面几章完全一致。


2. 一个能说出失败名字的目标

第 9 章论证过,指标有两份工作——测量正确的属性,以及能够说出哪里出了问题——而我们 的两份都没做好。替代品围绕这两者构建。

每个案例都会得到一组冻结的 hard_constraints,它们由句子、目标和上下文机械推导而 来,再由人审查、在任何运行开始之前冻结。六种,每种都是二值的:

约束 检查
entity:<X> token X 仍然存在
number:<N> 数值 N 存在且未改变
qualifier:<W> 承载范围的 token 或短语 W 仍然存在
negation 否定数量与原文等价
forbidden:<X> token 或短语 X 仍然不存在
max_words:<N> 不超过 N 个词

qualifier 约束来自对承载范围的 token 的扫描:regularly, only, may, might, up to, at least, within, usually, often, sometimes, partly, approximately, generally, typically, unless, if。多 token 的短语按短语整体匹配——up to 不是两次独立的检查。

打分规则保留了第 8 章关卡与分数的分离。entity、number、negation、forbidden 或改动规则的失败会把该案例打到零;部分分数绝不能奖励那些破坏了契约强制部分的候选。 除此之外,qualifier 与 max_words 提供分数化的选择信号。所报告的 frac 结果是这些 逐案例分数的平均值,而不是全部 315 项检查中被满足的比例。这一区别防止了大量容易通过 的 forbidden 检查主导目标。

这个目标有两个性质,比它的细节更重要。

**参考改写不参与打分或优化。**它只在冻结之前被使用一次,作为一次诊断探针:如果一处 已知良好的改写与一条推导出的约束冲突,守卫会抛出断言,并要求一个立足于任务契约的人 类裁决。它自己不能删除或放宽约束。在编译与评估期间,参考改写与目标改写都不会进入指 标或它的反馈,因此没有参考答案能通过这个目标泄漏进搜索。

**失败有名字。**不是 0.967,而是 qualifier:regularly。

还有那个经典测试:ed-035——上一章的优化器靠删掉一个词弄坏的那句滤水器句子——产生 的约束是 qualifier:regularly。删掉那个词,现在是一个显式的具名失败,而不是一次舍入 误差。


3. 确定性不等于正确

本章的价值就在这里,因为第 9 章之后自然得出的结论是确定性指标是安全的那一类,而 这个结论是错的。

在任何一次模型调用之前,我们用新目标给冻结基线的现有输出打了分,并检视了结果。审计 发现了三个实现 bug,它们错误地把八个案例打成零分;还有第四个协议 bug,出在用于调查 六处约束与参考冲突的那个守卫里。

**空白字符的禁用词。**有些行带着像 "\n" 和 " " 这样的禁用值。去掉空白之后它们 变成空字符串,而空字符串是任何字符串的子串。四个案例因此被打成了永久失败。

**只有标点的改动被读成未改动。**改动规则关卡比较的是归一化后的文本,把标点当成了噪 声。ed-003 的整个编辑目标就是对话标点——正确的改写要加上引号并拆开句子。三个案例 因为恰好做出了被要求的改动,反而被错误地打成零分。

一次表面形式归一化的漏配。entity:200C 没有匹配到等价的表面形式 200°C。一个 案例被错误地打成零分。

**六处约束与参考的冲突。**六条机械推导出的约束没有被已知良好的参考改写满足。这并不 证明约束是错的,也不证明参考是决定性的。它证明的是推导、任务契约与答案键三者不一 致,而且在目标可以被冻结之前,需要一个显式的裁决。

前三个 bug 在不牵涉任何模型、随机性或判断的情况下,错误地给 44 个案例中的 8 个打了 分。第四个失败不同,也更危险:验证守卫没有产出一个明显错误的分数,而是在矛盾浮出水 面之前,悄悄改掉了目标。确定性买到的是可复现与可检视。它买不到正确性。一个确定性指 标可以每次都以同样的方式出错,让一个稳定的错误看起来像一个稳定的事实。

一个确定性指标不会自动成为正确的指标。它之所以变得可信,是因为它的规则可以被检视、可以被测试。

现在有十二个单元测试覆盖这个目标。这不是走过场——上面每一个 bug,都是这些测试本会 抓住的案例。

那个削足适履的守卫

第四个失败产出了最重要的流程修复。

第一版实现里有一个守卫:当参考改写无法满足某条推导出的约束时,守卫就把那条约束删 掉。这看起来很合理。它其实是在悄悄编辑测量仪器,好让它与答案键一致。

这与“调指标直到你的程序通过”是同一种失败,只是从相反的方向走来,还披着卫生措施的外 衣。

替代品从不改动任何东西。它运行检查,并断言:每一条参考无法满足的约束,都记录着 一个显式的人类裁决——理由来自句子、目标、上下文和任务契约,绝不来自参考。

由此得到六个裁决:

案例 约束 裁决 理由
ed-012 forbidden:It was 1994 移除 没有锚定的子串;它同样会命中可接受的模糊说法 “I think it was 1994”
ed-012 qualifier:might 保留 承载范围的不确定性标记;上下文表明叙述者是刻意不确定的
ed-017 max_words:13→15 提高 目标要求用 “tended to score” 替代 “also scored”——约束不允许这两个 token
ed-021 max_words:15→17 提高 修复 “said…allegedly” 天然就会更长
ed-025 negation:1 移除 目标是平实的语言;“not later than X” 在它的平实形式 “within X” 里没有否定
ed-044 qualifier:if 移除 “if” 是目标所针对的礼貌框架的开头;它并不限制这个请求

在 315 条推导出的约束上的最终统计:309 条原样接受,一条经审查后保留,三条移除,两条 提高。每一处偏离都有记录,而理由都不提参考。

negation 检查也必须变得更聪明,而不是更简单。ed-011 把 “did not say very much” 改写成 “said little”——一个词汇化的否定,也是一处好改动。这个检查现在会把 little, few, unable, hardly, lacks, fails 这类词按方向计入数量不足:它只能弥合差距,永远不能拉开 差距。ed-011 通过;真正加了一个否定的 ed-017 仍然失败。残余风险——用列表之外的词 把否定词汇化——被记录并接受,而不是被掩盖。


4. 运行之前先测量仪器

第 7 章介绍了实验夹具能检测到什么的算术。这次实验同样需要对目标做一次检查,而它本会 是拯救我们最多的那一步。

如果冻结基线已经满足了几乎每一条约束,优化器就没什么可改进的;一个平坦的结果会被读 成诊断错了,而它实际的意思是这台仪器没有空间。

所以我们先给基线打分,零次模型调用,复用磁盘上已有的七个冻结基线会话。下面方括号里 的值,是观察到的会话最小值与最大值:

仪器 基线 是否主导?
仅分数化得分 0.806 [0.775–0.829] 是——19 个百分点的余量
100% 满足率 0.761 [0.730–0.784] 是——24 个百分点
每次会话可修复的失败 ~9(qualifier 3,negation 1,max_words 5) 是
satisfied / total,所有类型 0.946 否——被 137 项 forbidden 检查稀释
零事实违规率 0.973 否——基线几乎不破坏事实

最后两行才是要紧的。那个显而易见的聚合——满足的约束除以检查过的约束——读出来是 0.946,看上去无事可做。它被 137 项基线轻松通过的 forbidden 检查稀释了,因为一个本 来就不可能用禁用词的程序,会因为没用禁用词而拿满分。

选错头条数字,会把一个真实的 19 个百分点的差距看成 5 个百分点,我们就会得出结论说这 个实验没法跑。

由此得到一条值得推广的纪律:**在运行任何东西之前,先问你的候选聚合里哪一个真的能 动,并宣布它为主导。**对你的程序本来就已经通过的检查求平均,衡量的只是你写了多少容 易的检查。

这个余量也很窄、很具体,而报告对此是诚实的。实体、数字和禁用词已经接近完美——这些 约束充当下行探测器,优化器对它们只能保持或打破。所有空间都在限定词、否定和长度 上。而这正是 ed-035 的故事。


5. 两个实验臂

**臂 1——披露。**约束清单被加进程序的输入。这是一项合规任务,也是一个阳性对照:如果 在明确告诉程序要满足什么的情况下,优化仍无法改进合规,那么评测框架是坏的,下游的一 切都不可信。它不能隔离目标,因为程序的契约改变了。

**臂 2——不披露。**程序只看到 sentence、goal 和 context,与前面每一章完全一样。 约束只存在于评估那一侧。程序必须自己推断哪些 token 是承重的。

臂 2 是因果实验,它精确地重现了最初的情形:上一章里也没有人告诉模型 regularly 很重 要。

两个臂中 GEPA 的反馈都只有失败约束的名字——Failed constraint: max_words:12——绝不 是参考,绝不是目标句子。两个臂合计 149 次编译反馈调用中,参考泄漏为零。


6. 发生了什么

臂 2,开发家族,7 次配对会话。frac 是分数化得分;事实违规会把案例打成零分。

程序 frac(均值,sd) 100% 满足 事实硬失败 配对 Δ
基线 0.9091, sd 0 0.909 0/77 —
BootstrapFewShot 0.9091, sd 0 0.909 0/77 +0.0000, sd 0
MIPROv2 (返回了基线状态) 0.8442, sd 0.044 0.844 0/77 −0.0649†
GEPA 1.0000, sd 0 1.000 0/77 +0.0909, sd 0

† MIPRO 返回了逐字节相同的基线状态。这个负值是残余解码非确定性之下、相同程序状态的两 次新生成之间的配对差值,不是编译候选的回归。第 7 节把状态层面的零效应与输出层面的方 差分开。

与上一章对照:

优化器 编辑 v1(配对) 约束目标,臂 2
BootstrapFewShot +0.0003 +0.0000
MIPROv2 +0.0199 选择了默认值;没有候选
GEPA 没有被接受的子代 +0.0909,7/7 次会话

三个优化器结果里有两个改变了方向。MIPRO 从选择一个可复现地取得更高 v1 的候选,变成 返回默认状态。GEPA 从拒绝每一个子代,变成在每次会话中都选中一个。Bootstrap 在两个目 标下都净持平,不过新的逐案例记账显示,那是一次精确的交换,而不是噪声。

这些是测量不同属性的不同量表,所以不要拿一列去减另一列。可比的是方向、可复现性,以 及每个优化器究竟学到了什么。


7. 解读三个结果

**MIPRO 产出的是状态层面的零效应,不是回归。**它运行了 59 次编译指标调用,其中 48 次 高于阈值,没有找到任何在约束验证集上胜过默认值的指令,于是它返回了逐字节相同的基线 程序。从那个相同状态发起的新调用,仍然足够频繁地跨过 max_words 悬崖,产生了 −0.0649 的配对估计。因此实验记录了两个独立的事实:编译没有选中任何程序改动,而生成 仍然是非确定性的。

它先前的增益为什么消失了?因为那个增益来自指令改动,而这些改动是在一个词法指标下、 对照一个包含 ed-035 的验证集打分的。约束目标不奖励那些改动。搜索空间并没有缩小; 搜索它的回报缩小了。

**Bootstrap 的平坦结果是一次交换,不是噪声。**这是本章最锐利的机制性发现。在开发家 族上,它在全部七次会话中都修好了 ed-032——13 个词降到 10 个,满足 max_words。而 同样在全部七次会话中,它返回的 ed-038 与原文逐字节相同,这违反改动规则,得零分。

加七,减七,净正好为零,而且可复现。

这些示范取自那些最小改动就够用的简单训练案例,所以它们教的是保守。这对一个需要更短 句子的案例有用,而对一个本来就需要改动的案例则是致命的。上一章把 Bootstrap 的持平叫 作噪声。它不是噪声——它是纯示范搜索在这个程序上一种特定的、可复现的失败模式。

**GEPA 改进了,而且它的机制是可读的。**它在每次会话中都选中一个子代,+7 个案例、 −0,编译验证集从 0.909 → 1.000。它改写后的 analyze 指令包含显式的否定处理、 “preserve scope-bearing tokens”,以及 “stays within a maximum of 15 words”。

它是从读作 Failed constraint: max_words:12 的反馈字符串做到这一步的。

同样的搜索算法,同样 66 次指标调用的预算,同样的模型、同样的种子、同样的语料库。上 一章 GEPA 拒绝了它全部三个子代。这里它每次都接受一个。

**这个结果支持一个更窄的诊断:在词法指标下,GEPA 缺少可操作的反馈。**反思式优化器 假定一次失败携带的信息足以提示一处改动。第 9 章论证过,一个混合的标量指不出这样的目 标。在这次实验中,把那个标量反馈换成具名失败,就足以产生一个被可复现选中的指令改 动。由于子代是在同一个开发集上被选择和测量的,这确立的是搜索行为的改变,而不是泛 化。


8. ed-035 与那道地板

两个结果,收束了从第 2 章一路延续下来的线索。

**没有人删掉 regularly。**两个臂、全部七次会话中,每个程序都产出了唯一一个不同的 输出:

Using the filter regularly helps reduce limescale build-up in your kettle.

qualifier:regularly: PASS, 7/7.

精确地说清这展示了什么。冻结基线始终保留着 regularly——上一章的回归是优化候选引 入的。所以这是一个预防回归的结果:在一个把删掉那个词视为具名失败的目标下,没有优化 器删它。

editorial v1 : 删掉 "regularly" 代价 0.033,而优化器照做了
constraint   : 删掉 "regularly" 是一个具名失败,而它没有删

**克制的地板消失了。**全部六个 unnecessary_edit 案例都以原样改动拿到满分——臂 2 中 的基线、Bootstrap、MIPRO 和 GEPA 都是 42/42。第 2 章预言过,一个无法表达“别动它”的契 约会传播成一个惩罚克制的指标;第 8 章把它测量为压在语料库 14% 上的一道硬性 0.65 封 顶。一个把“输出未改动”视为正当的目标,在克制本来就是正确的那些案例上,根本就没有这 个问题。

这个例外很有启发。臂 1 的 MIPRO 得分 35/42,因为约束被直接交给它之后,它变得过于积 极,去编辑本该保持不动的句子。明确告诉一个程序什么必须保持为真,显然会鼓励它用“做点 什么”来展示合规。


9. 这展示了什么,又没有展示什么

头条结论不是“可验证的目标让优化奏效”。GEPA 选中了一个有益的子代,MIPRO 返回了未改 动的基线,Bootstrap 通过一次精确交换净得为零。改变目标并没有统一地解锁优化。

它改变的是哪个搜索过程收到了有用的信号。

这把那道阶梯重新表述为一个关于信号类型与搜索机制的问题,而不是按精巧程度排出的名 次:

BootstrapFewShot   用指标过滤示范                → 示范既教了有用的克制,也教了有害的少改
MIPROv2            用一个标量选择程序状态          → 有界搜索里没有提案能胜过默认值
GEPA               用文本提案、用分数选择          → 一个具名失败提供了可操作的目标

这是对这些运行的说明,不是对优化器的普适分类。下面是四个诚实的局限,因为这个结果很 容易被过度解读。

**GEPA 是对着开发集选择的。**它的 +0.0909 是在它用于选择的那个验证集上测得的——与第 12 章赋予 MIPRO 编辑增益的地位相同。所选结果在七次全新会话中重复,全部使用同一份冻 结配置。这个幅度不是搜索之外的证据,重复的这些会话也不是七个相互独立的保留集。

**增益只有一个案例,而且在最没意思的那一类里。**开发基线本来就有 11 个中的 10 个是 完美的。GEPA 修好了第十一个 ed-032,靠把它缩短到满足 max_words。长度是六种约束 类型里最浅的一种。

**在促成整个实验的那一类上,GEPA 净得为零。**在合并的训练加开发诊断中,它修好了七 个 qualifier 失败,又引入了七个。Bootstrap——在起主导作用的开发聚合上毫无建树的那 个优化器——在同一项诊断计数上净得 +7。由于训练案例对优化器是可见的,这两个数字都不 是泛化结果。更重要的是,那个“奏效了”的优化器并没有改进 ed-035 所关乎的属性。

**获胜的指令有一部分是背下来的。**它硬编码了 “a maximum of 15 words”,并从一个特定 的训练案例里引用了两个短语。它能泛化到简短的开发句子上,而在一个本来就该很长的句子 上会失灵。GEPA 学到的是一个界,不是一个原则。

这些都没有推翻那个窄的发现。在整个开发家族上,每个程序在每个臂中贡献了 77 个案例运 行,没有一个产生 entity、number、forbidden 或 negation 的硬失败。GEPA 的方向改变重复 出现,它的机制在被选中的指令里清晰可见,而这个目标让上一章那个标志性回归变成了可以 被明确针对的对象。

但诚实的裁决是有保留的:在其余一切固定的情况下,改变目标对这次实验中 GEPA 的提案 与选择行为起到了承重作用。它并没有表明优化机制无关紧要,没有表明 GEPA 泛化到了它的 选择集之外,也没有表明确定性目标普遍更优。观察到的增益占据一条很窄的余量带,值一个 开发集案例,而且来自一个在用于选择它的那个集合上被测量的优化器。

由此得到的是一个预言,而不是一个结论。

如果 GEPA 的改进与它的反馈能说出多少成正比,那么一个失败自带测试名、期望值、实际值 和回溯信息的任务,应当是它在本书中的最佳情形。这不是论证。这是一件要去测量的事,而 本书的后半部分会去测量它。


通常会出什么错

症状 可能原因 如何诊断 改什么
新目标和更大的预算一起改善了结果 两个变量动了 检查是否有配置随着指标一起变了 一次只改一样东西;便宜的指标不是许可
确定性指标产出不可能的分数 空字符串匹配、归一化或边界 bug 给已知良好的参考打分并检视每一次失败 在信任单次运行之前先给指标做单元测试
设置过程中约束悄悄消失 有守卫在改测量仪器以迁就答案 找出依据参考去改动指标的代码 改成断言,并要求记录在案的人类裁决
聚合说没有余量 它被基线总是通过的检查稀释了 运行之前分别计算每个候选聚合 宣布一个主导仪器,并说明理由
一个优化器的增益是平的,被叫作噪声 它可能是一次相互抵消的交换 逐案例、逐会话、两个方向比较 分别统计修复与回归
反思式优化器提不出有用的东西 它的反馈是一个数字 读它实际收到的反馈字符串 在换优化器之前先让失败可具名
获胜的指令含有来自训练数据的字面值 优化器背下了一个界 从头到尾读一遍被选中的指令 在它背下来的范围之外的案例上测试
选择集上的增益被报告成了一次改进 选择证据被当成了独立证据 检查优化器的验证集属于哪个划分 把它报告为选择证据,或者花掉一次保留集

本章小结

我们把语料库、程序、模型、优化器配置和配对评测框架固定住,然后改变了目标。MIPRO 可 复现的编辑增益变成了状态层面的零效应。Bootstrap 通过一次精确的“修好一个、回归一个” 的交换保持持平。GEPA 从拒绝每一个子代,变成在全部七次会话中都选中一个在开发集上得分 +0.0909 的子代,而开发家族没有出现新的硬失败。

机制是核心发现。具名反馈给了 GEPA 一个可操作的变异目标,而混合的词法标量没有给出这 样的目标。但这是选择证据,不是泛化:增益是 max_words 上的一个案例,获胜的指令背下 了一个 15 词的界,而在更广的训练加开发诊断中,GEPA 在 qualifier 失败上净得为零。

目标本身在值得信任之前,也需要修复。三个实现 bug 错误地把八个案例打成零分。第四个协 议 bug 让参考守卫去编辑测量仪器。十二个测试和六个记录在案的人类裁决让指标变得可检 视;单靠确定性并没有让它变正确。

因此,得到许可的结论更窄也更强:DSPy 的优化对目标敏感、对优化器依赖。改变目标,改变 了搜索奖励什么、哪些回归变得可见,以及哪个优化器收到了可用的指引。它没有让每个优化 器都变得有效,也没有把一次开发集上的选择变成一个经过独立验证的改进。

编辑任务到此已经把我们带到了它能到的最远处。修复那几章会进入这样一个阶段:解析、作 用域检查、公开测试、回归测试和密封的隐藏测试,可以在外部确立更多的正确性。这不会消 除判断,但它给下一个预言留了一个难躲得多的藏身处。

具名的、可执行的失败证据,能否在优化器密封过的案例上产出更好的修复?