← DSPy From First Principles

优化指令

让 MIPROv2 在指令与示范上搜索,把它找到的改进一路分解到产出它的那一个案例,再看着第二个优化器像第一个一样弄坏同一句话。

第 11 章的优化器只能挑选示范。它从不触碰指令,也从不查看开发集——这就是为什么 升级它的指标什么也没改变。

MIPROv2 两样都做。

指令候选
+
示范候选
+
指标
+
开发数据
      ↓
候选程序

这是一场严格更大的搜索,作用于严格更大的空间,并对着前一个优化器看不到的证据做 评估。如果第 11 章的结果是一个弱机制造成的假象,这里就是它被纠正的地方。

它确实被纠正了,部分地。MIPROv2 找到了第 11 章找不到的真实改进。它也以同样的方 式、因为同样的理由,弄坏了同一句话。


1. MIPROv2 搜索什么

MIPROv2 为每个预测器生成少样本示例和新指令,然后在预算之下搜索它们的组合:

    flowchart TD
    BE[自举少样本示例] --> PI[提出指令候选]
    PI --> EC[对照验证集评估组合]
    EC --> B{还有预算?}
    B -->|是| PI
    B -->|否| BEST[返回已找到的最佳状态]
  

指令候选由一个语言模型提出,参考了训练数据的摘要、程序结构、自举出的示例以及采 样得到的生成提示。这意味着流水线中出现了第二个模型角色——提示词模型,它负责 写指令;区别于执行指令的任务模型。第 6 章的来源(provenance)表警告过这两者 应当分别记录,而这里正是它要紧的地方:如果提示词模型变了,搜索路径就变了,哪怕 其他什么都没变。

与第 11 章相比,真正要紧的区别是验证集。MIPROv2.compile 接收一个 valset, 并对照它评估每一个候选组合。所以与 BootstrapFewShot 不同,这个优化器的指标 确实会看到开发案例——而且按设计反复看到。

先记住这一点。它会改变第 6 节里开发分数的含义,也解释了为什么这里的 v2 结果在性 质上不同于第 11 章。


2. 编译形态与预算

import dspy

def compile_mipro_candidate(trainset, devset):
    student = EditorialRewriteProgram()
    optimizer = dspy.MIPROv2(
        metric=dspy_editorial_metric_v1,
        auto=None,
        num_candidates=2,
        seed=13,
        metric_threshold=0.7,
        max_bootstrapped_demos=2,
        max_labeled_demos=0,
    )
    return optimizer.compile(
        student,
        trainset=trainset,
        valset=devset,
        num_trials=4,
        minibatch=False,
    )

注意 auto=None。DSPy 的默认值是 auto="light",它会替你选一个预算;把它设为 None、并显式指定 num_candidates 和 num_trials,意味着搜索规模是一个被记 录下来的实验参数,而不是一个可能随版本变化的框架默认值。

这不是文体上的偏好。一场重型搜索找到的候选与一场小型搜索找到的候选是不同的产 物,而一份写着 auto="light" 的清单记录的是一个策略的名字,而不是搜索的规模。

数据边界没有改变:26 个训练案例、11 个开发案例作为验证集,保留集被排除在外、从 未被检视。

MIPRO_CONFIG = {
    "optimizer": "MIPROv2",
    "auto": None,
    "num_candidates": 2,
    "num_trials": 4,
    "seed": 13,
    "minibatch": False,
    "metric": "editorial_metric_v1",
    "train_case_ids": TRAIN_IDS,      # ed-001 … ed-028, 7 families
    "dev_case_ids": DEV_IDS,          # ed-003, ed-029 … ed-038, 3 families
    "holdout_case_ids": HOLDOUT_IDS,  # excluded from compile
}

3. 搜索返回了什么

MIPROv2 选中了一个被改动过的候选。它重写了 analyze 和 rewrite 预测器上 的指令,并挂上了三条来源为 ed-020 的自举示范。

先从那一次 11 案例的开发评估看起,和第 11 章一样:

程序 指标 v1 指标 v2
冻结基线 0.7893 0.7893
MIPROv2 候选 0.8192 0.7586
单次运行差值 +0.0298 −0.0308

与第 11 章相同的形态,两个方向上的数字都更大。在我们对着搜索的指标上上升,在能 看出含义的指标上下降。而且,完全像第 11 章一样,单次运行还不是效应估计——第 4 节 在七次配对会话中重复它。

记录在案的搜索开销:

搜索资源 实测
耗时 404.8 s
提示词模型历史条目 4
提示词模型 token 6,523
任务模型历史条目 168
任务模型 token 79,084
优化器指标调用 56

大约 85,600 个 token、七分钟,把十一个案例上的开发均值推动了 0.03。这算不算贵, 完全取决于那个 0.03 到底是什么——也就是第 4 节。


4. 分解这个提升

+0.0298 的单次运行差值越过了第 6 章的 ±0.015 噪声地板,所以不像第 11 章的提升, 它显然不是噪声。但聚合只是一个摘要,而第 8 章的教训是:摘要是你算出来的东西里信 息量最少的。所以把它拆开。

五个案例动了。六个没动。

案例 基线 候选 变化 对均值的贡献
ed-029 0.650 1.000 +0.350 +0.0318
ed-033 0.818 0.927 +0.109 +0.0099
ed-035 1.000 0.967 −0.033 −0.0030
ed-003 0.877 0.846 −0.031 −0.0028
ed-038 1.000 0.933 −0.067 −0.0061
合计 +0.0298

算术完全对得上,而且它说出了聚合完全掩盖掉的东西。

**仅 ed-029 一个就贡献了 +0.0318——比报告出来的全部提升还多。**优化器所做的其 他一切净效果是 −0.0020。动了的五个案例里有四个变差了。

那么 ed-029 上发生了什么?它是一个对话案例,target_failure 为 invalid_output,而基线一次也没有修好过它——在我们跨所有章节做过的每一次运行 中,它都恰好停在 0.650,那个什么都不做的地板上。MIPRO 重写后的指令告诉程序保留 所有关键信息,这就够了。该案例达到了完美的 1.000。

这是一次真实的、可复现的、机理明确的改进。一个优化器提出了一条人类没有写过的指 令,而它修好了一个由人类写的指令从未修好的案例。这正是指令优化该做的事,而且它 成功了。

另一个表面上的提升就没那么可信了。ed-033 是第 6 章那个咖啡句子,它有两条吸引 子改写——基线在不同会话中两种都会产出,视日子不同值 0.818 或 0.927。它 +0.0099 的贡献很大程度上就是那场抬高了第 11 章结果的同一个掷硬币。

把它剔除掉,诚实的摘要就是:MIPROv2 修好了一个案例,让三个略微变差,在第四个 上走了运。

这是一个真实的结果。它也比"+0.03 的改进"所暗示的小得多,而没有逐案例的表格你就 看不到它。

在七次配对的新鲜进程会话中,聚合 v1 差值 +0.0199,每一次会话都完全相同 (SD 0.0000),候选在 7 次中 7 次领先。不像第 11 章的自举提升,这个提升在配对 之下没有塌缩——它是真的、可复现的。它只是比单次运行小,那次运行恰好赶上了 ed-033 较高的那条改写。配对的 v2 差值是 −0.0407,同样在各次会话间完全相 同:那个抬高了目标的候选,每一次都拉低了独立检查。+0.0199 是应该带下去的数字。


5. 又是 ed-035

现在来看那张表里我们还没讨论过的一行。

ed-035 在 v1 下从 1.000 掉到 0.967——贡献为 −0.0030,在聚合里看不见,与四舍五 入无从区分。

在 v2 下它从 1.000 掉到 0.300。

这就是第 11 章弄坏的那个案例,而且坏的方式一模一样。候选从过滤器那句话里删掉了 regularly,把一个以经常使用为条件的主张变成了无条件的产品主张。LM 评审器返回 violated,原因是 scope_changed。封顶规则生效了。

照第 4 章那样算同一笔账:

ed-035 在 v1 下的惩罚:   0.033
ed-035 在 v2 下的惩罚:   0.700
额外的 v2 惩罚:          0.667

摊到 11 个案例:          0.667 / 11 = 0.0606

v1 差值 − v2 差值:       0.0298 − (−0.0308) = 0.0606
                     (配对: 0.0199 − (−0.0407) = 0.0606)

**两个指标之间的全部分歧就是一句话。**就像第 4 章一样,在那里 ed-025 的交付与 收货之替代解释了全部差距,精确到小数点后四位。

现在再想想,是什么让这成为本书最重要的结果。

第 11 章的优化器从四个文学性训练案例中挑选示范。第 12 章的优化器重写指 令,这些指令由语言模型提出、参考了全部 26 个训练案例的摘要,并通过 56 次指标 评估对着 11 个开发案例做选择。

不同的机制。不同的证据。不同的搜索空间。相差一个数量级的算力。

两者都产出了一个从 ed-035 中删掉 regularly 的候选。

这不再是一个优化器的怪癖。这就是把这个指标最大化所做的事情。两个独立的搜索过 程,在给定同一个目标的情况下,找到了同一个钻空子的打法——因为空子不在优化器 里,而在目标里。v1 为简洁付费,看不见条件性,于是两场搜索都学会了删掉一个限定 词,而且都因此得到了奖励。

这里有个值得停下来的反讽。MIPRO 选中的那条指令——修好 ed-029 的那条——告诉程 序保留所有关键信息。而同一个候选随后从一条受监管的主张中丢掉了关键的限定词。 指令本身没有错。循环里没有任何东西能告诉它哪些信息是关键的,因为它拥有的唯一信 号是一个同样什么都不知道的分数。


6. 开发数据不是保留集数据

MIPROv2 对照开发集评估了 56 次候选组合。那十一个案例不再是关于候选的中立证据; 它们参与了挑选。

这不是不当行为。这正是开发集的用途。但它改变了这个数字的地位:

train:    构造候选的原料
dev:      在候选组合之间做选择   ← 这里被用了 56 次
holdout:  搜索停止后测试被选中的候选,只测一次

候选的 0.8192 是选择证据。它是所有试过的配置中得分最高的那一个,在用于尝试 它们的那份数据上的分数——按构造就是一个有偏估计:你搜索得越多,拟合掉的开发集噪 声就越多。

第 11 章的候选处境不同:BootstrapFewShot 从不触碰开发集,所以它的 0.8005 更接 近一个诚实的搜索之外估计。这两个数字不能直接比较,尽管它们出自同一套协议。

这就是为什么"我们没有在测试集上训练"是一句不充分的辩解。如果一个搜索过程在观察 了某个集合上的表现之后挑选了候选,那么无论目录叫什么名字,那个集合都已变成开发 数据。唯一保持独立地位的是还没有被任何人看过的那些案例,它们有七个,仍然封存 着。


7. 三个阶段,同一个模式

程序 指标 v1 指标 v2 配对 v1 Δ 变了什么
冻结基线 0.7893 0.7893 — —
BootstrapFewShot 候选 0.8005 0.7399 +0.0003 12 条示范,4 个训练案例
MIPROv2 候选 0.8192 0.7586 +0.0199 2 条重写的指令,3 条示范

(v1 和 v2 两列取自一次有代表性的会话;配对一列是七次会话的均值。)

两个优化器都提升了目标。两者都拉低了独立检查。两者都弄坏了 ed-035。

两者都没有越过第 19 章将要采用的 0.05 晋升门槛——自举的配对提升落在噪声带之内, MIPRO 的 +0.0199 远低于这个门槛——所以按本书的策略,两者都不是晋升候选;而这 还没算上:两者在 v2 下都比它们本应改进的那个程序更差。

化学 TPSA 项目 在这里是一个有用的对照。它在一套可比的协议内运行 MIPRO——划分数据、保存程序、 消融——但它的目标是一个带有无歧义误差度量的物理量。当指标是对着已知值的 MAE 时, 本章的这些歧义根本不存在:误差更低就是更好的程序,句号。编辑质量没有这样的锚 点,这就是为什么指标需要被攻击、结果需要被分解。

一般的教训不是优化器不可信。而是:优化器是你指标的忠实放大器,它越有效,就 越精确地把你的指标搞错的地方表达出来。第 11 章用 6,195 个 token 放大了一个盲 点。第 12 章用 85,600 放大了同一个盲点。


8. 持久化产物

candidate.save("artifacts/editorial_mipro_candidate.json")

write_manifest(
    "artifacts/editorial_mipro_manifest.json",
    {
        "program": "editorial_rewrite_program",
        "candidate_version": "0.3",
        "optimizer": "MIPROv2",
        "optimizer_config": MIPRO_CONFIG,
        "metric": "editorial_metric_v1",
        "instructions_changed": ["analyze", "rewrite"],
        "demo_source_case_ids": ["ed-020"],
        "dev_metric_calls": 56,
        "search_tokens": 85_607,
        "model": "recorded_at_runtime",
        "prompt_model": "recorded_at_runtime",
        "dspy_version": "recorded_at_runtime",
    },
)

这里有两个第 10 章的清单不需要的字段。instructions_changed 记录优化器重写了哪 些预测器,因为一个改动了指令的候选,与一个只增加了示范的候选是不同种类的产物。 第 3 章关于持久性的警告如今真的发生了,而清单应该把它说出来。dev_metric_calls 记录开发集被用得有多狠,这个数字决定了第 6 节里选择分数要打多少折。

产物必须回答的问题没有变:

以后还能有人重跑或审计这个实验吗?

通常会出什么错

症状 可能的原因 如何诊断 改什么
一个提升越过了噪声地板却仍然误导 聚合掩盖了相互抵消的逐案例变动 逐案例分解差值,并核对它们的加总 报告哪些案例动了,而不只是均值
全部改进就是一个案例 真实,但比标题所暗示的窄得多 计算每个案例对均值的贡献 按数据所能支撑的分辨率陈述发现
开发分数上升,保留集下降 搜索拟合了开发噪声 跨划分比较失败分类 缩减搜索预算、增加案例,或给选择分数打折
两个优化器犯了同一个错 空子在指标里,不在优化器里 找出两个候选都损害的案例 修好目标;换一场搜索没用
指令说对了,程序做错了 循环里没有任何东西能界定"关键"是什么 检查这条指令是对照什么信号被打分的 把该性质编码进指标,而不是散文里
搜索消耗的算力远超预期 预算被留给了框架默认值 检查清单里的 auto、num_candidates、num_trials 显式设定预算并记录下来
候选无法复现 指令和示范被保存了,却没有清单 检查产物目录 保存状态,连同优化器、数据、模型与指标的身份
写在 docstring 里的约束消失了 优化器重写了包含它的指令 把候选指令与原始指令做 diff 把持久的约束移进字段描述或指标

本章小结

MIPROv2 用七分钟和 85,600 个 token 搜索了指令与示范的组合,返回了一个被改动过的 候选:两条重写的指令、三条示范,以及 0.8192 的开发分数,对比基线的 0.7893——配对 v1 提升 +0.0199,在全部七次会话中完全相同。

分解之后,这个提升——七次配对会话中可复现的 +0.0199——就是一个案例。 ed-029——一个 invalid_output 案例,基线在任何章节的任何一次运行中都从未修好 过——从 0.650 的地板升到完美的 1.000,单它一个就贡献了 +0.0318。优化器所做的其他 一切净效果是 −0.0020,而其中一个表面上的提升是那句不稳定的咖啡句子照它惯常的方 式翻了一次。

所以诚实的报告是:一个语言模型写了一条指令,修好了一个连人类都没修好的案例,同 时为此让另外三个案例略微变差。这是一个真实的结果,也比那个标题数字窄得多。

在 v2 下候选得分为 0.7586,低于基线。两个指标裁决之间的全部 0.0606 差距就是 ed-035——第 11 章弄坏的同一句话,被一个机制完全不同的优化器以同样的方式损害。

这种复现本身就是发现。一个优化器从四个文学案例中挑选示范,另一个优化器在对照开 发集做了 56 次评估之后用语言模型写指令,两者各自独立地得出了同一处编辑。空子不 在任何一场搜索里。而在它们共享的那个目标里。

我们去掉了一个假设:人类撰写的指令是固定的。也去掉了一个假设:更大的搜索会产生 更可信的结果。更大的搜索只会对你告诉它想要的东西探索得更彻底。

剩下的是:两个优化器每个候选都只得到一个数字,而没有任何解释。ed-035 在 v1 下 得分 0.967;没有哪个优化器被告知是哪个词出了问题,因为一个标量说不出来。

当优化器收到的是语言形式的反馈而不是一个分数时,会改变什么?