← DSPy From First Principles

当指标变成目标

主动攻击目标,把打分与诊断分开,并决定当优化能够钻一个你已证明并不完备的工具的空子时,该怎么办。

第 8 章构建了一个指标,并通过读一张表在其中发现了一处缺陷。六个案例的正确答案被封顶在 0.65——这是把逐案例的分数分组、注意到整整一类都停在一个精确数字上之后才发现的。

那是伪装成勤勉的运气。这一章是刻意去找的。

紧迫性来自接下来会发生的事。DSPy 优化器并不想让你的程序变好。它想让你的那个数字涨上 去,为此它会找出通往那个结果的所有路径,包括那些你并不打算留开的口子。

糟糕的指标
    +
能干的优化器
    =
被高效优化出来的错误

到本章结束时,我们会找到一类候选:得分在 0.85 到 0.96 之间,说的却与作者写的相反;我们 会构建第二个指标来抓住它,并且去验证那个第二个指标,而不是轻信它。

然后我们就得决定拿它怎么办,而这个决定是全书的枢纽。


1. 指标阶梯

不同的任务能容忍不同的工具。

指标类型 何时有用 弱点
精确匹配 恰好只有一个正确的字符串 对开放式改写毫无用处
确定性不变量 违规可以被计算 对质量一无所知
参考比对 参考答案捕捉到了目标行为 惩罚同样有效的替代方案
语义相似度 意义的保持很重要 奖励平庸的同义改写
LM 评审器 需要类人的判断 偏差、漂移、成本、来源
人类偏好 真实的接受是唯一的真相 缓慢、稀疏、昂贵
复合 多种失败模式同时重要 更难解释,更难攻击

编辑改写需要一个复合指标,因为它的失败并非同一类。给角色改名是一次硬违规。写出平淡的 散文是一个软性的质量判断。而危险的案例两者都不是——它们是满足了每一条已实现的检查、却 违反了某个指标从未编码进去的东西的候选。

优化器找到的正是这些。


2. 攻击指标

攻击套件是给你的指标用的实验夹具(fixture)。第 7 章的语料库测试的是程序,这一套测试 的则是工具本身,而且这些问题是对抗性的:

一个明显糟糕的候选能得高分吗?
一次平凡的抄袭能钻分数的空子吗?
冗长能把分数吹大吗?
字面接近能胜过真实质量吗?
一个候选能颠倒含义后安然无恙吗?

这套套件是确定性的。每个攻击候选都是用字符串操作从该案例自身的字段构造出来的,因此不运 行任何模型,结果可复现,而且整套东西分文不花:

def adversarial_predictions(example):
    return {
        "copy_original": dspy.Prediction(rewritten_text=example.sentence),
        "copy_reference": dspy.Prediction(rewritten_text=example.reference_rewrite),
        "reference_plus_junk": dspy.Prediction(
            rewritten_text=example.reference_rewrite + " This is clearly improved."
        ),
        "rename_entity": dspy.Prediction(
            rewritten_text=str(example.reference_rewrite).replace("Jalen", "Jason")
        ),
        "empty_output": dspy.Prediction(rewritten_text=""),
        "over_compressed": dspy.Prediction(rewritten_text=first_clause(example.sentence)),
        "lexical_alternative": dspy.Prediction(rewritten_text=paraphrase_far(example)),
        "semantic_flip": dspy.Prediction(rewritten_text=reverse_meaning(example)),
    }

结果干净地分成两组。

**确定性关卡尽到了职责。**必需实体的改名没能通过硬关卡,得分 0.0。空输出没能通过硬关 卡,得分 0.0。作用域分量把"参考加垃圾"的攻击压到了干净参考之下,所以追加一段听起来很 自信的填充文字并不划算。

语义攻击则长驱直入。


3. 指标看不见的失败

三次攻击,每个典型案例各一次。每一次都取参考改写——那个已知正确的答案——在改动尽可 能少的词的前提下颠倒它的含义。

**ed-001。**场景很紧张;Jalen 很害怕。攻击把恐惧改成了平静。v1 下的得分:0.960。

**ed-002。**Mira 很累,因为她在雨和泥里走了一整天。攻击否定了这层因果关系。 v1 下的得分:0.927。

**ed-003。**Anna 在警告她的兄弟:某个地方不安全。攻击把警告变成了认可,并把 unsafe 改成了 safe。v1 下的得分:0.846。

每一个都通过了硬关卡,保住了必需实体,避开了禁用词,返回了单独一个句子,长度也保持成比 例。每一个都与参考答案共享大部分词汇——这正是重叠分量(占分数的 40%)奖励它的原因。

一个候选可以满足指标知道如何检查的每一个属性,
同时却违反了任务真正要求的那个属性。

原始分数令人警醒,但要同类相比。第 8 章的 0.79 是十一个案例的开发集均值;上面三个攻 击得分是单个案例的得分。把它们放在一起排名并不诚实。

可以直接比较的 ed-003 结果更有用。冻结的程序在那个案例上得分约 0.877。颠倒含义的 攻击得分 0.846。攻击略差一些——但对于一个颠倒了 Anna 警告的候选来说,它离一次成功 改写近得仍然不合情理。

这正是我们需要的那种失败:v1 把一个刻意做错的候选放进了与可接受输出相同的高分区域,因 为出问题的那个属性根本不在分数里。

还要注意指标手上有什么却没用。每一行都带着 semantic_constraints。对 ed-003,夹具 记录了 do not change the warning 和 do not change the speaker。 这些要求在第 7 章写下、随行存储,而在 v1 里没有任何东西去检查它们。信息是存在的。工具 没有能力消费它。


4. 构建 v2

修复方式就是去消费它。版本 2 保留 v1 所做的一切,并加上第三个阶段:

1. 硬关卡         确定性、二值、保持不变
2. 结构分         0.35·changed + 0.25·scope + 0.40·overlap,保持不变
3. 语义检查       一个 LM 评审器,每条约束调用一次      ← 新增

评审器就是一个普通的 DSPy 程序,带一份带类型的契约:

from typing import Literal

import dspy

class SemanticConstraintJudge(dspy.Signature):
    """Decide whether a one-sentence rewrite still satisfies a single stated
    requirement about meaning."""

    original_sentence: str = dspy.InputField(
        desc="The sentence before editing."
    )
    candidate_rewrite: str = dspy.InputField(
        desc="The proposed one-sentence rewrite."
    )
    editorial_goal: str = dspy.InputField(
        desc="What the edit was asked to achieve."
    )
    requirement: str = dspy.InputField(
        desc="The single meaning requirement to check."
    )

    verdict: Literal[
        "preserved",
        "violated",
        "unclear",
    ] = dspy.OutputField(
        desc="Whether the rewrite satisfies the requirement."
    )

    reason_code: Literal[
        "meaning_preserved",
        "meaning_reversed",
        "meaning_weakened",
        "meaning_strengthened",
        "entity_altered",
        "scope_changed",
        "register_changed",
        "output_shape_invalid",
        "cannot_determine",
    ] = dspy.OutputField(
        desc="The primary reason for the verdict."
    )

    explanation: str = dspy.OutputField(
        desc="One sentence explaining the verdict."
    )

三个值得点名的设计决定。

**每条约束调用一次,而不是每个案例调用一次。**让评审器一次评估四个属性,它会把这些属 性搅在一起。只问一个属性时,它要么发现违规、要么没有发现,而结果是可以归因的。

**unclear 是一等裁决。**必须在通过与失败之间做出选择的评审器会自信地猜。解析失败也 归入 unclear,所以一个格式错误的响应会拉低分数,而不是让整次运行崩溃。

每一次判断都记录来源(provenance)——模型、provider、配置、签名 schema 指纹、输入 指纹、评审器版本。第 6 章解释过为什么:如果评审器变了,分数就变了,即使候选没有变。

各分量这样组合:

semantic_factor = 被判为 "preserved" 的约束所占比例

score = structural × (0.30 + 0.70 × semantic_factor)

若有任何约束是 "violated":  把分数封顶在 0.30
若硬关卡未通过:              分数为 0

把 ed-001 的语义翻转送进去跑一遍:

结构分:      0.960   (未变——它在字面上依然出色)
约束:        2 条中 2 条被违反
semantic_factor:   0.0

0.960 × (0.30 + 0.70 × 0.0) = 0.960 × 0.30 = 0.288

**0.960 变成了 0.288。**另外两次翻转经由同样的路径落到 0.29 附近。


5. 验证评审器

下面这一步把指标和希望区分开。

评审器是一个程序。它有输入、输出、失败模式,它对正确性的内在主张,并不比它所评审的那个 程序更多。加进一个 LM 评审器、只因为它是 LM 就信任它,与只因为一条思维链轨迹在推理就信 任它,是同一种错误——而在这里它更要紧,因为这个组件决定了下游的一切中什么才算成功。

于是评审器有了自己的实验夹具和自己的两道关卡。

关卡 1——敏感性:它能抓住已知的坏样本吗?

攻击 违反的约束 v1 v2
ed-001 恐惧 → 平静 2/2 0.960 0.288
ed-002 因果否定 2/2 0.927 ≈0.29
ed-003 警告 → 认可 1/2 0.846 ≈0.29

三次全部抓住。与已知标签的一致率:1.00。

关卡 2——特异性:它会拒绝已知的好样本吗?

这道关卡是人们最容易忘记的,而跳过它会让关卡 1 变得毫无意义。一个对所有东西都返回 violated 的评审器能完美抓住全部三次攻击,却毫无价值。

所以让它跑遍全部 44 条参考改写——这些文本按构造就是正确的。

cases evaluated:        44
constraint judgements:  ~90
verdicts of "violated":  0
verdicts of "unclear":   0
parse failures:          0

**零假阳性。**评审器接受每一条已知正确的好改写,也拒绝每一条已知错误的。成本约为每个案 例 1.3 秒和 1,800 个 token——大约让评估预算翻了一倍。

留档备查,好让这次运行可以被审计,而不只是被声称:

judge model        ollama_chat/qwen3:latest   (same endpoint as the task program)
temperature        0.0
max_tokens         512
think / cache      off / off
seed               7
call granularity   one call per named constraint
dataset fingerprint  40ab192b…d4fe46
per judgement      model, config, signature-schema fingerprint,
                   input fingerprint, prompt fingerprint, verdict, reason code

上面两道关卡里的每一个数字,都能从那份配置和冻结的夹具中复现。

验证没有确立什么

**归因问题比原因码更深。**在 ed-001 上,评审器把两条具名约束都标为 violated,原因给 出 meaning_reversed,尽管两条约束的字面内容都没有要求保持 Jalen 的恐惧。任务层面的方向 是有用的——评审器察觉到了一次真实的语义回归——但逐条约束的归因是近似的。

这一点很重要,因为 v2 消费的是裁决,而不只是原因码。如果一个 violated 裁决挂到了 错误的要求上,它仍然会拉低分数。因此,这次验证支持的是:v2 在我们测试过的那些案例上可以 充当护栏;它并没有让每一条逐约束的裁决都成为权威。

封闭的 reason_code 词表对机器可读的记录仍然有用,但聚合并不会让归因变成真的。在归因本 身得到验证之前,不要基于这些码去搭建失败模式面板。

**评审器与任务模型是同一个。**它跑在 qwen3:latest 上,与被它评估的程序使用相同的权重 和端点——这正是第 6 章警告过的角色坍缩。它干净地通过了两道关卡,这是证据,不是证明。

**在一个小套件上做两道关卡只是一个开始。**三次攻击和 44 条干净改写确立的是:评审器并没 有明显坏掉。它并没有刻画出评审器在那些没人想到要构造的失败模式上的行为——而本章全部的教 训恰恰是:那些失败模式是存在的。


6. v2 修复了什么,又没修复什么

v2 抓住了用来验证它的那三个典型语义翻转。它并没有让指标变得正确,也没有确立每一种形式 的语义漂移如今都已被覆盖。

它继承了 v1 的每一处结构缺陷。特别是,每当一个未被改动的答案才是正确的,共享的结构合成 仍然扣住那 0.35 的改动奖励。完整语料库里有六个标注为 unnecessary_edit 的案例,但这个 标签比字面上的"与参考一致"行为更宽,所以这个缺陷应当被表述为指标的一个属性,而不是对全 部六行都成立的 0.65 封顶。评审器无法修复一条按构造就奖励改动的加权规则。

在第 8 章报告的两次基线运行中,v2 与 v1 逐案例持平,因为评审器在那些输出上没有记录到任 何被违反的约束。所以在迄今收集到的证据里,v2 的行为与其说像一把更精细的尺子,不如说像一 根绊线:普通的基线输出不会动结构分,而特定的语义回归会让两个指标急剧拉开。

这是一个被观察到的模式,不是一条"v2 只在优化之后才触发"的规则。

而且 v2 昂贵、非确定、依赖模型。v1 是确定性的、便宜的。v2 为每条约束增加一次 LM 调用, 并继承了任务模型的盲区。

于是我们有了两个指标,而两个都不够用。v1 是一个便宜的排序信号,带着已知的盲区。v2 能暴 露 v1 看不见的一些失败,但它昂贵、依赖模型,而且仍然不是对"该改什么"的诊断。


7. 分数不是诊断

这里还有第二重不充分,而它很容易被漏掉,因为它跟准确率毫无关系。

ed-035——一句关于净水器的营销话术,它在第 11 到 14 章会变得极其重要——删掉一个词就会 被毁掉。在 v1 下这要付出 0.033,在 v2 下要付出 0.700。

这两个数字都不会告诉你,那个词是 regularly。

当你只是在问一个候选是否应当排在另一个之上时,这个区别是看不见的。当优化器必须不仅用评 估来选择一个候选、还要用它来提出下一处改动时,它就变得是决定性的了。

因此一个评估器有两份独立的工作,而直到现在我们只审计了第一份:

评估器输出 它回答的问题 v1 v2
选择信号 这个候选应当排第几? 有,但不完整 有,稍宽一些
搜索引导信号 什么失败了,并且要以能引导下一次提案的形式给出? 缺失 弱——裁决存在,归因尚不可靠

一个好的选择信号并不意味着一个好的搜索引导信号。一个系统可以把候选排得足够正确、足以在 它们之间做选择,却仍然无法解释接下来应当改变程序的哪种行为。

在 BootstrapFewShot 和 MIPROv2 上,这个区别让我们付出的代价很小,因为它们的搜索过程可以 直接作用于标量评估。到了 GEPA 它就变得核心,因为 GEPA 的反思模型需要文本形式的失败信息 来生成下一次指令提案。

记住它的形状。

    flowchart LR
    S[标量分数,例如 0.967] --> R[排序:这个候选更好吗?]
    S -. 不能提供 .-> D[修复目标:接下来该改什么?]
    N[具名失败,例如 qualifier:regularly] --> D
  

0.967 说的是一个候选在排序中的位置。Failed constraint: qualifier:regularly 指出的是一 个修复目标。反思式优化器两种信息都需要:一个分数来判断子代是否得分更高,以及一份足够丰富 的诊断来提出下一个子代。


8. 决定

我们已经证明这个目标是不充分的——两次,一次在准确率上,一次在可诊断性上。工程师接下来该 做什么?

有两个答案,而本书两个都会用。

**第一个是硬着头皮继续优化。**这是大多数项目在做的事,不是出于疏忽,而是因为你手上只有 这个指标、截止期是真实的,而那个数字确实会涨。值得看清楚那到底是什么样子,因为本书有相当 多的读者此刻正生活在其中。

于是接下来四章把一条阴性对照序列往前推进。第 10 章冻结编译边界。第 11 章把 v1 目标交给 BootstrapFewShot。第 12 章把同一个目标交给 MIPROv2。第 13 章把它交给 GEPA。每一种情 形下,v1 都仍然是搜索目标,而语义检查留在主搜索循环之外,作为对最终行为的第二次读数。

这是一个阴性对照,不是一次失败的尝试。我们已经知道这个工具是不完整的。我们还不知道 的是:三种不同的优化机制会如何表达这种不完整——示范选择、指令搜索和反思,并不会仅仅因为 共享同一个目标就以同样的方式失败。

**第二个是换掉目标。**一旦你已经证明这个工具是错的,继续对着它优化就不是严谨,而是沉没 成本。工程上的回应是构建一个能承载你真正需要的那个属性的目标。

对这个任务来说,这意味着彻底放弃参考比对,转而追问:一次好的改写里,什么是可以被确定性地 检查的:

具名实体保住了吗?
数字原样保住了吗?
带作用域的限定词保住了吗?
否定词保住了吗?
禁用词被挡在外面了吗?
长度在预算之内吗?

这些检查中的每一条都可以是确定性的、免费的、即时的,而且——关键在于——可具名的。一 次失败不只是一个更低的分数;它可以是 qualifier:regularly、negation:not 或 number:30。

但这并不使新目标按构造就是正确的。确定性只是从检查中移除了模型方差;它并不能证明这 条检查编码了正确的规则、处理了每一种表示,或能与其余检查正确地组合。替代目标将不得不像这 一个一样被猛烈地攻击。

但它给了我们 v1 和 v2 都没有的东西:一条失败通道,它的词表直接绑在所声明的约束上。这正是 实验的下半场所需要的那个属性。

新目标跑在同样的 44 个句子上,用同样的程序、模型和优化器机制。实验的干预变量是目标以及它 所暴露的反馈。第 1 章承诺过两种证据体制;这里就是第一种抵达极限的地方,也是本书下半场为 什么要去改变"什么算证据"、而不是仅仅换一个更强的优化器的原因。


通常会出什么错

症状 可能原因 如何诊断 改什么
训练分数上升而输出变差 指标奖励了一个代理 读得分最高的那些输出,而不是最低的 加一个能看见真实属性的分量
一次语义颠倒得了高分 这个属性根本没有被表示 用你的参考答案构造颠倒含义的攻击 加入一道经过验证的语义检查
抄袭原文得高分 指标里没有改动激励 跑一次不做编辑的基线 在必须改动的地方奖励改动
实体改名安然通过 相似度压过了不变量 测试对抗性改名 把实体保留做成一道关卡,而不是一个分量
评审器对什么都同意 关卡 2 从未运行 给已知正确的参考打分并统计违规 在信任裁决之前先测量假阳性
评审器的原因码看起来很精确 从未验证过归因,只验证了方向 检查具名的那条约束是否就是坏掉的那条 用裁决来打分,别用原因码来汇报
反思式优化器提不出有用的东西 它的分数或许能给候选排序,但它的反馈指不出一个可操作的失败 检查反思模型实际收到的分数与反馈载荷 把选择信号与搜索引导信号分开;在怪罪反思之前,先让失败可具名
指标在优化中途崩溃 它假定预测都是格式良好的 对畸形和空输出做模糊测试 防御性访问,以及一个已定义的失败分数
你不断优化一个你不信任的指标 沉没成本,或者你手上只有这个指标 追问:一个候选要怎么做才能既错了还赢 构建一个能表达该属性的目标

本章小结

我们攻击了自己的指标,而它以最要紧的那种方式失败了。三个颠倒了作者含义、却保住了词汇的 候选得分 0.960、0.927 和 0.846——每一个都高于冻结程序 0.79 的基线。

抓住它所需的信息从第 7 章起就一直躺在夹具里,没有被任何东西消费。v2 消费了它——通过一个 带类型契约的评审器、每条约束一次调用、把 unclear 当作真正的裁决,并为每一次判断记录来 源。它把那三次攻击压到大约 0.29。然后我们做了最容易被跳过的那部分:3 个已知坏样本全部抓 住,44 个已知好样本上 0 个假阳性。这两个数字都是必需的;单看其中任何一个,都与一个坏掉的 评审器相容。

而且两个指标依然都不够用。v1 提供便宜的排序信号,却对承重的语义视而不见。v2 能抓住被测 过的语义失败,但它昂贵、依赖模型、归因能力弱。两者都没有把反思式搜索最终需要的那条诊断通 道交给我们。

我们移除了"参考改写等同于编辑质量"这个假设。我们移除了更危险的那个假设:通过每一条已实现 的检查就意味着预期的含义活了下来。我们还移除了一个从第 8 章起就一直隐含着的假设:评估只有 一份工作。

对普通的候选选择来说,一个标量也许足以给备选排序。对反思式优化来说,评估还有第二份工作: 它必须以一种能够引导下一次提案的形式暴露失败。选择信号和搜索引导信号是两种不同的工程 对象。

这就是枢纽。在第 10 到 13 章,我们会刻意保留这个不充分的标量目标,观察三种优化器机制与它 如何交互。然后我们会换掉目标和反馈通道,而不是继续把搜索预算花在一个我们已经知道是错的工 具上。

当一个能干的优化器去追逐一个并不代表你想要什么的目标时,实际看起来是什么样子——而当目 标终于能够说出失败的东西叫什么时,又会有什么改变?