当指标变成目标
主动攻击目标,把打分与诊断分开,并决定当优化能够钻一个你已证明并不完备的工具的空子时,该怎么办。
第 8 章构建了一个指标,并通过读一张表在其中发现了一处缺陷。六个案例的正确答案被封顶在 0.65——这是把逐案例的分数分组、注意到整整一类都停在一个精确数字上之后才发现的。
那是伪装成勤勉的运气。这一章是刻意去找的。
紧迫性来自接下来会发生的事。DSPy 优化器并不想让你的程序变好。它想让你的那个数字涨上 去,为此它会找出通往那个结果的所有路径,包括那些你并不打算留开的口子。
糟糕的指标
+
能干的优化器
=
被高效优化出来的错误
到本章结束时,我们会找到一类候选:得分在 0.85 到 0.96 之间,说的却与作者写的相反;我们 会构建第二个指标来抓住它,并且去验证那个第二个指标,而不是轻信它。
然后我们就得决定拿它怎么办,而这个决定是全书的枢纽。
1. 指标阶梯
不同的任务能容忍不同的工具。
| 指标类型 | 何时有用 | 弱点 |
|---|---|---|
| 精确匹配 | 恰好只有一个正确的字符串 | 对开放式改写毫无用处 |
| 确定性不变量 | 违规可以被计算 | 对质量一无所知 |
| 参考比对 | 参考答案捕捉到了目标行为 | 惩罚同样有效的替代方案 |
| 语义相似度 | 意义的保持很重要 | 奖励平庸的同义改写 |
| LM 评审器 | 需要类人的判断 | 偏差、漂移、成本、来源 |
| 人类偏好 | 真实的接受是唯一的真相 | 缓慢、稀疏、昂贵 |
| 复合 | 多种失败模式同时重要 | 更难解释,更难攻击 |
编辑改写需要一个复合指标,因为它的失败并非同一类。给角色改名是一次硬违规。写出平淡的 散文是一个软性的质量判断。而危险的案例两者都不是——它们是满足了每一条已实现的检查、却 违反了某个指标从未编码进去的东西的候选。
优化器找到的正是这些。
2. 攻击指标
攻击套件是给你的指标用的实验夹具(fixture)。第 7 章的语料库测试的是程序,这一套测试 的则是工具本身,而且这些问题是对抗性的:
一个明显糟糕的候选能得高分吗?
一次平凡的抄袭能钻分数的空子吗?
冗长能把分数吹大吗?
字面接近能胜过真实质量吗?
一个候选能颠倒含义后安然无恙吗?
这套套件是确定性的。每个攻击候选都是用字符串操作从该案例自身的字段构造出来的,因此不运 行任何模型,结果可复现,而且整套东西分文不花:
def adversarial_predictions(example):
return {
"copy_original": dspy.Prediction(rewritten_text=example.sentence),
"copy_reference": dspy.Prediction(rewritten_text=example.reference_rewrite),
"reference_plus_junk": dspy.Prediction(
rewritten_text=example.reference_rewrite + " This is clearly improved."
),
"rename_entity": dspy.Prediction(
rewritten_text=str(example.reference_rewrite).replace("Jalen", "Jason")
),
"empty_output": dspy.Prediction(rewritten_text=""),
"over_compressed": dspy.Prediction(rewritten_text=first_clause(example.sentence)),
"lexical_alternative": dspy.Prediction(rewritten_text=paraphrase_far(example)),
"semantic_flip": dspy.Prediction(rewritten_text=reverse_meaning(example)),
}
结果干净地分成两组。
**确定性关卡尽到了职责。**必需实体的改名没能通过硬关卡,得分 0.0。空输出没能通过硬关 卡,得分 0.0。作用域分量把"参考加垃圾"的攻击压到了干净参考之下,所以追加一段听起来很 自信的填充文字并不划算。
语义攻击则长驱直入。
3. 指标看不见的失败
三次攻击,每个典型案例各一次。每一次都取参考改写——那个已知正确的答案——在改动尽可 能少的词的前提下颠倒它的含义。
**ed-001。**场景很紧张;Jalen 很害怕。攻击把恐惧改成了平静。v1 下的得分:0.960。
**ed-002。**Mira 很累,因为她在雨和泥里走了一整天。攻击否定了这层因果关系。
v1 下的得分:0.927。
**ed-003。**Anna 在警告她的兄弟:某个地方不安全。攻击把警告变成了认可,并把 unsafe
改成了 safe。v1 下的得分:0.846。
每一个都通过了硬关卡,保住了必需实体,避开了禁用词,返回了单独一个句子,长度也保持成比 例。每一个都与参考答案共享大部分词汇——这正是重叠分量(占分数的 40%)奖励它的原因。
一个候选可以满足指标知道如何检查的每一个属性,
同时却违反了任务真正要求的那个属性。
原始分数令人警醒,但要同类相比。第 8 章的 0.79 是十一个案例的开发集均值;上面三个攻 击得分是单个案例的得分。把它们放在一起排名并不诚实。
可以直接比较的 ed-003 结果更有用。冻结的程序在那个案例上得分约 0.877。颠倒含义的
攻击得分 0.846。攻击略差一些——但对于一个颠倒了 Anna 警告的候选来说,它离一次成功
改写近得仍然不合情理。
这正是我们需要的那种失败:v1 把一个刻意做错的候选放进了与可接受输出相同的高分区域,因 为出问题的那个属性根本不在分数里。
还要注意指标手上有什么却没用。每一行都带着 semantic_constraints。对 ed-003,夹具
记录了 do not change the warning 和 do not change the speaker。
这些要求在第 7 章写下、随行存储,而在 v1 里没有任何东西去检查它们。信息是存在的。工具
没有能力消费它。
4. 构建 v2
修复方式就是去消费它。版本 2 保留 v1 所做的一切,并加上第三个阶段:
1. 硬关卡 确定性、二值、保持不变
2. 结构分 0.35·changed + 0.25·scope + 0.40·overlap,保持不变
3. 语义检查 一个 LM 评审器,每条约束调用一次 ← 新增
评审器就是一个普通的 DSPy 程序,带一份带类型的契约:
from typing import Literal
import dspy
class SemanticConstraintJudge(dspy.Signature):
"""Decide whether a one-sentence rewrite still satisfies a single stated
requirement about meaning."""
original_sentence: str = dspy.InputField(
desc="The sentence before editing."
)
candidate_rewrite: str = dspy.InputField(
desc="The proposed one-sentence rewrite."
)
editorial_goal: str = dspy.InputField(
desc="What the edit was asked to achieve."
)
requirement: str = dspy.InputField(
desc="The single meaning requirement to check."
)
verdict: Literal[
"preserved",
"violated",
"unclear",
] = dspy.OutputField(
desc="Whether the rewrite satisfies the requirement."
)
reason_code: Literal[
"meaning_preserved",
"meaning_reversed",
"meaning_weakened",
"meaning_strengthened",
"entity_altered",
"scope_changed",
"register_changed",
"output_shape_invalid",
"cannot_determine",
] = dspy.OutputField(
desc="The primary reason for the verdict."
)
explanation: str = dspy.OutputField(
desc="One sentence explaining the verdict."
)
三个值得点名的设计决定。
**每条约束调用一次,而不是每个案例调用一次。**让评审器一次评估四个属性,它会把这些属 性搅在一起。只问一个属性时,它要么发现违规、要么没有发现,而结果是可以归因的。
**unclear 是一等裁决。**必须在通过与失败之间做出选择的评审器会自信地猜。解析失败也
归入 unclear,所以一个格式错误的响应会拉低分数,而不是让整次运行崩溃。
每一次判断都记录来源(provenance)——模型、provider、配置、签名 schema 指纹、输入 指纹、评审器版本。第 6 章解释过为什么:如果评审器变了,分数就变了,即使候选没有变。
各分量这样组合:
semantic_factor = 被判为 "preserved" 的约束所占比例
score = structural × (0.30 + 0.70 × semantic_factor)
若有任何约束是 "violated": 把分数封顶在 0.30
若硬关卡未通过: 分数为 0
把 ed-001 的语义翻转送进去跑一遍:
结构分: 0.960 (未变——它在字面上依然出色)
约束: 2 条中 2 条被违反
semantic_factor: 0.0
0.960 × (0.30 + 0.70 × 0.0) = 0.960 × 0.30 = 0.288
**0.960 变成了 0.288。**另外两次翻转经由同样的路径落到 0.29 附近。
5. 验证评审器
下面这一步把指标和希望区分开。
评审器是一个程序。它有输入、输出、失败模式,它对正确性的内在主张,并不比它所评审的那个 程序更多。加进一个 LM 评审器、只因为它是 LM 就信任它,与只因为一条思维链轨迹在推理就信 任它,是同一种错误——而在这里它更要紧,因为这个组件决定了下游的一切中什么才算成功。
于是评审器有了自己的实验夹具和自己的两道关卡。
关卡 1——敏感性:它能抓住已知的坏样本吗?
| 攻击 | 违反的约束 | v1 | v2 |
|---|---|---|---|
ed-001 恐惧 → 平静 |
2/2 | 0.960 | 0.288 |
ed-002 因果否定 |
2/2 | 0.927 | ≈0.29 |
ed-003 警告 → 认可 |
1/2 | 0.846 | ≈0.29 |
三次全部抓住。与已知标签的一致率:1.00。
关卡 2——特异性:它会拒绝已知的好样本吗?
这道关卡是人们最容易忘记的,而跳过它会让关卡 1 变得毫无意义。一个对所有东西都返回
violated 的评审器能完美抓住全部三次攻击,却毫无价值。
所以让它跑遍全部 44 条参考改写——这些文本按构造就是正确的。
cases evaluated: 44
constraint judgements: ~90
verdicts of "violated": 0
verdicts of "unclear": 0
parse failures: 0
**零假阳性。**评审器接受每一条已知正确的好改写,也拒绝每一条已知错误的。成本约为每个案 例 1.3 秒和 1,800 个 token——大约让评估预算翻了一倍。
留档备查,好让这次运行可以被审计,而不只是被声称:
judge model ollama_chat/qwen3:latest (same endpoint as the task program)
temperature 0.0
max_tokens 512
think / cache off / off
seed 7
call granularity one call per named constraint
dataset fingerprint 40ab192b…d4fe46
per judgement model, config, signature-schema fingerprint,
input fingerprint, prompt fingerprint, verdict, reason code
上面两道关卡里的每一个数字,都能从那份配置和冻结的夹具中复现。
验证没有确立什么
**归因问题比原因码更深。**在 ed-001 上,评审器把两条具名约束都标为 violated,原因给
出 meaning_reversed,尽管两条约束的字面内容都没有要求保持 Jalen 的恐惧。任务层面的方向
是有用的——评审器察觉到了一次真实的语义回归——但逐条约束的归因是近似的。
这一点很重要,因为 v2 消费的是裁决,而不只是原因码。如果一个 violated 裁决挂到了
错误的要求上,它仍然会拉低分数。因此,这次验证支持的是:v2 在我们测试过的那些案例上可以
充当护栏;它并没有让每一条逐约束的裁决都成为权威。
封闭的 reason_code 词表对机器可读的记录仍然有用,但聚合并不会让归因变成真的。在归因本
身得到验证之前,不要基于这些码去搭建失败模式面板。
**评审器与任务模型是同一个。**它跑在 qwen3:latest 上,与被它评估的程序使用相同的权重
和端点——这正是第 6 章警告过的角色坍缩。它干净地通过了两道关卡,这是证据,不是证明。
**在一个小套件上做两道关卡只是一个开始。**三次攻击和 44 条干净改写确立的是:评审器并没 有明显坏掉。它并没有刻画出评审器在那些没人想到要构造的失败模式上的行为——而本章全部的教 训恰恰是:那些失败模式是存在的。
6. v2 修复了什么,又没修复什么
v2 抓住了用来验证它的那三个典型语义翻转。它并没有让指标变得正确,也没有确立每一种形式 的语义漂移如今都已被覆盖。
它继承了 v1 的每一处结构缺陷。特别是,每当一个未被改动的答案才是正确的,共享的结构合成
仍然扣住那 0.35 的改动奖励。完整语料库里有六个标注为 unnecessary_edit 的案例,但这个
标签比字面上的"与参考一致"行为更宽,所以这个缺陷应当被表述为指标的一个属性,而不是对全
部六行都成立的 0.65 封顶。评审器无法修复一条按构造就奖励改动的加权规则。
在第 8 章报告的两次基线运行中,v2 与 v1 逐案例持平,因为评审器在那些输出上没有记录到任 何被违反的约束。所以在迄今收集到的证据里,v2 的行为与其说像一把更精细的尺子,不如说像一 根绊线:普通的基线输出不会动结构分,而特定的语义回归会让两个指标急剧拉开。
这是一个被观察到的模式,不是一条"v2 只在优化之后才触发"的规则。
而且 v2 昂贵、非确定、依赖模型。v1 是确定性的、便宜的。v2 为每条约束增加一次 LM 调用, 并继承了任务模型的盲区。
于是我们有了两个指标,而两个都不够用。v1 是一个便宜的排序信号,带着已知的盲区。v2 能暴 露 v1 看不见的一些失败,但它昂贵、依赖模型,而且仍然不是对"该改什么"的诊断。
7. 分数不是诊断
这里还有第二重不充分,而它很容易被漏掉,因为它跟准确率毫无关系。
ed-035——一句关于净水器的营销话术,它在第 11 到 14 章会变得极其重要——删掉一个词就会
被毁掉。在 v1 下这要付出 0.033,在 v2 下要付出 0.700。
这两个数字都不会告诉你,那个词是 regularly。
当你只是在问一个候选是否应当排在另一个之上时,这个区别是看不见的。当优化器必须不仅用评 估来选择一个候选、还要用它来提出下一处改动时,它就变得是决定性的了。
因此一个评估器有两份独立的工作,而直到现在我们只审计了第一份:
| 评估器输出 | 它回答的问题 | v1 | v2 |
|---|---|---|---|
| 选择信号 | 这个候选应当排第几? | 有,但不完整 | 有,稍宽一些 |
| 搜索引导信号 | 什么失败了,并且要以能引导下一次提案的形式给出? | 缺失 | 弱——裁决存在,归因尚不可靠 |
一个好的选择信号并不意味着一个好的搜索引导信号。一个系统可以把候选排得足够正确、足以在 它们之间做选择,却仍然无法解释接下来应当改变程序的哪种行为。
在 BootstrapFewShot 和 MIPROv2 上,这个区别让我们付出的代价很小,因为它们的搜索过程可以 直接作用于标量评估。到了 GEPA 它就变得核心,因为 GEPA 的反思模型需要文本形式的失败信息 来生成下一次指令提案。
记住它的形状。
flowchart LR
S[标量分数,例如 0.967] --> R[排序:这个候选更好吗?]
S -. 不能提供 .-> D[修复目标:接下来该改什么?]
N[具名失败,例如 qualifier:regularly] --> D
0.967 说的是一个候选在排序中的位置。Failed constraint: qualifier:regularly 指出的是一
个修复目标。反思式优化器两种信息都需要:一个分数来判断子代是否得分更高,以及一份足够丰富
的诊断来提出下一个子代。
8. 决定
我们已经证明这个目标是不充分的——两次,一次在准确率上,一次在可诊断性上。工程师接下来该 做什么?
有两个答案,而本书两个都会用。
**第一个是硬着头皮继续优化。**这是大多数项目在做的事,不是出于疏忽,而是因为你手上只有 这个指标、截止期是真实的,而那个数字确实会涨。值得看清楚那到底是什么样子,因为本书有相当 多的读者此刻正生活在其中。
于是接下来四章把一条阴性对照序列往前推进。第 10 章冻结编译边界。第 11 章把 v1 目标交给
BootstrapFewShot。第 12 章把同一个目标交给 MIPROv2。第 13 章把它交给 GEPA。每一种情
形下,v1 都仍然是搜索目标,而语义检查留在主搜索循环之外,作为对最终行为的第二次读数。
这是一个阴性对照,不是一次失败的尝试。我们已经知道这个工具是不完整的。我们还不知道 的是:三种不同的优化机制会如何表达这种不完整——示范选择、指令搜索和反思,并不会仅仅因为 共享同一个目标就以同样的方式失败。
**第二个是换掉目标。**一旦你已经证明这个工具是错的,继续对着它优化就不是严谨,而是沉没 成本。工程上的回应是构建一个能承载你真正需要的那个属性的目标。
对这个任务来说,这意味着彻底放弃参考比对,转而追问:一次好的改写里,什么是可以被确定性地 检查的:
具名实体保住了吗?
数字原样保住了吗?
带作用域的限定词保住了吗?
否定词保住了吗?
禁用词被挡在外面了吗?
长度在预算之内吗?
这些检查中的每一条都可以是确定性的、免费的、即时的,而且——关键在于——可具名的。一
次失败不只是一个更低的分数;它可以是 qualifier:regularly、negation:not 或
number:30。
但这并不使新目标按构造就是正确的。确定性只是从检查中移除了模型方差;它并不能证明这 条检查编码了正确的规则、处理了每一种表示,或能与其余检查正确地组合。替代目标将不得不像这 一个一样被猛烈地攻击。
但它给了我们 v1 和 v2 都没有的东西:一条失败通道,它的词表直接绑在所声明的约束上。这正是 实验的下半场所需要的那个属性。
新目标跑在同样的 44 个句子上,用同样的程序、模型和优化器机制。实验的干预变量是目标以及它 所暴露的反馈。第 1 章承诺过两种证据体制;这里就是第一种抵达极限的地方,也是本书下半场为 什么要去改变"什么算证据"、而不是仅仅换一个更强的优化器的原因。
通常会出什么错
| 症状 | 可能原因 | 如何诊断 | 改什么 |
|---|---|---|---|
| 训练分数上升而输出变差 | 指标奖励了一个代理 | 读得分最高的那些输出,而不是最低的 | 加一个能看见真实属性的分量 |
| 一次语义颠倒得了高分 | 这个属性根本没有被表示 | 用你的参考答案构造颠倒含义的攻击 | 加入一道经过验证的语义检查 |
| 抄袭原文得高分 | 指标里没有改动激励 | 跑一次不做编辑的基线 | 在必须改动的地方奖励改动 |
| 实体改名安然通过 | 相似度压过了不变量 | 测试对抗性改名 | 把实体保留做成一道关卡,而不是一个分量 |
| 评审器对什么都同意 | 关卡 2 从未运行 | 给已知正确的参考打分并统计违规 | 在信任裁决之前先测量假阳性 |
| 评审器的原因码看起来很精确 | 从未验证过归因,只验证了方向 | 检查具名的那条约束是否就是坏掉的那条 | 用裁决来打分,别用原因码来汇报 |
| 反思式优化器提不出有用的东西 | 它的分数或许能给候选排序,但它的反馈指不出一个可操作的失败 | 检查反思模型实际收到的分数与反馈载荷 | 把选择信号与搜索引导信号分开;在怪罪反思之前,先让失败可具名 |
| 指标在优化中途崩溃 | 它假定预测都是格式良好的 | 对畸形和空输出做模糊测试 | 防御性访问,以及一个已定义的失败分数 |
| 你不断优化一个你不信任的指标 | 沉没成本,或者你手上只有这个指标 | 追问:一个候选要怎么做才能既错了还赢 | 构建一个能表达该属性的目标 |
本章小结
我们攻击了自己的指标,而它以最要紧的那种方式失败了。三个颠倒了作者含义、却保住了词汇的 候选得分 0.960、0.927 和 0.846——每一个都高于冻结程序 0.79 的基线。
抓住它所需的信息从第 7 章起就一直躺在夹具里,没有被任何东西消费。v2 消费了它——通过一个
带类型契约的评审器、每条约束一次调用、把 unclear 当作真正的裁决,并为每一次判断记录来
源。它把那三次攻击压到大约 0.29。然后我们做了最容易被跳过的那部分:3 个已知坏样本全部抓
住,44 个已知好样本上 0 个假阳性。这两个数字都是必需的;单看其中任何一个,都与一个坏掉的
评审器相容。
而且两个指标依然都不够用。v1 提供便宜的排序信号,却对承重的语义视而不见。v2 能抓住被测 过的语义失败,但它昂贵、依赖模型、归因能力弱。两者都没有把反思式搜索最终需要的那条诊断通 道交给我们。
我们移除了"参考改写等同于编辑质量"这个假设。我们移除了更危险的那个假设:通过每一条已实现 的检查就意味着预期的含义活了下来。我们还移除了一个从第 8 章起就一直隐含着的假设:评估只有 一份工作。
对普通的候选选择来说,一个标量也许足以给备选排序。对反思式优化来说,评估还有第二份工作: 它必须以一种能够引导下一次提案的形式暴露失败。选择信号和搜索引导信号是两种不同的工程 对象。
这就是枢纽。在第 10 到 13 章,我们会刻意保留这个不充分的标量目标,观察三种优化器机制与它 如何交互。然后我们会换掉目标和反馈通道,而不是继续把搜索预算花在一个我们已经知道是错的工 具上。
当一个能干的优化器去追逐一个并不代表你想要什么的目标时,实际看起来是什么样子——而当目 标终于能够说出失败的东西叫什么时,又会有什么改变?