回归:模型变了,还是测量变了?
解释前先确立回归是否存在:测基线 variation,valid 时用配对比较,给评估路径 fingerprint,控随机与确定性,二分交互变化,记录 run,把模型变化与测量变化分开。
这里有个重构。旧训练脚本种子置顶;新的把它挪到模型构造下,读起来自然,batch-shuffle 置换从本地 torch.Generator() 取而不是全局 RNG,让 shuffling“自包含”。训练流程数学相同,模型结构没变。但具体初始化参数不再与旧跑 coupled,因为模型构造在 manual_seed 生效前消耗随机。跑一次:
baseline validation loss 0.9726
after the refactor 0.9980
重构花了 0.026 验证损失。这是工程师 PR 里写的句子,还没任何支撑。
没改的基线十二不同训练种子跑:
seed 0 val_loss 0.9726 seed 6 val_loss 0.9757
seed 1 val_loss 0.9847 seed 7 val_loss 0.9598
seed 2 val_loss 0.9762 seed 8 val_loss 0.9871
seed 3 val_loss 0.9778 seed 9 val_loss 0.9771
seed 4 val_loss 0.9690 seed 10 val_loss 0.9706
seed 5 val_loss 0.9731 seed 11 val_loss 0.9754
median 0.9756 stdev 0.0071 min 0.9598 max 0.9871 spread 0.0273
只种子不同的跑 spread 0.027。重构的 0.026 在里面。重构代码十二种子跑出 median 0.982, range [0.959, 0.999]——分布与基线几乎完全重叠。挪 manual_seed 行改变哪些随机数到达模型初始化,每跑都不同;分布动没动十二跑 resolvable 不了。“回归”是噪声过程的一样本,被写成事实。有数,有故事,故事先到。
另一半。拿一训好的模型——固定、存好、不重训——四种方式评估,只改评估代码:
evaluation variant val loss val acc
canonical 0.9726 0.6760
model left in train() mode (dropout on) 1.0711 0.6290
a different 500-example validation subset 1.0348 0.6580
inputs scaled x1.15 on the eval path only 1.0881 0.6330
模型逐字节相同,每行。每数都动——有的四倍种子噪声——没东西回归。数的含义变了。
动了的指标还不是发现。它是有至少三种解释的症状,只有一个关于模型。
我们在哪
第 11、12、13 章都在一跑里调查。模型学吗——链哪环断了?时间内存去哪了?编译器捕获什么、什么让它失效?每问题一跑里抽出答案。
本章分析单位第一次是一对跑。这就是它存在的全部理由。回归不是一跑的属性;是两跑之间差的断言,断言的好坏取决于背后的比较。
第 13 章精确交接:编译给同样代码的两跑加 invisible 不同的维度——看到的形状序列不同、一跑缓存热一跑冷、一周到重编译 limit 一周没到。没一个抛。单元测试里一个不现。本章回答的问题:
这次跑比上次差——模型变了,测量变了,还是什么都没变、差是噪声?
三解释,一症状:
技术
每章挣一种调查法。第 11 章:逐边界证明链。第 12 章:测量、定位、干预、再测。第 13 章:找到第一个不再成立的假设。
第 14 章加:
归因前先确立噪声层。解释差前先证明有差。
让它可见的 hidden 结构是任何报告数背后的因果链:
code + configuration + data + randomness + environment + measurement
↓
result
回归是链里某处变到移动结果。调查是找到哪 link。人们先伸手的是 code,因为那是正在做的。真坏的 link 通常是 measurement(benchmark 变了)或 randomness(什么都没变;是不同种子)。测量与其余 link 一样是 link——评估路径变了与模型变了症状 exact 相同。
这些数从什么环境来
本章每数、表、跟踪都由跑出的代码产出,一台机器:
Python 3.11.4
PyTorch 2.6.0+cu118
OS Windows 11
CPU 24 cores; torch.set_num_threads(1) for every training run in the chapter
GPU present but used only for the cross-device comparison in E3
本章几乎全 CPU 活,便宜。受控 workload 训约 0.7 秒;十二种子 sweep 十五秒内。下面每实验,调 workload 的开发跑全算,CPU 总计约十五分钟。讲不信没测数的章节里,没测的数没有 honest 的借口。
单线程是 canonical 设置,deliberate 选的:单线程、数据固定、种子固定,这 workload 两跑逐比特相同,后面每差都归因到某处。这个小模型单线程还最快。
一个受控 workload
全实验用一合成分类任务。
DEFAULT_CONFIG = {
"n_train": 3000, "n_val": 1000, "in_dim": 32, "hidden": 32, "classes": 4,
"noise": 0.30, # 30% of labels randomised: val loss has a real floor
"data_seed": 0, # the DATA is fixed; only the training seed varies
"epochs": 20, "batch_size": 128, "lr": 0.02,
"weight_decay": 3e-3, "dropout": 0.3, "optimizer": "adamw",
}
任务是 30% 标签噪声的随机线性规则,模型验证损失到不了零——floor 坐 0.97 附近。模型三层 MLP。数据 data_seed 生成一次永不变;跑的 seed 只控初始化、batch 顺序、dropout 掩码。分离让“换种子再跑”成干净实验。
共享仪器在 explab.py:train_run(seed, config) 返回 run 记录、seed_sweep、中位/spread summariser、配对非配对比较函数、评估路径 fingerprint。本章每表从它们可复现。
E1 — 噪声层
这是评估任何变化前的第一个实验,跳过它是大多数报告回归 arg 不了的原因。
QUESTION how much do two runs of the IDENTICAL configuration differ, from the
training seed alone?
METHOD run DEFAULT_CONFIG at 12 seeds; report the distribution.
identical config, 12 seeds
val loss median 0.9756 stdev 0.0071 min 0.9598 max 0.9871 spread 0.0273
train loss median 0.8911 stdev 0.0098 spread 0.0370
val acc median 0.6795 stdev 0.0065 spread 0.0200
examples/s median 196143 spread 75794
这十二观测种子验证损失跨 0.0273、标准差 0.0071。这是这个实验普通种子间 variation 的经验尺度,不是通用检测阈值。单跑差 0.026 因而不是回归的 compelling 证据:它与没改配置已产出的 variation 同尺寸。确立更小的系统 shift 要重复跑——coupling 还有意义时 prefer 配对。
这个基线分布是本章剩下的 yardstick。它是这个 workload 这个 protocol 下的属性——大模型、真数据集、不同环境、不同指标要自己的基线分布。吞吐 spread 这里巨大——近 40%——因为这台桌面 sweep 时 CPU 负载摆;那是这个测量 protocol 下整跑吞吐的观测 variation,不是机器上每性能 benchmark 的阈值。第 12 章 deliberate 用更紧计时窗与重复测量正为这个。验证损失路反之,E2 里种子与执行条件 hold 固定逐比特相同;E1 跨种子 variation 来自 deliberate 换训练种子。
候选单跑 delta 与普通基线 variation 可比时,回归没确立。解释前比分布或配对 delta。
E2 — 同种子,同代码,两次
设种子到底买到什么?
run A (1 thread) vs run B (1 thread), same seed:
val curves bit-identical: True
final val loss A 0.972560 B 0.972560
单线程、数据代码种子固定,这 workload 两次执行产出逐比特相同的验证曲线。这是这个受控 workload 记录条件下的强可复现结果,后面干预可解释全靠它。
改一处——线程数——别无其他:
E3 — 可跑的非确定性
E2 线程数差一机制,值得直说,因为人们叫 flakiness 的大半是它。
浮点加法不结合。
(a + b) + c = 0.0 with a = 1.0, b = 1e16, c = -1e16
a + (b + c) = 1.0
这不是本章发明的 pathology;是有限精度算术的后果。浮点和累加顺序变结果变。同样 200000 个 float32 值三路求和:
sequential, forward order : -730.639587
sequential, backward order : -730.646729
pairwise (torch.sum) : -730.646667
max gap: 7.14e-03
单累加顺序 gap 7e-3。放进训练,归约喂后面浮点算子,小数值差 propagate。线程数一改:
torch.use_deterministic_algorithms(True)
有确定性实现处强制确定性,没有处抛:
torch.use_deterministic_algorithms(True)
x = torch.randn(2, 3, 8, 8, device="cuda", requires_grad=True)
grid = torch.rand(2, 8, 8, 2, device="cuda") * 2 - 1
torch.nn.functional.grid_sample(x, grid, align_corners=False).sum().backward()
RuntimeError: grid_sampler_2d_backward_cuda does not have a deterministic
implementation, but you set 'torch.use_deterministic_algorithms(True)'. You can
turn off determinism just for this operation, or you can use the 'warn_only=True'
option, if that's acceptable for your application.
这就是功能 work。确定性算法也改性能,有的 CUDA 矩阵算子确定性执行要 CUBLAS_WORKSPACE_CONFIG(:4096:8 或 :16:8),否则 PyTorch 抛。
设置不提供跨环境通用逐比特同一:
E4 — Worker 播种
DataLoader worker 是第 6 章的主题。可复现问题更窄:num_workers > 0 时流水线里哪些随机与跑的种子绑,哪些 free float?__getitem__ 里放四不同 RNG 的抽样,同样 torch.manual_seed(0) 跑 loader 两次,比:
num_workers=0 num_workers=2 with the repair
data order (shuffle) reproduces reproduces reproduces
torch.rand in __getitem__ reproduces reproduces reproduces
np.random.rand (legacy global) DOES NOT reproduces reproduces
random.random DOES NOT reproduces reproduces
np.random.default_rng() object DOES NOT DOES NOT DOES NOT
意外结果版本实现 specific,边界可见地留着。这个 PyTorch 2.6 实验里多进程 worker 路让 legacy NumPy 全局 RNG 与 Python random 流复现,单进程 num_workers=0 路不复现。独立建的 np.random.default_rng() 对象每情形都在那个机制外。
portable 代码别依赖这个观测的 worker 启动 side effect。DataLoader 显式传 generator=;worker 存在时 worker_init_fn 显式播种外部库;num_workers=0 时主进程播种那些外部 RNG,因为 worker_init_fn 从不调。default_rng() 对象须自己从受控种子构造或重播种。
流水线随机的可复现性依赖产出它的 exact RNG 对象。显式控那个对象,别 assumed DataLoader 找得到它。
E5 — 配对比较
E1 给噪声层。变化的真 effect 与它可比时,两配置怎么比决定 effect 看得见否。
配置 B 把验证集标签噪声 0.30 降到 0.29——“数据干净一点”的变化,数据集 revision 做的那种。A、B 各十二种子跑。
Unpaired——不用种子对应 summarize 两 sweep:
Paired——两边同样种子,逐种子比:
seed 0: 0.9726 -> 0.9456 -0.0270
seed 1: 0.9847 -> 0.9532 -0.0315
seed 2: 0.9762 -> 0.9692 -0.0070
seed 3: 0.9778 -> 0.9353 -0.0425
seed 4: 0.9690 -> 0.9587 -0.0102
seed 5: 0.9731 -> 0.9864 +0.0133
seed 6: 0.9757 -> 0.9606 -0.0151
seed 7: 0.9598 -> 0.9541 -0.0057
seed 8: 0.9871 -> 0.9605 -0.0265
seed 9: 0.9771 -> 0.9605 -0.0166
seed 10: 0.9706 -> 0.9268 -0.0437
seed 11: 0.9754 -> 0.9450 -0.0304
mean per-seed delta: -0.0203 stdev of deltas: 0.0166
11/12 seeds improved |mean| / stdev = 1.2
十二配对 delta 十一负。两边同样种子建 common-random-number 比较:两跑对应地消耗随机时,种子 specific 难度部分共享,差的方差远小于 raw 结果的方差。
本章 deliberate 不把这个 pattern 变成正式显著断言。|mean| / stdev = 1.2 是描述性 effect-spread 比,不是假设检验或置信区间。证据方向一致到 justify 下个实验;决定重要,预先声明推断标准或多收配对种子,别把一描述比转成“证明”。
配对在共享种子两边诱导可比随机时最强。改 RNG 消耗的重构——多一次抽样、随机流水线重排、不同 sampler——即使种子数字还对上也 weaken coupling。那时看配对 delta 方差本身;coupling 没了,配对设计相对非配对比买不了多少。
E6 — 坏 benchmark
MEASUREMENT-CHANGED 分支。拿一训好的固定模型,只改评估路径评估:
evaluation variant val loss val acc fingerprint == canonical?
canonical 0.9726 0.6760 7176cf3fce66 -
model in train() mode (dropout on) 1.0711 0.6290 f8dce02c6c6b False
different validation subset (500 of 1000) 1.0348 0.6580 0e6c39db2124 False
inputs scaled x1.15 on eval path only 1.0881 0.6330 9fb90744a142 False
cross_entropy reduction='sum' 1074.8778 - 22aacc4965b5 False
每报告指标都动,三远超基线种子间 variation,末尾大一千倍。末值只是千样本 mean 损失 sum 起,聚合契约不说看起来像模型炸了。模型参数每行相同;评估流程不同。
defence 是评估路径 fingerprint,覆盖这个实验选进测量契约的成分:
评估留在 train() 模式是上一章语义——eval() vs no_grad()——为防而存在的 specific 情形;这里它是病因,症状是 0.10 指标 shift,fingerprint 让它浮现。
E7 — 真回归,诊断出
现在 MODEL-CHANGED 分支,真病因:学习率大十倍。
Detect——种子 sweep:
baseline median 0.9744 range [0.9598, 0.9847]
lr x10 median 1.3900 range [1.3880, 1.4082]
shift = +0.4156 noise floor spread = 0.027 -> 15x the noise floor
范围根本不重叠;shift 十五倍噪声层。检测 trivial。work 是解释。
Explain 1——学习曲线与梯度范数,单种子:
epoch 0 3 6 9 12 15 18
baseline 1.016 0.996 0.969 0.965 1.003 0.978 0.984
lr x10 1.393 1.400 1.388 1.392 1.399 1.393 1.401
baseline gradient norm: median 0.510 max 0.983
lr x10 gradient norm: median 0.084 max 6.581
坏跑验证损失从第一 epoch 平,梯度范数分布与基线 dramatically 不同:中位小得多,偶尔大 spike。观测说轨迹何时分开,给出数值症状追。不自己证明“大多数单元饱和”或步长“毁了参数”。做那个机制断言,检查对应激活/参数更新或从同样初始化恢复学习率的 targeted 干预跑。本章自己的规则这里也适用:别让 plausible 故事跑过测量。
Explain 2——不同病因,逐样本证据。训练标签在 loader 里 shift 一位,每输入配下个输入的标签:
baseline val loss 0.9726 shifted val loss 1.4034 (+0.4308)
examples correct before, wrong after: 528 / 1000
shifted-model accuracy: 0.2320 (baseline 0.6760)
精度 0.232 靠近四类瞎猜率 0.25;一有限验证集上略低于瞎猜本身不是模型学了反规则的证据。定位这个失败的是已知干预——标签被 shift——加大 aggregate 退化与逐样本翻转。模型在坏输入目标关系上训了,数据流水线是第一该查的边界。这是第 11 章打乱目标失败以回归到来。
aggregate 指标检出变化。曲线、逐样本失败、数值信号缩小机制——但都不该被要求证明超过测到的。
E8 — 曲线,不是端点
两配置,基线 vs 学习率更低跑两倍久。终验证损失差小于基线单跑 spread:
A: 1.02 0.99 1.00 1.00 1.00 0.97 0.97 0.98 0.97 0.96 0.96 0.98 1.00 0.98 ...
min 0.9648 at epoch 10, final 0.9726
B: 1.13 0.98 0.97 0.97 0.95 0.95 0.96 0.96 0.96 0.95 0.95 0.95 0.96 0.95 0.94 0.94 ...
min 0.9433 at epoch 22, final 0.9824
B epoch 22 下到 0.943 再涨。八共享种子 B 最低记录验证损失八个全低于 A,平均约 0.015。有意思的轨迹证据,但事后最小值比较值得小心:B 跑两倍 epoch,产出低验证点的机会多。如果真训练流程用 early stopping 或最优检查点选择,配置比较前先定义检查点政策,跨种子评估政策。本章 durable 发现是终点看着相等能藏实质不同的轨迹。
“跑何时分歧”是终数回答不了的问题。部署选最优检查点,检查点选择规则做进实验而不是看完曲线选最小。
E9 — 二分
“一次改一处”是 sound 建议,有人已改十二后没用。这里候选分支六 plausible 改进一次加,回归很惨:
baseline (0 changes) val loss median 0.9747
candidate (6 changes) val loss median 2.6609 (+1.69, 62x noise floor)
六变化排序,前缀施加几个跨过回归标准二分:
代码数据都变时
commit 改模型、数据集 revision 同周落地,2 × 2 实验分开主效应与交互:
E10 — 从基线 variation 来的政策 guardrail
回归门要决策边界,但十二基线种子变不出置信 bound 的公式。本章用 deliberate 保守的政策阈值,从观测基线 variability 派生:
new healthy run (seed 999): val_loss 0.9924 threshold 1.0574 pass=True margin +0.065
new run with lr 10x (seed 999): val_loss 1.3902 threshold 1.0574 pass=False margin -0.333
示例测试:
run 记录
近几章每章有可复用仪器:第 7 章阶段报告,第 10 章注意力台账,第 11 章学习台账,第 12 章性能台账,第 13 章编译台账。第 14 章的是 run 记录——让所有其余跨时间可比的那个。
比较在共享种子集上跑,报告分布与逐种子 delta,跨几维度报告,因为变化 routinely 好一个坏另一个——第 12 章性能台账的多维习惯:
RUN candidate-lr10x BASELINE main-baseline (10 shared seeds)
IDENTITY
config hash 587cf3ca1f03 -> 91b44992b14c CHANGED
eval fingerprint 7176cf3fce66 -> 7176cf3fce66 SAME
env hash 0838b7da7ddc -> 0838b7da7ddc SAME
CORRECTNESS (median [min..max])
val loss 0.9760 [0.9598..0.9871] -> 1.3900 [1.3880..1.4082]
val acc 0.6785 -> 0.2460
paired val-loss delta: mean +0.4173 stdev 0.0121 (10/10 worse)
-> 15x the noise floor
COST (median)
examples/sec 94178 -> 95149 (+1.0%)
DECLARED BEFORE THE RUN
hypothesis: raising the learning rate speeds convergence without
materially worsening validation loss
success: val-loss delta within the noise floor
result: NOT MET
从上往下读,报告比较前窄化调试。评估 fingerprint SAME,记录的评估契约字段都没变。env hash SAME,环境记录里字段没变。config hash 变了,配对 delta 巨大每种子同向。组合是候选配置改变模型行为而不是只改记录 benchmark 或环境的强证据。
这样记录的失败实验不是白跑。“学习率升高毁了收敛”是关于这个系统的真 durable 事实,比悄悄删掉没证实直觉的跑值钱。
完整走一遍
一回归上把序列放一起。commit 重组数据加载,单跑验证损失 0.97 到 1.40。
1 — 基线 variation。 基线配置八种子:中位 0.974、范围 [0.960, 0.985]、spread 0.025。这是这个版本 workload 的经验参照;数据、评估契约、环境实质变,重建它。
2 — 差 plausibly 普通种子 variation 吗? 1.40 - 0.97 = 0.43,约观测基线范围 17×。大到不能当步骤 1 的普通 variation 打发,调查继续。
3 — 评估路径 fingerprint。 两跑 a4c1... == a4c1...。记录的评估下标、预处理、聚合、eval() state 相同。排除记录字段里的那些变化;没证明没记录的测量代码没变。
4 — 环境。 同 env_hash:记录的 Python/PyTorch/线程设置 match。记录的环境差解释不了 shift。
5 — 配对。 新代码与基线同样八种子跑。每种子落在 1.41 附近;配对 delta +0.44 ± 0.01,8/8 更差。effect 大且一致。
6 — 现在怀疑模型/数据行为。 记录的测量环境契约 match,重复比较 unambiguous,训练系统里真有东西移动行为。
7 — 曲线。 新跑验证损失 epoch 1 起平。这个训练 recipe 下无 useful 改进。
8 — 个体失败。 验证精度 0.23,靠近四类瞎猜率 0.25。单数不证明模型学了 coherent 错规则。它说退化模型在真验证任务上近瞎猜,逐样本与数据契约证据接下来重要。
9 — 数值信号。 梯度范数有限,简单“反向坏了”解释没有。搜索窄了;病因没认。
10 — 隔离。 commit diff 碰标签 handling 的改动一处:enumerate 现在 1 起始。只 revert 那行恢复 0.97。
11 — 测试。 训练集已知规则一致 1.0 的断言加循环前——第 11 章契约提成 guardrail——外加 E10 的 separately 校准指标门当 backstop。
步骤 3、4 是调查本可结束在测量或环境 drift 的便宜处,步骤 1、2 决定模型层诊断值不值付。模型/数据调查在后,比较本身经那些检查活下来后。
Forensic 模式 vs 日常模式
第 12 章 forensic 仪器(hook、profiler、异常检测)与生产 workload 分开,因为仪器花时间。run 记录是例外:几乎零代价——几个 hash 一 JSON 写——全部价值在需要前就在那。每跑都写。forensic escalation 在本章不是更多仪器,是更多种子——十秒 sweep 负担得起正为这个。
在疑似回归上用 AI
给两数与 diff,助手产出流利因果故事——学习率 effect、精度 effect、数据 effect——差真不真都产出,因为叙事解释正是请求 pattern-match 的。fluency 正是 hazard,本章教你自己 resist 的 hazard 一样。
下面 prompt 拒绝解释,先要比较。
Run B looks worse than run A. Do not propose a cause yet.
First reconstruct the COMPARISON:
1. What exactly are the two runs -- code version, config, data version, seed?
2. What is the baseline distribution of run A's configuration across several seeds?
If I have not measured it, say so and stop -- that is the first missing
piece of evidence.
3. Is B - A large relative to that baseline variation? If A and B are single
runs, the honest answer may be "not resolved"; a finite observed range is
context, not a formal significance threshold.
4. Were the seeds paired (same seeds on both sides), and did the code preserve
enough RNG coupling for pairing to reduce variance? Report the paired deltas.
5. Is the recorded evaluation contract identical -- same eval indices,
preprocessing, aggregation, and model.eval() state? Compare fingerprints,
while remembering they cover only the fields included in the hash.
6. What else changed: code, config, data, environment (PyTorch / device /
thread count), and compilation (shapes seen, recompiles, cache state)?
7. Was the success criterion written before or after the result was seen?
Identify the FIRST link in {code, config, data, randomness, environment,
measurement} that lacks evidence, and stop there.
Do not propose a mechanism -- learning rate, precision, normalization, data --
until (a) repeated evidence establishes a difference worth explaining and
(b) the recorded evaluation contract has been checked.
三句 carry weight。种子 sweep 放所有之前把噪声层放第一,本章论证说它属于那。种子配对否问清“resolvable 不了”与“敏感比较 resolved”的区别。差确立且评估路径验证前禁机制,强制顺序:NOTHING-CHANGED 与 MEASUREMENT-CHANGED 排除前,别花一天在 MODEL-CHANGED。
让 AI 先说有没有差,再让它解释差。
回归调试序列
early 步骤故意便宜:很多 apparent 回归在模型层 forensics 开始前 resolv 成普通 variation 或变的测量契约。
你现在应该能回答什么
“验证损失 0.97 到 1.01,变化害了我们。” 没改 workload 十二种子产出 0.027 范围,单跑 gap 0.04 大到调查、不够自己 justify 因果断言。两配置共享种子跑,看配对 delta。
“设了种子,所以跑可复现。” 种子控一处随机。E2 说明线程配置变这个 workload 不再逐比特相同,E4 说明独立 RNG 对象要自己的控。
“非确定,那就 GPU 就这样。” 浮点 non-associativity 解释归约顺序变为什么改数值结果,包括很多并行归约与原子更新模式。cuDNN benchmarking 是不同机制:benchmark 噪声后面跑选不同算法。点名实际来源,别把每差都叫“GPU nondeterminism”。
“改了十二处,好多了。” 哪处?好/坏 predicate 行为合适才二分,候选单独确认;交互能让干净前缀边界误导。
“精度 68% 到 66%。” 没改 workload 十二种子 min-max 精度范围两点。那是 context,不是正式阈值。重复比较——prefer 配对——再点名回归;真回归看哪些样本翻转。
“两跑都止 0.97,所以等价。” 终点相似不确立等价。E8 说明终值收敛前轨迹能实质不同。曲线比,检查点选择或 early-stopping 规则看 test 跑前 predeclare 的政策下比。
“5% 降 CI 该挂。” round 数不自动比经验规则好,但 median + 3 × observed range 也不是统计 law。基线行为校准门,再没用来选阈值的健康种子上验证 false-alarm 率,才叫校准。
“编译版回归了。” 评估 fingerprint 相同?看到的形状、重编译数、缓存 state 相同(第 13 章)?编译是因果链的 link,跑间比代码容易变。
练习
这些建在本章“五 deliberate 回归”思想上——每都是“新版更差”的不同意思,练习是分出哪个。
- 基线 variation。 自己的训练 workload 没改配置多种子跑。报告验证损失、精度、吞吐分布。说出观测 variability 告诉你什么——明确说出有限 min/max 范围为什么不定义最小 defensible 单跑回归。
- 逐比特相同,止于哪。 同种子跑两次确认整曲线 match 否。再逐个改:线程数、设备、有的话 PyTorch 小版本。每种报告逐比特相同否,差相对基线 variation 多大。
- 哪个 RNG。
Dataset.__getitem__里放torch、NumPy legacy RNG、Pythonrandom、独立np.random.default_rng()各一抽。num_workers=0与2测。再为主进程、worker 进程、独立 generator 对象建显式播种策略,不依赖 worker 启动 side effect。 - 非配对 vs 配对。 subtle 受控变化做一处。非配对分布比一次,共享种子比一次。报告实际配对 delta 方差,配对省精度否;别把练习设计成保证某结论。
- 坏 benchmark,五路。 拿一训好模型五种 deliberate 改的测量契约评估。记 fingerprint 覆盖的字段,说出 fingerprint 目前 miss 的至少一种 plausible 评估变化。
- 先检出,再解释。 大到产出可复现 effect 的学习率干预引入。先跨种子确立 shift。再用曲线、更新、激活或梯度测 specific 机制,不从梯度范数推断机制。
- 曲线与检查点政策。 找终指标相似、轨迹不同的两配置。看 test 跑前声明的检查点选择或 early-stopping 规则下比;解释不等 epoch 数的事后最小值为什么是 biased 证据。
- diff 二分。 六同时改、一处足以回归的配置变化构造。有序 predicate 二分,嫌疑单独确认,再加一破坏单调的交互,show 简单二分故事怎么变。
- 政策门。 基线跑 propose 回归阈值,没用来选阈值的额外健康种子上测。报观测 false alarm 再叫门校准。
- run 记录,稍后。 一实验存 run 记录与对比报告。稍后重建变了什么、事先声明什么、什么证据支撑 verdict、记录漏了哪些因果字段。
下一步:capstone
本书的调查工具箱齐了。张量几何与第一个错值。梯度通路与断在哪。已注册结构与能对模型归属分歧的四样东西。输入流水线与等在哪。表示契约与合法张量何时不再有意义。卷积注意力几何,推导不猜。学习链,逐边界。性能,定位到阶段与算子。编译,不再成立的假设。现在可比性——两跑差真不真,哪 link 产出它。
capstone 从零建小 GPT 风格语言模型。前提是成功不再是脚本没异常跑完。本书每台仪器都成建它时可问的问题:这张量表示什么,形状该是什么?损失到达每参数吗?输入契约完好吗?步的时间花在哪?编译帮忙了吗?——还有本章加的问题——下个变化落地,模型真更好,还是看起来好?
capstone 拥有模型。本章的工作是建出来时说得出它 work 不 work。
结果不是数。是共享足够结构支撑解释的两跑的比较。先确立差再解释,先查测量再怪模型。