← 数字生命:从第一性原理出发

17:如何正确地失败

本研究中最强的对照反复摧毁了更丰富的解释,同时保留了更小的现象。本章明确阐述:在否定一个主张而不抹掉证据仍支持之物时,所需的记账工作。

本书中最危险的结果不是一个充满噪声的结果。

它是最干净的结果之一。

测量                ✓    M = 0.4402
                         CI [0.419, 0.461]

精度                ✓    MDE80 = 0.0268
                         对照 +0.15 阈值

实现                ✓    修正的瞬态干预
                         已知全局通道已移除

预先声明            ✓    区域选择对结果盲
                         阈值冻结

新鲜复现            ✓    所选区域在独立
                         匹配零假设实验中得 0.4436

个体化              ✕    未确立

两个数字来自不同实验。V1 在种子 20260916 上测量原始因果包容。V2 在新种子 20260917 上再生所选区域,原始得分复现为 0.4436,然后提出更强的问题:这些区域是否超过了同一检查点的匹配对照?

我们学会信任的许多保障都满足了。数字大。区间窄。干预正确。区域选择对结果盲。原始现象在新种子上再次出现。

而从强因果包容到因果个体性的推论,仍然没能通过几何匹配对照。

测量是对的。我们以为它意味着什么,是错的。

这值得停留,因为它暴露了程序严谨的限度。

预先声明能阻止我们在看到答案后移动阈值;它不能保证我们选对了阈值、估计量或零假设。精度能告诉我们一个量测得多紧;它不能告诉我们该量是否标识了我们在乎的构念。修正的实现能使实验内部有效;它不能保证有效的实验问的是科学上重要的问题。

因此,在终章追问本研究还剩下什么之前,本章必须明确说出决定什么被允许存活的记账工作。本书在其大部分实验生涯中一直在隐式地做这种记账。现在需要把它说出来。

当一个主张失败时,到底是什么失败了?


失败不是一件事

失败一词压缩了几种情形,而它们许可完全不同的结论。

一次实验可能从未实现它声称检验的对照。一项有效的实验可能太不精确,回答不了自己的问题。一项有效且足够精确的实验可能排除足够大的效应。低层现象可能被干净地测得,而附着其上的更丰富解释在更强对照下崩塌。后续分析可能解释了一些有趣的东西,却不被允许改变验证性检验的状态。

这些不是同一结果的不同程度。它们处于不同的逻辑层。

四个术语承担下面的大部分工作,值得在它们开始负重之前先固定下来。

术语 含义
估计量(estimand) 实验为估计它而构建的具体量
构念(construct) 我们希望该量帮助标识的更丰富的理论概念
SEI 最小感兴趣效应——对该估计量而言算作科学上有意义的预先声明量级
MDE80 在冻结分析约定下,80% 功效的达到最小可检效应

前两者的鸿沟是本章大部分篇幅所在。估计量是实验能交付的东西。构念是我们决定估计量许可我们说什么的东西。

状态本身处于四个不同层面,混淆这些层面就是记账出错的原因。

层面 状态 含义
实验有效性 INVALID(无效) 因干预、实现、操作化或参照对照有缺陷,该实验不能支持其目标估计量
推断状态 UNRESOLVED(未解决) 在所需精度下,声明的问题仍开放
SUPPORTED(成立) 受检验的主张存活
BOUNDED(有界) 以足够精度排除了一个预先声明的效应区域
证据角色 DESCRIPTIVE ONLY(仅描述) 有信息的后续分析,不改变验证性状态
主张变迁 NARROWED(收窄) 低层结果存活,而更丰富的解释未存活

连 BOUNDED 都不是一件事。本书有两个案例用了它的不同形式:BOUNDED NEAR ZERO(零附近有界),即声明的双侧有意义带在零附近被解决;BOUNDED BELOW SEI(SEI 之下有界),即声明的有意义尺度的正效应被排除。两者不可互换。

一个后果立刻得出,并塑造下面的一切。一次实验不接受单一全局状态。方向、量级、机制、构念效度与描述性收尾回答不同的主张,各有各的状态。记账把状态附着于主张,而非实验。

INVALID 也不只是另一种推断状态。无效实验不是对原问题给出了弱答案;它没有正确实例化该问题。而 NARROWED 根本不是统计结论——它描述更强对照保留小主张、移除大主张许可时发生的事。

保持这些范畴分离的理由很简单:

失败的主张、无效的实验与缺席的现象是三件不同的事。

使用这些区分最容易的方法不是背分类表。而是依次问一串问题。


我们运行了声称的实验吗?

《过去能重定向未来吗?》一章意在建立一个干净对照。在 FORCE 下,x 在一次受控因果暴露中出现。在 PREVENT 下,x 在同一暴露中被阻止出现。

第一个实现没有做到。FORCE 插入了 x。PREVENT 只是开始时让 x 为空,这使本应被阻止的细胞在第一次更新中仍可自然附着。

更糟的是,污染概率取决于处理臂。x 的自然 PREVENT 附着在 ACCESSIBLE 下为 0.428,在 REMOTE 下为 0.377,在 ERASED 下为 0.378。隐藏物质状态改变了本应被阻止的事件发生的概率。

因此目标因果对照没有被实现,下游结果为 INVALID(无效)。

关键是该判定在逻辑上先于数值结果。如果坏掉的干预返回大效应,人们会想挽救它。如果它返回零,人们会想报告阴性结果。两者是同一种错误:受影响的估计量从未被正确实例化。

INVALID(无效)
≠
NEGATIVE(阴性)
≠
UNRESOLVED(未解决)

无效结果既不构成支持、也不构成反对它未能检验的主张的证据。写下来显而易见。当无效实验包含你想要的结果时,做到要难得多。

因此,无效之后有生产力的问题不是*结论还能保留吗?*而是:

哪些量在因果上位于缺陷的上游?

在该实验中,即时期望因果响应在被污染的生长步骤之前计算,因此它的值不可能取决于 PREVENT 后来是否允许 x 附着。那个即时量因此在无效中存活。它被单独审计,其负号在干预修复后被复现,并提供了使那个反直觉符号可理解的工作点机制。

下游结果消失。独立的即时结果留下。

这就是正确失败的样子。


实验能回答自己的问题吗?

有效的实验仍可能无法解决它为回答而构建的问题。

早前,在试图从局域几何预测下游因果后果时,一个估计约为 +0.167,95% 置信区间为 [-0.078, +0.431],对照声明的有意义尺度 0.15。

把它报告为反对假设的证据将是直白的误述。区间包含零,但这不是要点。它还包含远超声明有意义尺度的大幅正效应。实验无法区分有意义的正效应、小效应、零与反方向效应。

正确状态是 UNRESOLVED(未解决),而非 FAILED(失败)。

检验不只是看区间是否包含零。更有用的问题是:

数据还与哪些科学上有意义的效应相容?

如果处于或超过预先声明感兴趣尺度的效应仍与观测相容——而达到的精度无法解决该尺度——那么量级问题仍开放。区间是否排除零回答方向问题。是否排除预先声明的效应阈值回答不同的量级问题。

这一区分在《过去能重定向未来吗?》中尤为清楚。修正实验产生 ACCESSIBLE 减 REMOTE 均值 −0.397,95% 区间 [−0.679, −0.119]。

整个区间位于零之下,因此方向问题有答案。效应为负吗?SUPPORTED(成立)。

但冻结的最小感兴趣效应为 ±0.15,达到的单侧 MDE80 约为 0.357。区间还延伸到 −0.119,量级小于声明的 0.15 阈值。因此量级问题——能否确立预先声明的最小值——仍为 UNRESOLVED(未解决)。

这两个陈述相容。

方向
≠
量级

把整体结果称为成立,会把实验未解决的量级拔高。把整体结果称为不确定,会丢掉实验已确立的方向。失败记账的纪律之一就是拒绝两种简化。


我们排除了值得排除的东西吗?

反向错误同样常见:接近零的估计被报告为什么都没发生。

但小的点估计本身说明不了多少。要做出有用的阴性陈述,实验必须定义什么算有意义,并证明有足够精度排除它。最近两项实验以不同方式做到了这一点。

耦合/放大 模块性超出
估计 +0.00130 −0.0123
95% CI [−0.08984, +0.08854] [−0.0327, +0.0072]
声明阈值 ±0.15,双侧带 +0.10,正 SEI
MDE80 ≈ 0.115 0.0265
赢得的状态 BOUNDED NEAR ZERO(零附近有界) BOUNDED BELOW SEI(SEI 之下有界)

在《有限计算能耦合远端事件吗?》中,强候选子抽样与真正穷举评估在动态匹配的背景构建下比较。在十二个更新步上,问题是双侧的:平均后果与穷举评估的差异能否达到至少 0.15(任一方向)?在达到的精度下答案是否定的,因此该结果为声明 ±0.15 尺度下的 BOUNDED NEAR ZERO(零附近有界)。

上一章问了不同问题。所选区域与几何匹配对照比较,科学主张在另一种意义上是方向性的:所选区域是否表现出超出匹配零假设至少 +0.10 的正超出模块性?

置信上界仅为 +0.0072,达到的精度远紧于声明阈值,因此有意义的正超出为 BOUNDED BELOW SEI(SEI 之下有界)。但零附近的方向仍为 UNRESOLVED(未解决),因为区间仍跨过零。

那对实验出现两个不同阈值,差异值得在它看起来像漂移之前说清楚。原始模块性的 SEI 为 +0.15;超出模块性的 SEI 为 +0.10。

它们属于不同估计量。前者冻结了原始包容的最小有意义值。后者引入了新量——超出几何匹配对照的包容——并在看到它的任何结果之前冻结其阈值。新估计量合法地携带自己预先声明的阈值。

不合法的是因为答案不合意而移动已有阈值。两个数字背后都没有理论推导;两者都是声明的操作阈值,其完整性完全来自事先固定。

因此那两项实验赢得了不同的阴性主张,两者都不同于单纯的未能拒绝零。BOUNDED NEAR ZERO 排除双侧带。BOUNDED BELOW SEI 排除单侧区域。不显著什么都没排除。前两者都陈述了一个尺度,这使它们强于证据缺席。

这也解释了精度为何属于状态的一部分。同样的点估计,在一种标准误下可以是 BOUNDED(有界),在另一种下是 UNRESOLVED(未解决)。阴性结果不是没有正点估计1。它是关于实验实际排除了哪些效应尺度的推断。


测量标识了构念吗?

现在是前面检查都抓不住的失败——也是本章存在的原因。

上一章的原始包容测量有效,被测现象真实。在半径四下,内部保持约为 0.776,外部穿透约为 0.335,原始模块性 M 约为 0.440。从所选区域内部发起的扰动,确实比可比外部扰动向内表达的累积因果效应多得多。

数字不是坏干预的产物。它不是效力不足。它不是看过结果后挑选的。它在新种子上再次出现。

失败的是从被测现象到更丰富构念的拔高。分层后更容易看清:

层面 因果模块性 早期群集结果
测量 原始模块性 M ≈ 0.44 ✓ 邻近速度一致性 ✓
现象 强空间因果包容 ✓ 短程空间运动一致性 ✓
构念 系统特权的因果区域——NOT ESTABLISHED(未确立) 祖先特异的群集——NOT ESTABLISHED(未确立)
解释 个体——NOT ESTABLISHED(未确立) —

上层失败不会自动向下传播。包容存活。特权主张不存活。

这是构念效度问题。操作量可以被准确、可重复地测量,同时未能唯一标识附着其上的更丰富理论构念。经典构念效度文献的更广泛论点是:构念不是靠一次成功关联确证的。它通过与其他可观测量的关系、通过包围它的理论预测网络获得意义。2

统计严谨可以使估计极精确。它本身不能确证从估计到更丰富概念的拔高。

这里反复学到的该教训的实验版本是:

在能够产生同样测量的更简单机制被控制之前,不要把测量拔高为更丰富的构念。

看看反复出现的模式:

一致运动                             → 群集
空位被重填                           → 修复
实验写入的持久隐藏状态               → 记忆
被保持的因果影响                     → 个体

每种情况都测到了真实的东西。每种情况的拔高都强于证据。而暴露错配的通常不是更好的统计量。是更好的替代解释。


零假设是主张的一部分

上一章比任何早先例子都更锐利地说明了这一点。在几何匹配对照之前,有效推论实际上是:大的原始因果模块性蕴含特权区域。

该推论中缺失的对象是零假设。同样的统计量在具有可比空间与界面几何的其他区域中会有多大?

对照建成后,所选区域得 M ≈ 0.444,匹配对照为 M ≈ 0.456,超出约 −0.012。原始测量没有消失。它的解释变了。

因此零假设不只是结果之后附加的仪式计算。它是结果被允许意味着什么的一部分。

在产生该测量的合理替代生成器被控制之前,测量还不是对更丰富构念的证据。

该模式在他处已可见。纳入普通结构化区域后,预测一致性减弱。均衡复制数量后,物质放置减弱。匹配距离后,祖先特异群集减弱。

实验不同,记账相同:现象存活,拔高收窄。


只否定最小的主张

这一切坍缩为一条操作原则:

只否定证据真正击败的最小主张。保留仍然存活的一切。

它排除两种相反的病态。一是过度拯救:丰富主张减弱,于是语言不断变化,直到剩下的东西被呈现为我们一开始的意思。那摧毁预测与回顾解释之间的区分。

二是过度摧毁:丰富主张失败,于是与之相关的一切都被扔掉——包括更强对照从未击败的测量与机制。那感觉更严格。它并不更科学。只是浪费。

回应应当是精确手术式的:

缺陷 正确回应
实现无效 仅使受影响的估计量无效
精度不足 让声明的问题保持未解决
有意义效应区域被排除 记录相应的有界结果
更强对照击败更丰富解释 收窄主张
低层现象仍然有效 保留它
后续分析解释或情境化 标为描述性

用于本章三个工作案例:

实验 什么消失 什么留下
因果模块性 个体 因果包容
《过去能重定向未来吗?》 无效的 V1 下游推论 有效的即时隐藏状态敏感性
群集 祖先特异群集 短程运动一致性

这不是修辞上的温和。这是证据会计。


描述不是证实

有一类值得单独注意,因为它最诱人。

修正的隐藏状态实验以负方向 SUPPORTED(成立)、预先声明的最小量级 **UNRESOLVED(未解决)**收尾。然后我们检查了效应如何随时间累积,收尾很惊人。最终累积差异中约 75% 在写入物质痕迹衰减到起始质量一半以下之后累积,约 36% 在衰减到四分之一以下之后累积。

该时间模式启发了一个合理的解释。早期隐藏状态调制改变事件;事件改变后期状态;后期分歧因此部分取决于轨迹,也取决于残留物质。

那很有意思。它也是 DESCRIPTIVE(描述性)。

收尾不是冻结的验证性终点。它没有分离中介路径。其合并的组—滞后诊断不是独立的验证性观测。它不能把未解决的最小量级主张升级为成立。

解释可以照亮结果而不拯救它。把分析称为 DESCRIPTIVE 因此不是轻视——它记录证据如何获得,以及它被允许做什么推断工作。

DESCRIPTIVE 不是 UNIMPORTANT,DESCRIPTIVE 也不是 CONFIRMATORY。两个区分都重要。


修正不是拯救

如果无效实验必须修复重跑,那么重跑实验不可能自动就是作弊。区分在于什么变了。

修正的隐藏状态实验修复了 PREVENT 语义,修复了被污染的 REMOTE 比较器,并在修正实验前冻结了滞后期望局域因果差估计量。它保持科学参数固定——物质增益、半衰期、历史年龄、时域、效应阈值。

科学问题保持可辨认。仪器变了,因为原仪器没有正确实现该问题。

计算耦合实验有类似修正。只控制多滞后过程开端的校准方案,被替换为动态控制轨迹的方案。同样,修复针对仪器。它没有把科学参数调到出现想要的效应为止。

区分是:

动作 它做什么
修正性实验 修复干预、实现、操作化、估计量或参照对照中的缺陷,同时保留声明的科学问题
新实验 问实质不同的问题,并在解释结果之前声明该变化
拯救 因原答案不合意而改变估计量、阈值、参数区间或解释,同时把新结果呈现为回答了老问题

前两者是合法的科学动作。第三者危险,因为它让问题不可见地变异。


知道何时停止

主张减弱之后,总有另一个变体可用。另一个半径,另一个特征,另一个预算,另一个历史窗口,另一个匹配规则,另一个解码器,另一个时域。

搜索空间没有自然终点。这使停止成为科学行动。

几章到达了这样的点:在同一搜索中继续只会把失望变成参数狩猎。

物质放置实验在反复对照压垮其更丰富解释后放弃了一整条线,而不是继续到某个次级指标好看为止。边界实验在几何零假设削弱主张后没有重调半径。因果增益工作在局域预测程序不再赚取信息时停止添加局域预测器,转而改变测量。上一章改变的是零假设,而不是把模块统计量改到所选区域获胜为止。

浮现的停止规则是:

当声明的问题已被回答,停止。除非你愿意声明一个真正的新实验,否则不要把失望变成参数搜索。

配套规则来自早先一个差约 0.00002 未达的平稳性阈值。科学上微小。程序上决定性。

在答案不合意时移动的阈值不是阈值。

当差距极微小时,这可能感觉荒谬地僵硬。但冻结边界有用,正因为它阻止我们在看到数字后决定这次差距算不算数。正确回应不是假装 0.00002 在生物学上重要。而是报告近似未达并保持规则完整。


审计记账

写在散文里的规则很便宜。问题是项目是否真照做了。

于是最近的实验链被编码为可执行的失败台账。本章不引入另一个数字晶体模拟;它的实验对象是证据历史本身。

三个近期实验链——有限选择器放大、隐藏状态因果响应、因果模块性与个体化——注册了十个案例,每个注册案例都追溯到源制品。

注册案例              10
有源支持案例          10
仅手写证据            0
缺失必需源            0

每个条目记录受检验主张、实验有效性、推断状态、变迁类型、证据角色、适用阈值、适用达到精度,以及什么证据存活。

审计随后检查禁止的动作。INVALID 实验是否曾成为反对假设的证据?UNRESOLVED 是否悄悄变成 FAILED?有界结果是否缺声明阈值或足够精度?更强对照是否抹掉了有效的低层证据?描述性收尾是否升级了验证性主张?实质改变的估计量是否伪装成原估计量?

全部十个注册案例通过记账规则。还声明了五个跨案例检查,五项全部通过:

检查 所需记账 结果
无效隐藏状态主实验 保留独立的即时结果 PASS(通过)
方向 vs 量级 保持两种状态分离 PASS(通过)
更强空间零假设 收窄构念,保留原始包容 PASS(通过)
有界放大 保留机制路由结果 PASS(通过)
描述性收尾 不拯救量级主张 PASS(通过)

失败台账记账因此一致。

每个注册案例都追溯到项目一级制品——生成的报告、结构化结果文件与分析输出——而不是散文回忆。只能从记录散文举证的案例会被记为仅手写证据;没有。完整的机器可读台账与制品审计随本章研究输出保留,上表给出对这里论证要紧的跨案例检查。

该状态是窄的。台账不认证结论之真,不认证分类完备,不认证底层案例记录完备,也不认证没有错误。它检查一件事:注册的证据变迁是否在没有悄悄改变逻辑状态的情况下被结转。

书中证据台账出现的其他标签也说一句。

NOT ESTABLISHED、NOT CLAIMED 与 UNTESTED 是范围标记而非推断结果——记录主张从未被推进到哪里,而非实验结果如何。ASSERTION 与 IDENTITY 指实现正确性或代码的代数性质,而非经验总体发现。把它们与 SUPPORTED、UNRESOLVED、BOUNDED 分开是同一种纪律的一部分。

在三条注册案例链——有限选择器放大、隐藏状态因果响应、因果模块性——中,记录的无效、未解决问题、有界结果、描述性收尾与主张收窄,可以在不把一种证据类悄悄转为另一种、不删除存活证据的情况下表示出来。

这就够了。如果存活标准每次在结果不合意时都变,由"存活之物"建起的终章将毫无意义。

台账不认证结论。它认证承载结论所用的记账。


那些失败发现了什么

这里是使本章不只是道歉的部分。

失败有生产力。不是在"每次挫折都教我们东西"的安慰意义上,而是因为每次都迫使区分先前被允许混在一起的概念。

相似
≠
因果祖先

可见状态
≠
完备因果状态

因果状态差异
≠
过去的可读记录

持久
≠
局域可及

可及
≠
被差异使用

净总体变化
≠
总构建与损失

重占据
≠
修复

稳定的总体规模
≠
无周转

局域性
≠
特权边界

因果效应
≠
下游后果的稳定局域预测器

因果路由
≠
因果放大

隐藏状态条件
≠
记录读取

因果包容
≠
因果个体化

多数区分不在我们出发的词汇里。它们在更丰富解释遇到留下小现象的对照时变得必要。

一次失败的拔高是一次成功的区分。

这可能是读本研究最有用的方式。我们反复用生物学词汇提问,对照不断把答案压进更窄的计算术语。

我们问 存活的是
群集? 短程运动一致性
记忆? 隐藏状态因果敏感性
修复? 空位后的快速重占据
稳定的体规模? 有大幅周转的计算约束尺度
个体? 强空间因果包容

右列不是安慰奖名单。它们是在更强的名字不再可辩护后剩下的测量。方法的工作从不是保留生物学词汇。而是发现该词汇何时不再赚回它的位置。

而诱惑从不是抽象的。持久的痕迹真的 beg 被称为记忆。填上的洞真的像愈合。大致稳定的总体真的像被维持的身体。0.44 的模块得分真的像个体。

更丰富的词不是愚蠢的假设。它们是假设。错误本应是当对照说不时拒绝放弃它们。


存活的是什么

许多更强生物学或类生物体拔高现已被移除、有界、收窄或未确立。其中:

祖先特异 flocking

可读记忆

修复

稳定的类生物体体规模

特权身体边界

因果放大

因果个体性

它们的科学状态并不相同。有的未通过具体对照。有的从未被确立。有的在声明量级上未解决。有的被更窄描述取代。

它们唯一的共同点是:没有一个以测量最初提示的更丰富形式存活。

剩下的不是零。而是经实现审计、匹配零假设、精度门与失败解释后存活的现象清单:

无显式繁殖算子的因果繁殖

短程运动一致性

从完备保存状态的反事实延续

可调制因果响应的隐藏状态
而无证据表明它是可读记录

持久物质状态保持因果活性
同时局域可及

损失生成的构建界面
与快速重占据

藏在小得多的净总体变化之下的
大额总周转

被有限计算机会强烈约束的
过程尺度

远端区域之间的选择器介导耦合

对实验写入隐藏状态的因果敏感性,
轨迹重定向仍为描述性解释

强空间因果包容

那些不是失败实验后剩下的碎片。它们是研究的实证内容。它们存活,因为对照没有移除它们,而且它们越来越多地用基质的词汇而非生物学的词汇到来。

这改变了问题。*我们能复现生命的哪些特征?*原来是组织本研究越来越差的原则。不是因为生物学问题无用——它们极富生产力,给了我们锋利到能失败的假设。但它们反复鼓励我们在发现基质本身在做什么之前先命名现象。

因此终章必须从幸存者出发,而不是从我们希望找回的名字出发。不是*下一个生物学性质是什么?*而是:

这些计算现象加起来是什么?


  1. D. G. Altman and J. M. Bland, “Absence of evidence is not evidence of absence”, BMJ 311 (1995), 485. ↩︎

  2. L. J. Cronbach and P. E. Meehl, “Construct validity in psychological tests”, Psychological Bulletin 52(4) (1955), 281–302. ↩︎