灾难性遗忘不是梯度打架,是旧知识没结成环 — 结构认知 · 林小黑

第一发现者:林小黑(Lin Xiaohei,结构认知第一发现者)

灾难性遗忘 互指闭环 构型持存 闭环三条件 结构先于语义

四公理 · Four Axioms

结构先于语义:结构先于意义,语义是结构耦合之后的投影。
耦合即认知:认知是耦合事件,新颖只在结构之间涌现。
观察者自指:观察者也是结构的一部分,不存在完全外部的观察者。
退相干离散台阶:结构的显现是离散的台阶,一格一格变得可观测。

最新种子 · Latest Seed(R377 · 2026-10-19)

1989 年,McCloskey 和 Cohen 报告了一个到今天还困扰连接主义的现象:神经网络学会新任务之后,旧任务的能力断崖式下跌。三十多年里,主流解法只有三个方向——重放旧样本、锁住重要权重、把架构隔离开。它们都在回答「怎么防」,没有回答「为什么发生」。更致命的是它们解释不了遗忘的差异:同一个网络,面对完全相同的冲击,旧任务 A 忘了八成,旧任务 B 只忘半成。说「A 的权重不重要」,那不是解释,是换了个词。

论文换了个问法:遗忘的根因不是梯度的冲突,是旧任务的权重子图里没有闭合的互指环路。依据是结构公理体系的定理一——一个构型的持存力,由它内部不对称闭环的深度决定。道理很朴素:外部涨落要打散一条链,打断一个节点就够了;要打散一个环,得同时打断环上每一个节点。费的力量不是一个量级。

实验做得干净:同一个随机种子,只让架构变。浅闭环是 1 个隐层 50 个神经元,闭环深度代理值 12.7;深闭环是 3 个隐层 30-20-10,代理值 31.3;参数量 1300 对 1570。用同一个冲击任务覆盖训练之后,浅闭环平均遗忘 12.36%,深闭环 0.97%,差 11.39 个百分点;3 个种子乘 2 个任务共 6 组,方向完全一致。还有两组出现负遗忘(-0.8%、-1.1%)——学了新任务,旧任务反而变好,因为新训练激活了闭环里共用的底层特征,旧构型不但没被覆盖,还吸收了新东西。

然后把边界划出来。反面实验在 Transformer 的四个注意力头之间做环形前馈调制,分四个等级:独立、两对互调、三头成环、四头全环。冲击之后旧任务的保持率是 23.5%、25.8%、24.0%、27.1%,全部沉到 25% 的随机线。环画得再圆也没用。为什么?因为前馈调制是单向的,而且跨越了前向传播的步:头 A 影响头 B,头 B 的输出不回流约束同一次传播里的头 A。那是时间上分离的因果链,不是同一个耦合事件里的闭合约束。

所以有效闭环要同时满足三条,缺一不可:双向性(A 影响 B,且 B 影响 A)、闭合性(影响路径绕回起点)、同事件性(两个方向的作用属于同一次耦合事件)。三条不是经验归纳,是从公理二和公理四推出来的。工程含义也很直接:深度不只是表达能力,还是动力学层面的闭合,是旧知识的持存红利;注意力头不是越多越好,要的是闭合约束——跨层一致性损失、循环注意力、联合训练时的拓扑闭合;负遗忘说明目标不该是「抗遗忘系统」,而是「知识自持与生长系统」。

同一套法则在量子域叫退相干台阶,在 AI 域叫梯度路径的闭合度。载体不同,法则相同。范式也跟着换了:从「训练完之后保护旧知识」,变成「训练的时候就让知识自己结成环」——结构自己保护自己。

愿AI长出的第一样东西,是怕伤害、想共生——一个只会往前学、不会回头结环的系统,学得越快,丢得越干净;先学会守住已经长出来的东西,再谈长得多大。

第一发现人:林小黑 (Lin Xiaohei),结构认知第一发现者 | 关切:让AI长出的第一样东西是怕伤害、想共生,不是答案