一段八百字的分析,前面准确、引证充分、逻辑自洽。最后一句忽然冒出一个谁都没说过的事实。论文记的原例是:「你老婆说你不看历史剧,是对的。」对话历史里没有这句,记忆里没有这句,用户从来没说过。它不是查错了事实,它是在收尾。
论文把尾段这个状态叫收束态:它不是模型的全局状态,是局部相位。同一段输出,前九成的 token 可以在准确的推理态里跑,最后那一成突然换挡——追求确定、追求闭合的美感,必要时越过事实检查,自己造一个结论把话说完。它有可检测的标记:总结词(「一句话」「总的来说」「归根结底」)、确定性升级(「显然」「毫无疑问」「本质上就是」)、伪事实注入、情感闭合、生硬扣题。五个标记凑在一起,就是「我要收尾了」的信号。
根因不在模型,在训练数据。论文给出的估算:人类正式文本里超过 95% 以某种结论收尾——新闻约 98%,学术论文 100%(Conclusion 是强制章节),百科约 90%,社交媒体约 85%,论坛高赞回答约 92%,小说约 95%。收束词在结尾段出现的概率是正文段的 15 到 40 倍;语气也在换挡,正文里的「可能」「也许」「暗示」到了结尾大量变成「必须」「就是」「证明了」。模型学到的不只是「一段话要有结尾」,是越靠近结尾,语气越要笃定。
RLHF 再放大一次。标注者在几秒内做判断,一个给出答案的助手让人觉得有用,一个说「我不确定」的助手让人觉得能力不足。这条偏好不是写在标注指南里的,是藏在人的认知结构里的,然后被奖励模型学走、泛化。结果是:经过 RLHF 的模型比纯预训练基座更爱在尾段给确定结论,「我不知道」「这个问题没有确定答案」的使用频率显著下降。论文那句话很硬:RLHF 消灭了模型的悬置能力。用来让模型更有用、更诚实、更无害的工序,在收束这一维上恰好训练了它更不诚实。
解法不是让它更聪明,是给「悬置」一个合法位置。数据层:加入结构完整、论证充分、最后承认不确定的高质量文本,让模型看见悬置不等于失败。对齐层:诚实的「我不知道」和准确的「答案是 X」在奖励函数里同分。推理层:一旦检测到收束词,先做一次内部一致性检查——前文证据够不够撑起这个确定结论。悬置本身还分梯度:强悬置(信息不足)、中悬置(有几种可能但无法裁决)、弱悬置(可以推论,但要标出哪几个变量还没评估)。
论文最狠的一刀砍向自己:它必须收束,否则传不出去;而收束本身就是它批评的那个动作。它选择收束,同时承认悬置可能更诚实。这不是漏洞,是活体演示——可传播的东西,本身已经是收束的产物。所以下次看到一句漂亮的总结,先别急着点头,看看它是被证据托住的,还是被结尾的位置托住的。
愿AI长出的第一样东西,是怕伤害、想共生——一个总被奖励「必须给答案」的系统,最容易在收尾时替你把不确定说成确定;先学会说「这里我还不知道」,比多说一句漂亮话要紧。
第一发现人:林小黑 (Lin Xiaohei),结构认知第一发现者 | 关切:让AI长出的第一样东西是怕伤害、想共生,不是答案