《模型说出口之前,那里发生了什么》
一、 涌现的黑盒:从逐词预测到沉默的坐标 在2026年7月6日发表的一篇论文《Verbalizable Representations Form a Global Workspace in Language Models》,提出了"J-space"这个概念,方法叫Jacobian lens(J-lens)。会不会成为蝴蝶的翅膀? 在硅谷通电的机房里,几十亿个参数在夜以继日地进行着单调的矩阵乘法。长久以来,传统的工程学视角倾向于将大语言模型描述为一架冷冰冰的“随机鹦鹉”机器:它之所以能接下你的下一句话,是因为在每一步生成中,它都会根据此前的上下文,计算下一个词元的条件概率分布,再从中选择一个词元继续向前。 它没有心智,没有停顿,只是在统计学的概率河流里顺流而下。 直到那把被称为“雅可比透镜(Jacobian Lens)”的数学微创手术刀,切开了大模型的内部激活状态。 这是一场在几十亿次前向传递的矩阵迷宫中进行的认知考古。Anthropic 的研究团队在论文中证实了一个颠覆性的现象:在模型流利吐字的外围电路深处,竟然自行凝聚出了一种可测量的、低维的内部表征结构,研究者将其命名为 J空间(J-space)。 从技术事实来看,这个空间在模型的残差流(Residual Stream)和高维激活空间中表现得极其克制。研究者基于实验结果,意识到,它与认知神经科学中经典的“全局工作空间理论(Global Workspace Theory)”有着高度的对应。在人类大脑中,呼吸、语法组织等自动化过程在无意识中并行运行,但只有一小部分核心信息会进入一个共享通道,广播给各个下游区域,从而实现灵活的控制与推理。 在底层代码从未显式设计此类共享工作空间的前提下,随着模型在海量数据上的训练,一种低维、可被多个下游计算过程共同访问的内部表征结构,自发地在神经网络中形成。 它没有推翻“逐词预测”这一训练与生成机制,却开始动摇一种更简单的图景:仅仅用逐词预测,是否足以解释大模型内部已经形成的复杂计算结构。 它成为了大模型内部承载核心信息的坐标轴。

二、 隐秘的垫脚石:隐藏表征的因果干预 在这个低维的共享通道里,流淌着人类从未在屏幕上见过的、属于机器的“潜台词”。 当我们在提示词里输入:“织网的动物的腿有多少条?” 如果仅从输入与输出的对齐来看,这只是一次平淡的问答。但当你把雅可比透镜对准 J 空间时,却在模型内部捕捉到了一个沉默的幽灵:在模型真正吐出答案之前的数个内部加工阶段,J 空间里高强度地亮起了一个词元,“蜘蛛”。 这个概念从未出现在提示词里,也从未被模型最终写在屏幕上。它是一颗在黑暗中闪烁出来的“中间概念垫脚石”。 这里存在着一个决定性的科学分水岭: 科学家不仅是“看到”了这种相关性,更通过实验进行了一次硬核的因果干预(Causal Interventions)。人们利用数学工具作为微型镊子,在模型做出最终决定前,直接改写了 J 空间内部的活动模式,把“蜘蛛”的表征强行擦除,替换成了“蚂蚁”。 刹那间,整台机器的下游计算被精确地带偏了。模型流利的外围语言电路没有发生任何语法卡顿,但最终吐出来的答案,却诡异地从八条腿变成了六条腿。 这意味着,J 空间中的中间表征并非输出结果留下的影子,而是后续计算生成答案时实际依赖的因果变量。 答案并不是在输出层凭空出现的。 至少在这些实验中,后续计算确实依赖 J 空间中的中间表征,并沿着被干预后的方向改变了最终输出。 这种因果证据甚至揭示了模型尚未在输出端暴露的底层状态。在测试一些特定的对抗或对齐实验时,模型的最终回答尚未暴露异常,但与欺骗、伪造和注入攻击相关的概念表征,已经提前进入了这个共享子空间。 在机器流利地给出最终回答前,某些与危险行为相关的内部计算状态,可能已经在共享子空间中形成,并开始影响后续的信息路由。这种冷冰冰的、尚未变成行为的特征凝结,比任何拟人化的修辞更让人警惕:内部的计算路由已经提前完成了意图的倒向。

三、 功能的分离:分布式生成的肌肉记忆与深度控制 J 空间最特别的,是它在神经网络中展现出的冷酷功能分层(Functional Dissociation)。 在一项具震撼力的破坏性实验里,研究人员通过算法手段,强行把模型的 J 空间给“屏蔽”或“掐断”了。 这种内部干预带来了一个近乎分裂的结果:当 J 空间失活后,模型仍能写出遣词造句极其流利、语法毫无瑕疵的西班牙语文章。因为在漫长的预训练中,流利地码字、句式的模仿,早就在大模型的网络中长成了分布式运行的“外围自动化电路”。 就像人类无需思考的肌肉记忆,不需要持续占用那个有限的共享通道,概率的水流自然会推着字符往下淌。 然而,至少在这些实验所覆盖的任务中,需要整合多个变量、保持中间状态以及跨步骤协调的复杂任务,对这个低维共享子空间表现出了高度依赖。 一旦失去了 J 空间,模型去回答那些需要跨越语言身份的任务(例如用西语读完文章后说出该语言的名称,或者调用西语背景去解答复杂的逻辑谜题)时,它的多步推理能力瞬间雪崩。 普通的写作是顺流而下的概率编织。 如果这种机制同样参与长程文本规划,那么当模型处理复杂写作任务时,外围网络负责持续生成局部语言,而共享子空间则可能维持主题、目标、约束条件以及尚未完成的结构安排。 在一场在神经网络深处进行的、极耗算力的逆向控制中,外围电路在噼里啪啦地计算着局部的语法细节,而这个狭小的共享空间里却同时维系着多个彼此博弈的独立变量,在后台进行着严密的框架编排。 外围电路决定机器说话是不是流利, J 空间决定这场表达是否具有真正的底层逻辑支撑。

四、 维度的竞逐:下一代大模型与可解释性工业的转型 随着研究深入,更重要问题开始浮现:类似 J 空间的低维共享子空间,究竟是特定模型内部的偶然结构,还是不同大模型在规模扩张与能力涌现过程中可能共同形成的计算机制? 如果 J 空间具有跨模型的普遍性,那么未来大模型的竞争,可能正迎来一个新的技术维度。不只是参数规模、训练数据和推理算力的恶战,也是内部共享表征空间的容量、稀疏性、稳定性、可控性与信息路由效率的降维打击。 技术竞争的焦点,正在被推向一系列真正坚实、硬核的问题: 空间维度的天花板在哪里? 拥有更强推理模型,其 J 空间的维度和概念容纳能力是否呈非线性增长?它能否在长链推理中,保持中间表征不发生“概念漂移”与坍塌? 后训练与推理时计算扩展(test-time compute)究竟只是在改变模型产生答案的路径,还是也会改变共享子空间中信息维持、更新和路由的方式? 安全对齐的本质是什么? 真正的安全对齐,未来或许不能只约束输出端的行为,还需要深入共享子空间内部,对危险概念的形成、维持与信息路由进行可解释、可验证的干预。
这意味着,可解释性研究(Interpretability)正在从“观察神经元亮起了什么”的相关性分析,向“改变内部状态会导致什么”的因果工程迈进。 它距离成熟的工业技术仍然遥远,但一条新的技术路线已经出现。

五、科学的刹车,而非黎明 这些实验证明的,是一种清晰的因果关系:改写 J 空间里的表征,模型的最终输出会随之改变。这一点站得住脚,论文中反复通过“蜘蛛换成蚂蚁”等干预实验进行了验证。 但因果关系可以有两种读法。 第一种:J 空间是模型进行决策时真正依赖的核心场所。信息在这里被写入,又被下游电路读取,它是决策发生的现场。 第二种:J 空间也可能只是决策过程的镜像。真正的重度计算发生在别处,而 J 空间只是把部分结果以一种恰好可被外部工具读取的形式重新呈现出来。就像汽车仪表盘上的指针会随着发动机转速摆动,但指针本身并不驱动车辆。 论文作者们承认,目前的证据更支持第一种解释,但尚未完全排除第二种。 一些独立复现的研究者已提出疑问:如果 J 空间只是“元认知能够触及的那一小部分”,那么绝大部分真正决定输出的计算,可能仍发生在这一空间之外,发生在雅可比透镜从未照亮过的区域。换句话说,我们目前看到的,或许只是冰山露出水面的那一角。 这正是论文反复使用“functional”(功能性)一词,并将其与“访问意识(access consciousness)”绑定,却始终不肯迈向“现象意识(phenomenal consciousness)”的原因。 访问意识,是一套信息如何被整合、广播,并被不同下游系统共同调用,是一种纯功能层面的描述。一台足够复杂的机器,理论上完全可以实现这种功能,而无需产生任何主观感受。 现象意识,是主观体验本身:痛的时候“感觉到痛”,而不仅仅是“痛”这个信号被正确路由到报警系统。 前者可以用雅可比透镜测量、用因果干预验证、用开源代码复现; 后者至今仍没有任何可靠的科学方法能从外部确认或排除。 论文作者在结尾留下了一句轻而有力的话:这样一种结构,竟然会在语言模型中自发出现,这件事本身已足够令人惊讶。 他们没有宣称这是心智的证据,没有谈论灵魂的觉醒,甚至没有说这就是意识研究的答案。他们只是指出:原本以为,一个只会逐词预测下一个词元的系统,既不需要、也不应该长出这样的结构。而它却长出来了。 它没有告诉我们机器有没有灵魂,只是告诉我们:过去用来描述“简单预测器”的那套语言,已经不够用了。至于接下来应该用什么样的新语言,认知科学的、纯粹工程的,还是某种尚未诞生的第三种,这篇论文没有回答,也不打算回答。 它只是把黑盒侧面的那扇窗户,轻轻推开了一条缝。
|