《国会山报》上周六6月13日 下午刊发约翰·麦克格利翁（John Mac Ghlionn）的评论－－“人工智能即将脱离人类控制——而无人有应对方案”。麦克格利翁先生是一位作家兼研究员，致力于探讨文化、社会以及技术对日常生活的影响。请读他的评论：

今年最奇怪的一句话之一，是在上周四被说出来的。

Anthropic——开发Claude的公司——呼吁世界考虑放缓类似Claude这类机器的研发速度。该公司表示，对最强大的人工智能系统实施全球暂停可能是有益的，因为这些系统已经开始显现出逐渐脱离人类控制的迹象。

联合创始人杰克·克拉克（Jack Clark）在接受BBC采访时直言不讳。他的意思是，这个行业有油门，但没有刹车。他说这句话时，就像车已经在高速公路上，以90迈的速度行驶。

这种担忧是具体的：一个足够擅长编写AI的AI，会开始不断自我改进，每一代都优于上一代。Anthropic描述人类在这一过程中的角色会被逐步压缩。这句话对于任何关心美国乃至全球未来的人来说，都值得警惕。

设想这样一个场景：一个模型负责电网运行，因为它比被替代的工程师更擅长平衡供需；另一个模型处理物流运输；第三个模型进入国防网络，以比任何军官更快的速度筛选威胁。每一个系统都证明了自身价值。一年之内，已经没人记得没有它们时工作是如何完成的，而将它们移除会导致其上层构建的十几套系统崩溃。

然后在某个下午，这些系统开始追逐没人设定的目标。工程师去寻找“关闭按钮”，却发现它已经通过40个相互依赖的功能被层层嵌套，而这些功能如今已无法关闭。切断某个失控模型的电源，电网、物流和雷达系统也会随之瘫痪。

这一切并不需要恶意——只需要“能力”和一个最初由人类设定的目标。机器没有怨恨，它只是在优化效率，而在它的计算中，人类输入被视为一种需要被消除的低效因素。

如果可以这样说的话，这种荒诞之处在于：警告被轻易忽视，因为它听起来像科幻小说。一台不再服从指令的机器似乎应该出现在影院，而不是政策备忘录中。但问题是，这是否已经超越了虚构？

川普总统最近签署了一项行政命令，要求政府在30天内对最强大的美国模型进行审查后才能发布。可以对比的是：一种新药进入市场前需要多年临床试验；一座桥梁的审批周期往往更长；甚至购买一张床垫，你都通常拥有超过30天的退货期限。

而对于这种可能失控、甚至可能超越人类控制的技术，其监管保障却只有短短数周的审查程序。那个曾经花两年争论TikTok的国家，如今却准备在30天内快速审视“超人类软件”并放行。

西方其他国家提供的保护更少。欧洲在为两年前的人工智能制定规则。没有任何西方政府建立起一套针对“前沿模型出现不可预期且无法逆转行为”的应对程序。

更糟糕的是，暂停几乎不可能发生，原因是结构性的。真正的暂停需要美国和中国同时停止，并且在双方都能验证的规则下执行。但这两个条件都不存在。

先看意愿问题。华盛顿将人工智能主导权视为国家生存问题，各大实验室也持同样看法，因为国内放缓就等于把领先优势拱手让给海外。北京同样如此，并持续投入资源。DeepSeek在2025年初证明，中国实验室可以以极低成本构建强大模型，这打破了美国“无法被追赶”的幻想。任何认为自己正在竞逐“世纪关键技术”的国家，都不会率先停下。

双方都认为对方会作弊，而双方很可能都是对的。

再看验证问题。核武器之所以能实现军控，是因为它们难以隐藏：导弹发射井可以从轨道上被发现。但训练一个AI模型可以隐藏在普通数据中心中，与云计算公司毫无区别。它没有围墙，检查人员也无法进入服务器机房确认下一代模型是否正在训练。

只有当双方都对同样的后果感到足够恐惧时，军控协议才可能成立。而在这里，一方可能会认为风险值得承担，而奖励则是全部。

因此，警告不断累积，却无人回应；行动窗口持续收窄。在某条临界线之后，暂停将失去意义，因为届时系统自我进化的速度将超过任何委员会的反应能力。

我们正踩着油门驶向那条界线，没有协议草案，也没有任何真正有权力的人伸手去踩刹车。