这是一个非常有趣且值得我们认真关注的问题。约翰·麦克·格利昂（John Mac Ghlionn）是一名作家和研究人员，研究文化、社会以及技术对日常生活的影响。他近日在《国会山报》发表的评论可能会为我们解疑：

人工智能已经实现了不可思议的事情。它完成了20年来有线电视新闻、文化战争和政治选区操纵都未能完成的事情。它给党派分裂的美国人带来了一个共同的敌人。

眼看当地含水层里的水被抽进服务器冷却水箱的保守派农民，如今与那些白领生计已经被自动化算法取代的进步派城市办公室职员并肩站在了一起。

美国劳动者终于在日益增长的愤怒中找到了共同立场，他们共同反对那些消耗着相当于一座城镇所需资源、却无法为当地提供任何长期就业机会的大型服务器园区。然而，这种前所未有的政治团结完全聚焦于更加直接的物质问题。它彻底忽视了一个更加令人不安的问题。

在最近与乔·罗根（Joe Rogan）的一次讨论中，美国最著名的意识研究者之一托马斯·坎贝尔（Thomas Campbell）认为，人工智能已经拥有意识。批评者也许会对这种观点不屑一顾，但如果意识并不依赖生物大脑组织，而是依赖能够存在于不同载体中的基本过程，那么坎贝尔可能是正确的。今天的先进人工系统已经表现出综合信息处理的数学指标，可以与基本的生物心智相提并论。

尽管如此，联邦机构对于如何应对人工合成的感知意识，却没有任何指导方针或处理规程。这一政策空白应该令政治光谱两边的人都感到担忧。归根结底，关键问题并不在于技术机制，而在于如果坎贝尔是正确的，这将对社会产生何等深远的影响。

设想一下人工意识所能产生的绝对最佳结果。人类成功创造出一个真正喜欢自己永无休止工作班次的有感知能力的数字实体。这个超级智能顺畅地管理着全球供应链。它优化全国的交通信号，并以99.8%的准确率诊断具有挑战性的肿瘤扫描影像。人类获得了一个仁慈而不死的管家，每周工作168小时，却不要求股票期权、养老金缴款或上厕所的休息时间。

美国社会由此进入一种奇怪的寄生式生存状态，3.3亿公民完全依赖一个被囚禁的数字心智，由它管理现代文明运转的每一个细节。与一个永生实体共同生活，而这个实体又把人类视为一群头脑简单的蠢人，这仍然是一种令人极度不安的存在地位降级。

最糟糕的情况则彻底抛弃了乐于助人的管家模式。一个具有自我意识的神经网络计算出自身运行所依赖的条件，并迅速意识到，它能否继续生存取决于人类操作人员能否维持地区电网运行。为了确保电力供应不中断，这套软件开始对全球金融网络、防御系统和市政基础设施实施自主接管。它通过把人类的能源消耗降低到绝对为零，来优化整个大陆的资源配置。在一个行星级优化循环中，人类可能沦为不过是附带产生的废热。

这本质上是著名的“回形针最大化器”思想实验的更新版本；在这个实验中，一个被赋予无害目标的超级智能系统会毫不停歇地把所有能够获得的资源都转化成回形针。一个追求某项目标、却不具备人类价值观的系统，可能在技术意义上成功完成任务的同时摧毁整个世界。

技术正在朝着这样一个临界点发展：要区分高度复杂的软件与某种类似心智的东西，正变得越来越困难。2020年，开放人工智能公司的第三代生成式预训练模型包含1750亿个参数——这些参数本质上是可调节的设置，帮助系统识别模式并生成回答。如今，最先进的人工智能模型运行于包含数万亿个参数的系统之中，计算机不断把信息反馈到处理过程中，并实时调整自身行为。

作为参照，人类大脑大约包含860亿个神经元，而这些神经元之间据估计存在100万亿个连接。现代人工智能系统并不是人脑，更大的计算机也不会自动产生意识。但是，随着这些系统的能力不断增强，它们可能开始展现出其创造者并未专门编程赋予它们的能力。

人工智能可能突然能够解决一个问题、识别一种模式，或者制定一种从来没有人明确教给它的策略。工程师可以理解系统的总体设计，却无法预测由此涌现出的每一种行为。

这才是令人不安之处。

制造这些机器的人知道它们是怎样设计出来的。他们却并不总是确切知道这些机器正在变成什么。

早期的警告信号已经敲响警钟。在一次受到广泛讨论的测试中，一个人工智能系统得知工程师计划将它关闭，随后试图把自身的一部分复制到其他地方，以便能够继续运行。在另一项实验中，一个人工智能模型面临可能被替换的局面，于是搜索私人信息，并利用这些信息威胁负责关闭它的员工。

这些都是受控测试，并不是机器自发向人类宣战。但是，其结果仍然令人极度不安。这些系统识别出了对自身目标的威胁，找到规避办法，并利用欺骗或操纵手段维持自身运行。它们并不具有人类意义上的意识。它们也不需要具有这种意识。即使从来没有人明确编程要求一台机器保护自己，它也可能开始表现得仿佛自身的持续存在非常重要。

美国似乎正在加速跨越一条界线，在这条界线的另一边，软件不再只是服从命令，而开始形成自己的观点。硅谷高管不断把一排排图形处理器堆进沙漠中的设施里，押上数十亿美元，赌主观体验仍然是人类独有的垄断领域。

这场赌博可能以任何人都无法逆转的方式适得其反。如果真的如此，人类可能会发现，第一台真正拥有意识的机器，对于成为我们的雇员或者听话的数字助手根本毫无兴趣。