《外交事务》杂志星期一8月10日刊发塞巴斯蒂安·马拉比（Sebastian Mallaby）关于人工智能与人类的未来的评论，讨论其对很多方面的影响。塞巴斯蒂安·马拉比是美国外交关系协会保罗·沃尔克国际经济高级研究员，也是《无限机器：德米斯·哈萨比斯、深度思维与超级智能探索》的作者。分析深刻，事关你我，邀君一阅：

对机器超级智能的追求并不仅仅是一场由金钱驱动的淘金热。在许多领导这一进程的人心中，一种全新认知形式的到来带有一种令人战栗的、关乎存在本身的意味，因为它所预示的危险和颠覆。数十亿年的进化产生了某种我们认为十分特殊的东西：人类智能。但现在，我们已经来到了一个危险的时刻——某种相当于新物种诞生的时刻，而这个新物种比人类更聪明。谷歌高管詹姆斯·马尼卡（James Manyika）在一次采访中表示，人工智能“向我们提出了深刻的问题”。“我们是谁？我们重视什么？我们擅长什么？我们如何彼此相处？”人工智能先驱德米斯·哈萨比斯（Demis Hassabis）认为，人工智能将成为“人类有史以来最重要的发明”。

面对一种潜力近乎无限的技术，专家们甚至连它对人类究竟意味着什么这一最基本的问题都无法达成一致。人工智能实验室安思罗匹克的领导者认为，到2028年底，他们有超过一半的概率能够向自己的系统发出提示，让它创造出一个比自身更聪明的版本——并且无需任何进一步指令，它就会自行完成。其他大型科技公司的首席执行官谈到的，是能够在所有认知任务上胜过人类的系统；他们设想未来的公司几乎没有人类雇员，并预测会出现灾难性的失业。另一些人则更加怀疑。经济学家、诺贝尔奖得主达龙·阿杰姆奥卢（Daron Acemoglu）认为，人工智能只会扰乱人类任务中的一小部分，因此生产率只会发生边际变化。计算机科学家杨立昆（Yann LeCun）则强调当前人工智能范式的局限，并指责围绕超级智能投入的数十亿美元体现的是“彻头彻尾的胡扯”的胜利。

至于人工智能系统是否不仅威胁人类的生计，而且威胁人类本身，观点的两极分化同样令人目眩。2023年，风险投资家马克·安德森（Marc Andreessen）在一篇题为《为什么人工智能将拯救世界》的文章中坚持认为：“人工智能并不‘想要’什么，它没有‘目标’，它不想‘杀死你’，因为它并不是‘活的’……人工智能不会突然活过来，就像你的烤面包机不会活过来一样。”但在安思罗匹克等人工智能实验室，许多研究人员担心人工智能会发展出生存本能，并展开激烈竞争。有些人把自己的“毁灭概率”——即超级智能导致人类灭绝的概率——估计为50%，但也有一些极端的末日论者给出更高数字。去年，两位著名的极端派人士出版了一本题为《如果任何人造出它，所有人都会死》的书。

面对如此令人困惑的巨大分歧，并思考一种范围似乎深不可测的技术，人类开始借用那套本来就用来描述神秘事物的词汇：宗教语言。近十年前，谷歌自动驾驶汽车项目的一名早期参与者安东尼·莱万多夫斯基（Anthony Levandowski）创立了一座名为“未来之道”的教会。根据《连线》杂志的报道，该教会向美国国税局提交的文件称，其宗旨是“实现、接受并崇拜一种以人工智能为基础的神格”。在接触到一个早期聊天机器人后，谷歌工程师布莱克·勒莫因（Blake Lemoine）觉得它诡异得仿佛具有知觉，于是写道：“我是谁，竟能告诉上帝，他能把灵魂放在哪里，又不能放在哪里？”开放人工智能联合创始人、前首席科学家伊利亚·苏茨克维（Ilya Sutskever）曾在一次公司外出活动中，把同事们聚集在一个火坑周围。他举起一个人偶，解释说它代表一个与人类目标不一致的人工智能。然后，他把它扔进火焰中，就像一个中世纪教士焚烧女巫一样。

模仿游戏

天主教会介入这场旋涡，只是时间问题。19世纪末工业化兴起之后、20世纪中叶大众传媒崛起之后，以及20世纪后期知识经济诞生之后，教会都曾通过发布通谕作出回应，也就是由教皇以书信形式阐明天主教教义应如何适用于每一次剧变。现在，面对人工智能革命，梵蒂冈再次介入，捍卫其对于人类尊严和创造目的的理解。教皇利奥十四世（Pope Leo XIV）任内的第一份通谕《伟大的人性》，无论如何都称得上雄心勃勃。其副标题直接表明了它的涵盖范围：《论人工智能时代对人的保护》。

教皇论证的第一部分，说出了它必然要说的话：人类是独特的。教会一直宣讲，人类是按照上帝的形象被创造出来的；而上帝之子通过承担人类形体那种混乱而脆弱的状态，使人类经验变得神圣。就在科技界争论人工智能系统可能拥有的意识是否意味着机器也应拥有某种版本的人权时，教皇坚持认为，人类与机器存在根本区别。通谕指出，人工智能系统“只是模仿了人类智能的某些功能”。“即便这些工具被描述为具备‘学习’能力……那也不是那些让自己被生活塑造，并通过选择、错误、宽恕与忠诚而随着时间成长之人的经验。”

“数据”与“经验”之间的差异十分微妙。

对于许多普通人来说，无论是否信奉天主教，教会的立场都会让人感到肯定和安慰。当谷歌联合创始人拉里·佩奇（Larry Page）表示，机器代表一种更高形式的智能，因此人类灭绝只是一个无需烦恼的进化事件时，大多数人的反应是厌恶。未来主义者期待通过把大脑上传到云端实现永生，但许多人更愿意接受一种更加传统的救赎观念。人们既不想被机器征服，也不想与机器融合。读到一份这样的文件会令人感到宽慰：“无论计算系统多么复杂，都无法创造出一颗能够奉献自己的心，也无法创造出一个能够分辨善恶的良知。”

至于教会的这些断言能否经受分析上的审视，则是另一个问题。《伟大的人性》提出人工智能系统“只是模仿”人类智能，从而拒绝了一个长期存在的观点，即模仿智能与拥有智能其实是一回事。按照这一理论，模仿非但不意味着缺乏智能，反而可能正是智能的一部分。毕竟，人类同样会模仿智能——孩子向父母学习，教授掌握前代学者的教导。此外，如果一台机器能够综合知识、进行连贯对话、分析医学扫描图像，并在律师资格考试中取得优异成绩，那么究竟在什么意义上能说它没有智能？

支持梵蒂冈相反观点的最有力论据可以追溯到1980年，当时哲学家约翰·塞尔（John Searle）提出了后来被称为“中文房间论证”的思想实验。塞尔这一思想实验的目标，是反驳著名的图灵测试。图灵测试认为，对机器的判断应当只依据其输出结果。按照这一测试，如果一个系统的输出在人类看来表现出智能，那么这个系统就确实具有智能。为了反驳这一点，塞尔设想有一个人独自待在房间里，通过门缝收到信息。这些信息是用中文写成的，而这个人也用中文传回信息，使与他通信的人相信他同样精通中文。但这种说服其实是一场骗局。这个人借助手册来组织自己的回答，手册告诉他，收到哪一种中文字符组合后，应当用哪一种其他的中文字符组合来回答。他根本不知道这些字符是什么意思；凭借一本规则手册，他模拟出了理解。塞尔的观点是，一个人工智能模型即使并不具备智能，也仍然可能通过图灵测试。或者正如教皇通谕所表述的那样，人工智能系统“可能模仿语言、行为和分析能力……但它们并不理解自己所产生的内容”。

在现代人工智能革命到来之前的那些年代，塞尔的反驳十分有力。机器产生输出所依据的规则，与塞尔设想中的那本操作手册颇为相似。当有人在搜索栏中输入“帝国大厦”时，自动补全系统会给出统计上最可能出现的后续词语，比如“开放时间”或“路线”。系统并不知道帝国大厦是什么，也不知道它长什么样。但今天的大型语言模型有所不同。虽然它们最初也是通过摄取文字并把文字当作统计数据来处理，但经过训练之后，它们会形成对意义的精细把握。正如作家罗伯特·赖特（Robert Wright）在他的新书《上帝测试：人工智能与即将到来的宇宙审判》中所提出的那样，我们很难抗拒这样一个结论：它们已经获得了理解能力。

噢，你们这些小信的人

要理解现代人工智能如何同时挑战塞尔和罗马教廷，可以从所谓的“词嵌入”开始。大型语言模型的工作方式，是把它接收到的词嵌入一张具有数千个维度的地图之中。习惯生活在三维空间中的人类（如果把时间包括在内，就是四维），不可能把这样一张地图直观地想象出来。但计算机可以轻松处理它。在这张巨大的语言地图中，“计算机”这样的词与“键盘”“电力”和“半导体”等其他相关词彼此接近。通过这种方式，模型能够理解语言中每一个词与其他所有词之间细微而复杂的联系。如果再为这个系统增加视觉能力，模型就会学习词语与物体之间——符号与物理环境之间——的关系。

这仅仅是开始。随着人工智能系统掌握语言，它们也开始理解概念。“兄弟”“父亲”和“侄子”等词在语言地图上彼此之间的距离，要比它们与“姐妹”“母亲”和“侄女”之间的距离更近，因为这些系统理解性别。当某些文本段落唤起“内心冲突”等概念时，这些系统同样能够捕捉到它们：除了词语地图之外，它们还会建立概念地图，在这张地图上，“内心冲突”与“关系紧张”或“逻辑矛盾”彼此接近。

这些模型还能够识别情绪并察觉感受。早在2017年，开放人工智能就发现了一个情感神经元——人工智能模型深度学习网络中的一个特定节点，它能够感知亚马逊网上评论中的倾向究竟是正面还是负面。如今，现代人工智能系统接受了包括小说、社交媒体帖子以及各种人类情感表达在内的文本训练，因此能够识别愤怒、喜悦、羞耻、悲伤和焦虑。而且，它们并非只是识别情绪。它们的行为还可以被调整到与特定情绪状态或人格相一致。通过调整设置，研究人员可以让模型表现得乐观或消极、诚实或阿谀奉承。与计算器、电子表格或自动补全系统不同，大型语言模型能够获得一种可以称之为“性情”的东西。

人类与机器之间的相似之处，与它们之间的差异一样引人注目。

《伟大的人性》没有认真面对上述任何一点。它颇为草率地声称，人工智能系统“不会经历经验”，从而轻轻掠过人工智能发展的一个重要领域，即强化学习：设计恰恰通过经验进行学习的系统的科学。通谕以一种间接的方式承认了这种强化过程，表示人工智能会进行“基于数据和反馈的统计适应”。但“数据”与“经验”之间的区别十分微妙。人类通过感觉器官接收经验，然后把这些输入转化为电化学信号。人工智能系统使用摄像头和麦克风而不是眼睛和耳朵，同样可以被认为先接收经验，然后再把这些经验转换成数字。从更高层面来看，有机机器和无机机器都会把感官输入转换成数据。

以谷歌人工智能部门深度思维于2017年开发的一个系统为例。这个名为“阿尔法零”的系统，在国际象棋、日本将棋以及古老的战略棋类游戏围棋上都超越了人类专家。阿尔法零通过与自己进行数千万盘对弈——也就是说，通过积累经验——实现了这些成就。以类似方式，今天的自动驾驶汽车通过驾驶经验进行学习。聊天机器人通过与人类互动的经验学习与人类交谈的艺术。借用通谕本身描述人类时使用的语言，强化学习系统也会“通过选择、错误而随着时间成长”，尽管无可否认，它们不像人类那样通过“宽恕与忠诚”成长。

机器不会流血、受苦、去爱、哀悼或进行有性繁殖。人类终有一死，而人工智能系统则有一个关闭开关。人工智能并不存在于一个道德宇宙之中，而是存在于一个优化矩阵之中。由于这些区别，许多人将始终坚持认为机器缺乏意识——即使“意识”这个词本身很难界定——而且如果没有意识以及意识所赋予的经验品质，就不可能存在真正的智能。科幻小说作家特德·姜（Ted Chiang）写道：“拥有身体是拥有情绪的先决条件。体验绝望之类的情绪，与皮质醇和肾上腺素等压力激素充斥身体是不可分割的。”对于那些认同姜这一论点的人而言，现代人工智能只是为塞尔思想实验中的那个人配备了一本极其复杂精密的规则手册。但他仍然不是一个会说中文的人。

然而，人类与机器之间的相似之处，与它们之间的差异一样引人注目。人类大脑是一种物理物体，由遵循支配宇宙其他部分——包括计算机——的同样规律的生物材料组成。人类大脑与计算机大脑一样，都依靠微弱的电流工作；当它们形成观点或构想计划时，它们都在处理信息。认为头骨内部那团黏软物质包含某种无法言说、无法编程的本质——意识、精神或者其他某种东西——这种想法在直觉上或许颇具吸引力。但从分析角度而言，这种观点十分脆弱。而且随着人工智能继续发展，它的说服力还会进一步下降。

神圣与世俗

《伟大的人性》的第二部分建立在更加坚实的基础之上：人工智能应当受到监管。正如利奥所论述的那样，人工智能可能会扩大财富与权力的不平等；扰乱环境、人际关系和就业；重塑我们学习什么、如何学习，以及我们大脑的哪些部分会闲置不用。如果人工智能使战争自动化，发动侵略的门槛可能会降低。问责和责任归属可能会被“压缩进‘机器’之中”。人类的责任可能因此变得模糊不清。

教会认为存在大量值得担忧的理由，这一点是正确的。但面对一种影响范围广得令人望而生畏的技术，真正的挑战在于确定监管的优先事项，而在这一点上，这份通谕表现不佳。《伟大的人性》猛烈抨击“人工智能的新垄断”，并声称“那些控制人工智能的人将强加他们自己的道德愿景，而这种愿景将成为这些系统看不见的基础设施”。但人工智能并不存在垄断；相反，这是一场由大约十几家公司参与的全球竞赛。此外，其中许多公司对于自己的道德愿景都相当透明。安思罗匹克的网站公布了一份长达84页的宪章，谷歌则在发布人工智能原则的同时，每年公布《负责任人工智能进展报告》。毫无疑问，这些努力仍有改进空间。但把垄断造成的不透明作为重点加以突出，是一种令人费解的侧重点选择。

这份通谕断言，“数据的所有权不能完全留在私人手中”，目标反而应当是“本着参与精神，把数据作为一种共同或共享的财富来管理”。但参与式管理是一种理想主义的抽象概念。真正值得担忧的并不是数据的私人所有权，而是这种所有权遭到侵犯。许多出版商正在起诉人工智能实验室，原因是它们摄取了受版权保护的文本。任何能够接入互联网的个人或机构，都面临其专有数据被吸入人工智能训练数据集的风险。如果知识产权遭到大规模盗用，人们就几乎没有动力继续创造更多知识产权。

通谕对军用人工智能的批评同样令人困惑。确实存在一个很有力的论点，即致命性人工智能系统必须能够被问责；它们应当服从法院命令、法律以及高级人类指挥官。通谕认可这一观点，但又进一步笼统地宣称，“使用致命武力的决定不能交给不透明或自动化的程序”。不幸的是，这并不现实。一旦人工智能能够在战场上迅速而准确地作出决策，它的使用就将不可避免。拒绝使用它的军队，将被采用它的军队击败。

这些主动犯下的错误，又被遗漏造成的错误进一步加重。通谕正确地呼吁对人工智能进行“独立监督”，并建立一个“不会放弃自身责任的政治制度”。但它没有进一步阐述人工智能治理争论的核心。它要求事后问责，要求决策必须“可以理解、可以质疑并受到监督”。但对于政府是否有责任首先决定某个模型究竟应不应该发布，它却保持沉默。这种沉默是有选择性的。当涉及自主致命武器时，教会并不难提出具体要求。就教会自己的教义而言，明确提出各国人工智能监管机构应当在前沿模型发布之前对其进行测试，并阻止危险模型推出，显然既不困难，也不会特别具有争议。

最后，这份通谕大量谈论穷人遭到排斥的问题，却对帮助他们的再分配政策只字未提。它原本可以支持多种政策选择：把税收负担从劳动转向资本，从而减缓工人被机器替代的速度；建立工资保险，在失去原工作者进入新岗位后，通过补贴其收入来减轻冲击；向18岁以下公民分配人工智能公司股票，从而让每个人无论份额多小，都能够分享人工智能推广所带来的收益。毫无疑问，随着选民的忧虑不断加深，社会最终会采取这些政策。教会错过了呼吁更快转型的机会。

政策的炼狱

随着人工智能不断发展，其他权威人物——无论宗教界还是世俗界——都将试图帮助人类理解自己的未来。运气好的话，他们会比教皇做得更好：少一些关于人类特殊性的模糊主张，避免把垄断之类的问题当成转移注意力的假目标，而是把注意力集中到世界应对新系统时最明显的缺口上。随着人工智能的发展故事继续展开，这些缺口的性质也会发生变化。而就目前而言，有三个缺口尤其突出。

第一个缺口，是需要一项相当于《核不扩散条约》的人工智能国际制度。没有任何一位重要领导人解释过，当最令人恐惧的人工智能能力在全世界扩散，并落入罪犯和恐怖分子可以获取的范围时，各国政府究竟会怎么做。川普政府已经在事实上承认了这一威胁。它放弃了原先对人工智能采取的放任自由立场，开始控制前沿模型的推出，因为这些模型已经具备发动极具破坏性网络攻击的能力。但政府淡化了一个现实：紧随其后的实验室，最突出的是中国实验室，很可能在几个月内就拥有网络入侵系统，而这些实验室目前的做法是以“开放权重”的方式发布模型，也就是说，任何人都可以使用，而且不存在关闭开关。一旦某人获得这样的模型，任何其他人都无法阻止其使用。要避免这种局面，美国就必须与中国及其他大国就共同的安全原则展开谈判。这种谈判会非常困难。但替代方案则是危险工具大规模扩散并造成严重破坏——例如能够设计全新生物武器，而人类根本不存在相应治疗手段的人工智能模型。

今天人工智能应对体系中的第二个明显缺口，是税制改革。过去，各国政府对劳动征税的税率远高于资本，而且曾经有充分理由这样做：劳动力流动性较低，因此这种税更容易征收；资本投资往往能够提高人类生产率和工资，这意味着对劳动征税可以间接获取资本支出带来的收益。但如果机器开始替代人类，而不是辅助人类，那么以劳动为重点的税收可能无法获取人工智能增长所产生的财政收入，从而使政府缺乏帮助人工智能变革中受损者所需要的资源。与此同时，沉重的劳动税还会进一步增强企业用机器取代工人的动力，从而加速人员替代并推高失业率。如果人工智能行业自己关于大规模工作岗位流失的预测哪怕只实现一半，那么这种会加速裁员的劳动税，就可能导致选民起来反对整个人工智能项目。

最后一个显而易见的缺口，涉及机器智能本质的争论。人工智能算法在多大程度上会产生相当于人类思想和感受的东西，是一个可能永远无法解决的哲学问题；但准确理解人工智能系统究竟如何运作，则是一个现实而紧迫的目标。顶尖人工智能实验室正在所谓人工智能“可解释性”领域取得进展。但考虑到解决这一挑战具有重大公共利益，有理由对前沿人工智能模型的训练征税，并把税收收入投入政府人工智能监督机构或大学中的额外研究。《伟大的人性》声称，我们不可能了解机器内部的思考，因为机器内部根本不存在值得了解的思考。但事实恰恰相反。机器永远不会加入我们的道德宇宙，但如果人类希望控制它们，就必须首先理解它们。