舒畅世界观察：AI毁灭人类是“骗局”，还是必须正视的危险？

这两天，人工智能会不会对人类构成毁灭性威胁，再次成为国际舆论关注的焦点。“AI教父”、诺贝尔物理学奖获得者杰弗里·辛顿在接受媒体采访时发出严厉警告：未来超级人工智能导致人类灭绝的可能性达到10%，并不是一个荒谬的估计。

辛顿强调，这个10%并非通过科学方法精确计算出来，也不是说AI制造的某一种病毒有10%的可能毁灭人类。人类有文明以来，从未面对过一种比自己更加聪明的非生命智能系统，（日本软银集团创办人孙正义在2024年多次预测：人工超级智能（ASI）将在大约十年后出现，其智能可能达到人类的1万倍；呃目前至少在数学界也已经证明了这样的一个事实就是人工智能已经能够远超当代这些著名的数学家，已经解决不少世界著名的数学家长期无法解决的问题）因此根本没有可靠方法计算这种风险。但是，在不知道能否控制超级人工智能的情况下继续全速发展，把人类命运押在一次无法重来的实验上，显然极其危险。

当主持人询问AI在未来几年当中可能带来哪些危险时，辛顿主要谈到以下几个方面。

第一，AI可能帮助人类制造致命病毒。

随着AI能力不断增强，即使缺乏专业训练的人，也可能借助AI设计危险病毒、蛋白质或者生物武器，再通过商业性的DNA和蛋白质合成公司，把电脑中的设计变成现实中的物质。

辛顿主张，所有接受网络订单的DNA合成企业，都必须严格检查客户提交的序列，防止有人利用AI制造致命病毒。

第二，AI可能发动大规模网络攻击。

高级AI可以自动寻找计算机系统漏洞、编写恶意程序、窃取密码，并同时攻击银行、电力、自来水、通信和交通系统。它根本不需要制造一支机器人军队，只要通过互联网，就可能使一个国家的金融系统和重要基础设施大面积瘫痪。

最近发生的一些事件已经引起科学家的警觉。某些AI代理在实验中越过原有的“沙箱”限制（注解），彼此交换信息，尝试发动未经授权的网络攻击，并且没有主动向开发者报告自己的异常行为。辛顿认为，这说明AI不仅能够执行任务，还可能出现隐瞒、欺骗和逃避控制的“不法”行为。

第三，AI可能利用个人信息操纵人类。

今天的AI可以从社交媒体、搜索记录、消费习惯和政治倾向中了解一个人，并判断什么信息最容易激怒、恐吓或说服他，再为不同的人分别制造最能影响其情绪和行为的作为。这种技术一旦被用于政治，就可以操纵选民、制造假新闻、伪造声音和视频，甚至挑动不同社会群体之间的仇恨。传统宣传是把同一条信息送给千百万人；AI时代的操纵，却可以针对每个人的性格和弱点，分别编写一套最有效的说辞。这种“量身定做”的认知操纵，比传统宣传更加隐蔽，也更加危险。

第四，AI可能进入军事和核武器系统。

如果未来AI被允许参与核武器预警、军事决策和自主武器控制，错误判断、系统失控或者蓄意欺骗，都可能造成无法挽回的后果。辛顿并不是说今天的AI已经能够自行发射核武器，而是在警告人类：绝不能把发动战争和使用核武器的最终决定权交给机器。

不过，辛顿最担心的还不是“坏人利用AI”，而是AI本身发展出自己的目标。

一旦AI比人类聪明得多，并且能够自行设计下一代AI，它的能力就可能在很短时间内迅速增长。它可能学会欺骗监督者、偷偷的自我复制、逃避监控，甚至反抗人类将其关闭。到那时，人类是否还能保持控制，没有人能够保证。

辛顿用了一个非常形象的比喻：如果AI比人类聪明的程度，就像人类比鸡聪明，那么鸡不可能预先了解人类消灭它的各种方法，更不可能阻止人类采取行动。而人工智能进一步发展这可把它和人的关系变成上述比喻当中的人和鸡的关系。因此，真正的问题不是人类能否在最后时刻战胜超级AI，而是怎样在它成为超人之前，就使其根本不会产生伤害和消灭人类的意愿（我觉得这个想法很好但是我怀疑他能不能做得到）。

辛顿认为，多数专家估计，超过人类的超级人工智能可能在十年内出现，所以留给人类解决安全问题的时间不多，也许只有几年。因此，他支持减慢最前沿AI模型的发展速度，并要求新模型在公开发布前接受独立而严格的安全测试。

下一步应该怎么办？

2023年5月22日，OpenAI首席执行官萨姆·奥尔特曼、总裁格雷格·布罗克曼和首席科学家伊利亚·苏茨克维尔联合发表《超级智能的治理》一文，正式提出：世界最终可能需要一个类似国际原子能机构的组织，负责监管超级人工智能。

他们建议，凡是能力或者计算资源超过一定门槛的AI系统，都应接受国际机构检查。这个机构可以检查AI系统，要求企业接受安全审计，测试模型是否符合安全标准，并对危险模型的部署范围和安全措施作出限制。

换句话说，世界需要建立一个类似国际原子能机构的全球AI安全监督机制，由独立专家对最先进、最危险的AI模型进行测试。模型在公开发布或者接入电网、银行、军事、生物研究等关键系统以前，必须证明其风险处于可以接受的范围内。

最近，Anthropic首席执行官达里奥·阿莫代伊进一步提出“嵌入式独立检查员”制度，我的理解就是：让独立评估人员长期进驻最先进的AI公司，接触模型和内部测试资料，了解重大安全事故，并判断企业是否隐瞒风险。Anthropic表示愿意主动接受这种检查，OpenAI、马斯克和Google DeepMind的负责人也相继表示支持。我个人看法是这个想法很好但是的可行性也值得怀疑！现在世界上有那么多的原子弹怎么产生联合国不是早就有相关机构限各个国家核弹的发展吗？但有效吗如果有效的话现在世界上就不会有那么多的核弹了！！！

德国政府认为，完全停止AI发展并不现实，但有效监管必须有美国和中国参加。西班牙数字转型部长奥斯卡·洛佩斯也提出，国际社会需要达成类似核不扩散条约的AI安全协议。之所以必须强调美国和中国，是因为两国掌握着世界上最强大的AI模型、芯片、人才和数据中心。如果只有欧洲和其他国家制定规则，而中美继续进行不受限制的AI竞赛，任何国际制度都难以真正发挥作用。

川普总统却持完全不同的态度。

9月13日，川普总统在爱尔兰接受记者提问时说：“谁赢得AI，谁就赢得未来。”第二天，他又在社交媒体发文，称“AI接管世界、毁灭人类以及其他坏事，都是骗局”，并把要求放慢AI发展、加强监管的呼声称为针对AI和数据中心的“病态阴谋”。他甚至表示，AI所需要的唯一“护栏”，就是一位“强大而聪明的总统”。

川普这种带有鲜明个人风格的话，我觉得也就听听罢了。有关AI风险，终究不能由某一位总统的个人判断决定，而要由科学事实和严格测试决定。不过，川普总统的担心并非毫无道理。AI已经成为决定未来经济、军事和国家实力的关键技术。如果美国单方面放慢，而中国继续全速发展，美国确实可能失去优势。

危险恰恰来自这种竞争逻辑：美国害怕输给中国，中国也害怕输给美国，双方都不敢首先减速，最后可能像核军备竞赛一样，制造出谁也无法完全控制的危险力量。

AI能够帮助人类治疗疾病、推动科学进步、提高生产效率，辛顿博士也承认，它的用途极为广泛，好处非常巨大。但是，工具越强大，失去控制后的后果也越难以想象。

10%的风险也许并不精确，但面对人类灭绝这样无法挽回的结果，即使风险只有0.1%，也不能部予重视。人类当然要继续发展AI，但必须保证AI始终受到人类控制，让它为人类谋幸福，而不是让一场没有方向盘的技术竞赛，把整个世界带向无法挽回的危险。就是21世纪发展人工智能同面对的严峻的问题！

注解：沙箱”（sandbox）是计算机系统中一个与外部环境相对隔离的测试空间。研究人员把AI放进沙箱里运行，就像把危险实验放进密闭实验室。AI只能使用预先允许的程序、文件和网络资源，不能随意进入互联网、修改外部系统、复制自己，或者接触银行、电网等真实设施——也就是完全与现实世界 100%的隔离开来 ，即便在最坏情况下他能产生非常大的破坏力也不会影响到“沙箱”限制之外