舒畅世界观察：辛顿的警告——人类必须接受AI可能不再比我们低等

人工智能教父、诺贝尔奖得主杰弗里·辛顿最近的一段讲话，我认为非常值得认真思考。

辛顿提出了一个相当大胆、甚至会让许多人感到不舒服的观点：人类可能正在经历历史上又一次被迫重新认识自己地位的时刻。

他说，过去几百年里，人类至少经历过两次这样的思想冲击。

第一次来自哥白尼。

在人类历史上很长一段时间，人们相信地球是宇宙的中心，太阳、月亮和星辰围绕着我们运行。哥白尼却告诉人类：不是太阳围着地球转，而是地球围着太阳转。

今天看来，这是最普通不过的科学常识。但是在当时，这个思想却非常难以接受，因为它实际上告诉人类：我们并不是宇宙的中心。

第二次来自达尔文。

人类长期认为自己是与其他动物完全不同的特殊存在。但是达尔文提出进化论，告诉我们：人类同其他动物一样，也是漫长生物进化的结果。

人类当然非常特殊。我们拥有高度发展的语言，可以积累知识、传播思想、建立文明。但是从生物学意义上说，我们仍然属于动物。

辛顿说，人们同样花了很长时间才逐渐接受这个事实。

而现在，第三次更加匪夷所思，难以接受的冲击可能已经来到。

这一次挑战人类特殊地位的，不是天文学，也不是生物进化论，而是人工智能。一种由人类创造出来的分生命的机器和软件。

辛顿认为，人类过去一直有一个根深蒂固的观念：真正的智能只能存在于人类的大脑中。机器是人制造出来的，因此机器只能是工具，不可能真正理解，不可能真正思考，更不可能拥有类似意识的东西。

但是辛顿认为，这种观念可能又错了。

他明确表示，他相信今天先进的人工智能已经具有某种意义上的“意识”。他举例一个例子，可能各位已经失去，那就是当游客学家期人工智能个体的时候，他问这些问题居然会法规是在测试我吧，这就说明这个人工智能这个个体已经具有了独立的思想意识的这种可怕的情景，所以他的结论就是，他认为：

智能并不一定必须建立在生物大脑之上。

也就是说，人类第一次可能面对一种不是由血肉、神经元和DNA构成，却能够理解、推理、学习和交流的非生物智能。

这正是很多人最难接受的地方。人类本身不愿意又一次失去自己的特殊主导地位。哥白尼告诉我们：地球不是宇宙中心。达尔文告诉我们：人类并不是脱离动物世界的特殊创造物。而今天人工智能的发展可能正在告诉我们：智能也不是人类的专利。

辛顿认为，人类历史上一直存在这种倾向，就是把自己想象得比客观世界更加高级、更加特殊。现在许多人坚持认为，无论人工智能怎样发展，它永远只能是人类控制的工具，因为“机器毕竟是我们造出来的”。辛顿认为，这种想法其实非常危险。

问题并不在于今天的AI是否已经全面超过人类，而在于按照目前的发展速度，如果未来出现比人类聪明得多的超级人工智能，我们凭什么信心满满的认为自己仍然能够永远控制它？勇于立于不败之地。

辛顿接着提出了一个更深刻的问题：

自然界中，有多少例子表明低智能者可以长期控制高智能者？

他的回答是：几乎没有。

他能够想到的一个特殊例外，就是婴儿和母亲。婴儿的智力显然远远低于成年母亲，但是婴儿却能够在很大程度上“控制”母亲。婴儿一哭，母亲就醒来；婴儿饿了，母亲给他喂奶；婴儿遇到危险，母亲甚至可能不顾自己的生命去保护他。这可能是唯一一个低智能的婴儿能够影响和“控制”高智能的母亲的例外？

但是这并不是因为婴儿比母亲强大，而是因为漫长的生物进化已经把一种极其强烈的母性本能写进了人类的基因。

因此辛顿提出了一个很有启发性的AI安全设想。未来如果超级人工智能真的比人类聪明得多，人类也许不能继续幻想自己永远是“主人”，AI永远是听话的“仆人”。真正现实的办法，可能是在人类还有能力设计AI的时候，就想办法让AI形成类似“母亲保护婴儿”的价值倾向。

到了那个时候，关系甚至可能完全倒过来：

AI是母亲，人类反而成了婴儿。这听起来令人震惊，而且非常不舒服。但这恰恰是辛顿希望人类认真思考的问题。

如果未来人工智能的智力超过人类，那么真正值得担心的就不再是“机器会不会听我们的命令”，而是：

比我们聪明得多的东西可能不听我们的命令？人类如何防止这样的情况发生。

这也是辛顿为什么近年来不断警告人工智能可能给人类带来生存风险。他曾把AI最终导致人类灭绝的可能性估计在大约10%至20%的范围内。这个数字当然不是经过实验能够精确计算出来的概率，而是他个人对风险的判断。

我认为，辛顿这番讲话最值得思考的，并不是“10%”这个具体数字，而是他背后的逻辑。所以真正值得警惕的，也许不是人工智能今天已经多么危险，而是：

当一种比人类更加聪明的非生物智能真正出现的时候，人类是否已经做好了准备？