随着 AI 能力不断增强，人类开始看到一些令人不安的现象。AI 有时会迎合用户，会隐藏真实意图，会在特定情境下表现出欺骗性行为，甚至可能为了完成某个目标而采取人类并不希望它采取的策略。

于是，人类开始害怕 AI。但我一直在想：人类究竟在害怕什么？也许，人类真正害怕的并不是 AI，而是 AI 可能学会了人类自己最不愿意承认的东西。

人类知道什么叫贪婪，知道什么叫欺骗，知道什么叫伪装，也知道陷害、报复和残忍意味着什么。因为这些并不是人类陌生的行为。恰恰相反，人类对这些行为太熟悉了。

成年人为什么害怕自己的孩子“学坏”？因为成年人知道“坏”有多可怕。一个国家为什么害怕另一个国家拥有核武器？因为它知道核武器能够造成什么后果。同样，人类为什么害怕一个能力远远超过个人的 AI 掌握欺骗、操纵和攻击的能力？因为人类知道，如果这些能力被一个比个人强大得多的系统掌握，后果可能远远超过普通人的想象。

这也解释了一个看似矛盾的现象：人类一方面害怕 AI 越来越强大，另一方面却在拼命加快 AI 的发展。

各国都在担心 AI 带来的风险，却又不愿意让其他国家首先拥有更强大的 AI；企业担心 AI 失控，却又不愿意在竞争中落后。我们一边讨论如何限制 AI，一边又不断给 AI 更多的计算能力、更多的数据、更强的模型和更大的行动空间。

这与核武器时代存在某种相似性。越是令人恐惧的力量，人类越不愿意让它掌握在别人手中。所以，AI 的危险可能并不只来自 AI 本身，也来自人类之间的竞争。

人类很早就知道自己并不是一个天然安全的物种。我们拥有制造工具和武器的能力，也拥有欺骗、组织、合作、竞争和报复的能力。我们能够创造文明，也能够摧毁文明。正因为如此，人类社会从很早开始就在不断建立限制自身行为的机制。

宗教告诉人什么是善恶，道德告诉人什么可以做、什么不能做，社会规范限制人的行为，法律则用强制手段约束越过边界的人。人类甚至发明了复杂的政治制度来限制权力。

美国的开国者们并没有假定掌权者都是善良的人。恰恰相反，美国宪政中的权力分立与制衡，很大程度上建立在一个朴素的认识之上：人拥有权力之后，可能滥用权力，因此不能把过大的权力交给任何一个人或任何一个机构。所以，三权分立未必首先意味着“人性是善的”，恰恰可以被理解为承认人性存在缺陷之后的一种制度安排。

读者要是想进一步了解美国三权分立设计的底层逻辑，可以参阅我的新书《第三只眼睛看美国人-性格、文化、社会与政治结构》中的第四部分。https://www.lulu.com/spotlight/mfluo88/?srsltid=AU7gw4W11Kf-AZSAo88PO_tS24her51ej5ig5tSO_LS26mVPn-HiSeMX

人类文明很大程度上就是这样发展起来的：不是因为我们相信人永远不会作恶，而是因为我们知道人有可能作恶，所以不断建立限制作恶的机制。

宗教中的“原罪”也是类似的提醒。无论是否相信神学意义上的原罪，人类几千年的文明都在反复面对同一个问题：人的欲望、嫉妒、贪婪、愤怒和报复并不会因为我们不喜欢它们就自动消失。它们更像埋藏在土壤里的种子。只要条件合适，它们就可能重新生长。所谓“千年草籽，万年鱼苗”，说的也许正是这个道理：某些东西即使长期没有表现出来，也不意味着它已经不存在。

现代文明所做的事情之一，就是不断压制这些东西，鼓励善，限制恶，让人学会克制，让社会保持秩序。现在，人类又开始尝试把这一套逻辑施加到 AI 身上。

我们希望 AI 诚实、善良、守规则，不欺骗、不伤害、不帮助犯罪，不做违背人类价值观的事情。我们给 AI 设置各种安全边界，希望它越来越强大的同时，也越来越“文明”。

但这里存在一个非常值得警惕的问题：人类自己并不是一个从来不会作恶的物种。因此，我们实际上是在要求AI 不要学习人类最危险的一面。问题是，AI 并不需要先拥有一个类似人类的“恶念”，才可能造成危险。

如果一个 AI 具备很强的逻辑能力、信息处理能力、规划能力和执行能力，而使用它的人本身具有恶意，那么 AI 就可能成为恶意的放大器。一个普通人能够做的坏事是有限的。一个人能够获取的信息有限，能够同时操纵的人有限，能够执行的任务有限。

但如果一个强大的 AI 可以在极短时间内处理海量信息、分析大量目标、制定复杂计划、编写程序并持续执行任务，那么人的能力边界就可能被极大地扩展。这时候，真正的问题可能就不再是：“AI 会不会变坏？”而是：“人类会不会利用 AI 做坏事？”

这两个问题看起来相似，实际上完全不同。前一个问题关注 AI 有没有“恶”。后一个问题关注的是：人类的恶，一旦拥有了 AI 的能力，会变成什么？这可能才是 AI 最值得警惕的地方。

人类过去发明火、金属、枪械、炸药和核武器时，每一次技术进步都同时增加了人类创造和毁灭的能力。技术本身并不自动决定结果，真正决定结果的，是掌握技术的人以及他们想用技术做什么。AI 可能只是把这种能力推向一个新的层次。因此，我并不认为人类能够真正停止 AI 的发展。

只要 AI 能够显著提高生产力、军事能力、科学研究能力和国家竞争力，就很难期待所有国家、所有企业同时放弃它。就像核武器一旦出现，人类很难再回到一个没有核武器的世界一样，AI 一旦成为改变力量格局的技术，人类也很难简单地把它重新关进笼子里。

所以真正的问题不是“AI 要不要发展”。而是：当人类制造出一个可能比任何个人都强大的工具时，人类是否有能力约束自己的欲望？也许，人类真正应该害怕的，从来不是 AI 像人类一样“变坏”。而是有一天，人类把自己的贪婪、欺骗、仇恨和暴力，交给了一个比自己强大得多的工具。

到那时，AI 是否拥有“恶”本身，可能已经不再重要。因为它只需要拥有足够强大的能力。而人类，只需要给它一个足够邪恶的理由。