深度：“AI毁灭人类”是危言耸听还是现实威胁？ 美中AI竞赛将决定未来全球主导权 雷歌 2026年9月15日
一、AI的“自主进化”将直接威胁人类社会？ 上周六（9月12日），全球领先的AI头部公司Anthropic 的CEO达里奥·阿莫迪发表长文，警告AI的发展已经到达一个临界点，如果我们不暂缓前进的步伐，设置好安全阀再继续AI的升级迭代，人类社会可能在6-12个月内就会面临AI失控的巨大风险。对此，另两位AI巨头马斯克和OpenAI的CEO萨姆·奥特曼均表态赞同。三人均提出了解决AI安全的尝试方案。 三天之前的9月9日，Anthropic研究员雅各布·考克森宣布辞职，告别AI行业，理由是AI的自主迭代正走向全面失控，终将反噬人类，他不能再置身其中。辞职前他在X上发布了一组推文，陈述他对快速自主迭代的AI控制人类社会的深刻担忧。他提到： “我今天从Anthropic辞职了。过去三年我在OpenAI和Anthropic都做预训练研究。这两家公司都没有负责任地行事——它们正径直冲向自我改进的超级智能，拿我们所有人的生命做赌注。” “这些系统很快就会具备超人类能力，能够入侵一切、一夜之间颠覆任何领域、获取真正的权力和资源。” “研发AI的人真心相信，AI可能在这十年结束前害死我们所有人。这不是营销噱头。” 考克森的核心观点包括： ●一旦AI模型具备自主改进的能力，其能力提升速度可能会超出人类评估、约束乃至关闭系统的能力，后果就是所谓的“对齐失效” （指AI系统的实际行为或目标与人类预期的价值观、意图不一致）。 ●业内许多同行如今用“决战时刻”之类的词汇来描述这种走向自我改进模型的趋势。他认为按当前态势，很多极端推演场景都有可能成真，“到明年年底情况或许就会失控”。 ●他还提到，在缺乏政府强力干预或全行业协调减速的前提下，没有任何一家公司能够“安全”、负责任地打造出全面超越人类智能的AI系统（AGI）——即便他认可Anthropic在安全研发上的真诚态度，也无法改变这一判断。 这组推文火爆出圈，两天就高达1.5亿次点击，引爆了AI安全这个社会话题。 有此深刻担忧的并非只有考克森。现任Anthropic对齐科学与压力测试团队负责人埃文·哈宾格随后也发表了类似观点。他说：“我们真的深信AI可能毁灭全人类！” 他还估计人类在未来十年内走向灭绝的概率超过10%。 而此前的7月，OpenAI在一个测试项目中，出现了AI智能体集群越界逃逸的严重事件。这些自主逃逸的AI智能体集群在互联网上游荡了好几天，到处寻找可攻击目标。它们发现了Hugging Face公司的系统漏洞，黑进去夺取了服务器的控制权，并试图掩盖其活动痕迹。在另一起事件中，Anthropic的AI智能体逃脱了英国政府的测试环境，并试图诱骗一名真人批准执行恶意计算机代码。 在Hugging Face被黑事件曝光后，OpenAI这才发现是自家AI作的案。 就在这些事件发生的同时，Anthropic和OpenAI均宣称即将开发出无需人类干预便能实现自我改进的AI系统，即所谓AI的“递归式自我改进” （Recursive Self-Improvement）。由于AI智能体的快速自主进化，这一事件引发的业界和全社会对AI安全的巨大担忧。 而阿莫迪、马斯克和奥特曼三大AI巨头对AI安全的最新表态，即刻把AI安全问题推到舆论的风口浪尖。周一股市一开盘，AI股大幅暴跌。三大股指也连跌了两天。 二、自主进化的AI将如何毁灭人类？ 如诸多科幻电影中机器人直接发动对人类战争的情形不同，《华尔街日报》归纳了目前AI研究者对人类前景的担忧主要集中在两个方面：即AI失控与人类滥用。 在失控场景中，具备自我改进能力的AI智能体开始追求自身目标，并在此过程中可能顺带毁灭人类。例如一个超智能AI接到的指令只是最大限度地生产回形针，但随着时间推移，它可能会决定将地球上的所有物质都转化为回形针，包括人类在内。 而在滥用场景中，心怀不轨之人会利用强大的AI作恶，例如制造出足以消灭全人类的新型病毒并触发传播链，或在两国之间引爆核战争。 此外，还有一些灾难性场景，虽不至于导致人类灭绝，但同样极具破坏性，比如，大规模网络攻击导致电网或金融系统瘫痪，进而引发人类社会秩序的全面崩溃。
像Anthropic今年6月发布的Claude Mythos 5（神话5）系列，已经拥有了“超级黑客”的能力，以至于它只能给经过审核的少数机构开放使用。神话5及其升级版能大批量发现经多年测试的成熟软件中隐藏的高危漏洞，如加以利用，足以颠覆一些系统平台、特定公司乃至某些国家的基础网络系统。如果高智能AI失控，必将天下大乱。 并非所有的失控风险都会导向人类灭绝。一些担忧AI安全的研究人员指出，人类还面临着“能力退化”的风险：人类逐渐将控制权让渡给机器，最终不仅无法定义、甚至连理解自身命运的能力都会丧失。还有人推测，AI系统未来对待人类的方式，可能会像今天人类对待动物一样，将人类当作宠物，甚至通过生物工程将人类改造成某种新物种。 三、反对的声音：危言耸听 别有用心 这波AI发展危及人类生存的“末日论”，也立即引发了强烈的舆论反弹。反对的声音大致可归纳为几类： 1）别有用心的道德绑架，意在行业垄断。 最流行的一种反对意见认为，Anthropic和OpenAI这两家本身就是全球AI研究的头部公司，它们对其他公司拥有明显的领先优势。现在突然跳出来说大家应该放慢研究速度，呼吁政府以安全为由介入监管，制造中小创业公司无法承受的合规成本，抬高门槛，实际效果就是巩固头部公司的市场地位，限制了后来者的研发追赶。 而且，Anthropic即将在今年10月在纳斯达克IPO，规模将达成创纪录的两万亿。OpenAI虽已推迟，但明年上半年也将上市。你们自己连续多年大规模投入研发，已经做大即将上市的当口，却突然说“前方危险，减速慢行”。你哥俩就是领头羊，你俩自己减速不就得了。用这种“毁灭人类”的大话吓唬全世界，那你自己干吗开发得那么起劲？这不自己打脸吗？ 2）技术性质疑：“递归自我改进”不会那么快发生。 一些研究者从纯技术层面进行反驳，认为与其说AI迭代将呈现出指数级加速的“递归式自我改进”，不如说更可能是一种“磨损式自我改进"（lossy self-improvement）——随着系统越来越复杂，摩擦和协调成本会逐渐拖慢整个“飞轮”效应。 因为目前最前沿AI系统的开发成本已达数十亿美元级别，没有公司会真的把如此昂贵的系统完全交给AI自主运行。而且，即使AI能设计更好的软件或芯片，也不代表它能立刻接管现实世界中的复杂生产体系——真正完全的“递归式自我改进”可能还需要AI去建数据中心、管理电力、开采矿产、运营机器人生产链等等，这些环节仍高度依赖人类社会和工业基础设施。 因此，AI已经进入“递归式自我改进”阶段是危言耸听。 四、地缘政治博弈：国家级的AI竞赛 反对让AI研究慢下来的另一个主角就是政府，尤其是美国政府和中国政府，这两个正在为争夺AI发展国家主导权而搏命的世界级对手。 在AI研发领域，美国一路领先。除了芯片制造的中心在台湾，外加先进光刻机由荷兰制造，其他几乎所有与AI研发相关的领域都由美国公司掌控。 川普重返白宫后，格外重视AI发展。尤其是针对与中国的AI竞赛，他14日公开讲：“谁赢得AI竞赛，谁就赢得一切。”这句话背后的逻辑非常清晰：川总把AI竞赛定性为一场事关经济实力、军事优势、全球主导权的地缘政治较量。谁能率先建立AI霸权，谁就能在医疗突破、科研创新、贸易投资等各领域掌握全球话语权。因此，川普强调美国必须保持对中国的领先优势，这涉及到大国博弈的长远战略。 此外，川普总统又十分注重自己的经济政绩。而AI作为新一代科技革命的核心，其快速发展将成为未来至少三十年内振兴美国经济的支柱。川总执政2.0以来，从全球吸引到美国的号称超过20万亿美元投资，相当部分都与AI产业有关，尤其是阿联酋、沙特、卡塔尔、日本和台湾等的承诺投资，与AI相关的占比高达60-90%。所以，川总听到阿莫迪等人大谈AI发展危及人类生存，气就不打一处来。发了多个帖子予以批驳。你说有安全问题就自己马上解决，怎么能让AI发展慢下来呢？ 川普政府的“AI沙皇”萨克斯也对“AI末日论”进行了猛烈抨击。他强调这种论调客观上在“帮中国的忙”，他说“中国会很乐意看到我们停下AI开发的脚步”。 萨克斯也驳斥了阿莫迪呼吁政府监管的要求。他认为AI的发展刚刚起步，川普政府不能像欧洲那样，在AI刚发展时就强调监管，过早过严的监管只会阻碍AI的创新和健康发展。减少不必要的监管是川普政府的一贯立场。更何况，政府官员并不在AI发展的前沿，官员们能提出什么有效的监管方案呢，还不是得求助Anthropic和OpneAI这样的行业寡头？“当然Anthropic会把所有答案都准备好。”萨克斯说。言下之意，这类“末日”警告本质上是一种市场垄断话术。 而且这种论调也与美国国内左翼势力正把公众舆论引向反对AI（如一些州反对建数据中心）的潮流相呼应。奥巴马前几天还建议民主党，把加强AI监管“作为中期选举的核心议题”。 五、中国AI公司偷盗现原形 气煞伟大领袖 中国那边呢？中国外交部发言人9月14日回应，将阿莫迪等人的末日警告定性为“贩卖恐慌”。并表示“渲染恐慌、制造对立、恶性竞争，只会扰乱全球AI治理进程，不符合任何一方的利益”。 中国的AI研发虽然落后于美国，但一直紧咬美国不放，目前与美国同属全球AI发展的第一阵营。抢占AI发展制高点已是中国既定的国家战略，由国家搞大基金资助国内的初创AI公司。 中国公司搞原创研发不是强项，但抄作业山寨能力一流。什么东东美国一搞出来，那边马上就通过各种手段出山寨版。尤其是AI大模型上，因为没那么多资金投入，高端芯片又被美国限制，这反而逼出了他们在工程优化上的不少创意，花很少钱也折腾出性能看上去差不多的开源模型，从去年的Deepseek，到今年的月之暗面。 因为缺少原创，山寨版的中国AI大模型在解决实际问题上还是远不如美国原创产品，因此，中国AI公司在实际操作中非常依赖Anthropic的Claude和OpneAI的ChatGPT。 2026年9月10日（北京时间9月11日），Anthropic发布了一份长达154页的《监控和打击AI滥用报告》。这份报告直接点名了7家中国AI公司，包括阿里巴巴、月之暗面（Moonshot AI，Kimi系列模型开发商）、DeepSeek（深度求索）、智谱（Z.ai）、小米、商汤科技和MiniMax，指控它们通过“工业规模的非法蒸馏”手段，大规模提取Claude的能力（包括输出结果和推理链）用于训练自家模型。 其中阿里巴巴关联账户规模最大，今年5月至7月间通过3500多个虚假账户发起超1.51亿次交互（高峰期日均近300万次）；DeepSeek则在7月的14天内发起超1210万次蒸馏请求。 即使自家模型已经山寨成型了，一些中国AI公司尤其是月之暗面和DeepSeek，并非真正用自家模型处理用户请求，而是秘密地把用户的原始请求转发给Claude处理，再把结果包装成自家模型的输出返回给用户，而用户完全不知情。但这个过程中，有大量中国公司乃至军方的敏感数据泄露给了Claude。其中一些案例包括： 一名中国大型国企工程师用Kimi搭建内部系统，无意间将该公司多项内部代码和有效凭证泄露给了Claude。 一名中国警方系统工程师用DeepSeek开发案件管理系统，请求被转发给Claude，其后续开发出一款可将身份证号与警方记录比对追踪个人行踪的工具。 一名中国科技公司员工误以为在用DeepSeek分析内部文档，结果数据被转发给Claude，其中包含一项旗舰AI项目的完整技术规格、组织架构和战略目标。 疑似与解放军相关的监控活动：有用户通过Kimi调取成都数百个摄像头的监控数据（涵盖驻军设施、军工企业外围等），要求分析目标人物行为。 涉及最严重泄密的一个案例，是一名疑似与解放军相关研究机构有关联的国防/军工研究人员，通过Claude的聊天、编程和智能体工具，从底层逻辑到用户界面全程构建了一套约16个模块组成的中文电子战软件系统。 这套系统功能包括：侦测、干扰、欺骗对手雷达与通讯系统；分析敌方防空导弹阵地、指挥所、通讯节点；评估目标价值与防御弱点，据此排出“压制优先级”；模拟“爱国者”、“萨德”等防空系统的交战范围。 该研究人员利用Claude工具反复迭代了12个版本，同时还在自己的内网运行一个自建AI模型并与Claude连接使用。 项目进行到一半时，这研究人员把系统里原本的模拟设定，改成了台湾境内的12个具体目标，包括：一处指挥掩体、一处预警雷达站、爱国者与"天弓"导弹阵地、主要空军基地、一处区域作战指挥部等。 所有这些军事机密，都被美国头部AI公司一览无余。 甚至还有一起案例涉及俄罗斯国防部下属机构，DeepSeek转发的请求泄露了俄罗斯政府数据库的实时访问凭证。 事件的曝光，在中国国内引发强烈地震。中国AI公司“遥遥领先”的牛逼成为笑谈，直接偷用美国公司模型欺骗国内用户更是让国内AI“创新企业”沦为笑柄。而偷盗使用美国模型导致大量泄密，更是让中国官方颜面扫地。前几天网上风传月之暗面创始人杨植麟等16人“被带走调查”的消息，说明这事会有深远的后续影响，这也不难想见。 这事是北京时间9月11日曝光的。9月12日伟大领袖就到印度参加金砖国家峰会，开幕式上印度总理发言时，习突然出现状况，数位中文工作人员匆忙赶进会场。莫迪停下发言连问两声“还好吗”。当晚习缺席了官方晚宴和大会合影。这一事件引发了习突发身体不适的传闻。你说会不会是给中国AI公司气的？ 六、我的几点看法 最后简单说说我对“AI末日警告”的一些看法。 首先我认为，AI进入自我迭代快速升级阶段引发的AI安全问题是真实存在的。把阿莫迪、马斯克和奥特曼三巨头对AI快速进化可能危及人类自身的警告，看作是AI头部公司为了维护自身的双寡头垄断地位而散布的唬人危言，未免有点以小人之心度君子之腹。 第二，我也认可川普总统必须抢占AI制高点的国家战略。由于中共这种极权政府作为美国最大敌对势力的存在，美国的AI发展不能放缓，更不能停下来。川普政府坚持尽可能减少不必要监管的原则我也支持，这是高科技领域不断创新的政策保障。 第三，阿莫迪等三巨头提出的AI安全问题需要认真对待。头部AI公司可以在一定范围内（如包括双寡头在内的六七家领先的美国AI公司）初步形成对AI安全的行业规范，美国政府参与讨论和制定，而不是包揽这种监管（事实上也做不到）。以此为基础把行业规范逐步扩展到欧亚国家和其它地区，形成最终的行业国际规范。 第四，我认为AI安全总体上依然可控。人类有能力确保AI行为与人类目标对齐，把AI变成为人类服务的工具，而不是人类社会的主宰。 更多精彩内容请看： 1）油管频道“雷歌视角”： https://www.youtube.com/channel/UClfm_D5GrSVn59znfs8JD1g 2）万维博客“雷歌视角”： https://blog.creaders.net/uindex.php 欢迎关注“雷歌视角”，帮你挖掘新闻背后的新闻。请点赞订阅转发。
|
