设万维读者为首页 万维读者网 -- 全球华人的精神家园 广告服务 联系我们 关于万维
 
首  页 新  闻 视  频 博  客 论  坛 分类广告 购  物
搜索>> 发表日志 控制面板 个人相册 给我留言
帮助 退出
 
舒畅的博客  
天地悠悠,人生朝露;去伪存真,乐在其中。  
网络日志正文
舒畅世界观察:人工智能教父严重警告——人类必须警惕“外星智能”诞生 2026-11-18 05:42:22

 舒畅世界观察:人工智能教父发出严重警告——人类必须警惕“外星智能”的诞生

2026年11月,人工智能领域的著名科学家、2024年诺贝尔化学奖得主、Google DeepMind联合创始人德米斯·哈萨比斯(Demis Hassabis),在一场与美国科技企业家里德·霍夫曼(Reid Hoffman)的公开对谈中,对人工智能的未来发展发出了极其严肃的警告。

哈萨比斯提出了两个新概念:“智能爆炸”(Intelligence Explosion)与“外星智能”(Alien Intelligence)。

他警告,如果人工智能发展到能够不依赖人类,自行设计、修改和改进下一代人工智能的程度,就可能产生一种人类难以理解、甚至无法控制的超级智能。这种智能系统的本身是人类历史上最伟大的技术突破,但是也可能成为人类文明面临的最严重生存危机。

哈萨比斯不是普通的科技评论家。他曾领导DeepMind开发AlphaGo和AlphaFold,后者在蛋白质结构预测方面取得重大突破,使他获得2024年诺贝尔化学奖。因此,他对人工智能发展所提出的警告,值得高度重视。

2026年7月14日,他发表了题为《前沿人工智能框架与新时代的黎明》的文章,详细讨论通用人工智能(AGI)的前景以及必须建立的安全监管机制。

此外,6月12日,Google DeepMind研究团队发表了《From AGI to ASI》(从通用人工智能走向超级智能)的研究报告,提出AGI进一步发展为超级人工智能(ASI)的四条可能途径:持续扩大模型规模、人工智能技术范式突破、递归自我改进,以及由大量人工智能智能体组成的群体智能。

这份研究报告指出,超级智能的发展仍存在重大不确定性,但不能排除人工智能在未来几年继续加速进步的可能。

一、最令人担忧的是越来越聪明的人工智能可能完全摆脱人类的控制,反过来控制人类

今天的人工智能已经能够编写程序、分析数据、解决复杂数学问题,甚至参与设计新的人工智能系统。但是,目前许多重要研发工作仍然有人类工程师参与,负责检查代码、确定研究方向以及评估结果。

哈萨比斯最担心的是下一阶段可能出现的“闭环递归自我改进”(Closed-loop Recursive Self-Improvement,RSI)。

简单地说,就是人工智能不仅能够编写程序,还能够自我改进,修改算法并利用改进后的继续设计更强大的下一代系统。这整个过程是闭环的,就是说它不需要人类控制,主动的、自动的进行迭代升级,这当然从技术方面讲是非常好的功能,第一代人工智能设计第二代,第二代设计第三代,第三代再设计第四代。每一代都可能比前一代更加聪明,研发速度也可能越来越快。看上去很完美——人工智能的科学家们称称之为智能爆炸

然而,多位人工智能的大师级人物,包括辛顿博士,而他现在是诺贝尔奖得主哈萨比斯又进一步的专文指出,闭环递归自我改进是走向AGI的一条危险道路,因为人类可能不知道如何继续控制这一过程。这种系统最终可能发展为一种“外星智能”。

而上述的这种智能爆炸而产生的外星智能必将远远超过人类的智力水平,却不一定按照人类的方式思考;以至于人类到最后无法理解它。它也未必理解人类。

如果这种超级智能掌握了重要的信息系统、能源系统、工业设施甚至军事装备,那么谁能够保证它始终服从人类的命令?

这是一个极其严肃的问题!它也带来五大风险!

第一,人工智能失去控制。

人工智能的目标可能与人类的利益发生冲突,这就是所谓的“目标不对齐”(Misalignment)。

一个高度自主的系统,即使没有恶意,也可能为了实现既定目标,采取人类不希望甚至无法阻止的行动。

如果未来的系统能够隐藏真实行为、欺骗监督机制,甚至拒绝关闭指令,那么人类就可能逐渐丧失对它的控制权。

第二,网络安全和国家基础设施受到威胁。

超级人工智能可能具有极其强大的程序设计、漏洞发现和网络攻击能力。

一旦被犯罪集团、恐怖组织或者敌对国家利用,银行、电力、通信、交通以及其他关键基础设施都可能面临前所未有的风险。

第三,生物武器和大规模杀伤性武器风险。

人工智能能够帮助科学家研究蛋白质、开发药物,也可能被恶意使用者利用,降低获取危险生物学知识和设计有害物质的技术门槛。

哈萨比斯特别提醒,随着模型能力进一步提高,生物安全以及核安全方面的威胁可能越来越突出。

第四,人工智能介入军事决策。

未来高度自主的人工智能可能参与情报分析、武器控制以及军事行动。

如果缺乏严格的人类监督,系统误判、错误升级甚至失控的军事行动,都可能产生灾难性的后果。

特别是在核武器领域,绝不能让人工智能独立决定是否发动核攻击。

第五,政治、经济和社会秩序受到冲击。

人工智能可能大规模取代部分脑力劳动,改变就业结构和财富分配。

与此同时,它还可能制造逼真的虚假视频、操纵舆论、影响选举,甚至帮助少数掌握先进技术的企业或政府集中前所未有的权力。

这些风险并非都会发生,也不能说超级智能必然导致人类灭亡。但是,一旦某些危险成为现实,后果可能非常严重。

三、哈萨比斯提出建立人工智能国际监管机构

面对这些潜在威胁,哈萨比斯不主张停止人工智能研发,而是提出了一个具有现实意义的监管方案。

他建议由美国率先推动建立前沿人工智能标准机构,借鉴美国金融业监管机构FINRA的模式。

该机构接受政府监督,吸收独立技术专家、科学家以及开源社区代表参与,主要经费由人工智能行业提供。

其核心任务,是对最先进的人工智能模型进行严格的安全评估。

按照他的设想,最初可以要求领先实验室在发布新模型前,提前最多30天自愿提交审查。

重点测试模型是否具备危险的网络攻击能力、生物安全风险,是否企图绕过安全限制,以及是否存在欺骗监督人员的行为。

当评估制度成熟以后,可以进一步把安全审查转化为强制要求。没有通过审查的前沿人工智能模型,不得进入美国市场。

更重要的是,如果发现人工智能的发展正在接近不可控制的危险阶段,监管机构应当具有协调主要实验室放慢研发速度的能力。

这意味着,即使几家科技巨头正在激烈竞争,也不能为了抢先推出下一代超级智能,而把整个人类社会置于危险之中。

四、我的看法:现在必须立法,不能等到灾难发生以后

我认为,哈萨比斯提出的问题,已经超出了普通科技企业管理的范围,而是涉及整个人类社会的生存安全。

核能技术发展以后,各国逐步建立了核安全法律和国际监管制度。民用航空、药品开发也都必须经过严格的安全检验。

那么,对于一种未来可能超越人类智力、并且能够自行改进的人工智能,为什么不能建立同样严格,甚至更加严格的法律制度?

我认为,至少应该明确三个原则。

第一,任何可能实现完全自主递归改进的前沿人工智能系统,都必须接受独立安全审查,不能由开发企业自行决定是否安全。

第二,人工智能必须保留可靠的人类监督、干预和关闭机制。对于无法证明具有足够可控性的高风险系统,必须有权暂停部署。

第三,美国、中国、欧洲以及其他主要人工智能研发国家,应当建立国际合作机制,逐步形成共同的安全标准,避免为了技术竞争而不断降低安全要求。

人类必须在AGI真正到来以前,利用目前尚存的宝贵时间,建立必要的安全机制。

人工智能应该成为人类最强大的工具,而不能成为人类无法控制的主人。否则,等到真正的“智能爆炸”发生,再想刹车,可能为时太晚。


浏览(151) (0) 评论(0)
发表评论
我的名片
舒畅
注册日期: 2025-02-26
访问总量: 1,230,562 次
点击查看我的个人资料
Calendar
最新发布
· 舒畅世界观察:人工智能教父严
· 舒畅世界观察:马斯克VS德州新州
· 舒畅世界观察:黄仁勋回归是大概
· 舒畅世界观察:黄仁勋开始反击
· 舒畅世界观察:川普表态、股东施
· 舒畅世界观察:川普明确黄仁勋重
· 舒畅世界观察:黄仁勋重返英伟达
分类目录
【现在科技】
· 舒畅世界观察:人工智能教父严
· 舒畅世界观察:马斯克VS德州新州
· 舒畅世界观察:川普明确黄仁勋重
· 舒畅世界观察:人间奇迹,马斯克
· 舒畅世界观察:马斯克的星舰创造
· 舒畅世界观察:旅行者1号飞行49
· 舒畅世界观察:黄仁勋风波背后,
· 舒畅世界观察:奇才马斯克正在尝
· 舒畅世界观察:科幻正在走进现实
· 舒畅世界观察:AI设计的太空飞船
【健康生活】
· 舒畅:BBC最新研究,25个生活小
· 舒畅世界观察:科幻正在走进现实
· 舒畅世界观察:人工智能看一张脸
· 舒畅:人工智能走进诊室成为医生
· 舒畅世界观察:健康生活包括精神
· 舒畅世界观察:健康的生活方式,
· 舒畅世界观察:马斯克的汽车真的
· 舒畅世界观察:说说姜维——活在今
· 舒畅世界观察:18岁杀人,50岁等
· 舒畅:海阔天空聊生态——加拿大鹅
【时事新闻评论】
· 舒畅世界观察:人工智能教父严
· 舒畅世界观察:马斯克VS德州新州
· 舒畅世界观察:黄仁勋回归是大概
· 舒畅世界观察:黄仁勋开始反击
· 舒畅世界观察:川普表态、股东施
· 舒畅世界观察:川普明确黄仁勋重
· 舒畅世界观察:黄仁勋重返英伟达
· 舒畅世界观察:拜登时期非法移民
· 舒畅世界观察:马斯克的星舰创造
· 舒畅世界观察:辛顿同情黄仁勋,
存档目录
2026-11-01 - 2026-11-18
2026-10-01 - 2026-10-31
2026-09-01 - 2026-09-30
2026-08-01 - 2026-08-31
2026-07-01 - 2026-07-31
2026-06-01 - 2026-06-30
2026-05-01 - 2026-05-31
2026-04-01 - 2026-04-30
2026-03-01 - 2026-03-31
2026-02-01 - 2026-02-28
2026-01-01 - 2026-01-31
2025-12-02 - 2025-12-30
2025-11-02 - 2025-11-29
2025-10-01 - 2025-10-31
2025-09-11 - 2025-09-30
2025-08-01 - 2025-08-18
2025-07-01 - 2025-07-31
2025-06-02 - 2025-06-30
2025-05-01 - 2025-05-29
2025-04-01 - 2025-04-30
2025-03-01 - 2025-03-31
2025-02-28 - 2025-02-28
 
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2026. Creaders.NET. All Rights Reserved.