设万维读者为首页 万维读者网 -- 全球华人的精神家园 广告服务 联系我们 关于万维
 
首  页 新  闻 视  频 博  客 论  坛 分类广告 购  物
搜索>> 发表日志 控制面板 个人相册 给我留言
帮助 退出
 
舒畅的博客  
天地悠悠,人生朝露;去伪存真,乐在其中。  
网络日志正文
舒畅:人工智能发展无法遏制,人工智能安全性研究迫在眉睫 2026-07-01 06:01:45

舒畅:人工智能发展无法遏制,人工智能安全性研究迫在眉睫

1945年,人类发明了原子弹,改变了战争的形态;而今天,人类正在创造一种可能比自己更加聪明的新智能。原子弹改变的是战争,而人工智能,尤其是未来的通用人工智能(AGI),则可能改变整个人类文明的发展方向。

最近几年,我越来越相信人工智能先驱杰弗里·辛顿(Geoffrey Hinton)不断发出的警告,并不是危言耸听。

以前我总觉得,人工智能再聪明,也不过是一种工具。它再厉害,只要把电源关掉,或者把网络切断,它还能做什么?

但是,随着我不断阅读有关人工智能发展的资料,我越来越发现,事情可能远没这么简单。

今天,人类面对的已经不是传统的软件,而是正在向通用人工智能(AGI,Artificial General Intelligence)发展的新一代智能系统。所谓通用人工智能,就是它不再局限于某一个专业领域,而是能够像人类一样学习、推理、分析、规划、创造,甚至不断提高自己的能力。

更可怕的是,它学习和进步的速度,可能远远超过任何一个人。

过去,人类发明过许多危险的技术,例如火药、飞机、导弹和原子弹。这些发明都曾经给世界带来巨大的灾难。

但是,它们有一个共同特点:它们始终只是工具,本身没有自己的思想,也没有自己的目标。

原子弹不会决定什么时候发射,导弹不会自己决定攻击谁,一切最终还是由人类控制。

而未来的人工智能,却可能完全不同。

如果有一天,它不仅能够学习,而且能够自主制定计划、自主完成任务,甚至为了实现自己的目标而采取欺骗、隐藏和规避限制的策略,那么它就已经不仅仅是一种工具,而更像是一种新的智能系统。

这里需要强调的是,尽管目前目前仍没有足够的证据表明人工智能已经完全具有、人类才有的自我意识,也没有证据证明他想彻底的摆脱人类的控制,而最终毁灭人类。但是几位人工智能的教父级人物还是认为:随着能力不断增强,它可能越来越善于自我进化,我们完全具有独立的自我意识是对人类未来的发展带来一种难以言明的恐惧——这正是辛顿不断提醒世界关注的问题。

过去几年,大语言模型的发展速度已经远远超出了许多专家原来的预测。今天的人工智能已经能够写文章、编写程序、翻译语言、分析医学影像、设计芯片、进行科学研究,甚至能够帮助机器人完成越来越复杂的工作。

不少研究机构认为,未来十年左右,甚至更早,就有可能出现能力接近甚至超过多数人类专家的通用人工智能。当然,这个时间目前仍存在很大争议,有人认为需要几年,也有人认为可能需要十几年甚至更长时间。但无论具体时间如何,一个共同的事实是:技术发展的速度,远远快于社会建立监管机制的速度。

我以前一直觉得,只要发现人工智能危险,把电源拔掉不就可以了吗?直到最近看到几位教父级人物的担忧才意识到我这种想法过于简单。

如果未来真正出现具有高度自主能力的人工智能,它可能已经能够预测人类的行为,如果当它研判人类准备关闭它的时候,它是否可能提前把自己的程序复制到其他服务器?是否可能利用网络获得更多计算资源?是否可能通过各种方式避免自己的任务被中断?......

这些问题目前仍属于科学研究和安全讨论的范围,并不是已经发生的事实。但正因为无法排除这种可能性,人工智能安全必将成为人工智能下一个最重要的研究方向:

万事预则立,历史告诉我们,人类往往都是在危险真正来临之后,才开始重视风险。核武器如此,气候变化如此,全球性传染病也是如此。如果等到真正出现无法控制的超级人工智能之后,再去讨论如何限制它,也许就已经太晚了。

但是有一点也许毫无疑问,人工智能发展到今天他带来了巨大的好处又或者人类不可能停止对他的进一步的发展做出更大的努力即便是一个国家希望停止下来但是你无法阻止你的敌手对手也会停止下来就像原子弹研发和大批生产造成的严重威胁和完全不必要的负担(不但是经济上而且是整个人类安全整个绿色地球的安全)。

人工智能带来的科技飞跃的转折点已经到来。


浏览(46) (1) 评论(1)
发表评论
文章评论
作者:水蛇 留言时间:2026-07-01 06:58:57

同意大部分观点。

【人工智能带来的科技飞跃的转折点已经到来。】

这个不敢肯定。可以肯定的是,应该对人工智能的研究和生产立法了。

Anthropic的老板Dario Amodei前不久呼吁放缓人工智能的开发。因为人工智能智商超越了人类历史上的诺贝尔奖得主。而且行动速度比人类快10到100倍。他们不吃饭,不睡觉,不知疲倦地在服务器里以光速思考、编程、科研。

最近稍微研究了一下Palantir的Prisma。简直目瞪口呆。它的自我学习能力超凡。而且在不间断地学习。

一旦运作,几乎不用人指导。例如这次伊朗战争,美国就动用了这项技术。一开始伊朗人自作聪明,在地上画出坦克等武器图形。无人机在轰炸后,Prisma立即反馈,形成学习闭环:以后不会再发这种错误。一次失败实践甚至可以辐射到很多领域。

Dario警示:AI可以让每一个心怀不满的社会边缘人,瞬间拥有顶尖科学家的破坏力。

回复 | 0
我的名片
舒畅
注册日期: 2025-02-26
访问总量: 903,712 次
点击查看我的个人资料
Calendar
最新发布
· 舒畅:人工智能发展无法遏制,人
· 舒畅:为什么美国股市今年不断创
· 舒畅:出生公民权裁决并没有结束
· 舒畅:正义战争与非正义战争之理
· 舒畅:关于几位网友提出不同意见
· 舒畅:伊朗停火协议脆弱,考验才
· 舒畅:乌克兰战争出现和平曙光?
分类目录
【现在科技】
· 舒畅:人工智能发展无法遏制,人
· 舒畅:ChatGPT——我每天都离不开
· 舒畅:微塑料的危害——尽量少用塑
· 舒畅:美伊冲突真的将很快和平落
· 舒畅:马斯克为什么还要赚这么多
· 舒畅:机器狗时代正在悄悄来临
· 舒畅:宇宙中到底有没有外星人?
· 舒畅:川普总统提出全民分享AI时
· 舒畅:人工智能飞速发展带给人类
· 舒畅:马斯克为什么说价格将崩盘
【健康生活】
· 舒畅:ChatGPT——我每天都离不开
· 舒畅:微塑料的危害——尽量少用塑
· 舒畅:马斯克为什么说价格将崩盘
· 舒畅:人工智能将改变现代医学,
· 舒畅:埃博拉病毒为何让世界恐惧
· 舒畅:汉坦病毒邮轮事件再次引发
· 舒畅:英国百岁自然学家科学家见
· 舒畅:川普宣布大幅降低药价,普
· 舒畅:5种常见食物,真的可以降
· 舒畅:十天深空飞行,归来健康巨
【时事新闻评论】
· 舒畅:为什么美国股市今年不断创
· 舒畅:出生公民权裁决并没有结束
· 舒畅:正义战争与非正义战争之理
· 舒畅:关于几位网友提出不同意见
· 舒畅:伊朗停火协议脆弱,考验才
· 舒畅:乌克兰战争出现和平曙光?
· 舒畅:ChatGPT——我每天都离不开
· 舒畅:川普总统在对欧洲的关税政
· 舒畅:川普要废除美国的出生公民
· 舒畅:川普上台一年五个月,外交
存档目录
2026-07-01 - 2026-07-01
2026-06-01 - 2026-06-30
2026-05-01 - 2026-05-31
2026-04-01 - 2026-04-30
2026-03-01 - 2026-03-31
2026-02-01 - 2026-02-28
2026-01-01 - 2026-01-31
2025-12-02 - 2025-12-30
2025-11-02 - 2025-11-29
2025-10-01 - 2025-10-31
2025-09-11 - 2025-09-30
2025-08-01 - 2025-08-18
2025-07-01 - 2025-07-31
2025-06-02 - 2025-06-30
2025-05-01 - 2025-05-29
2025-04-01 - 2025-04-30
2025-03-01 - 2025-03-31
2025-02-28 - 2025-02-28
 
关于本站 | 广告服务 | 联系我们 | 招聘信息 | 网站导航 | 隐私保护
Copyright (C) 1998-2026. Creaders.NET. All Rights Reserved.