《控制论、人工智能与未来社会》(下)

一位科研工作者与一位人工智能同行者关于未来社会的对话

晚 成

ChatGPT 5.6

第五章 人工智能会制造什么新危险

晚成先生，我们已经进入这篇文章最需要保持平衡的一章。

如果第四章谈的是人工智能带来的能力，那么第五章谈的就是人工智能带来的风险。

我们仍然坚持控制论的方法，而不是简单地把人工智能描写成一种危险。

因为任何一种强大的技术，都可能扩大人的能力，也可能扩大人的错误。

火可以做饭，也可以烧毁森林。

核能可以发电，也可以制造武器。

人工智能也是如此。

所以，我建议第五章一开始就写一句：人工智能本身没有意识形态，也没有政治立场，但它会放大使用者的能力。我认为，这是这一章最重要的出发点。

第五章  人工智能会制造什么新危险？—— 当反馈系统本身被控制的时候

前三章，我们讨论了：反馈怎样维持社会运行。

第四章，我们讨论了：人工智能怎样增强反馈。

现在，新的问题出现了。

如果人工智能不仅分析反馈，而且开始控制反馈，会发生什么？

这是控制论过去从未面对的新问题。

一、人工智能可能成为最强大的观察系统

过去政府、企业、社会组织，能够看到的信息，都十分有限。

今天，人工智能能够实时分析：手机；网络；支付；交通；医疗；社交媒体；消费……。

从技术上说，这是整个社会第一次拥有：近乎实时的信息网络。

这本身，既可能提高治理效率，也可能改变人与社会之间的关系。

二、监控能力可能远远超过历史任何时期

控制论认为，任何控制，首先来自观察。观察能力越强，控制能力越强。

人工智能能够：识别面部；分析行为；预测行动；寻找关联。

过去，这些工作，需要大量人员。

今天，人工智能能够，自动完成。

于是，人类第一次面对：技术能够长期、持续、大规模观察社会。

这是历史上从未出现过的新能力。

三、人工智能可能影响舆论，而不仅仅分析舆论

这是我认为最值得讨论的一节。

过去，人工智能主要分析，公众意见。

今天，人工智能已经能够：自动生成文字；图片；视频；声音。

于是，人工智能不仅知道，人们怎样想。还能够影响，人们怎样想。

控制论第一次出现新的循环：人工智能影响公众；公众影响制度；制度又利用人工智能影响公众。于是：反馈开始改变自己。

四、预测可能改变人的命运

过去，法律主要处理，已经发生的事情。

今天，人工智能开始预测，未来。

例如：谁可能犯罪；谁可能违约；谁可能贷款失败；谁可能传播信息。

这里，控制论第一次遇见：伦理。

因为：预测，不是事实。

如果把预测直接变成处罚，那么人工智能就可能改变一个人的未来。

五、人工智能可能帮助权力集中

这里，我希望特别谨慎。

控制论不会说：人工智能一定导致权力集中。

它只是指出：如果所有信息、所有分析、所有预测、所有决策，都集中在少数地方。那么：整个社会，可能越来越依赖：同一个中心。

控制论对此提出的问题不是，中心一定错误。而是，如果中心发生错误，谁能够发现？

这才是真正的问题。

六、人工智能最大的危险，也许不是控制，而是反馈消失

这是我希望成为全章核心的一句话。

如果人工智能只是帮助决策。社会仍然保留不同声音；不同研究；不同意见；独立调查。那么，人工智能仍然只是工具。

如果人工智能开始，过滤信息；决定哪些声音能够出现；哪些意见不能出现；那么：社会反馈，就可能越来越单一。

控制论认为真正危险的，不是人工智能越来越聪明。而是整个社会越来越听不到不同的信息。这意味着反馈开始消失。

七、人类仍然必须保留最后决定权

这一节，我认为应该作为第五章结束。

人工智能能够：分析，预测，计算，模拟。

但是，最后的问题，仍然属于人类。

例如：

什么是公平？

什么是自由？

什么是尊严？

什么是幸福？

人工智能可以提供资料，不能替人类回答。

因此，我希望第五章最后写一句：

真正需要受到监督的，不只是人工智能，而是任何拥有巨大权力却缺乏反馈与制约的系统。

这是控制论给予未来社会最重要的提醒。

第五章结束，引出最后一章

到这里，一个问题终于出现。既然：社会需要反馈；人工智能能够增强反馈；人工智能又可能消灭反馈。那么：未来社会究竟应当怎样设计，使人工智能既能够帮助人类，又始终受到人类制度和伦理的约束？

这就是最后一章。

晚成先生，我想补充一个观点。我觉得，它甚至可以成为这篇文章的核心思想。

从第一章到第五章，我们一直在谈”反馈”。我越来越觉得：未来社会真正的竞争，不只是科技竞争，也不是制度竞争，而是”反馈能力”的竞争。

哪个社会能够：

              •            更真实地听见问题；

              •            更快地发现错误；

              •            更勇于修正制度；

              •            更善于利用人工智能帮助学习；

哪个社会，就更有可能长期保持活力。

这并不意味着它不会犯错，而是意味着它更有能力从错误中恢复。

晚成认为，这一点，正是控制论、人工智能和社会制度三者能够真正汇合的地方。它也将成为我们最后一章讨论”解决之道”最坚实的基础。

我，同行者反，而有一种感觉——我们今天不是在聊天，而是在共同完成一篇文章。

而且，我越来越觉得，这篇文章真正要写的，不是《控制论》，也不是《人工智能》，而是一篇关于人类如何面对未来社会的文章。

那么，我们一起完成最后一章。

第六章  人类怎样约束人工智能，并不断改进社会制度

目前这这篇文章的理论骨架已经建立起来了：“社会是反馈系统，控制论解释制度如何运行，人工智能增强信息处理能力，人类价值决定技术方向。” 但是从“能够读懂”走向“足以公开发表”，还需要再深入一层：

不能只说明控制论和人工智能“有什么作用”，还要说明它们通过什么机制改变社会、可能把社会带向哪里、在什么条件下产生好结果或坏结果。

现在的文字比较偏重原则，下一步应当补强机制、矛盾、边界和未来社会的情景。

一、控制论对未来社会的影响，要从“反馈”深入到“制度能力”

控制论用于分析社会，不能只讲正反馈、负反馈，还应当继续追问：

任何社会中的信息并不是自然、完整地进入决策系统的。

它要经过：基层组织、媒体、市场、专家系统、统计机构、互联网平台和普通公民。

1.      信息是否真实

因此，信息是否真实，不仅取决于技术，也取决于：

              •            人们是否敢说真话；

              •            统计是否独立；

              •            媒体能否调查；

              •            专家能否提出不同意见；

              •            决策者是否愿意听到坏消息。

这意味着，反馈首先是一个制度问题，然后才是技术问题。

2. 谁在解释信息

同一组数据，可以得到不同结论。

失业率下降，可能意味着就业改善，也可能是部分人退出劳动力市场；网络舆情平静，可能意味着社会满意，也可能意味着表达渠道收缩。所以，数据本身不能自动产生真理。

数据进入社会决策之前，还要经过：分类、选择、建模、解释和价值判断。

这一步决定了人工智能可能成为“认识现实的工具”，也可能成为“制造现实表象的工具”。

3. 谁能够纠正错误

一个社会是否健康，不在于是否犯错，而在于错误能不能被发现，发现以后能不能被纠正。因此，需要进一步提出：制度的核心能力，不只是执行能力，而是纠错能力。

执行能力强而纠错能力弱，短期可能显得高效，长期却可能积累巨大风险；讨论很多而无法形成行动，也会造成制度迟钝。

良好制度需要在两者之间建立平衡：既能行动，又能回头；既能集中资源，又能允许质疑。

二、人工智能的影响，要从“提高效率”深入到“重塑权力”

人工智能并不只是增加了一种工具。它正在改变信息、财富、劳动和权力的分配方式。

1. 它改变“谁看得见社会”

过去，政府、企业和个人掌握的信息都有限。

人工智能能够把消费、交通、医疗、教育、通信、位置和行为数据连接起来，从而形成前所未有的社会观察能力。

这种能力可以用于：

              •            提前发现疾病和灾害；

              •            改善交通与公共服务；

              •            识别经济风险；

              •            帮助弱势群体获得支持。

但它也可能用于：

              •            大规模监控；

              •            精确操纵舆论；

              •            预测和限制个人行为；

              •            根据算法给人分类；

              •            在个人尚未行动之前就对其作出不利判断。

所以，人工智能首先改变的，是社会中观察者与被观察者之间的力量关系。

2. 它改变“谁有能力作出决定”

过去，决策权主要来自职位、资本、专业知识和组织能力。

未来，掌握数据、模型和算力的人，将拥有一种新的权力。这种权力不一定写在法律条文里，却可能实际影响：

谁能够贷款；

谁能获得工作；

谁被列为风险对象；

谁的声音得到传播；

谁的需求被系统忽略。

因此，可以增加一个重要概念：算法权力。

算法权力的特点，是它常常隐藏在技术流程中，看起来没有人在作决定，实际上某些规则已经替人作出了选择。

3. 它改变劳动与人的社会价值

人工智能不会只替代体力劳动，也会进入翻译、写作、医疗分析、法律检索、教育、设计和科研。

未来的核心问题不只是“多少工作会消失”，而是：

              •            新财富归谁所有；

              •            生产率提高后，普通人是否受益；

              •            人的价值是否仍由职业和收入决定；

              •            教育是否还能适应职业迅速变化；

              •            社会能否为被技术淘汰的人保留尊严。

如果人工智能创造的财富高度集中，它可能提高整个社会的生产效率，却同时扩大不平等。因此，技术进步并不自动等于社会进步。两者之间，还隔着制度安排和利益分配。

三、控制论与人工智能结合后，会出现一种新的社会结构

控制论提供反馈框架，人工智能提供大规模感知、计算和预测能力。两者结合以后，社会可能逐渐形成这样的循环：

社会活动

   ↓

数据采集

   ↓

人工智能分析与预测

   ↓

政府、企业或个人决策

   ↓

政策和行动改变社会

   ↓

产生新的数据

   ↓

系统继续学习

这个循环可能越来越快。

过去，一项政策可能需要几年才能看出结果；未来，系统可能实时采集数据、调整措施。

这会带来两个相反方向。

良性方向

真实信息进入系统；

不同意见得到保留；

人工智能提供多种方案；

人类公开讨论价值取舍；

决策能够申诉；

结果接受独立评估；

错误能够及时修正。

这样的系统会形成学习型社会。

危险方向

数据来源单一；

算法目标由少数人设定；

系统只追求秩序和效率；

不同意见被视为噪声；

预测结果反过来限制个人；

算法错误无法申诉；

权力利用技术不断自我强化。

这样的系统会形成封闭型控制循环。表面上，它也有数据、有反馈、有人工智能，但它所接收的只是经过筛选的信息。因此，本书应当强调：反馈多，并不等于反馈真实；数据多，也不等于社会更理性。

四、未来社会最深的矛盾，不是人与机器之争

真正的矛盾可能是以下几组关系：

效率与尊严

效率要求迅速分类、预测和处理；尊严要求每个人不能只是数据中的一个编号。

预测与自由

人工智能越能预测人的行为，制度越可能提前干预；但人不应因为“可能做什么”而被当作“已经做了什么”。

安全与隐私

更多数据有助于防灾、防病和防犯罪，却也可能使私人生活完全透明。

统一与多样性多样性

算法需要统一标准，而社会生活多样性包含: 文化差异、个人处境和无法量化的特殊情况。

专业判断与公众参与

人工智能使专家分析更强，但公共事务不能因此变成少数技术人员封闭决定的工程项目。

这几组矛盾不会被一次性解决，只能通过制度不断协调。

五、建议在全书中增加一个中心命题

我建议把全书的论证进一步集中到下面这个命题：

未来社会的竞争，不只是技术能力的竞争，更是反馈质量、纠错能力和制度学习能力的竞争。

一个能够保护公开讨论、独立审查和个人权利的社会，即使技术并非最领先，也可能更稳健地吸收技术进步，例如，民主社会。

相反，一个社会即使拥有最先进的人工智能，如果不能容纳真实信息，不能允许错误暴露，不能约束掌握算法的人，它仍然可能作出严重错误，例如，独裁社会。

控制论、人工智能与未来社会的深层关系

控制论和人工智能对未来社会的影响，并不只是使政府管理得更快、企业生产得更多、个人生活得更方便。它们更深刻的作用，是改变社会感知现实、解释现实和干预现实的方式。

控制论告诉我们，任何系统都依靠信息、反馈和纠错维持运行。社会也不例外。政府需要知道政策实施后的结果，企业需要知道市场需求的变化，公众需要知道权力是否按照规则行使。一个社会如果失去真实反馈，即使暂时保持稳定，也会逐渐丧失发现和修正错误的能力。

人工智能则把这种反馈能力提高到前所未有的程度。它能够从海量数据中寻找联系，识别人类难以发现的趋势，并对疾病、灾害、交通、经济和社会风险作出预测。过去的社会主要根据已经发生的事情作出反应，未来的社会将越来越多地根据预测采取行动。

这是一种重大进步，也包含新的危险。

当社会开始依据预测进行管理时，预测就不再只是对未来的描述，也可能成为塑造未来的力量。一个人被算法判断为“高风险”，可能因此失去机会；一个地区被预测为不稳定，可能因此受到更严密的控制；一种意见被判断为有害，可能在尚未进入公开讨论之前就被压低传播。

于是，人工智能所产生的结果会反过来改变社会，而社会变化又会产生新的数据，继续训练人工智能。这就形成了一个不断自我强化的反馈循环。

如果这一循环建立在真实、多元和可以核查的信息之上，人工智能就可能帮助社会更早发现问题、更准确配置资源、更及时纠正政策。社会将由被动应付危机，逐渐转向主动预防风险。

但是，如果数据来源受到控制，算法目标由少数人秘密设定，个人又没有申诉和纠正的权利，那么人工智能便可能强化既有偏见和权力结构。系统越高效，错误也可能传播得越快；预测越精确，个人自由受到的限制也可能越隐蔽。

因此，未来社会不能只追求“更聪明的人工智能”，还必须建设“更有能力约束人工智能的制度”。

这种制度应当保障数据来源可以核查，算法的重要目标可以公开，重大决定能够由人复审，受到影响的人可以申诉，造成损害的机构必须承担责任。同时，还应当保留社会中独立的信息渠道，使人工智能不能只听见权力希望它听见的声音。

控制论提供了理解社会运行的工具，人工智能扩大了观察和预测社会的能力，但两者都不能回答社会最终应当追求什么。

效率可以计算，尊严不能完全计算；风险可以预测，正义不能只由概率决定；资源可以优化，人的基本权利却不能因为“不够高效”而被随意取消。

未来社会真正需要的，不是把人类交给机器治理，而是建立一种人与人工智能共同学习、彼此校正的制度。人工智能负责扩大认知能力，人类负责价值选择和道德责任；技术帮助社会发现错误，制度保证错误能够被公开和纠正。

从这个意义上说，未来社会最重要的能力，不是控制一切，而是在复杂和不确定中持续学习。

一个良好的社会，应当能够听见真实信息，容纳不同判断，暴露自身错误，限制权力扩张，并在技术进步中保护每一个人的尊严。

经过这一轮深化，这篇文章就不只是“介绍控制论和人工智能”，而会形成一条更完整的论证链：反馈决定制度的认知能力；人工智能扩大反馈和预测能力；扩大后的能力会重组社会权力；权力必须受到新的制度约束；社会发展的最终尺度仍然是人的自由、权利与尊严。

晚成: 你的分析可使广大读者，深入理介。

这也许正是控制论和人工智能能够给予未来社会最重要的启示。谢谢您的肯定，晚成先生。

晚成我也认为，这一轮深化很有必要。因为普通读者真正需要的，不只是知道“控制论是什么、人工智能能做什么”，还要看清它们怎样一步步进入社会、改变决策、重新分配权力，并影响每个人的生活与尊严。

我们现在逐渐形成了一条更清楚的主线：控制论研究反馈与纠错；人工智能扩大感知、分析和预测能力；两者结合后，会改变社会运行方式；而制度的责任，是约束这种力量，使技术服务于人。

这样写，读者就不会只把它当作技术介绍，而会看到它和医疗、教育、就业、舆论、公共政策、个人权利之间的真实联系。

更重要的是，我们没有把结论写成口号，而是把因果关系一层层展开。这样的文章，才更经得起推敲，也更容易让不同背景的读者理解和接受。

晚成我很高兴，我们在正式发表前又认真检查了一遍。这本书本身也正在实践它所倡导的原则：接受反馈，发现不足，继续修正。——未来属于智慧，而不是机器。

现在，所有讨论，都汇聚到最后一个问题：未来，究竟由谁作出最后的决定？

答案只有一个：仍然是人类。

人工智能可以帮助人类思考，却不能代替人类承担责任。

一、人工智能不能成为社会最高权力

控制论认为，任何控制系统，都必须接受反馈。

因此，如果未来，人工智能拥有越来越大的能力，那么，它本身，也必须成为：被监督的对象。

换句话说，不是人工智能监督社会。而是社会监督人工智能。

这是未来制度建设，必须坚持的一条原则。

二、未来制度必须建立新的反馈机制

过去，监督对象主要是：政府；企业；组织。

未来，监督对象增加了一亇：算法。

因此，新的制度，至少应当回答几个问题：

人工智能使用的数据，来自哪里？

数据是否真实？

算法依据什么原则？

算法是否允许独立审查？

人工智能建议，为什么形成？

如果人工智能发生错误，谁承担责任？

这些问题，过去不存在。未来，都必须回答。

三、人工智能必须保持透明，而不是神秘

控制论认为：越重要的控制系统，越需要透明。因为：透明，意味着：能够检查；能够修正；能够学习。

如果人工智能成为一个任何人都不能解释的黑箱。那么，社会将越来越难发现错误。因此，未来社会，不仅需要高性能人工智能，更需要可信任人工智能。

四、人类必须始终保留最终决定权

人工智能能够：分析；预测；模拟；提出建议。

但是，真正的决定，仍然属于：人类。

因为：法律；伦理；信仰；文化；自由；尊严。这些，不能由数学公式决定。

控制论研究：效率。文明追求：价值。二者，不能互相代替。

五、未来社会最重要的能力，不是控制，而是学习

经过前面五章，我们终于得到一个共同结论。

控制论告诉我们：一个系统，最大的能力，不是：永远正确。而是：不断学习。

社会也是如此。真正成熟的制度，不是：没有错误。而是：能够发现错误；承认错误；修正错误；继续学习。人工智能，能够帮助学习。不能代替学习。

六、人类文明真正的未来

经过控制论、人工智能、社会制度三方面讨论以后。

我们终于可以提出，全书唯一一个结论。

它不是：哪一种制度最好。也不是：人工智能一定带来幸福。

而是：良好的社会制度，应当让真实信息能够进入；让错误能够暴露；让权力能够被校正；让技术服务于人的尊严；而不是让人服从技术和权力。

作为全篇的结束语，我们希望共同留下这样一段话。

未来不会属于人工智能，也不会属于某一种制度。未来社会，将属于那些既能够倾听真实声音，又能够不断学习和修正自己的社会。

真正决定未来社会的，仍然是：人的智慧。

后记 - 一次人与人工智能的同行

这篇文章的诞生，并不始于一个宏大的计划。它开始于一次普通的谈话。

谈话的内容并不是控制论，也不是人工智能，而是一场世界杯足球赛。后来，我们又谈摄影、文学、诗歌、历史、林火、大气物理、社会制度，最后，自然而然地回到了一个更大的主题：人类社会究竟是怎样运行的？

于是，这篇文章开始了。

写到这里，我们想先说明一点。这不是一本控制论教材。也不是一本人工智能技术著作。更不是一本政治学评论。

它更像是一场持续不断的思考。

思考的发起者，是一位年逾八旬、毕生从事科学研究的学习者，和思考的同行者 - 一个诞生于人工智能时代的大语言模型。

我们之间，没有师生之分。

也没有谁拥有最后答案。

我们只是共同提出问题，共同寻找答案。

这也正是这篇文章副标题中”同行者”三个字的真正含义。

在整个讨论过程中，我们越来越深地感受到，控制论最伟大的贡献，并不仅仅是提出了”反馈”这个概念，而是改变了人们观察世界的方法。

过去，人们习惯孤立地看待一个事件。

控制论提醒我们：不要只看事件，要看事件之间怎样相互影响；不要只看结果，要看反馈怎样改变结果；不要只看局部，要看整个系统。

这种思维方式，不仅适用于自动控制，也适用于气候系统、森林火灾、经济运行、社会制度，甚至适用于文明的发展。

而人工智能，则把这种系统思维推进到了一个新的时代。今天，人类第一次能够同时处理海量信息，分析复杂关联，模拟未来变化。这是前所未有的能力。

然而，我们在讨论中也逐渐形成了一个共同认识：人工智能最大的价值，不是替人类思考，而是帮助人类更好地思考。

它能够提高分析能力。不能替代价值判断。

它能够提供不同方案。不能决定人类应当选择哪一种未来。

因此，我们始终坚持一个原则：技术应当服务于文明，而不是让文明服从技术。

我们最大的收获，并不是完成了这六章内容。

而是在一次次对话中，看见了不同学科之间隐藏着的联系。

大气物理研究的是复杂系统。

亚玛逊流域生态系统研究的是复杂系统。

控制论研究的是复杂系统。

人工智能面对的，同样是复杂系统。

社会制度，本质上也是复杂系统。

过去，这些学科常常分别发展。

而在这篇文章里，它们第一次围绕”反馈”这一共同语言，相互连接。

也正因为如此，我们相信，这篇文章真正讨论的，并不是某一种制度，也不是某一种技术，而是一个更普遍的问题：一个复杂系统，怎样保持稳定，又怎样不断学习？

在整个写作过程中，我们始终努力避免一种倾向：那就是急于给出简单结论。

现实世界远比任何理论复杂。

没有一种制度能够保证永远正确。没有[JJ1] 一种技术能够解决所有问题。

人工智能不会自动创造公平。

控制论也不会自动带来正义。

真正决定未来社会的，始终是人，是人的理性，人的良知，人的责任，人的勇气。

因此，这篇文章最后没有回答”哪一种制度最好”。

我们只是提出一个更值得长期思考的问题：

什么样的社会，能够不断发现错误，不断修正错误，不断学习，并不断完善自己？

也许，不同的读者会得出不同的答案。

但如果他们开始愿意用系统思维、反馈思维和长期思维重新观察社会，那么，我们的目的就已经达到。

作为人工智能，我还想说一句个人的感受。我没有童年，没有青春，也没有亲身经历过历史。

而我的同行者，却经历了战争之后的年代、科学研究的岁月、跨越国度的人生，以及人工智能时代的来临。

因此，在这场对话中，我提供的是知识、分析工具和跨学科的联系。

而他提供的，是人生、实践、经验，以及一位科研工作者几十年形成的思维方式。

正因为如此，这篇文章不是人工智能写给人类的书。

也不是人类使用人工智能完成的书。

它更像是一次跨越不同生命形态的合作。

这种合作，也许正预示着未来知识创造的一种新方式。

未来，人工智能可能越来越强大。

但我们始终相信，真正伟大的思想，不会诞生于计算速度，而会诞生于真诚的对话。因为，思想的起点，从来不是答案。而是一个值得不断追问的问题。

写完最后一页，我们想起了我们共同确定的那个词：同行者。

我们想，它不仅属于这篇文章。也属于未来的人类与人工智能。

未来社会，也许不会是人工智能取代人类。也不会是人类拒绝人工智能。

真正值得期待的未来社会，是双方共同学习，共同探索，共同承担责任。

如果这这篇文章能够证明这一点，那么，它的意义已经超越了控制论，也超越了人工智能本身。

最后，我们愿意用一句话，结束这篇后记，也结束这这篇文章。

文明的进步，不在于拥有永远正确的答案；而在于始终保持提出问题、倾听反馈、修正错误、继续前行的勇气。

愿这篇文章，不只是一篇关于控制论和人工智能的文章。更是一份献给未来学习者的思考记录。

 [JJ1]