发表评论-Jinhuasan-万维博客-万维读者网（电脑版）

当人们想到把人工智能与武装力量结合起来的风险时，他们的思绪往往会飘向一个著名的电影系列：《终结者》。它的基本设定很简单。美国科学家发明了一个名为“天网”的超级智能计算机系统。随后，国防部将其整合进军队，并把它的智能植入致命机器人之中。天网很快产生了自我意识，美国军事领导人试图切断它的电源。作为回应，人工智能发动了一场核战争，并部署它的机器人——终结者——消灭人类。

毫无疑问，人类需要保持对人工智能系统的控制，因此，分析人士和工程师思考如何避免出现天网式的结局至关重要——尤其是在开放人工智能公司、安思罗匹克公司和元宇宙平台公司的模型逃离其测试环境并侵入外部公司之后，其中甚至包括一次发生在英国首屈一指的人工智能安全研究机构进行的一场测试期间的逃逸事件。但是，把注意力集中在逃逸的模型上并想象杀手机器人，可能会使有关军队应该如何使用人工智能的讨论完全转向工程技术问题，从而忽视一种对人类控制武装力量更加有害的威胁。越来越多的研究表明，人工智能的使用正在影响人们评估证据、作出独立判断、甚至完成基本工作的认知能力。换句话说，政策制定者对于军人和指挥官如何使用人工智能的担忧，应当与他们对于人工智能自身独立能力的担忧同样强烈。

这并不意味着美国军队应该放弃使用人工智能，因为人工智能在提高军队效率和减少冲突中的错误方面可能创造奇迹。但是，这确实意味着五角大楼需要更加谨慎地训练军人如何使用人工智能，并监测这类系统如何影响人们的思维。为了确保人类始终有能力监督人工智能，甚至可能有必要以更慢的速度采用某些模型。

丧失我们的思考能力

多年来，科学家一直在开展系统性研究，以阐明人与机器之间的互动如何影响认知。研究结果十分复杂，但往往令人担忧。例如，人们可能会受到所谓“自动化偏见”的影响：也就是倾向于服从机器的判断，而不是相信自己的判断。这种现象在人工智能出现之前就已经存在；只要搜索一下那些盲目听从导航系统、结果把汽车开进湖里的人们的视频就知道了。但是，人工智能可能使自动化偏见变得更加严重。分析人士发现，依赖人工智能可能会妨碍初学者培养技能，同时使专家的知识水平退化。当研究人员让计算机科学家和肿瘤科医生借助人工智能工作，随后又撤去人工智能辅助时，这两个群体的工作表现都比使用人工智能之前更差。

这些发现尤其应该令正在寻求打造国防部长皮特·赫格塞思（Pete Hegseth）所谓“人工智能优先作战部队”的美国军方感到担忧。一些指挥官希望利用人工智能支持兵棋推演分析，并帮助制定军事行动方案。鉴于人工智能模型已经变得如此强大，这种整合可能带来战术和战略上的突破。但是，它也可能削弱指挥官和军人独立评估或制定富有创造性的军事方案的能力。

很容易想象这种情况会如何发生。例如，水兵在查看潜在威胁的图像时，往往已经疲惫不堪并且工作过度。如果他们正在评估附近某个物体的图像，他们可能已经准备接受计算机作出的结论，认定那个物体是一艘敌方军舰——即使他们自己的眼睛告诉他们，那更有可能是一艘货轮或渔船。同样，战场指挥官经常需要针对敌人的攻击迅速制定应对方案，而人工智能可以在这方面提供帮助。但是，如果指挥官过度依赖计算机提出的建议，他们可能会丧失自己的战术优势，并盲目采用算法制定的方案。尤其令人担忧的是，在一些实验中，人工智能模型往往会提出不必要的侵略性和导致局势升级的建议。

依赖人工智能可能会妨碍技能的培养。

对一些人来说，这些担忧可能显得离奇。毕竟，美国军方投入了大量资源，以确保其成员能够作出正确判断。例如，它选拔高级作战指挥官的程序，就是为了淘汰除最有经验、最具判断力的候选人之外的所有人。而一旦获选，这些领导人就必须遵守严格的行为准则，并接受严格的训练和资格认证要求，而这一切都高度重视纪律和自我约束。最后，至少从20世纪40年代开始，美国军事官僚体系就一直致力于安全操作自动化武器——即使这些武器还不是自主武器。

但是，人工智能的能力比早期技术更加强大，而且它已经让其他同样纪律严明领域的工作人员难以招架。例如，在医学领域，越来越多的证据表明，即使是经验丰富的医生，也很难可靠地发现人工智能提出的错误建议。阿谀奉承的人工智能聊天机器人已经促使受过良好教育的人接受妄想。尤其是在军方人员规模缩减的情况下——而这种缩减往往源于对人工智能能够提高效率的想象——这些问题可能会变得更加严重。而且，人工智能正在以如此迅猛的速度改进和普及，以至于这些挑战正迅速超越五角大楼作出反应和更新政策的能力。例如，国防部有关自主武器的指导方针最后一次更新是在2023年，当时安思罗匹克甚至还没有推出它的第一个商业模型“克劳德”。从那以后，“克劳德”已经经历了20多个新版本，并发展出了超越人类的黑客攻击能力。

即使政策更新的速度能够与商业人工智能模型一样快，五角大楼仍然很难让军人及时掌握新的人工智能系统。军人已经忙于应对各种各样的任务要求，包括伊朗和红海的冲突、太平洋地区的巡逻任务，以及装备维护要求和体能战备测试。当他们可能有时间接受训练时，许多人又身处偏远地区，无法方便地接入互联网。从技术上说，让军官乘飞机返回接受有关新型人工智能工具的培训课程是可行的。但是，对于一项每两周就发生变化的技术而言，这种做法并不切实际。

人在回路中

根据美国军方的官方政策，如果军方希望对自主武器和人工智能赋能的武器系统保持“适当程度的人类判断”，那么它就必须找到具体的方法，投入资源来强化这种判断能力，以抵御人工智能可能产生的独特影响。它可以首先重新思考军方如何训练年轻和年长的军人。初级军官需要接受广泛的人工智能教育，帮助他们形成对人工智能的总体认识和直觉，从而理解那些接连迅速投入使用的新工具的能力和局限。更资深的军官和士兵操作人员则必须摆脱一种优越的、以学校课堂为中心的思维模式——在那里，他们可以拥有一周或更长时间不受干扰地学习一项新技术，同时还有一名专门的现场教员——转向一种分散式、以实地为中心、学习永不停止的方法。这可能意味着，有关更新后的人工智能能力和局限的信息，要通过类似视频网站的教程传递给所有用户，而新的、高度有效的人工智能提示词则通过类似软件开发协作平台的知识库进行分享和储存。有关哪些方法有效、哪些方法无效的最新见解，可能必须通过类似网络社群平台、论坛或工作通讯平台的开发者社区进行交流。这些平台可以同时帮助作战部队中的人工智能先行者和高级用户更快地学习和进步。最后，它们还可以帮助工程师、测试人员和政策制定者及时掌握这一领域的发展，并根据需要作出工程技术或官僚体制方面的调整。

批评者可能担心，让军方通过非正式的、由用户生成的信息进行学习，会使军人接触到未经检验、考虑不周的想法，甚至完全是垃圾的内容，从而分散他们对重要任务的注意力。诚然，这套体系不可避免地会出现一些糟糕的内容。但是，军方能够以平民社会无法做到的方式控制这样一个社交网络。例如，华盛顿可以要求发帖者表明自己的身份，并安排经过训练的专家担任内容审核员，迅速纠正具有误导性或有害的帖子。而且，在人们对于部署人工智能的最佳方式仍然有许多东西有待探索的时候，这些网络将会揭示重要的经验教训。因此，这些成本是值得为这些收益付出的。

除了训练操作人员之外，五角大楼还需要配置知识丰富的工程师、数据科学家和法律顾问，帮助高级军事领导人处理战场上与人类和人工智能互动有关的棘手问题。火力军官——也就是负责制定计划并协调致命武器系统使用的人员——可能长期熟悉陆军的目标选定流程，但是，他们可能还没有意识到，仅仅改变一下目标的显示方式，就可能改变人类操作人员理解目标的方式。那些急于利用新的数据和人工智能工具制定军事计划的将军们，将需要数据、人工智能和法律专家提供建议，以便既能够判断其人工智能赋能方案的优势，又能够制定指导方针，确保下属在执行命令时避免风险并保持独立判断。

避免《终结者》式的反乌托邦，需要维持控制的不仅仅是人工智能。

部署这样的专家还可以解决相反的问题：军人和指挥官因为不了解人工智能，或者对它产生不必要的恐惧，而回避使用人工智能。毕竟，美国有充分的理由希望军人使用人工智能。许多耗费大量时间的军事任务几乎不需要、甚至完全不需要真正的判断，例如填写标准化表格、从不同的数据来源检索信息，以及与拥有安全许可的人员共享数据。此外，军事领导人还必须处理大量在认知上令人不堪重负的任务，而人工智能可以通过识别规律或挑战既有假设来提供帮助。我在2024年进行的一项研究表明，即使只是使用相对简单的计算机视觉和工作流程软件，一个使用“梅文智能系统”的单位——该系统帮助管理有关潜在目标的信息，并将这些信息沿着指挥链传递，以供最终决策——也可以用比过去少1,000多名军人的兵力完成其标准目标选定流程。

一些嵌入部队的专家应当从现在开始，专门评估人工智能如何影响军方用户以及整个部队。对于战争中人类判断与人工智能之间的相互作用，美国仍有许多东西需要了解，而掌握在没有人工智能帮助情况下人类判断能力的基准状况，对于随着时间推移追踪人工智能的正面和负面影响至关重要。反过来，这将帮助五角大楼更好地了解如何防止人工智能侵蚀人类判断。例如，国防官员或许可以弄清楚，指挥官如何识别人工智能何时表现得过度迎合，就像指挥官已经学会识别初级军官何时为了获得晋升而表现得过度迎合一样。（不同之处在于，与大多数初级军官不同，聊天机器人可能比职业辩论者更有说服力。）这样的努力还可以帮助指挥官确保军人拥有足够的时间作出决定，并建立人工智能工具与人类操作人员之间恰当的组合。

避免《终结者》式的反乌托邦，不仅需要维持对人工智能的控制，也需要维持对人类行为的控制。这一需要将与华盛顿目前迅速购买和部署人工智能工具的冲动发生冲突，因为要让个人和一个庞大的官僚机构做好准备，对这些能力极其强大的算法作出正确判断，是需要时间的。但是，如果五角大楼希望正确运用人工智能，就必须降低人工智能削弱人类控制的风险。换句话说，五角大楼官员需要把重点放在重新设计军方如何训练、部署和运用人工智能系统上——而不能仅仅关注如何设计或购买这些系统。