中德人工智能比较

德国远远落后于中国

其实，在为人工智能做出重大贡献的研究项目中，并不乏德国科学家的身影。然而，德国国有复兴信贷银行(KfW)在一份最新的分析报告中指出，在将科研成果转换为实际应用方面，德国却明显落后于美国、中国等AI领跑者，而且差距还在持续拉大。KfW首席经济学家科勒-盖卜(Fritzi Köhler-Geib)指出：“和许多其他科技领域一样，在AI方面，我们德国难以将科研成果转化为企业可以应用的产品。”

根据KfW的调研，德国进口的人工智能相关产品和服务数量远远超过出口量，这造成了德国各界越来越依赖少数几家强大外资企业的AI服务，引发外界对德国未来竞争力的担忧。科勒-盖卜在接受德国之声采访时表示，在人工智能应用方面，其他国家的步伐更快，“我们必须确保德国不至于落后太多。”

人工智能的研究至少可以上溯至50年代，但在很长一段时间里，它被认为是在现实世界中不会立刻得到应用的所谓“蓝天科研”。大约20年前，随着新技术的快速发展、尤其是算力的突飞猛进，AI开始走出实验室，越来越贴进日常生产和生活。如今，ChatGPT等诸多AI应用已经成为文本创作、图像生成、甚至编写程序的重要工具。

然而，德国科学家为AI科技发展做出的巨大贡献，却因官僚主义以及投资环境欠缺而难以转化为推动现实世界前进的AI应用。

更为严重的是，德国科研机构如今提交的新AI专利数量也远远落后于美中等国。与本世纪初相比，中国在AI领域的专利申请数量增长了100倍，德国同期仅增长了3倍。目前，德国在全球人工智能专利注册中所占份额仅为6%，远远落后于中国的29%和美国的27%。科勒-盖卜指出，专利数量被视为创新的关键指标，“而我们德国在这个领域的进口远远多于出口，中国则在AI领域拥有显著的顺差。”

柏林应用科学技术大学(BHT)的AI专家洛瑟教授(Prof. Alexander Löser)也有着相似的担忧。他在接受德国之声采访时警告说，在基于机器学习的人工智能产品方面，德国越来越只能充当客户的角色。“这些产品大都来自欧洲以外的国家，主要是美国，但是来自沙特阿拉伯、阿联酋、中国的也越来越多。”

洛瑟指出，德国无法留住最优秀的AI人才，加剧了德国的AI颓势。“德国的许多高校都从事出色的研究，培养出了高品质的人才，但其中相当一部分后来选择出国就职。”

此外，欧盟对数据的严格监管也使本土企业处于不利境地，毕竟当今的大多数AI应用都需要大数据来驱动。洛瑟警告说：“欧盟监管正在推高我们本地人工智能生态系统获取训练数据的成本。”他建议德国应当创设开源数据集用于商业用途，“这应当是反映我们文化价值观的高品质数据。”

德国国有复兴信贷银行(KfW)也在其分析报告中强调了“充分获取AI训练数据”的紧迫需求。为了避免在AI竞赛中掉队，德国还需要加大投资从而促进AI研发，并且增加学生和从业人员的相关培训机会。

中国的ChatGPT, 算法……

自2022年11月起，ChatGPT掀起新一轮AI全球浪潮。ChatGPT因其能够进行多轮对话、承认错误、反驳错误前提和拒绝回答不恰当的问题而享有盛誉。ChatGPT在回答问题的准确性和逻辑完整性方面超越了现有的聊天机器人，在遵守道德、伦理、法律方面也有很好的表现。ChatGPT是OpenAI近年来研发的一系列GPT模型在对话场景的实例，有3个技术特征。

（1）ChatGPT基于大规模预训练语言模型，即著名的GPT-3系列（GPT-3.5）。在过去的几年里，大规模的预训练模型发展迅速。大规模预训练模型通过学习大量的公开数据，将学习到的知识存储在大规模参数之中，不断刷新多个领域中多数任务的最高性能纪录，是通向通用人工智能的可行路径。

（2）ChatGPT使用人类反馈强化学习（RLHF）在GPT-3.5上进行微调。微调是包含2个数据集的过程，共有3步：第一步，由2个AI训练师基于给定采样提示（prompt）通过对话生成人类演示数据集，用于GPT-3.5微调训练，结果称为有监督微调模型（SFT）。第二步，通过AI培训师和聊天机器人之间的对话收集比较数据集，对SFT模型输出的多个结果，由AI培训师给出从最好到最差的打分排序。之后，用这个排序数据集训练强化学习的奖励模型，此过程也是有监督的方式。第三步，使用近端策略优化院刊539人工智能驱动的科学研究新范式：从AI4S到智能科学（PPO）算法，由奖励模型生成reward，通过强化学习进一步微调SFT模型。第二步和第三步重复多次，最后得到PPO模型，即ChatGPT。

（3）GPT模型按照“开发-部署”的理念迭代完善。将初步开发完成的模型部署上线，为用户提供测试服务，由此收集用户与模型的交互数据作为进一步优化模型的基础。开发（学习）和部署（应用）形成闭环，这种迭代优化策略在降低语言模型误用风险方面起着至关重要的作用。

ChatGPT范式再次展示了预训练大型模型的强大功能，凸显了人类在引导大模型遵循人类规则方面的重要作用。由此可见，针对大模型的微调、上下文学习、指示学习、提示学习是AI的重要研究方向。

AI本身的研究范式也在不断转变。自AI诞生之初，人们基于几个基本假设（如独立同分布、Markov属性等），使用初级方法（如Perceptron等）解决简单的问题（如简单的二元分类、回归等），并由此产生了3种基本范式——监督学习、无监督学习和强化学习。但面对复杂问题时，这些基本范式存在局限性。因此，随着新的算法（BP算法、分层训练等）和模型（CNN、长短期记忆人工神经网络LSTM等）的出现，AI逐渐发展出主动学习、迁移学习、终身学习等新范式。近年来，AlphaGo和ChatGPT等前沿进展以其革命性的成就引领了新一轮的范式转变。从范式转变的角度看待人工智能的发展，对促进探索AI4S创新应用具有重要价值，为此，以下从算法、模型、数据、知识、人的角色等方面进行分析。

算法是人工智能的基石。典型AI新范式中使用的算法不仅限于机器学习，还涉及整个人工智能领域，包括搜索和推理。例如，AlphaGo的主干是蒙特卡洛树搜索（MCTS）算法。近年来出现的新算法，例如受热力学启发的扩散模型（Diffusion Model），在AI生成内容（AIGC）领域显示出巨大潜力。由此可以看出，Science for AI对AI算法创新也具有重要意义，应得到同AI4S一样的重视。

机器学习模型的创新是推动人工智能发展的核心要素。尤其是神经网络新架构：从M-P模型到Perceptron，从LeNet到ResNet，从LSTM到Transformer。AlphaGo以CNN为主干网络，用于提取棋局特征、辅助走棋决策和棋局评估。AlphaFold 2用Transformer（EvoFormer）替换CNN模型，这是其性能相比第一代有巨大提升的主要原因之一。ChatGPT建立在基础模型（GPT-3）之上，充分利用了大规模预训练语言模型的力量。利用大模型的规模效应，研究利用prompt等方法引导大模型释放内在能力，是AI4S重要方向之一。

数据是深度学习的三大核心驱动力之一，但存在标签数量少、标注成本高、分布不平衡、隐私保护等问题。主动学习、溯因学习、对比学习、平行学习和迁移学习等学习范式，能够在一定程度上克服数据标注的不足；而多任务学习、迁移学习、元学习和终身学习，在一定程度上能克服不同任务之间存在数据不平衡问题；联邦学习可用来解决数据安全和隐私问题。

新范式在数据的使用方面有更多亮点，Syn2Real和Sim2Real等数据生成方法得到越来越多的重视。例如，AlphaGo首先在人类棋局上训练策略，通过自我对弈产生更多的数据来训练更强大的策略网络，进而产生更多的数据来训练强大的价值网络。AlphaFold充分利用遗传数据和结构数据，还通过自蒸馏的方式使用未标注数据来弥补标注数据的不足。ChatGPT使用人类的演示数据来微调GPT-3.5，并通过prompt在聊天机器人和AI训练师之间生成更多的数据，进一步训练奖励模型将数据生成过程自动化。这些范式具有一个共同特征，即它们在缺乏标记数据时尝试生成数据以提高性能。

AI基本范式很少显式引入知识，但在模型设计（如CNN）时引入的偏差（bias）也可以看作是先验知识。中级范式通常有3种引入知识的方式：①直接（如主动学习）或间接（如课程学习）通过学习策略的设计来提高学习性能；②使用从先前任务或其他任务（数据）中学到的知识来帮助新的学习任务。例如，多任务学习、迁移学习、元学习、平行学习等；③整合上述2种方法，设计并维护一个专门的知识库来辅助学习过程。例如，终身学习和溯因学习等。

目前，大多数机器学习范式都采用知识的嵌入表示，以便将知识融合到学习过程中；但其中有2个例外，即终身学习和归纳学习，它们具有独立的知识库。我们还发现反馈对于学习中的知识获取、整合和自动化至关重要。高级范式高度依赖知识，例如，AlphaGo首先利用人类棋手的经验（可看作一种知识）训练策略网络，然后利用围棋规则（也是一种知识）通过强化学习改进策略，进一步通过自我对弈生成大量棋局。AlphaFold整合了生物学家的发现，以及来自遗传学、数学和化学领域的知识，这种高级范式是知识密集型的代表，为AI4S的进一步研究提供重要参考。ChatGPT的基础是大规模预训练语言模型（GPT3），可以看作是从海量数据中提炼出来的隐性知识库，而提示工程（prompt engineering）是引导大模型生成内容并对齐到人类会话风格、伦理和规范的过程。

运用知识的能力很大程度上决定了学习能力。然而，将知识整合到机器学习的过程中具有很大挑战，知识的获取、表示、集成、利用等环节通常需要人类的参与。“人工智能驱动的科学研究”专项部署强调围绕药物研发、基因研究、生物育种、新材料研发等需求，而知识融入这些专业性强的AI4S领域中尤为突出。为此，将大模型打造为知识工厂，研究服务于科学家的知识自动化方法，将是推动高效AI4S的重要保障。

在深度学习之前，依赖于人类的特征工程在AI研究中起着决定性的作用。特征工程既费时又低效，而深度学习解决了这个问题。深度神经网络能够自动、准确、高效地提取特征，由此，端到端学习模型越来越受欢迎。然而，在某些应用中，人扮演着重要的角色，如提出要求、设定目标、提供知识、实施控制、执行评估等。因此，端到端学习不是最终目标，不能简单地将人类从机器学习过程中移除。人类在环（human-in-loop）模式的价值在ChatGPT的成功中显而易见，其中来自人类反馈的强化学习（RLHF）发挥了关键作用。

除以上因素之外，开展AI4S研究的组织方式也是不可回避的重要问题。当前，国际上多种针对产品开发的DAO（分布式开放自主组织）和针对基础研究的DeSci（分布式开放科学运动）正蓬勃兴起，特色就是利用智能科学与技术（IST），基于区块链和智能合约的数字组织和数字治理。ChatGPT的诞生本质上也是得益于这种模式，DeSci和DAO也值得我们关注。