中德人工智能比較

德國遠遠落後於中國

其實，在為人工智能做出重大貢獻的研究項目中，並不乏德國科學家的身影。然而，德國國有復興信貸銀行(KfW)在一份最新的分析報告中指出，在將科研成果轉換為實際應用方面，德國卻明顯落後於美國、中國等AI領跑者，而且差距還在持續拉大。KfW首席經濟學家科勒-蓋卜(Fritzi Köhler-Geib)指出：“和許多其他科技領域一樣，在AI方面，我們德國難以將科研成果轉化為企業可以應用的產品。”

根據KfW的調研，德國進口的人工智能相關產品和服務數量遠遠超過出口量，這造成了德國各界越來越依賴少數幾家強大外資企業的AI服務，引發外界對德國未來競爭力的擔憂。科勒-蓋卜在接受德國之聲採訪時表示，在人工智能應用方面，其他國家的步伐更快，“我們必須確保德國不至於落後太多。”

人工智能的研究至少可以上溯至50年代，但在很長一段時間裡，它被認為是在現實世界中不會立刻得到應用的所謂“藍天科研”。大約20年前，隨着新技術的快速發展、尤其是算力的突飛猛進，AI開始走出實驗室，越來越貼進日常生產和生活。如今，ChatGPT等諸多AI應用已經成為文本創作、圖像生成、甚至編寫程序的重要工具。

然而，德國科學家為AI科技發展做出的巨大貢獻，卻因官僚主義以及投資環境欠缺而難以轉化為推動現實世界前進的AI應用。

更為嚴重的是，德國科研機構如今提交的新AI專利數量也遠遠落後於美中等國。與本世紀初相比，中國在AI領域的專利申請數量增長了100倍，德國同期僅增長了3倍。目前，德國在全球人工智能專利註冊中所占份額僅為6%，遠遠落後於中國的29%和美國的27%。科勒-蓋卜指出，專利數量被視為創新的關鍵指標，“而我們德國在這個領域的進口遠遠多於出口，中國則在AI領域擁有顯著的順差。”

柏林應用科學技術大學(BHT)的AI專家洛瑟教授(Prof. Alexander Löser)也有着相似的擔憂。他在接受德國之聲採訪時警告說，在基於機器學習的人工智能產品方面，德國越來越只能充當客戶的角色。“這些產品大都來自歐洲以外的國家，主要是美國，但是來自沙特阿拉伯、阿聯酋、中國的也越來越多。”

洛瑟指出，德國無法留住最優秀的AI人才，加劇了德國的AI頹勢。“德國的許多高校都從事出色的研究，培養出了高品質的人才，但其中相當一部分後來選擇出國就職。”

此外，歐盟對數據的嚴格監管也使本土企業處於不利境地，畢竟當今的大多數AI應用都需要大數據來驅動。洛瑟警告說：“歐盟監管正在推高我們本地人工智能生態系統獲取訓練數據的成本。”他建議德國應當創設開源數據集用於商業用途，“這應當是反映我們文化價值觀的高品質數據。”

德國國有復興信貸銀行(KfW)也在其分析報告中強調了“充分獲取AI訓練數據”的緊迫需求。為了避免在AI競賽中掉隊，德國還需要加大投資從而促進AI研發，並且增加學生和從業人員的相關培訓機會。

中國的ChatGPT, 算法……

自2022年11月起，ChatGPT掀起新一輪AI全球浪潮。ChatGPT因其能夠進行多輪對話、承認錯誤、反駁錯誤前提和拒絕回答不恰當的問題而享有盛譽。ChatGPT在回答問題的準確性和邏輯完整性方面超越了現有的聊天機器人，在遵守道德、倫理、法律方面也有很好的表現。ChatGPT是OpenAI近年來研發的一系列GPT模型在對話場景的實例，有3個技術特徵。

（1）ChatGPT基於大規模預訓練語言模型，即著名的GPT-3系列（GPT-3.5）。在過去的幾年裡，大規模的預訓練模型發展迅速。大規模預訓練模型通過學習大量的公開數據，將學習到的知識存儲在大規模參數之中，不斷刷新多個領域中多數任務的最高性能紀錄，是通向通用人工智能的可行路徑。

（2）ChatGPT使用人類反饋強化學習（RLHF）在GPT-3.5上進行微調。微調是包含2個數據集的過程，共有3步：第一步，由2個AI訓練師基於給定採樣提示（prompt）通過對話生成人類演示數據集，用於GPT-3.5微調訓練，結果稱為有監督微調模型（SFT）。第二步，通過AI培訓師和聊天機器人之間的對話收集比較數據集，對SFT模型輸出的多個結果，由AI培訓師給出從最好到最差的打分排序。之後，用這個排序數據集訓練強化學習的獎勵模型，此過程也是有監督的方式。第三步，使用近端策略優化院刊539人工智能驅動的科學研究新範式：從AI4S到智能科學（PPO）算法，由獎勵模型生成reward，通過強化學習進一步微調SFT模型。第二步和第三步重複多次，最後得到PPO模型，即ChatGPT。

（3）GPT模型按照“開發-部署”的理念迭代完善。將初步開發完成的模型部署上線，為用戶提供測試服務，由此收集用戶與模型的交互數據作為進一步優化模型的基礎。開發（學習）和部署（應用）形成閉環，這種迭代優化策略在降低語言模型誤用風險方面起着至關重要的作用。

ChatGPT範式再次展示了預訓練大型模型的強大功能，凸顯了人類在引導大模型遵循人類規則方面的重要作用。由此可見，針對大模型的微調、上下文學習、指示學習、提示學習是AI的重要研究方向。

AI本身的研究範式也在不斷轉變。自AI誕生之初，人們基於幾個基本假設（如獨立同分布、Markov屬性等），使用初級方法（如Perceptron等）解決簡單的問題（如簡單的二元分類、回歸等），並由此產生了3種基本範式——監督學習、無監督學習和強化學習。但面對複雜問題時，這些基本範式存在局限性。因此，隨着新的算法（BP算法、分層訓練等）和模型（CNN、長短期記憶人工神經網絡LSTM等）的出現，AI逐漸發展出主動學習、遷移學習、終身學習等新範式。近年來，AlphaGo和ChatGPT等前沿進展以其革命性的成就引領了新一輪的範式轉變。從範式轉變的角度看待人工智能的發展，對促進探索AI4S創新應用具有重要價值，為此，以下從算法、模型、數據、知識、人的角色等方面進行分析。

算法是人工智能的基石。典型AI新範式中使用的算法不僅限於機器學習，還涉及整個人工智能領域，包括搜索和推理。例如，AlphaGo的主幹是蒙特卡洛樹搜索（MCTS）算法。近年來出現的新算法，例如受熱力學啟發的擴散模型（Diffusion Model），在AI生成內容（AIGC）領域顯示出巨大潛力。由此可以看出，Science for AI對AI算法創新也具有重要意義，應得到同AI4S一樣的重視。

機器學習模型的創新是推動人工智能發展的核心要素。尤其是神經網絡新架構：從M-P模型到Perceptron，從LeNet到ResNet，從LSTM到Transformer。AlphaGo以CNN為主幹網絡，用於提取棋局特徵、輔助走棋決策和棋局評估。AlphaFold 2用Transformer（EvoFormer）替換CNN模型，這是其性能相比第一代有巨大提升的主要原因之一。ChatGPT建立在基礎模型（GPT-3）之上，充分利用了大規模預訓練語言模型的力量。利用大模型的規模效應，研究利用prompt等方法引導大模型釋放內在能力，是AI4S重要方向之一。

數據是深度學習的三大核心驅動力之一，但存在標籤數量少、標註成本高、分布不平衡、隱私保護等問題。主動學習、溯因學習、對比學習、平行學習和遷移學習等學習範式，能夠在一定程度上克服數據標註的不足；而多任務學習、遷移學習、元學習和終身學習，在一定程度上能克服不同任務之間存在數據不平衡問題；聯邦學習可用來解決數據安全和隱私問題。

新範式在數據的使用方面有更多亮點，Syn2Real和Sim2Real等數據生成方法得到越來越多的重視。例如，AlphaGo首先在人類棋局上訓練策略，通過自我對弈產生更多的數據來訓練更強大的策略網絡，進而產生更多的數據來訓練強大的價值網絡。AlphaFold充分利用遺傳數據和結構數據，還通過自蒸餾的方式使用未標註數據來彌補標註數據的不足。ChatGPT使用人類的演示數據來微調GPT-3.5，並通過prompt在聊天機器人和AI訓練師之間生成更多的數據，進一步訓練獎勵模型將數據生成過程自動化。這些範式具有一個共同特徵，即它們在缺乏標記數據時嘗試生成數據以提高性能。

AI基本範式很少顯式引入知識，但在模型設計（如CNN）時引入的偏差（bias）也可以看作是先驗知識。中級範式通常有3種引入知識的方式：①直接（如主動學習）或間接（如課程學習）通過學習策略的設計來提高學習性能；②使用從先前任務或其他任務（數據）中學到的知識來幫助新的學習任務。例如，多任務學習、遷移學習、元學習、平行學習等；③整合上述2種方法，設計並維護一個專門的知識庫來輔助學習過程。例如，終身學習和溯因學習等。

目前，大多數機器學習範式都採用知識的嵌入表示，以便將知識融合到學習過程中；但其中有2個例外，即終身學習和歸納學習，它們具有獨立的知識庫。我們還發現反饋對於學習中的知識獲取、整合和自動化至關重要。高級範式高度依賴知識，例如，AlphaGo首先利用人類棋手的經驗（可看作一種知識）訓練策略網絡，然後利用圍棋規則（也是一種知識）通過強化學習改進策略，進一步通過自我對弈生成大量棋局。AlphaFold整合了生物學家的發現，以及來自遺傳學、數學和化學領域的知識，這種高級範式是知識密集型的代表，為AI4S的進一步研究提供重要參考。ChatGPT的基礎是大規模預訓練語言模型（GPT3），可以看作是從海量數據中提煉出來的隱性知識庫，而提示工程（prompt engineering）是引導大模型生成內容並對齊到人類會話風格、倫理和規範的過程。

運用知識的能力很大程度上決定了學習能力。然而，將知識整合到機器學習的過程中具有很大挑戰，知識的獲取、表示、集成、利用等環節通常需要人類的參與。“人工智能驅動的科學研究”專項部署強調圍繞藥物研發、基因研究、生物育種、新材料研發等需求，而知識融入這些專業性強的AI4S領域中尤為突出。為此，將大模型打造為知識工廠，研究服務於科學家的知識自動化方法，將是推動高效AI4S的重要保障。

在深度學習之前，依賴於人類的特徵工程在AI研究中起着決定性的作用。特徵工程既費時又低效，而深度學習解決了這個問題。深度神經網絡能夠自動、準確、高效地提取特徵，由此，端到端學習模型越來越受歡迎。然而，在某些應用中，人扮演着重要的角色，如提出要求、設定目標、提供知識、實施控制、執行評估等。因此，端到端學習不是最終目標，不能簡單地將人類從機器學習過程中移除。人類在環（human-in-loop）模式的價值在ChatGPT的成功中顯而易見，其中來自人類反饋的強化學習（RLHF）發揮了關鍵作用。

除以上因素之外，開展AI4S研究的組織方式也是不可迴避的重要問題。當前，國際上多種針對產品開發的DAO（分布式開放自主組織）和針對基礎研究的DeSci（分布式開放科學運動）正蓬勃興起，特色就是利用智能科學與技術（IST），基於區塊鏈和智能合約的數字組織和數字治理。ChatGPT的誕生本質上也是得益於這種模式，DeSci和DAO也值得我們關注。