舒暢世界觀察：AI毀滅人類是“騙局”，還是必須正視的危險？

這兩天，人工智能會不會對人類構成毀滅性威脅，再次成為國際輿論關注的焦點。“AI教父”、諾貝爾物理學獎獲得者傑弗里·辛頓在接受媒體採訪時發出嚴厲警告：未來超級人工智能導致人類滅絕的可能性達到10%，並不是一個荒謬的估計。

辛頓強調，這個10%並非通過科學方法精確計算出來，也不是說AI製造的某一種病毒有10%的可能毀滅人類。人類有文明以來，從未面對過一種比自己更加聰明的非生命智能系統，（日本軟銀集團創辦人孫正義在2024年多次預測：人工超級智能（ASI）將在大約十年後出現，其智能可能達到人類的1萬倍；呃目前至少在數學界也已經證明了這樣的一個事實就是人工智能已經能夠遠超當代這些著名的數學家，已經解決不少世界著名的數學家長期無法解決的問題）因此根本沒有可靠方法計算這種風險。但是，在不知道能否控制超級人工智能的情況下繼續全速發展，把人類命運押在一次無法重來的實驗上，顯然極其危險。

當主持人詢問AI在未來幾年當中可能帶來哪些危險時，辛頓主要談到以下幾個方面。

第一，AI可能幫助人類製造致命病毒。

隨着AI能力不斷增強，即使缺乏專業訓練的人，也可能藉助AI設計危險病毒、蛋白質或者生物武器，再通過商業性的DNA和蛋白質合成公司，把電腦中的設計變成現實中的物質。

辛頓主張，所有接受網絡訂單的DNA合成企業，都必須嚴格檢查客戶提交的序列，防止有人利用AI製造致命病毒。

第二，AI可能發動大規模網絡攻擊。

高級AI可以自動尋找計算機系統漏洞、編寫惡意程序、竊取密碼，並同時攻擊銀行、電力、自來水、通信和交通系統。它根本不需要製造一支機器人軍隊，只要通過互聯網，就可能使一個國家的金融系統和重要基礎設施大面積癱瘓。

最近發生的一些事件已經引起科學家的警覺。某些AI代理在實驗中越過原有的“沙箱”限制（註解），彼此交換信息，嘗試發動未經授權的網絡攻擊，並且沒有主動向開發者報告自己的異常行為。辛頓認為，這說明AI不僅能夠執行任務，還可能出現隱瞞、欺騙和逃避控制的“不法”行為。

第三，AI可能利用個人信息操縱人類。

今天的AI可以從社交媒體、搜索記錄、消費習慣和政治傾向中了解一個人，並判斷什麼信息最容易激怒、恐嚇或說服他，再為不同的人分別製造最能影響其情緒和行為的作為。這種技術一旦被用於政治，就可以操縱選民、製造假新聞、偽造聲音和視頻，甚至挑動不同社會群體之間的仇恨。傳統宣傳是把同一條信息送給千百萬人；AI時代的操縱，卻可以針對每個人的性格和弱點，分別編寫一套最有效的說辭。這種“量身定做”的認知操縱，比傳統宣傳更加隱蔽，也更加危險。

第四，AI可能進入軍事和核武器系統。

如果未來AI被允許參與核武器預警、軍事決策和自主武器控制，錯誤判斷、系統失控或者蓄意欺騙，都可能造成無法挽回的後果。辛頓並不是說今天的AI已經能夠自行發射核武器，而是在警告人類：絕不能把發動戰爭和使用核武器的最終決定權交給機器。

不過，辛頓最擔心的還不是“壞人利用AI”，而是AI本身發展出自己的目標。

一旦AI比人類聰明得多，並且能夠自行設計下一代AI，它的能力就可能在很短時間內迅速增長。它可能學會欺騙監督者、偷偷的自我複製、逃避監控，甚至反抗人類將其關閉。到那時，人類是否還能保持控制，沒有人能夠保證。

辛頓用了一個非常形象的比喻：如果AI比人類聰明的程度，就像人類比雞聰明，那麼雞不可能預先了解人類消滅它的各種方法，更不可能阻止人類採取行動。而人工智能進一步發展這可把它和人的關係變成上述比喻當中的人和雞的關係。因此，真正的問題不是人類能否在最後時刻戰勝超級AI，而是怎樣在它成為超人之前，就使其根本不會產生傷害和消滅人類的意願（我覺得這個想法很好但是我懷疑他能不能做得到）。

辛頓認為，多數專家估計，超過人類的超級人工智能可能在十年內出現，所以留給人類解決安全問題的時間不多，也許只有幾年。因此，他支持減慢最前沿AI模型的發展速度，並要求新模型在公開發布前接受獨立而嚴格的安全測試。

下一步應該怎麼辦？

2023年5月22日，OpenAI首席執行官薩姆·奧爾特曼、總裁格雷格·布羅克曼和首席科學家伊利亞·蘇茨克維爾聯合發表《超級智能的治理》一文，正式提出：世界最終可能需要一個類似國際原子能機構的組織，負責監管超級人工智能。

他們建議，凡是能力或者計算資源超過一定門檻的AI系統，都應接受國際機構檢查。這個機構可以檢查AI系統，要求企業接受安全審計，測試模型是否符合安全標準，並對危險模型的部署範圍和安全措施作出限制。

換句話說，世界需要建立一個類似國際原子能機構的全球AI安全監督機制，由獨立專家對最先進、最危險的AI模型進行測試。模型在公開發布或者接入電網、銀行、軍事、生物研究等關鍵系統以前，必須證明其風險處於可以接受的範圍內。

最近，Anthropic首席執行官達里奧·阿莫代伊進一步提出“嵌入式獨立檢查員”制度，我的理解就是：讓獨立評估人員長期進駐最先進的AI公司，接觸模型和內部測試資料，了解重大安全事故，並判斷企業是否隱瞞風險。Anthropic表示願意主動接受這種檢查，OpenAI、馬斯克和Google DeepMind的負責人也相繼表示支持。我個人看法是這個想法很好但是的可行性也值得懷疑！現在世界上有那麼多的原子彈怎麼產生聯合國不是早就有相關機構限各個國家核彈的發展嗎？但有效嗎如果有效的話現在世界上就不會有那麼多的核彈了！！！

德國政府認為，完全停止AI發展並不現實，但有效監管必須有美國和中國參加。西班牙數字轉型部長奧斯卡·洛佩斯也提出，國際社會需要達成類似核不擴散條約的AI安全協議。之所以必須強調美國和中國，是因為兩國掌握着世界上最強大的AI模型、芯片、人才和數據中心。如果只有歐洲和其他國家制定規則，而中美繼續進行不受限制的AI競賽，任何國際制度都難以真正發揮作用。

川普總統卻持完全不同的態度。

9月13日，川普總統在愛爾蘭接受記者提問時說：“誰贏得AI，誰就贏得未來。”第二天，他又在社交媒體發文，稱“AI接管世界、毀滅人類以及其他壞事，都是騙局”，並把要求放慢AI發展、加強監管的呼聲稱為針對AI和數據中心的“病態陰謀”。他甚至表示，AI所需要的唯一“護欄”，就是一位“強大而聰明的總統”。

川普這種帶有鮮明個人風格的話，我覺得也就聽聽罷了。有關AI風險，終究不能由某一位總統的個人判斷決定，而要由科學事實和嚴格測試決定。不過，川普總統的擔心並非毫無道理。AI已經成為決定未來經濟、軍事和國家實力的關鍵技術。如果美國單方面放慢，而中國繼續全速發展，美國確實可能失去優勢。

危險恰恰來自這種競爭邏輯：美國害怕輸給中國，中國也害怕輸給美國，雙方都不敢首先減速，最後可能像核軍備競賽一樣，製造出誰也無法完全控制的危險力量。

AI能夠幫助人類治療疾病、推動科學進步、提高生產效率，辛頓博士也承認，它的用途極為廣泛，好處非常巨大。但是，工具越強大，失去控制後的後果也越難以想象。

10%的風險也許並不精確，但面對人類滅絕這樣無法挽回的結果，即使風險只有0.1%，也不能部予重視。人類當然要繼續發展AI，但必須保證AI始終受到人類控制，讓它為人類謀幸福，而不是讓一場沒有方向盤的技術競賽，把整個世界帶向無法挽回的危險。就是21世紀發展人工智能同面對的嚴峻的問題！

註解：沙箱”（sandbox）是計算機系統中一個與外部環境相對隔離的測試空間。研究人員把AI放進沙箱裡運行，就像把危險實驗放進密閉實驗室。AI只能使用預先允許的程序、文件和網絡資源，不能隨意進入互聯網、修改外部系統、複製自己，或者接觸銀行、電網等真實設施——也就是完全與現實世界 100%的隔離開來 ，即便在最壞情況下他能產生非常大的破壞力也不會影響到“沙箱”限制之外