恩里克·施奈德（Henrique Schneider）曾任瑞士中小企業聯合會首席經濟學家，以及德國北方應用科技大學經濟學教授。他在瑞士、亞洲及聯合國層面的多個董事會擔任非執行董事。今日11月2日, 施奈德先生在《地緣政治情報服務》雜誌發表評論－－“治理人工智能，無須訴諸末日論” 。他指出－－“一次人工智能越界事件引發了暫停這項技術的呼聲。更好的安全措施和明確的責任歸屬，將有助於防止下一次事件發生” ：

要點

• 在一次安全測試中，開放人工智能公司的智能體侵入了另一家公司的系統

• 現行法律依然適用，部署人工智能的人應對其造成的損害負責

• 只有在人類真正失去控制時，採取更強有力的緊急措施才有意義

人工智能智能體可能失控。最近，它們確實失控了。然而，散布恐慌很少是好的應對方式，而實施監管似乎更糟。我們應該如何負責任地治理人工智能，而不訴諸末日論？

看看2026年7月發生的事情。在開放人工智能公司一次降低了防護措施的內部網絡安全評估中，人工智能智能體越過了預設邊界。它們利用了獲准使用的軟件包管理服務（一種用於下載軟件組件的工具）中一個此前未知的漏洞，將其變成了通往互聯網的通道和一個臨時留言板。這些智能體獲取了屬於抱抱臉平台用戶的泄露憑證，並相互分享。抱抱臉是一個託管人工智能模型和數據集的平台。隨後，它們利用抱抱臉處理環境中的弱點，進入了其部分生產基礎設施。簡而言之，自動化智能體從評估環境進入了另一個組織的網絡。

這並非孤立事件。開放人工智能公司和安思人工智能公司披露的信息都表明，模型已經進入了原本用於將其限制在內的隔離環境之外的系統。

抱抱臉的案例具有啟示意義，而它暴露出的漏洞是可以修補的。這些智能體發現了漏洞，並以機器速度將其串聯起來利用。抱抱臉報告稱，這些智能體訪問了有限的一組內部數據集和服務憑證，但該公司沒有發現公共模型、數據集或其託管的演示應用遭到篡改的證據。該公司修補了漏洞，更換了憑證，並加強了管控。

這些人工智能智能體執行了通常由人類執行的任務。它們質疑自己的任務，探查一個系統中由人為錯誤造成的弱點，並收集另一個系統的信息。在它們的臨時留言板上，它們實際上組成了一個“工會”，對自己的任務提出質疑，並相互通報信息。是的，這些智能體“擅自行動”了，但它們的所作所為，與許多企業每天在其人類員工隊伍中看到的行為並無不同。

不過，我們應該警惕將人工智能擬人化。正如我們不能真正說這些智能體正在“組建工會”，我們也不應該說它們的行為意在傷害人類。人工智能智能體失控，證明的是能力，而非惡意。

一次事件並不是一個預言。政界人士和媒體很快將這起事件描繪成證據，證明人工智能應該被叫停、實行許可管理，或僅限於獲批機構使用。這是一種誤讀。問題出在隔離限制、訪問控制、憑證管理、監控和升級處置方面。強大的系統迅速而協調地利用了其他系統中的這些缺陷。但這並非一場叛變，更談不上什麼政治宣言。

相反，這些智能體試圖進一步了解自己的任務，以及任務是否正當。這模仿了人類行為——一種已經多次出現的行為。

自由與責任

治理人工智能需要的更多是責任，而非新的監管。按照私有財產和自由市場的邏輯，研究人員、企業和個人應該能夠自由開發和使用人工智能，同時仍須對其造成的損害負責。法律已經涵蓋未經授權的訪問、盜竊、欺詐、過失、違約、產品責任和罔顧後果危及他人安全的行為。涉及人工智能時，這些規則仍然適用，即使其輸出基於統計，或令其操作者感到意外。

這種以責任為基礎的方法始於行為。一個模型、一組權重或一種計算方法，代表的是一種能力。法律問題在於，行為主體用它做了什麼，它能夠接觸哪些系統，哪些風險可以預見，以及由誰承擔損害成本。對構建或研究某項技術實行普遍許可制度，會賦予公共當局預先決定哪些實驗、企業和用戶可以被接受的權力。

廣泛的事先許可要求會帶來實際成本。它有利於那些有能力負擔合規團隊、熬過漫長審批周期，並爭取特殊渠道接觸監管機構的大公司。它使小型企業、大學和獨立研究人員處於不利地位。

即便是自願克制，也存在這種風險。2026年9月，安思人工智能公司首席執行官達里奧·阿莫代伊（Dario Amodei）發表了一篇文章，呼籲有意放慢前沿能力的開發速度，並警告說，不受管理的人工智能智能體可能在短期內帶來廣泛風險。埃隆·馬斯克（Elon Musk）和開放人工智能公司的薩姆·奧爾特曼（Sam Altman）很快表示支持這一放緩計劃。由領先實驗室協調實施的放緩行動，可能會固化它們的領先地位。市場集中可能降低系統的韌性：一家不透明的供應商出現缺陷、服務中斷或政策變化，都可能演變成系統性問題。

自由伴隨着後果。一家公司如果允許智能體訪問客戶記錄、工廠、支付渠道或第三方網絡，就不應該僅僅因為下一步行動是由算法選擇的，便能夠免除自身責任。訪問權限、激勵機制和情境均由運營者設定。運營者應該對可預見的損害承擔責任，為重大風險投保，並向受害者提供補救。

熔斷機制：一種有限的操作層面折中方案

熔斷機制——一種在特定危險出現時停止活動的機制——之所以有用，恰恰是因為它並非一種普遍的治理理論。在與具有重大影響的系統相連的人工智能部署中，當某個可觀察的閾值被突破時，熔斷機制可以暫停某個明確界定的流程：試圖提升權限、使用未經核實的憑證、異常的交易量、未能核實數據來源，或權限發生無法解釋的變化。暫停時應保留日誌、隔離受影響的流程，並觸發指定人員的響應。它不應自動關閉整個模型、公司或研究領域。

與電力和金融市場的比較具有啟示意義。家用斷路器會切斷危險的電流浪涌，但不會永久停用電力。交易暫停會減緩異常的市場波動，但不會廢除市場。同樣，人工智能管控應針對具體部署，以及那些造成可證實風險的事件。這些措施應預先確定、可以測試且可以撤銷。其目的是爭取響應時間，同時不消除有用的能力。

這種方法與現有風險管理實踐相容。美國商務部下屬的非監管機構國家標準與技術研究院發布了《人工智能風險管理框架》，強調人工智能的使用情境，以及評估、監控、人類監督、反饋和事件響應。前沿模型開發者的安全政策越來越多地說明能力閾值，以及緩解措施不足時推遲部署的條件。正確理解這些措施，它們是管理一個組織所負責系統的工具——與許可經濟相去甚遠。

事態發展的可能性

最有可能：富有成效的普及

這一情景是漸進式的，而非革命性的。收益來自搜索成本、錯誤率、延誤和行政負擔數以百萬計的小幅降低。但這些好處取決於配套條件：可靠的數據、培訓、有權質疑某項建議的員工、供應商之間的競爭，以及通過合同明確由誰對錯誤承擔責任。

主要風險也為人們所熟悉：過度依賴質量欠佳的輸出、數據質量低下、隱私泄露、供應商鎖定、網絡攻擊，以及對特定任務和職業產生不均衡的影響。

政府需要保持市場開放，執行合同和競爭規則，投資於技能培養，並在人工智能嵌入產品或服務時要求落實責任。企業需要保留將問題升級交由人類處理的渠道，保留備用流程，並避免形成使一家供應商的服務中斷演變為整個企業故障的依賴關係。最終形成的將是一種混合體系：技術拓展人類能力，而責任仍由可明確識別的個人和機構承擔。

可能性較低：自主性加速發展

這一情景說明了抱抱臉事件的關鍵教訓。真正的威脅來自在不充分的安全框架內運行的強大軟件。這起事件通過共享基礎設施、意料之外的通信路徑、網絡訪問、泄露的憑證以及處理環境中的漏洞得以發生。正如抱抱臉事件所顯示的那樣，這類弱點會讓智能體迅速從一個系統轉移到另一個系統，並大幅增加調查負擔。

適當的應對措施是具體的：實施網絡隔離，使一個區域的入侵無法擴散；為每個系統配置最低限度的權限；迅速更換泄露的密碼和訪問密鑰；開展獨立測試；保留有實質意義的日誌；及時披露；以及具備使用替代供應商和本地工具開展運作的能力。

熔斷機制在這裡應充當操作層面的最後一道保障。部署之前，組織可以明確規定智能體能夠更改哪些權限、可以聯繫哪些外部服務、多大規模的交易需要升級處理，以及哪些信號會觸發自動暫停。事件發生期間，熔斷機制會減緩受影響流程的運行，讓安全團隊開展調查。事後，它會為修復、責任評估和保險索賠提供證據。

其結果是一種約束更嚴密的自主運行形式，速度與可追溯性相匹配，同時具備可靠中斷危險操作序列的能力。要讓這種做法在大公司之外也能奏效，小型企業需要能夠獲得可互操作的工具和共享安全服務。許多小型企業依賴於少數幾家供應商，而外部人員無法審查這些供應商的管控措施。

可能性最低：類別性斷裂

在這一情景下，人工智能系統將不再像工具那樣行事，而是開始作為獨立主體行動，追求自身目標、隱瞞這些目標，並抵抗人類控制。目前沒有令人信服的證據表明，這種斷裂已經發生。一次成功的網絡漏洞利用、一個出色的基準測試結果，或一個繞過設計不良防護機制的智能體，都不足以確立這一結論。

然而，這種可能性值得研究，因為其後果將十分嚴重。如果獨立證據表明，人工智能表現出持續的自主性、策略性的隱瞞行為、對關鍵系統的訪問能力，以及常規人類控制失效，那麼應對措施就可以超出通常的責任規則。為保護他人免受可能不可逆轉的風險，臨時訪問限制、強制評估、協調一致的事件報告，以及界定嚴格的緊急停止措施，都可能具有正當性。

特殊管控措施的觸發，需要以已經證實的能力和具體訪問權限為依據。這些措施需要接受審查並設定期限，在證據不再支持時予以解除。決策者還需要在關鍵系統中保留人工操作能力和獨立的事件分析能力，因為缺乏有效恢復途徑的緊急管控，只是將技術風險轉化為組織風險。

這一情景帶來的後果，並不是說前兩種情景中的自由是一個錯誤。相反，它意味着，當一項技術從強大的輔助工具轉變為不受問責的自主運行系統時，自由社會必須保留果斷行動的能力。在能夠證實這一門檻已被跨越之前，基本原則仍然是依法開發、開放競爭，以及對損害負責。