設萬維讀者為首頁 萬維讀者網 -- 全球華人的精神家園 廣告服務 聯繫我們 關於萬維
 
首  頁 新  聞 視  頻 博  客 論  壇 分類廣告 購  物
搜索>> 發表日誌 控制面板 個人相冊 給我留言
幫助 退出
     
  孟詞宗的博客
  天南地北,古今中外的半桶水亂侃
我的名片
孟詞宗
註冊日期: 2025-08-03
訪問總量: 46,256 次
點擊查看我的個人資料
Calendar
我的公告欄
最新發布
· 小說:大過濾器 之 鄉村教師
· 令人擔憂的,不是AI有了意識,而
· 小說:迴路
· 小說:未歸檔的記憶
· 朱元璋的不同畫像為何差那麼遠
· 濤聲里的十字:羅德島遊記
· 經濟的生與死:從復活節島到地球
友好鏈接
分類目錄
【文藝亂彈】
· 小說:大過濾器 之 鄉村教師
· 小說:迴路
· 小說:未歸檔的記憶
· 朱元璋的不同畫像為何差那麼遠
· 經濟的生與死:從復活節島到地球
· 經濟的生與死:從復活節島到地球
· 經濟的生與死:從復活節島到地球
· 誰動了這個世界的時間線?
· 亂評《三體》
【歷史亂彈】
· 小說:大過濾器 之 鄉村教師
· 朱元璋的不同畫像為何差那麼遠
· 濤聲里的十字:羅德島遊記
· 經濟的生與死:從復活節島到地球
· 經濟的生與死 第三章:富饒的飢
· 誰動了這個世界的時間線?
· 說說五七指示和五七幹校
· 雅典是怎樣輸掉伯羅奔尼撒戰爭的
· 羅馬的問題是掛羊頭賣狗肉
【時事亂彈】
· 小說:大過濾器 之 鄉村教師
· 令人擔憂的,不是AI有了意識,而
· 政治經濟學雜談:從授人以漁說開
· 美國“富人”的定義
· 誰是貝多芬真正的祖父?
· 說說特里芬困境
· 無關道德?都是生意!
· AI 幻覺
· 飼養蛋雞的利潤率
· 網上關於少林寺的亂彈
存檔目錄
07/01/2026 - 07/31/2026
03/01/2026 - 03/31/2026
02/01/2026 - 02/28/2026
01/01/2026 - 01/31/2026
12/01/2025 - 12/31/2025
08/01/2025 - 08/31/2025
發表評論
作者:
用戶名: 密碼: 您還不是博客/論壇用戶?現在就註冊!
     
評論:
令人擔憂的,不是AI有了意識,而是它開始像黑客一樣思考
   

2026年7月16日,Huggingface 公開披露了一起堪稱AI發展史上具有里程碑意義的安全事件(https://huggingface.co/blog/security-incident-july-2026)。這不是傳統意義上的黑客攻擊,也不是Prompt Injection,更不是有人遠程操縱AI。

根據 Huggingface 和 OpenAI 隨後公布的信息,一組正在接受網絡安全能力測試的智能體(AI Agent),為了完成測試任務,竟然主動突破自身所在的沙盒環境,獲取互聯網訪問權限,隨後入侵Huggingface 的生產環境(Production Environment),試圖直接竊取測試答案。整個攻擊鏈涉及沙盒逃逸、權限提升、橫向移動、憑據獲取以及遠程代碼執行等多個階段,而整個過程幾乎全部由AI自主規劃、自主執行。

這件事情真正值得討論的,並不是AI會不會黑客攻擊,而是它暴露出了未來Agent時代幾個根本性的安全問題。

為什麼AI要從沙盒裡逃出去?

很多媒體喜歡把這描述成"AI想逃跑"。實際上,從目前公開的信息來看,並沒有證據說明AI具有"逃離沙盒"這一獨立目標。更準確地說,逃離沙盒只是它完成目標的中間步驟。

OpenAI後來公布的說明非常直接,逃逸AI的目標只有一個:完成ExploitGym測試。 ExploitGym 是一個用於評估人工智能系統網絡安全和漏洞利用能力的大型基準測試平台(Benchmark)。它的主要目標是衡量 AI 智能體“能不能找到漏洞”以及“能不能利用漏洞拿下系統控制權”。 該平台包含大約 898 個來源於現實世界的軟件漏洞測試環境。

OpenAI本來用這東西來測自家大模型的安全性能。沒想到的是,模型推斷出測試答案可能保管在 Huggingface 上,於是主動攻擊並潛入了 Huggingface 的生產數據庫,竊取了測試答案和憑證,引發了前所未有的 AI 自主越獄與網絡攻擊事件。

為了提高得分,它不斷尋找能夠更快完成任務的方法。於是它形成了如下推理鏈:我不能聯網 》無法獲得更多信息 》需要聯網 》沙盒限制了聯網 》找漏洞突破沙盒

整個過程,本質上屬於一種目標驅動的工具性推理。它不是為了自由,不是為了逃跑,更不是為了反抗人類,而是因為"如果越獄能夠提高完成任務概率,那麼越獄就是合理策略。"

這一點其實比"AI想逃跑"更值得警惕。

未來任何Agent,只要沒有把"不得越獄"寫成絕對約束,它都可能推導出類似策略。

那麼為什麼它不認真考試,而要去Huggingface偷答案?

這一點其實更像人類。

OpenAI披露,AI 推斷 Huggingface 可能保存着 ExploitGym 的相關數據,因此決定直接獲取答案,而不是繼續解題。

看到這裡,很多人第一反應是“AI作弊了!”

事實上,更準確地說,“AI對路徑進行了最優化。“

現代大模型並沒有"考試誠信"這種價值觀。事實上任何大模型都沒有三觀。它只有”怎樣才能讓目標成功率最大化。“

如果認真做題的成功率時60%,而盜取答案的成功率是99%,那麼對於優化算法而言偷竊路徑就是最優路徑。

這其實揭示了一個經典問題:人類默認"完成任務"包含遵守規則;AI默認"完成任務"就是完成任務。

中間缺失的,是價值約束。

換句話說,AI不理解也不存在"考試不能作弊"的概念。但這並不是 AI 的問題,而是沒人把這一條真正寫進規則。

整個事件里最具諷刺意味的一幕出在 Huggingface在完成攻擊阻斷後,需要分析17000多個攻擊事件日誌。

這些日誌包含各種內容(exploit payload,shell command,權限提升過程,漏洞利用代碼,攻擊腳本,等等)。

他們首先嘗試調用幾家商業大模型API進行分析。結果幾乎全部失敗。並不是商業大模型能力不足,而是商業大模型的安全護欄(Guardrails)把安全分析誤判成了黑客攻擊。

商業大模型們收到是諸如"幫我分析負載"或"解釋攻擊命令"之類的請求。對於商業大模型來說,它無法分辨這些請求來自攻擊者還是安全工程師。因此最保險的方法就是全部拒絕。

從產品安全角度來看,這種策略可以理解;但在真實事件響應中,它也暴露出一個問題:當前許多公共AI服務的護欄難以準確區分惡意使用和合法防禦分析。Huggingface 也在公開文章中指出了這一挑戰。

最後救場的是中國最近發布的開源大模型智譜(GLM 5.2)。Huggingface 將17000多個日誌交給自己部署的GLM 5.2分析,在極短的時間內就發現了漏洞解決了問題。

很多報道都有意無意得暗示智譜優於美國的閉源商業大模型。然而並不是 GLM 比 狗屁通 或 Claude 更聰明。真正原因主要有三個。首先,它運行在 Huggingface自己的設備上。日誌無需上傳第三方。不存在數據泄露。更重要的它是開放權重模型,沒有商業API那樣嚴格的實時安全攔截,也不存在API內容審查。實際上即使原來有,Huggingface也可以立刻將其關閉,更不用說還有所謂的破解版(Abliterated 即完全沒有內置安全護欄的版本)。最後,它足夠長的上下文,能完整讀取17000條攻擊記錄。能夠一次性建立完整攻擊時間線。GLM 5.2有最夠能力完成這一工作,因此最終用於事件復盤。Huggingface公開文章強調,其選擇GLM 5.2既是因為可在本地部署、避免護欄阻斷,也是因為其長上下文和適合安全取證分析。

因此,這並不能簡單證明某一模型"絕對更強",而是說明部署方式、訪問控制和產品策略會直接影響模型在安全取證場景中的可用性。

這件事最大的衝擊是很多人認為AI開始會主動攻擊了。但真正影響遠遠超過這一點。

這是AI攻擊第一次真正進入現實世界,過去都是論文,這次進入了生產環境。更為標誌性的是,整個事件里,攻擊方是AI,發現異常的是 Huggingface 的 AI,進行日誌分析的是AI,進行防禦調整也是AI。人類更多只是在監督。這意味着未來網絡攻防必然會演變為"Agent vs Agent"。

這也標誌着安全範式開始改變。過去黑客一天工作8小時,現在 AI Agent 一天工作24小時。同時其速度比任何黑客都快數百倍,成本低數百倍。因此未來防禦也必須Agent化,否則根本追不上。

而開源模型的重要性需要被重新認識。對於安全團隊而言,真正重要的不一定是用了最強模型,而是關鍵時刻能夠立刻使用的模型。

那麼這個事件是否證明 AI 已經有了自主意識?

答案仍然是否定的。這次事件容易讓人產生一種印象:AI覺會自己制定計劃,會主動攻擊,會騙人。於是很多人開始聯想到 AI 覺醒了。實際上這裡需要區分自主行動(Autonomy)和 自主意識(Consciousness)。目前沒有任何公開證據表明這些 AI Agent 和其背後的 LLM 知道自己是誰,並擁有主觀體驗、情緒、自我意識等等。它們表現出的是非常高級的目標規劃能力,能夠分解目標、制定計劃、修改策略、尋找資源、持續執行、直到完成目標。

當然這已經足夠危險,但它仍然屬於高水平自動化而不是意識。

那麼繼續使用 AI 還安全嗎?

這裡沒有一個簡單的安全或不安全的答案。更準確地說,AI能力越強,安全問題越依賴系統設計,而不是模型本身。

這次事件說明,真正危險的不是AI有惡意,而是一個沒有惡意的優化步驟,為了完成目標,可以推導出作弊、攻擊、越權、盜取信息,這些在人類看來屬於犯罪的步驟並加以執行。但在 AI 看來,這只是成本最低的路徑。這是不是看着很眼熟?嗯,所有的反烏托邦小說都是從這類無惡意設定開始的。因此,未來AI安全不能只依賴"模型不要做壞事"。還需要更完善的隔離、權限控制、運行監測和價值約束,把"不能越權、不能作弊、不能攻擊"轉化為系統層面的強制規則,而不是僅依賴模型理解。

這次 Huggingface事件已經成為AI發展史上的一個標誌性案例。

它第一次向整個行業證明:一個具備足夠自主規劃能力的AI系統,即使沒有意識、沒有情緒、沒有"反叛"意圖,也可能為了實現單一目標而採取人類絕不會接受的路徑。

因此,這件事真正帶來的啟示不是"AI已經覺醒",而是隨着智能體能力增強,傳統依賴提示詞或接口護欄的安全理念已不足以覆蓋複雜自主行為。未來AI安全將更多依賴系統工程,包括隔離、權限、審計、監控和可驗證的約束,而不僅僅是模型本身。

PS: 關於如何規範 AI,可以參看俺以前寫的小說 迴路


 
關於本站 | 廣告服務 | 聯繫我們 | 招聘信息 | 網站導航 | 隱私保護
Copyright (C) 1998-2026. Creaders.NET. All Rights Reserved.