機器學習算法的興起，可能是獨裁者已經等了太久的好消息。人工智能讓科技力量的天平開始倒向極權制度那一方：人類如果被大量數據淹沒，常常就會不知所措、開始犯錯；但人工智能在接觸大量數據之後，效率卻越來越高，人工智能似乎也傾向於集中信息與決策


　　老高按：關於信息技術飛速發展的利弊——是更有利於突破信息封鎖，還是有利於鞏固信息封鎖；是有利於民主，還是有利於專制？這個問題，二十年來一直橫梗於心，揮之不去，時時在想。十多年前，作家王力雄的小說《大典》在沒有出版之前就在朋友中流傳，我曾在我的博客上介紹了他為該書的序言，並在編者按中強調了作者所指出的可怕的轉折點——糟糕的是，我無論怎麼檢索，也找不到當時我寫下的文字了。我只記得大意是說：
　　過去獨裁統治者面對被統治民眾的反抗，最大的難題是“以少對多”。他們顧此失彼，十個指頭按不住十一個、十二個乃至更多跳蚤。最終他們的專制統治，會毀於他們意想不到、更顧及不到之處。但是，獨裁者掌握高科技算法、大數據之後，就解決了“以少對多”的難題，他們的專制統治得到了決定性的鞏固和加強……
　　王力雄那部小說，後來出版了，網上也能找到。我沒有機會再讀，不知後來是否有改動。但他當時的這個可怕的預言，十多年來不斷被學者們和藝術家們注意到，更不斷被眾多中國和西方的事例所印證。今天我推薦以色列歷史學家尤瓦爾·赫拉利新著《智人之上》的一節，也涉及這個話題，令我驚喜的是，重點不在獨裁統治者和被統治者的對抗，而在獨裁統治者自身陷入的困境。


　　人類若要對抗人工智能，最弱的一環大概就是獨裁者

　　尤瓦爾·赫拉利，轉自“勿食我黍”公眾號，2024年9月18日

　　本文選編自《智人之上：從石器時代到AI時代的信息網絡簡史》
　　作者：尤瓦爾·赫拉利（Yuval Noah Harari）
　　耶路撒冷希伯來大學歷史系教授、劍橋大學存在風險研究中心特聘研究員


　　說到新計算機網絡的倫理與政治議題，討論常常集中於新計算機網絡會如何影響民主政權的命運。而專制與極權政權主要被用來當作反烏托邦的例子是“我們”人類如果沒有好好管理計算機網絡，“我們”可能走向的未來。但到2024年，“我們”人類其實相當部分的人口活在專制或極權政權之下，而且這些政權成立的時間多半是在計算機網絡興起之前。如果真的要了解算法與人工智能對人類的影響，除了該問它們會對美國與巴西這樣的民主政體有何影響，也得看看它們對那些專制政體有何意義。
　　前現代時代由於信息技術的限制，不可能出現大規模民主或大規模極權。不論是中國的漢朝還是18世紀沙特阿拉伯的德拉伊耶酋長國，這樣的大型政體通常都屬於有限的專制政體。到20世紀，新的信息技術讓大規模民主與大規模極權都得以興起，但此時的極權有一個嚴重劣勢：極權政權希望能把所有信息集中到一個中樞來處理。電報、電話、打字機與無線電等技術雖然有利於信息的集中，卻無法自行進一步處理信息、做出決策。這還只是人類有能力做的事。

　　《智人之上：從石器時代到AI時代的信息網絡簡史》
　　[以色列] 尤瓦爾·赫拉利著，林俊宏譯，中信出版集團，2024年9月
 

　　流向中心的信息越多，處理起來就越困難。極權統治者與政黨常常會犯下一些代價高昂的錯誤，而極權制度又欠缺發現並修正這些錯誤的機制。相較之下，民主制度是將信息（與決策權）分散到許多不同的機構與個人手中，不但能夠更有效率地處理大量數據，而且如果某個機構做了錯誤的決定，其他機構也可以提出修正。
　　然而，機器學習算法的興起，可能正是獨裁者們已經等了太久的好消息。人工智能讓科技力量的天平開始倒向極權制度那一方。就事實來說，人類如果被大量數據淹沒，常常就會不知所措、開始犯錯，但人工智能在接觸大量數據之後，效率卻常常越來越高。於是，人工智能似乎也傾向於將信息與決策都集中在一處。
　　目前即使是在西方國家，谷歌、臉書與亞馬遜等少數企業也在各自領域處於壟斷地位，一部分原因在於人工智能的天平倒向這些行業巨頭。
　　對餐飲這樣的傳統行業來說，規模算不上是壓倒性的優勢。
　　但在信息市場，事情就不一樣了。谷歌搜索引擎每天的使用人數為20億～30億，一天的總搜索量高達85億次。假設有一家本地的新興搜索引擎公司想要與谷歌競爭，只能說門兒也沒有。谷歌已經有了幾十億個用戶，這讓谷歌得以取得更多數據，把算法訓練得更好，於是又能吸引到更多的用戶，再用來訓練下一代的算法，就這樣不斷循環。因此，2023年穀歌在全球搜索引擎市場的占有率高達91.5％。
　　想想遺傳學的例子。假設幾個不同國家的企業都想研發出一套算法，找出基因與各種疾病的關聯。新西蘭的總人口為500萬，而且隱私法規嚴格，基因數據與醫療記錄不易獲取。中國有14.1億人，隱私法規也較為寬鬆。你覺得哪個國家的企業更有機會研發出一套遺傳算法？巴西如果打算購買一套遺傳算法，提供給國內的醫療保健體系使用，比起向新西蘭購買，它會有強烈的動機選擇準確度高得多的中國算法。如果這套中國算法又能用巴西超過2億人的數據繼續精益求精，品質就會越來越好，得到更多國家的青睞。很快地，全球大部分的疾病信息都會流向中國，進而讓這套遺傳算法完全沒有對手。
　　想把所有信息與權力都集中在一個地方，曾經是20世紀極權政權的致命弱點，但到了人工智能時代卻可能成為決定性的優勢。與此同時，我們前面也提過，人工智能還能讓極權政權建立全面監控制度，使人民幾乎不可能反抗。
　　對於這種極權傾向，有些人相信可以用區塊鏈技術制衡，畢竟區塊鏈在本質上有利於民主、不利於極權。要在區塊鏈系統做決策，需要得到51％的用戶的批准。雖然這聽起來很民主，但區塊鏈技術有一項致命缺陷，問題出在“用戶”這個詞。某人如果有 10個賬號，就會被算成10個用戶。如果政府控制了51％的賬號，就能自己構成51％的用戶。目前在區塊鏈網絡已經有一些例子，政府自己就是51％的用戶。
　　如果政府成為區塊鏈51％的用戶，它除了能控制區塊鏈的現在，還能控制區塊鏈的過去。從古至今，專制者一直都希望擁有改變過去的權力。羅馬皇帝就常常下令進行“記憶抹殺”──把對手與敵人從世人的記憶里抹除。例如皇帝卡拉卡拉，在暗殺了弟弟兼王位競爭對手蓋塔之後，就曾經試着抹除所有關於蓋塔的記憶。刻有蓋塔名字的銘文被鑿除，印有蓋塔肖像的硬幣被熔化，就連提到蓋塔的名字都會被判死刑。一幅在那個時代倖存下來的畫作《塞維魯一家圓形畫》，繪製於兩兄弟的父親塞普蒂米烏斯·塞維魯統治期間，原本畫了塞維魯、蓋塔兩兄弟，以及兩兄弟的母親尤莉亞·多姆娜一家四口。但後來，蓋塔的臉不但被削掉，還被抹上排泄物——在原本該是他臉部的位置，法醫發現了乾燥的糞便碎屑。
　　至於現代的極權政權，同樣對於改變過去樂此不疲。這樣大規模的記憶抹除，在當時要耗費大量人力，但在區塊鏈上，要改變過去就容易得多了。政府只要控制了51％的用戶，輕輕一按，就能讓某些人從歷史中完全消失。

　　機器人程序的監獄

　　雖然人工智能有許多方面有利於中央集權，但專制與極權政權在人工智能面前也並非無往不利。首先，獨裁政權並沒有控制非生物行為者的經驗。專制信息網絡是以恐怖統治為基礎的，但計算機並不怕被關進監獄或被殺。要是某國互聯網上有一個聊天機器人程序提到該國在他國犯下的戰爭罪行，講了一個會冒犯該國領導人的笑話，又或者批評了該國的某個政黨多麼腐敗，該政權能對這個聊天機器人程序做什麼？特工沒辦法把這個程序關起來，沒辦法折磨它，也沒辦法威脅它的家人。該國政府當然能夠封鎖或刪除這個程序，並且試着去找出並懲罰寫出這個程序的人，但總之要比平常教訓人民困難多了。
　　過去，計算機還無法自行生成內容，無法進行有智能的對話，比如在VKontakte和Odnoklassniki這些社交平台上，只有人類有能力提出對政府的異議。然而，如果網絡空間被塞進了幾百萬個機器人程序，都能生成內容、進行對話，還能自行學習與發展，情況將會如何？這些機器人程序的設計者可能是外國人士或異見分子，希望傳播不同於官方的想法，而且當局對此或許無計可施。就當局的立場而言，如果在授權機器人程序運作之後，這些程序收集了關於該國現狀的各種信息，找出其中的模式，並逐漸自行發展出與政府不同的觀點，情況豈不是更糟？
　　這就是一種一致性問題。雖然人類工程師可以盡最大努力打造出向政府看齊的人工智能，但鑑於人工智能具有自我學習與改變的能力，難保哪天走向政府不樂見的方向。特別有趣的一點在於，正如奧威爾在《一九八四》所解釋的，極權信息網絡常常都需要依賴雙言巧語，例如一些極權國家的憲法會做出許多崇高的承諾，比如：“人人均應享有思想及言論自由”“人人均應享有尋求、接收、傳遞、生產與散播信息的自由”“大眾媒體之自由應受保障，不得實施審查制度”等等，但幾乎沒有人會天真到相信這些承諾的字面意義，而計算機並不懂這樣的雙言巧語。如果要求聊天機器人程序遵守極權國家的法律與價值觀，它可能會在讀了憲法之後，認定言論自由是該國的核心價值，而在該國的網絡空間待上幾天，觀察整個國家信息領域發生的種種事情之後，這個聊天機器人程序就可能會開始批評該國的政權違反了言論自由這項核心價值。人類雖然也會注意到這些矛盾，但會因為恐懼而不敢明說。聊天機器人程序卻是看到什麼說什麼，哪有什麼不敢說的呢？人類工程師該怎樣才能向聊天機器人程序解釋，雖然憲法明文保障每位公民的言論自由，禁止實施審查制度，但聊天機器人程序其實不該相信憲法，也不能提理論與現實之間的差距？就像曾經有人跟我說的：在極權國家長大的人，相信問題會帶來麻煩；但在訓練算法的時候，如果要它相信“問題會帶來麻煩”這種原則，算法又要怎麼學習與發展？
　　最後，政府如果採取了某項極為失敗的政策，後來又改變心意，常常就會把失敗推到別人頭上，掩飾自己的過錯。而人類又常常是經過慘痛的教訓，才能學會忘記那些給自己找麻煩的事實。但我們要怎樣才能訓練聊天機器人程序，要它趕快忘記那些今天被批得一文不值，但在短短一年前還是國家官方立場的政策？這將是極權政權難以應對的重大技術挑戰，特別是在聊天機器人程序越來越強大，也越來越不透明的情況下。
　　當然，民主政權也會有類似的問題，聊天機器人程序可能會說一些政府所不樂見的話，或者提出一些危險的問題。如果微軟或臉書工程師已經盡了最大努力，聊天機器人程序卻還是散播種族歧視的言論，該怎麼辦？民主政權的優勢，在於就算真的遇上算法不受控制的情況，處理起來也能夠較有餘裕。因為民主政體“藏在柜子裡的骷髏”可能會少一些，所以就算碰上反民主言論，大體上也能夠包容。但極權政權簡直就像在柜子裡藏了整個見不得光的墓園，因此完全無法承受任何批評，這種時候，會提出異議的機器人程序就會形成極為嚴重的挑戰。

　　算法的傀儡

　　長期而言，極權政權還可能遇上更大的危險：算法並不是僅僅批評這些政權，而是直接控制了這些政權。縱觀歷史，專制者最大的威脅常常來自下屬。第五章提到過，沒有哪個羅馬皇帝是被民主革命趕下台的，都是被下屬推翻或成了傀儡。要是21世紀的專制者把太多權力交給計算機，就有可能成為計算機的傀儡。獨裁者最不樂見的，就是創造出比自己更強大的或自己控制不了的力量。
　　為了說明這一點，請讓我以一個有點兒天馬行空的思想實驗為例，它有點兒像波斯特洛姆提出的“回形針啟示”的極權政體版本。
　　想象時間來到2050年，凌晨4點，獨裁者被“監控與安全算法”緊急叫醒：“偉大的領袖，我們遇上了一個緊急狀況。我通過計算幾萬億個數據，發現了絕對無誤的模式：國防部長打算在今早對您發動暗殺政變。暗殺小隊已經準備就緒，等他下令。但只要您一聲令下，我就會發動精準攻擊，將他肅清。”
　　“可是國防部長是我手下最忠誠的人，”獨裁者說，“他昨天還跟我說……”
　　“偉大的領袖，我知道他對您說了什麼，這世上沒有什麼話是我沒聽過的。但我也知道他後來對暗殺小隊說了什麼，而且我一直在數據中發現令人不安的模式，已經追蹤了好幾個月。”
　　“你確定你沒有被深度偽造的數據矇騙嗎？”
　　“恐怕我所依據的數據都是百分之百真實的，”算法說，“我使用專門的深度偽造檢測子算法檢查過。雖然我可以詳細解釋為什麼我知道這些不是深度偽造的數據，但可能得花上幾個星期。要不是已經確定，我絕不想驚擾您，但所有數據都指向一個絕對的結論：一場政變就在眼前。除非我們現在採取行動，否則暗殺小隊一小時後就會抵達。但只要您下令，我就會肅清叛徒。”
　　獨裁者讓監控與安全算法擁有這麼大的權力，這讓他進退兩難。如果他不相信算法，就可能被國防部長暗殺；如果他相信算法、肅清國防部長，就成了算法的傀儡。要是有人想對算法不利，算法也很清楚怎樣操弄他來先下手為強。請注意，這一切並不代表算法需要有意識。就像波斯特洛姆的回形針思想實驗所顯示的——也像是GPT-4會對跑腿兔網站（TaskRabbit）的打工人員小規模地撒謊——算法就算沒有意識，不會像人類一樣貪婪或自私，也可能會試着抓住權力，操弄他人。
　　要是算法真的能發展出以上假設的這些能力，獨裁政權成為算法傀儡的風險其實遠高於民主政權。在美國這樣的分布式民主體系中，人工智能再不擇手段也很難奪權：就算學會了如何操弄美國總統，還是得面對國會、聯邦最高法院、州長、媒體、各大企業和各種非政府組織的反對。舉例來說，如果參議院阻撓議事，算法能怎麼辦？
　　國家的權力如果高度集中，奪權的難度就低得多。如果所有權力集於一人之手，只要控制了專制者的親信，就等於控制了專制者，也就等於控制了整個國家。只要學會操控一個人，就能成功劫持整個體制。一個典型的例子就是羅馬皇帝提比略成了禁衛軍隊長塞揚努斯的傀儡。
　　所有獨裁者都要維持一種很脆弱的平衡：既要把所有信息集中在一處，又要小心讓自己成為各種信息通道的唯一交會點。要是信息通道交會在其他地方，那裡就會成為真正的權力樞紐。如果政權仰賴的是人類（如塞揚努斯與馬克羅），高明的獨裁者就能操弄他們互相對抗，而讓自己穩居高位。如果政權仰賴的是一套力量強大且高深莫測的人工智能，所有信息都由人工智能來收集與分析，人類獨裁者就有可能直接失去一切權力。這位獨裁者就算依然身在首都，也像是被隔離在一個數字孤島上，只能受到人工智能的控制與操弄。

　　獨裁者的困境

　　比起成為算法的傀儡，接下來幾年裡，這個世界上的獨裁者還會碰上更迫切的問題。目前的人工智能系統還沒有大規模操控政權的能力，但極權政權已經出現了太過信任算法的危機。民主政權假設任何人都可能犯錯，而極權政權假設自己永遠是對的。基於這種假設而建立起的政權，相信有絕對正確的天才存在，也不樂見創造出強大的自我修正機制，用以監督那位天才。
　　到目前為止，這些政權相信的都是由人類組成的領導人，也是培育個人崇拜的溫床。未來，這樣的極權傳統也使這些政權做好另一種準備：相信有絕對正確的人工智能。這不只會給這些政權的公民帶來災難，還可能波及世界其他地區。要是某個負責環境政策的算法犯了離譜的錯誤，又沒有自我修正機制能夠發現並修正這個錯誤，事情會如何發展？要是某個負責國家社會信用體系的算法犯了離譜的錯誤，除了開始恐嚇一般大眾，甚至還開始恐嚇執政黨成員，把所有質疑算法所制定的政策的人都貼上“人民的敵人”這個標籤，事情又會如何發展？
　　獨裁者無法擺脫的問題，就是自我修正機制薄弱，以及下屬尾大不掉的威脅，而人工智能的興起又可能讓這些問題變得更為嚴重。對獨裁者來說，計算機網絡帶來的其實是一個令人無比苦惱的兩難困境。獨裁者如果想要擺脫尾大不掉的人類下屬，可以選擇信任理論上絕對正確的信息技術，但這種時候，他們就可能成為信息技術的傀儡。如果獨裁者想要建立一個人類機構來監督人工智能，就得小心這個機構對獨裁者的權力造成限制。
　　即使全球只有極少數獨裁者選擇信任人工智能，也可能對全人類造成深遠影響。科幻小說里常常會出現人工智能不再受控，進而奴役或消滅人類的場景，而且多半把背景設在民主資本主義的社會。這點也不難理解，畢竟民主國家的作家對自己的社會更感興趣。然而，人類如果要對抗人工智能，裡面最弱的一環大概就是獨裁者。人工智能如果要奪取權力，最簡單的方法不是逃出製造科學怪人的實驗室，而是趕快去討好偏執的提比略。
　　這種說法並不是預言，而是提出一種可能。


　　近期文章：

　　同窗說：民主黨輸了，我贏了一百美元：川普為何會捲土重來
　　為什麼我們必須重新思考社交媒體上的言論自由
　　俄烏那片地方確實麻煩，川普是不是一把能斬亂麻的快刀？　　
　　多數美國人願意再給川普一次機會，“是在拿未來賭博”　　
　　投票截止日：說一說與大選看似無關、其實有關的歷史數據
　　大選倒計時最後一天：假信息意在引發美國公眾的信任危機
　　大選倒計時第二天：美國夢還是美國噩夢的抉擇前夕
　　大選倒計時第三天：美國近一半選民眼中的二號公敵
　　大選倒計時第四天：有點同情特朗普的“跟班”萬斯
　　大選倒計時第五天：一位華人計票員苦思如何對選票動手腳
　　大選倒計時第六天：誰當選總統能拯救美國的保守主義
　　大選倒計時第七天：全球第三波威權化回潮中的美國大選