當AI無所不在時，社會將會變成什麼樣子？(zt)

編者按：最近幾年AI的發展速度很快，大家都在想象奇點到來後的樣子。機器人會不會具備自我意識？會不會有自己的權利？會不會當老大？關於AI統治的未來，Stephant Talty設想了5個場景，你覺得哪一種最有可能出現？

1956年6月，來自世界各地的幾十位科學家和數學家聚集到達特茅斯學院出席一場會議。其中的大多數人都住進了紅磚牆的漢諾威酒店，然後漫步在出名美麗的校園來到數學系的頂樓，在那裡一群身穿白襯衫的人已經就一個“奇怪的新學科”展開熱烈討論——實際上，這個學科是如此之新以至於甚至連名字都還沒有。其中一位科學家的遺孀Grace Solomonoff後來回憶：“大家對它是什麼，如何對待這個東西，或者甚至連叫它什麼都沒能達成一致。”涵括了從控制論到邏輯理論等一切的討論在日益興奮的氛圍中持續了數周。

科學家在隱匿在森林中的這個地方討論的是如何開發一種能夠思考的機器。

“達特茅斯研討會”點燃了持續數十年的人工智能之爭。此後對AI的追逐之路走得磕磕絆絆，經歷過幾次“冬天”和令人沮喪的失望，似乎註定要走到死胡同。但是現在國家和企業正在往AI投入數十億美元，因為後者最近的進展甚至連幹這一行的科學家都感到震驚。一度只是科幻小說筆觸底下的虛構正在孕育的過程當中。

對沖基金正在利用它來擊敗股票市場。Google用它來診斷心臟病，而且速度更快更準確，美國運通正在部署AI機器人為客戶提供在線服務。研究人員不再只討論一種AI，而是成百上千種，每一種都專長於一種複雜任務）這些應用中的很多均已超越了製造它們的人類。

就在過去幾年，“機器學習”似乎開闢了一條新的前進道路。從人類程序員手中解放出來的算法正在用大規模數據集來訓練自己，其產生的結果甚至連這個領域最樂觀的人都感到震驚。今年早些時候，分別由阿里巴巴和微軟創造的兩個AI在閱讀理解測試中擊敗了斯坦福大學兩條腿走路的競爭團隊。算法“閱讀”維基百科上面類似成吉思汗崛起和阿波羅太空計劃之類的系列條目後，開始回答一系列的問題，其準確度甚至比人還高。一位阿里巴巴的科學家宣布該勝利為一次“里程碑。”

這些所謂的“狹義”AI已經無所不在，嵌入到你的GPS系統以及Amazon推薦裡面。但其終極目標是通用人工智能（AGI），一套在廣泛學科超越人類的自學系統。一些科學家認為實現它大約還需要30年；有的則認為還需要幾個世紀。當這種AI“騰飛”時，也就是所謂奇點到來時，AI將與人類智能平起平坐，然後在數天甚至數小時內把人類遠遠甩在身後。

一旦到來，一般人工智能就會搶走人的工作，數百萬計的工作——司機、放射科醫師、保險精算人。在一個可能的場景里，這會導致政府為失業市民發放全民基本收入（UBI），讓他們可以自由地追求自己的夢想而沒有謀生的負擔。在另一種場景下，它會導致巨大的財富不平等、混亂，讓全球陷入失效狀態。但這場革命還將深入得多。AI機器人會照料老人——布朗大學的科學家正在跟Hasbro合作研發一種“機器貓”，它會提醒老人按時吃藥，並且找到他們的眼鏡。AI“科學家”將解決暗物質的難題；AI使能的航天器將到達小行星帶，在地球上這項技術將馴服氣候變化，也許是通過派遣大規模的無人機群將陽光折射走避免照到海洋。去年，微軟投入了5000萬美元用於其與氣候變化作鬥爭的“服務地球AI”計劃。

瑞士Dalle Molle 人工智能學院的計算機科學家先驅Juergen Schmidhuber 說：“AI將殖民和改變整個宇宙，而且還會讓它具備智能。”

但是我們呢？紐約大學哲學教授David Chalmers說：“我的確擔心未來屬於AI人類被拋棄的情形。如果世界被無意識的機器人掌控的話，這將是你能想象的最災難性最陰暗的場景。” Chalmers不是唯一有此想法的人。計算機時代兩位最著名的人物，蓋茨和馬斯克，他們也竇警告說AI要麼會為了追求它們自己的目標，要麼在人的控制下意外（或故意）摧毀我們的星球。

過去1年，我在研究AI這個主題的過程中，對於未來的各種可能性感到崩潰。看起來這些機器正在讓這個世界變得不可思議的酷和好或者糟得令人肝腸寸斷的路上。或甚至把人類都給滅了。作為一名小說家，我希望通過對十多位未來學家、哲學家、科學家、文化精神醫生以及技術創新者採訪描繪出AI未來的樣子。以下就是到2065年，也就是奇點到來10年之後的5種場景。

超人的權利

想象有一天你讓你的具備人工智能的Soulband腕帶調頻到最高法院的廣播，律師正在就本年最受關注的案件展開辯論。一個專長為安全和太空探索，名為Alpha 4的AI提交了一項議案，要求自己被視為“人”並且要求賦予其每一個美國人都能享受到的權利。

當然，AI是不允許站在法官面前辯論的，所以Alpha4已經聘請了一群律師來代表它。現在他們宣稱自己的客戶跟自己一樣生龍活虎。而AI能否真正具備意識這個問題是案子的核心。

你收聽着的廣播切到了法庭外面的抗議者，那幫人正在嚷嚷：“嘿嘿嚯嚯，打倒AI大霸王。”其中一些人威脅如果AI具備人格的話就要攻擊（我大概也想跟這幫示威者站在一起——賦予AI權利似乎是給混亂開出的藥方。但再次地，我擁有的唯一一個機器人時Roomba，當一個AI正在教我的外孫時我能怎麼想呢？專長AI的康涅狄格大學哲學助理教授Susan Schneider說：“一旦你突破了奇點，你也許會看到一種進化後的物種的發展。在短期的10到20年內，你會看到沒幾個老婦人會堅稱照料自己的有同理心的機器人真的是有感情的。”）數據中心。他們很憤怒，也很害怕——因為被徵稅的是AI和機器人的生產力，而不是人的勞動。作為普遍基本收入的一部分，他們的戶頭每月都被打入2300美元，再加上他們免費的醫療保險，他們的孩子受到的超級個性化的大學教育，還有一百多種其他的非常美好的事情，這些都是像Alpha 4這樣的AI來買單的，大家並不希望改變這一點。到2065年的時候，貧窮是個糟糕的回憶。

當然，在2057至2059年的暴亂中，因為自身的貧窮感到一時氣憤，韋斯切斯特和康涅狄格南部的居民將特里貝克地區和市中心區夷為平地，紐約會因此損失一部分地方——以及20萬紐約人。但那是在UBI（普遍基本收入）實施之前的事情。

不過如果Alpha4贏下了這場官司，它就將控制自己的財富，然後可能它的錢就不會花在建造去到半人馬座阿爾法星的宇宙飛船，而是用來在聖克拉拉和哈特福特買下新的水上樂園。沒人知道會怎樣。所謂的“黑箱問題”——如何才能知道AI內部發生了什麼？——對我來說似乎是無解的，而且還令我感到緊張不安。你怎麼能相信AI告訴你的是事實呢？加州理工州立大學Ethics + Emerging Sciences Group（倫理+新興科學小組）的主任Patrick Lin說：“根據定義，我們對超智AI的想法、感受或者所為是不知道的。這就好像是我們的寵物試圖預料我們要做什麼和控制我們一樣。”

你還在收聽，政府的律師提出根本就沒有辦法證明比最聰明的人也聰明一千倍的Alpha4有意識或者人的感受。AI的確有情感（有一個領域就是專門研究這個的——“情感計算”），而且比人的要複雜得多，但它們的情緒跟我們的是不一樣的：星際航行AI也許會體驗到喜悅。有一件事我總是會反覆問那些科學家：AI能否體會到深厚情感？我希望不會——如果機器智商和情商都比我們高的話，那人活着還有什麼意義？我們需要有一點自留地。我對聽到的東西感到鼓舞。已退休的俄勒岡州立大學計算機科學教授Thomas Dietterich說：“就算計算機告訴你說，‘我明白你的感受，’它也無法擁有像人類一樣額度體會，正是那些體會奠定了我們對人之理解的基礎。”比方說，在發現新的星系的時候。超智系統每秒鐘會有上百萬種想法和體驗，但這是否就意味着它具備了人格了呢？

這就是政府的主要論據。我們是意義機器，副檢察長指出。我們為AI創造和發現的東西賦予意義。AI是計算機器。它們不具備像我們一樣的基本面。它們完全屬於另一種東西。（這件事情很令我震驚：Susan Schneider等人真的正在設計一個對AI意識的測試。在這個測試的一個模型里，一個在開發中的AI將會被隔離於互聯網，這樣的話它就沒法發現人類的“意識”意味着什麼，從而也就無法假冒意識了。然後再對它進行測試：它有沒有意識的標記——自我感知呢？有沒有哀傷的能力？其他的思想家對這種測試表示懷疑。Patrick Lin說：“AI的頭腦在神經生理學上跟我們有着極大的不同，所以它們的行為線索不能告訴我們任何東西。光靠行為並不能成為具備理智的跡象。”必須承認，在這一點上我同意他的觀點。）

但這是不是根本就是物種歧視呢？Alpha 4的律師無疑會提出這一質疑。或者是事實？當智力上超過我們的東西還被隔離和不公平對待時，我們晚上還睡得着覺嗎？

超現代的羅曼史

想象你是一位在這個新世界尋找一段浪漫史的女性。你說，“想約會，”你的Soulband於是亮了；嵌入到腕帶的個人AI助理開始工作。前一天晚上，你那擅於察言觀色的AI替你選出了3個可能的約會對象。（因為我跟我妻子是在Match上認識的，所以我喜歡有一位了解我到可以替我選擇配偶的AI助理這個想法。或者其實它本身就是你的伴侶，就像Spike Jonze的AI電影《她》一樣。康奈爾大學計算機科學教授Bart Selman說：“我能看到AI正在形成同理心，這是心理學家甚至哲學家才能做到的對人類真正友好的事情。想象一下一個類似Alexa但是每天能夠積累有關你的知識的東西。”）現在你的Soulband投射出每一位約會對象的高清全息圖。它推薦的是2號，這是一位熱愛詩歌、化着煙熏裝的熟練水管工。你說，好的，然後AI就去跟那個人的化身會面，確定你們在現實生活中的約會時間和飯店。可能你的AI還會提到你喜歡什麼類型的花，以備未來參考。

經過多年的體會之後，你發現你的AI在選擇男人方面的表現其實比你還要好。它能預測如果你跟丈夫離婚的話你會過得更快樂，結果表明的確如此。一旦你做出了離開他的選擇，你的AI會跟即將成為你前夫的那個人進行談判，書寫離婚協議書，然後在雲端“體驗”十多個公寓之後再為開啟你的單身生活找到合適的住所。

不過它能處理的並不只有愛和房地產。你的AI會幫助你生活的方方面面。它記得你進行過的每一次對話，你在餐紙上草繪的每一個發明，你出席過的每一次商業會議。它還熟悉數百萬人的發明——它已經掃描了過去數百年的所有專利申請——並且已經閱讀了自本傑明·富蘭克林以來寫過的每一本商業書。當你為你的企業帶來一個新想法的時候，你的AI馬上將它與僅僅幾分鐘前在新加坡或者迪拜的會議上介紹的想法進行交叉對比。它就好像有一支天才團隊——物理方面有愛因斯坦，商業方面有喬布斯——隨時供你差遣。

這個AI記得你喜愛的作者，只要提到她的姓，“奧斯汀，”它就會把你連接到一個中文服務上面，這項服務已經花了幾個小時閱讀完簡·奧斯汀寫過的一切，並且已經設法模仿她的風格創作出了新的小說，其效果甚至已經跟原來的小說沒有區別。每個月你都能讀到一篇新的奧斯汀作品，然後再花數個小時跟你的AI討論你喜歡的角色——以及這個AI喜歡的角色。這並不像有一位最好的朋友。你們的關係比最好的朋友還要深入。

2065年的很多人的確拒絕完全依賴他們的AI（一些人甚至能夠快速戒掉壞習慣——在他們認清了AI的完全沉浸式生活的真實面目之後。哈佛大學人類進化生物學教授Joseph Henrich說：“不沉迷於AI會是明智之舉。因為大家會陷入到這些虛擬現實當中，就像吸毒一樣無法自拔。選擇退出就像是遠離毒品。”），為的是保留一點自主權。調低AI在不同職能中所扮演的角色是有可能的：你可以調整一下你的Soulband的設定，浪漫可以調到55%，財務調到75%，健康設為100%。甚至還有一個系統——稱之為守護天使AI——它會注意觀察你的“最好朋友”，確保它提供的建議不會讓你誤入歧途。（我在採訪時不斷冒出的一個想法時我們會有監控其他AI的AI——這種AI我是衷心同意有的。只有一個AI太上皇的想法可能會是一種迷思。數量多就會安全點。Selman說：“風險在於如果你把AI訓練成操控性超級強。這時候你也許需要別的AI監控它們。”）

繁榮昌盛

想象一下你的多重人生：25歲時，你是登山家；55歲時，你是一名競技柔道運動員；95歲時，一位電影攝影技師；155歲時，一位詩人。延年益壽是後奇點世界的夢想之一。

AI會拼命的工作以保持你的健康。你家裡的傳感器會不斷測試你的呼吸，尋找癌症的早期跡象，納米機器人會在你的血管內來回穿梭，化解掉你大腦里的斑塊，在那些血栓令那你中風或者得心臟病之前把它們溶解掉。你的Soulband除了能幫你尋找愛人之外，也會充當隨時恭候的醫務助理。它會監控你的免疫反應，你的蛋白質和代謝物，建立起一幅有關你的健康的宏觀圖景，從而讓你的醫生能對你的身體內部所發生的事情有個精確的了解。

要是你真的生病了，你的醫生會將你的症狀跟數百年來的數百萬病例進行匹配以進行精確診斷。（雖然我還沒見人談過殭屍AI，但是對另一個災難——流行病導師有所涉獵。不過當我發現超級智能和雲的結合有望在下一場大型流行病發作前拯救我們時，我感到如釋重負。哥倫比亞大學創新機器實驗室主任Hod Lipson說：“AI系統能教其他AI系統。這樣當一位AI醫生碰到罕見病例時，它會馬上把信息跟其他的AI醫生分享。這種‘機器幫助機器’的模式就會帶來學習速率的指數增長，這跟人類的學習方式會非常不一樣。”）

早在2018年，研究人員就已經開始利用AI來讀取來自神經元發往大腦的信號，破解神經通路，恢復雖然癱瘓但仍有意識的截癱患者以及閉鎖綜合徵患者的活動能力。到2065年，AI已經革命了我們的基因修飾辦法。科學家可以像編輯修正一份糟糕的手稿一樣編輯人類DNA，把低劣的基因片段取走，換上強力、有益的基因。基因突變會誕生出一位天才鋼琴家或者二壘手明星，只有超智系統才能將這種錯綜複雜的相互影響給映射出來。最高法院也許還得審理一樁案子，就是否允許“設計師運動員”跟其他凡人一起參加奧運會比賽作出宣判。

大家看21世紀之初的人類就像當時的人看待18世紀的人類一樣：一個疾病和災難泛濫的年代，孩子和愛人都被疾病一掃而空。霍亂、肺癌以及河盲不再威脅我們。到2065年，人類已經瀕臨將靈魂擺脫創造自己的肉體的邊緣。（像《奇點來臨》作者、發明家Ray Kurzweil這樣的人對長生不老的想法非常着迷。我對這個東西一直都感到很壓抑，但把幾條生命打包成一條我也不介意。而且這個看起來似乎也是可以實現的。Susan Schneider說：“AI不會帶來永生，因為總會有意外，但是它會讓壽命可以延長很久。”當然，如果這個世界不是地獄，並且你是住在一個很好的地方的話，活得久應該是很酷的。她說：“我認為治癒疾病是很好的，偶其實如果我們擁有廉價能源並且能夠終結全球資源的稀缺性的話。我想象一些社會要比別的社會更接近實現這一點。”）

抵抗代價高昂

或者想象一下你選擇遠離AI革命。是的，2065年會有完全AI區域，在那裡人人都有UBI的保障，他們的時間都花在了製作電影、當志願者以及在地球的遙遠角落旅行上面。但是，儘管超智世界看起來令人眼花繚亂，別的一些社區會牴觸它。（當這場革命來臨時，我懷疑我會選擇加入到全AI區。這太有誘惑力了，尤其是考慮到AI對人類的種種樂觀的效應。紐約大學計算機科學與工程助理教授Andy Nealen說：“我們會更擅長創造和發明。在很多情況下，比如國際象棋和圍棋，人類無法擊敗AI並不能奪走這些遊戲的魅力，而是會提升它們的文化地位。這些比賽最好的玩家正在學習新的策略，成為更好的選手。”）在拉各斯、鳳凰城以及耶路撒冷會有基督教區、穆斯林區以及東正教區，在AI之前人民生活的這些地區偶爾會出現一些暴力事件，但在全AI區幾乎從來都不會出現這種事情。這些地區的居民既保留了自己的信仰，同時也就生活的意義有了更深的感觸。

不過生活仍然艱難。由於居民並不願意把自己的數據貢獻給AI公司，所以他們每個月的UBI都很少。他們的壽命只有完全AI區的一半或不到。“越境者”定期在這些世界的邊界之間來回穿梭。其中一些人是黑客，強大的黑幫組織成員，能夠從AI系統盜取專有算法，然後在安全力量找到他們之前穿越邊界回到另一個世界。還有一些人是走私分子，將藥物帶來不願意生活在AI陰影下但也希望拯救自己的孩子於白血病之中的信教家庭。

還有一些選擇逃亡，因為他們不信任機器。（數字化成癮有可能變得更糟——不僅僅是個人，而且整個社會和經濟體系都被AI勾住了。Lin說：“我們正在給我們與世界之間的繭增加一層。當一切都正常運轉時，很好，但當其中一部分失效時，一系列多米諾骨牌都將掉落。可以想想看AI交易機器人相互競速或者甚至由一條虛假推特導致的股票市場的‘閃崩’。隨着在線生活日益跟‘現實世界’交織在一起，小小的網絡漏洞——也許僅有幾行代碼——就能對銀行賬戶、知識產權、隱私、國家安全等造成大規模破壞。”）甚至是最先進的全AI區域，比如美國和中國等，也會有漏洞存在。（很多科學家會告訴你別擔心壞的AI，該擔心的是壞人利用AI。但林說你永遠也不會知道“包括流氓AI在內的壞傢伙會給這個生態體系造成多大的破壞。將來會出現很多我們無法想象的網絡和AI犯罪。”）

但是奇點最讓人意想不到的結果也許是完全AI地區低出生率以及其他地區的高出生率帶來的人口不平衡。（當你詢問性機器人的時候未來學家往往會翻白眼。這個東西以及殺手天網機器是他們最痛恨的陳腔濫調。但這並不意味着他們就不思考這些方面。Joseph Henrich說：“像性機器人等奇特的新技術會導致一些群體不怎麼想要小孩，而宗教團體則會不斷造人。隨着部分人決定徹底放棄生育，至少在人類方面，信教的人將會獲勝。”）也許新技術會吸引足夠多的人越境來到完全AI區域，使得地區內外的人口達到平衡，或者試管嬰兒會成為那些跟AI一起生活的人的常態。但如果他們不願生育的話，奇點會帶來一個非常有趣非常富有諷刺性的未來：對於大多數人類來說，未來可能會更像《證人》而不是《銀翼殺手》裡面的場景。

更大的大哥

想象一下，到2065年的時候，AI已經開始輔佐管理國家。（報道這篇文章最大的驚喜是AI可能在治理當中所扮演的角色。我從來都沒有想過會把政治決策交給所羅門式的機器，但在這個日益難以對付的世界裡，我已經筋疲力盡了。Bart Selman說：“人類其實相當不擅長做出拖鞋或者從多個角度審視問題。我認為機器利用心理學理論和行為理念幫助我們治理，過上更和諧生活是有可能的。這可能比治癒疾病更值得肯定——因為它能在我們毀掉自己之前拯救我們。”）接受AI輔佐政府的國家欣欣向榮。尼日利亞和馬來西亞讓AI替它們的主人投票，腐敗和管理不善逐漸消亡。僅僅幾年的時間，AI已經獲得了市民的信任，可以向領導人提出最有利於經濟的建議，確定保護他們最合適的士兵人數。就連條約都是由受訓於外交數據集的AI協商簽訂的。

在拉各斯，“民事權利”無人機從警察局上方升起，準備奔赴犯罪現場——一個AI未來保護人類而監視另一個AI的情形正在上演。拉各斯或者吉隆坡的每一間警察局都有自己絕對可靠的測謊儀AI，使得壞警察已經成為了過去時。在吉隆坡橋梁上空盤旋的是監控想跳橋自殺者的“精神分析無人機”。超智機器並沒有演變成《終結者》電影裡面令人畏懼的天網，而成為了對人友好且好奇朋友。（我在了解AI的過程中，末日論的說法也塵囂日上。納米機器人攻擊！灰痰膠體！但是這個領域的大部分人對此類末日預測都表示懷疑。Dalle Molle人工智能研究所的Juergen Schmidhuber表示：“AI會對生命以及它們在我們的文明中的起源感到着迷，因為生命和文明是有趣模式的豐富源泉。AI一開始就會對保護人類表現得非常積極。”）

不過想象一下你生活在朝鮮這樣的國家。這樣的話，你就將深陷到AI的黑暗面。警察早就已經對你的犯罪史、DNA組成以及性取向瞭如指掌。監控無人機可以跟蹤你的每一步。你的Soulband記錄着你進行的每一場談話，以及當你的屏幕上一閃而過出現一些特殊廣告時你的生理反應——那些廣告純粹就是為了“釣魚”的，儘管你未必有行動，但是政府已經知道了你有想法。

2060年左右隱私已死。你已經不可能分辨什麼是真的，什麼是假的。當政府掌控了AI時，它就會滲透到你的方方面面。（我們周圍已經充斥着假新聞機器人。假視頻距離我們也已經不遠了，假的超智視頻即將成為一場噩夢。網絡安全公司Darktrace CEO Nicole Eagan 說：“有了合適的人工智能技術之後，惡意軟件將可以了解網絡的活動和模式，從而讓它隱身到噪聲環境當中。只有最嫻熟的工具，比如那些同樣利用AI的工具，才能偵測出網絡的微妙變化，識別出入侵者或者正在進行的攻擊。”）表面上電話那頭Jackie阿姨是在跟你聊天氣，但其實她只是想告訴你她對領袖的真實想法。

而這還不是最黯淡的結果。想象一下，如果未來國的領導很早就發現了對自己的統治最大的威脅正是那些懷有不同想法的市民——那些總是想逃跑、總是想黑掉AI的人。統治仿真人的國家就要好得多。於是那些人的腦子會不斷被AI改造和校驗，直到他們的想法符合要求。

AI使能的全息圖讓這些仿真人可以在該國首都的街道上“行走”，在現實中空空如也的商店去“購物”。然而這些擬像都有一個目的：讓整天盤旋在上空的帝國間諜衛星看到，維持一種一切正常的表象。與此同時，統治者靠租賃這些仿真人的數據給AI公司賺取了數十億美元，而後者還以為那些都是來自真實的人的數據。

或者最後想象一下這個：那個國家訓練來消滅任何威脅的AI邁出了最後一步，把領導人都給改造了，只讓他們的仿真跟外界接觸。對於一個受訓要消除一切抵抗的AI來說，這種行為是說得過去的（如果你想了解AI的黑暗面，就一定不要錯過Nick Bostrom，他的暢銷書《超智》非常嚴肅地審視了未來幾個世紀的若干敵托邦願景。對於這樣的未來他的態度有點悲觀。在AI看來，我們不過是重新目的化的原子集合而已。這位牛津大學的教授說：“AI可以從隕石獲取一些原子，還可以從宇宙的恆星和行星獲取大量這樣的東西。但AI也可以從人類和我們的棲息地提取。所以除非有一些相抵消的理由，否則的話AI有可能會拆解掉我們。”），甚至跟統治者的一點分歧都有可能成為其採取行動的理由。

除了最後一種場景外，等到我完成最後採訪時，我的心情還是比較輕鬆的。科學家通常都不是非常興奮，但是我對話的大多數人都預期AI會帶來很好的東西。這種樂觀情緒是會傳染的。我是不是想活到175歲？是的！我想不想讓腦癌成為過去？你覺得呢？我願不願選一位有AI輔佐的總統？我看不出反對的理由。

我的睡眠質量也變好了一點，因為很多研究人員告訴你的都是要麼天堂要麼地獄的場景，就像是贏得雙色球大獎一樣。極端情況是不大可能出現的。我們不會得到我們夢寐以求或者心生恐懼的AI，也是會得到我們計劃要實現的AI。AI只是一種工具，就像火或者語言一樣。（不過當然火是愚蠢的。所以這是不一樣的。）不過設計就很重要了。

不過有一件事情讓我躊躇，那就是當人類要面對兩扇門：一扇是新事物，另一扇是沒有新事物時該作何選擇——這個時候我們總是會邁進第一扇門。毫無例外。我們天生就是這樣。要在核彈和不要核彈之間做出選擇時，我們選擇答案A。我們需要知道另一頭有什麼東西。

不過一旦我們走進了這道門，很有可能就一去不復返了。哪怕我們不會遭遇未來啟示錄，我們也會在很多方面都發生了改變，以至於之前的每一代人類都已經認不得我們。

而一旦無比聰明無比分散（在成千上萬台計算機）的一般人工智能來臨，它就不大可能會消失。這可能是件好事，或者甚至是非常好的事情。人類可能會在奇點來臨前對沖自己的賭注，馬斯克等技術富豪可能會想出B計劃，也許是隱藏在火星底下的一個秘密的殖民地，200男女帶着20000顆受精的人類胚胎，這樣在AI出問題的時候人類還有機會生存下來。（當然了，因為說了這些話，我們可以保證AI也就知道了這種可能性。對不住了，馬斯克。）

我其實不害怕殭屍AI。我擔心的是將來人類除了玩玩視頻遊戲以外已經沒事可干。誰知道呢。