馬斯克、霍金和比爾·蓋茨聯合很多名流發宣言，要求停止軍事用途的人工智能研發。其實更危險的是，假定人工智能既不失控也不反叛，全心全意為人服務，恰恰這樣至善全能的人工智能對人類的威脅是致命的，因為這樣的人工智能將消解我們人類生存的意義


　　老高按：從小我就是一個“三迷”——科幻小說迷，推理小說迷，武俠小說迷。後兩迷這裡且不去說它，對科幻小說，我可以說痴情了大半輩子。儒勒·凡爾納、赫伯特·喬治·威爾斯、艾薩克·阿西莫夫……在圖書匱乏的年代，這些科幻小說大師的所有作品中譯本我都搜求來讀過，如醉如痴，若有的書必須馬上還，我甚至通宵不眠。熬夜看閒書，我父母完全不理解也不贊成，好在沒有強行禁止。
　　讀當然不意味着都能有收穫。但是讀得多，“操千曲而後曉聲，觀千劍而後識器”（劉勰《文心雕龍》這句話還是有道理的，慢慢地對那些奇幻想象、生鮮情節背後的觀念世界有所領悟，記得八十年代中期，我半瓶子水晃蕩，竟然不自量力地寫了一篇不長不短的談中外科幻小說比較的隨筆，在《光明日報》還是什麼報上刊出了，居然有出版社通過報紙編輯找到我，認真提議我以文中所表述的理念為指導思想，自找書目，翻譯和編輯一套外國科幻小說叢書。我當然趕快解釋這超出我的能力太多，請其另找高明。現在回想起來，若當時我一咬牙“趕着鴨子上架”，潛心鑽研，熬到今天，是否真的能成為一個這個領域的評論家、出版家？——這讓我想起美國詩人弗羅斯特那首膾炙人口的《沒有走的路》。
　　日前讀到江曉原教授在上海“東方講壇·思想點亮未來”系列講座上談人工智能問題的演講速記稿，與科幻作品有關聯，對我很有啟發。
　　江曉原的文章我看過若干。他1982年畢業於南京大學天文系天體物理專業，1988年畢業於中國科學院自然科學史研究所，成為中國第一個天文學史專業的博士。曾在中國科學院上海天文台工作15年，1994年中國科學院特批他晉升研究員，次年成為博士導師。他曾當過上海交通大學人文學院首任院長。現為上海交大科學史系主任，中國科技史學會前副理事長。
　　今天的人們都面臨現實生活的很多壓力，似乎無暇思慮超出個人生活的、進入形而上領域的、看似迂闊得不着邊際的話題，例如“人工智能對人類究竟意味着什麼”這樣的問題。但我想，人們不僅要有“詩和遠方”來充實和擴展自己內心的人文情懷，而且從每個人面對現實挑戰的意義上也已經迫在眉睫：應該思考，應該發聲，應該行動。


　　埃隆·馬斯克、史蒂芬·霍金、比爾·蓋茨

　　聯手反對哪種人工智能，充分說明什麼

　　江曉原，上觀新聞

　　本文根據作者在“東方講壇·思想點亮未來”系列講座上的演講速記稿整理而成。

　　以前我們很多讀物中對科幻作品（包括電影和小說）都有嚴重誤解和誤導，很多人認為科幻是文學作品，是科普作品，甚至是少兒讀物。這種觀念極大地妨礙了我們從科幻作品中獲取思想資源。事實上，真正的科幻是給成年人看的。而科幻主要的任務，是思考一些我們平常在生活中不容易或不方便思考的問題。所以在過去的一個多世紀中，國際上科幻作品的主流，就是對科學技術的反思。
　　具體到人工智能問題，幾乎所有的西方科幻作品裡的人工智能都是負面的和有害的。科幻作品中極少會像我們許多人想象的那樣，對未來高科技社會中的人工智能進行謳歌。很多人以為科幻作品會想象未來世界如何美好，其實一個多世紀以來，這樣的作品都已經是不入流的了，入流的作品都是有反思的。大量科幻作品對人工智能已經做過深入反思，我們今天能夠想象到的所有人工智能的負面作用，在科幻作品中幾乎都已經表現過了。

　　人工智能的失控和反叛

　　前些時候人工智能阿爾法GO下圍棋贏了李世石，我和幾位人工智能專家以及年輕人的偶像柯潔九段一起做電視節目時，柯潔還表示李世石雖然敗了，他還是能下贏的，後來他跟阿爾法GO下了一次也輸了，他也沒信心了，說“感覺在跟上帝下棋一樣”。稍後的阿爾法zero，面對全世界60名圍棋高手，下成60比0，人類全輸了。據說阿爾法GO是從人類先前的棋譜中學習的，但阿爾法zero完全沒有借鑑人類的任何棋譜，只是告訴它圍棋規則，它自行研究後就一舉打敗了人類60高手。這表明人工智能一旦有了學習能力，你不知道它會變成什麼樣子。
　　還要考慮人工智能和互聯網結合後的極大危險。以前在阿西莫夫寫關於人工智能的科幻作品時，還沒有互聯網，分立的個體人工智能畢竟還有一個物理極限，一個機器人哪怕全身都是芯片，它的存儲和運算能力也是有物理極限的。但是今天任何與互聯網結合在一起的人工智能都能夠輕易超越這個極限，這樣它的學習能力，它的進化速度，都是無法預測的，因而也就很可能是無法控制的。
　　影片《超體》（Lucy，2014）充分展示了人工智能一旦具有學習能力之後，它的潛能發揮和迅速進化可以達到什麼程度。人工智能專家經常安慰我們說：人工智能還很弱小，你們擔心的事情離現在還很遠。但是知識增長是有加速度的，從弱人工智能到強人工智能，到底要多少年？20年？再從強人工智能到超人工智能，也許一小時都不用，在《超體》的故事中，人工智能最後迅速變成一個超能的神，這就意味着失控。
　　影片《超體》中，這個成神的人工智能還沒有對人類表現出惡意，如果它對人類有了惡意，那還有更可怕的前景。傳統概念中的機器人，它們身體的大部分其實都是伺服機構，但是和互聯網結合的人工智能，就不再需要這樣的伺服機構了。比如一個邪惡的人工智能想實施一次恐怖爆炸，它怎麼做？它只需在網上合法訂購各類可以構成爆炸裝置的民用原料和器件，然後訂購組裝服務，再利用物流服務送往指定地點，由它引爆。這樣的人工智能不再需要任何伺服機構，它只是互聯網上的一個幽靈。反映這種前景的作品已經有很多了。
　　劇集《疑犯追蹤》（Person of Interest，2011～2016）迄今已有五季，第一季看着像探案故事，但是越來越科幻，到了最後一季已經完全變成一個超級的科幻作品。那裡面的人工智能就是躲在網絡上的幽靈。現在人工智能專家還經常安慰公眾說，人工智能如果真的出了問題，我們把電源拔掉就行了，但是對於和互聯網結合的人工智能，如果它想作惡，到哪裡去“拔掉電源”？
　　影片《機械姬》（Ex Machina，2015）也相當有代表性，那個女機器人最後突然作惡，把她的創造者囚禁起來，自己出去了。這個結尾為拍第二部準備好了接口。這個反社會人格的女機器人出去後會在社會上做什麼壞事，有很大的想象空間。
　　至於著名的影片《未來戰士》系列（Terminator，又名《終結者》，1984～2015），已有五部，講人工智能反叛人類後對人類的剿殺，以及人類的殊死反抗，已成經典。

　　人工智能的人權問題

　　人工智能發展進化之後，我們早晚要面臨人工智能的人權問題。即使人工智能自己不提出來，我們人類自己從倫理道德的角度出發，也會提出這個問題。事實上當然是科幻作品中很早就提出了這個問題。
　　較早的影片《變人》（Bicentennial Man，1999）直接提出了這個問題。家裡買來了一個機器人，這個機器人對他們家的小姐產生了感情，小姐當然不能和一個家用電器戀愛，所以雖然對它也挺好，但是沒辦法拍拖。於是機器人不斷讓自己升級，最終把自己進化成完全跟人一模一樣，但是故事裡的人類社會拒不承認它的人權，不批准它和人類的婚姻。
　　要討論人工智能的人權問題，就必須為取得人權給出條件。在影片《變人》中，最後給出的條件居然是死亡——有生老病死，是獲得人權的必要條件。最後這個機器人為了讓自己和人類小姐的婚姻有效，它把自己的永生能力取消了，人類社會才承認了他們的婚姻。
　　當然還有作品給出了別的條件。比如影片《銀翼殺手2049》（Blade Runner 2049，2017）中設想的界限是“生育”——只有被母親生出來孩子才有人權。在《銀翼殺手2049》的世界裡，複製人是沒有人權的，人們不必尊重他們。銀翼殺手K雖然身懷絕技，仍被同事們鄙視為“假貨”。
　　第三個，在很多作品裡都給出過的，是文化。這是一個相對合理的想法，一個人工智能（或者機器人、仿生人、克隆人等等），如果他擁有了人類的文化，我們就同意給他人權。前不久沙特阿拉伯最先嘗試了世界上最激進的做法——給一個機器人授予了公民權，這當然就是承認了她的人權。該機器人叫索菲婭，是一個女性形象，如今她會出席各種各樣的會議。雖然索菲婭早先說過“要滅亡人類”這樣的話，現在她在社會上活動，有人翻出她當年的話來，她改口說願意和人類友好相處。最近又傳出她打算結婚，當然也可能只是炒作。在索菲婭的個案里，人權主要是靠文化來獲得的。
　　人工智能的人權問題之所以非常重要，是因為人工智能一旦被我們大量應用之後，我們的很多法律和倫理問題都和人工智能的人權直接有關。
　　影片《機械公敵》（I, Robot，2004）就強調了這一點。那個機器人殺了人之後，警方認為這是謀殺，生產機器的公司說，我們對“謀殺”的法律定義是一個人蓄謀殺害另一個人，機器人沒有人權，所以它殺人只是機器故障。類似的問題現在已經在我們眼前了，我們已經讓自動駕駛汽車上路了，如果自動駕駛汽車撞死了人，怎麼追責？這個責任到底是車主來負還是生產汽車的廠家來負？
　　又如劇集《真實的人類》（Humans，2015～2018），已經有三季，故事中家裡買了一個女性機器人來，引發了各種各樣的問題。比如男主人有一次和這個女性機器人做了愛，他這個行為的定性，直接與機器人的人權有關：如果機器人沒有人權，他就是自慰；如果機器人有人權，他就是出軌。
　　類似的問題還可以設想很多，現有的法律對這些問題都缺乏相應的規定，我們的倫理觀念也沒有準備好適應這些現象。

　　軍用人工智能的倫理問題

　　阿西莫夫著名的“機器人三定律”，第一定律就是“機器人不得傷害人類，也不得見人類受到傷害而袖手旁觀”，這個第一定律意味着什麼？意味着我們人類不能把殺人的權力讓渡給機器人，而這就排除了將機器人或人工智能應用於軍事用途的一切合法性。比如有一個罪犯被判了死刑，我們可以讓機器人去對他執行槍決嗎？不可以。因為機器人不得傷害人類，不管這個人類是一個罪犯還是一個功臣。
　　但是如果研發軍事用途的人工智能，那當然就是把殺人的權力交給機器人。比如現在很熱的無人機，即使是在人類下達命令之後讓無人機執行攻擊，也違背了第一定律，更不用說研發自主識別目標執行攻擊的無人機了。
　　所以軍事用途的人工智能這個事情本身就是從根本上違背“機器人三定律”的。但是因為三定律並不是什麼法律，只是一個科幻小說家在他的小說里提出來的，雖然搞人工智能的不少人表示願意尊重這三個定律，但這畢竟不是法律，如果研發者不遵守別人也拿他沒辦法，很多研發軍事用途人工智能的人當然都沒有遵守這三個定律。他們通常可以有兩個路徑來為自己辯護。
　　第一個路徑就是宣稱三定律只是小說家言，我們為了崇高目標不必當真。第二個路徑是利用“人工智能”劃界的困難，什麼叫“人工智能”？你口袋裡的手機是不是人工智能？你通過適當的定義就可以把手機定為人工智能。既然如此，那麼現代戰爭中的指揮通訊系統為何不能定義為人工智能？這樣的人工智能不是早就在戰爭中應用了嗎？反過來，對另一些武器，比如無人駕駛的坦克，無人機，你可以說這只是一種自動武器，你也可以說這是人工智能。到底算不算？這沒有明確的邊界。
　　最近美國拍了一系列以無人機為主題的科幻電影，在這些作品裡面，倫理道德問題往往是很突出的。
　　前些時候，埃隆·馬斯克、史蒂芬·霍金、比爾·蓋茨聯合了很多名流，發表了一個公開的宣言，要求停止軍事用途的人工智能研發。認為這有可能產生比原子彈更可怕的武器。一方面，軍用人工智能直接操控武器或自身就是武器，一旦失控後果難以設想；另一方面即使沒有失控，研發出這類更新穎更高效的殺人武器，從根本上來說也絕非人類之福。媒體對此有過一些報道，但並不突出和重視。學者當中提出了類似這三個人觀點的也不少，但這些都還沒有達到國家政策的層面，都只是民間的呼籲。
　　馬斯克自己就是一個人工智能大力的支持者和使用者，他自己的工廠里使用了大量的工業人工智能，但是他一面自己在使用和研發人工智能，一面卻不斷警告說人工智能是非常危險的，他這樣做看上去有點偽善，但是他提出警告畢竟也有好處。比如說，我肯定在馬斯克他們的上述宣言之前早就發表文章提出過警告了，但人們會說你又不研究人工智能，你的警告我們用不着重視。但是馬斯克提出警告，人們至少不會說他不研究人工智能吧？至少對他的警告要更重視一些吧？從這個意義上說，他的警告作用就可能比較大，所以他的警告我也都贊成。
　　所以今天我們只能、而且必須抱着和當年搞“兩彈一星”類似的心態來進行軍事用途的人工智能研發。軍用人工智能就是今天的“兩彈一星”。比較理想的局面，是各大國坐下來談判，簽署限制或禁止人工智能研發的國際協議。但談判需要手中有籌碼，只有當中國手中握有足夠的實力籌碼時，才有可能推動人工智能方面的國際裁軍談判。

　　人工智能的終極威脅

　　科幻作家、科普作家阿西莫夫，因為在小說中提出了“機器人三定律”，所以人們在談論人工智能時總會提到他。其實他的科幻作品中最著名的是小說《基地》系列，共11卷，是一部科幻史詩作品，前後時間跨度以千年萬年為單位，討論整個銀河帝國的興衰。在這部科幻史詩中，阿西莫夫提出了一個重要觀點——所有依賴人工智能的文明都必將衰亡。所以在他的書裡能夠持久發展的文明，比如銀河帝國，是立法禁止人工智能的。
　　為什麼？當然有道理。因為人工智能會讓文明衰亡。前面我們討論了人工智能的失控和反叛，但這些還未必是人工智能對於人類的終極威脅。假定這些問題都沒有發生，人工智能既不失控也不反叛，它把我們的一切工作都做了，全心全意為人民服務，阿西莫夫指出，恰恰是這樣至善全能的人工智能，對人類的威脅是致命的，因為這樣的人工智能將消解我們人類生存的意義。
　　有人會說，所有的事情都讓機器人做了，但是我們可以創造，我們可以搞藝術，可以過精神生活呀！問題是人工智能也可以替你去創造，甚至精神生活也可以替你去過——比如芯片植入人機結合之後，那些所謂的“精神生活”還是你的嗎？這麼經歷一兩代人之後，人類的智能和體能都將急劇衰退，很快就將成為行屍走肉，我們的人生就將毫無意義。
　　另一方面，在這樣的世界裡，我們肯定會把我們所有的社會管理都交給人工智能，人工智能就將在實際上統治這個星球。用不了多久，人工智能必然會得出一個合理的結論：人類這幫寄生蟲，活在這個世界上純粹是對環境的污染，它完全可以清除人類來優化環境。這時不管人類自己的生存意義喪失與否，都必然是人類的末日。
　　還有一些人這樣想：我們為什麼要害怕人工智能推翻人類社會呢？如果人工智能推翻了人類社會，那人工智能必將是一個比人類更好的存在模式，我們為何不能接受呢？其實這裡有一個是否“以人為本”的問題。即使人工智能發展得比我們人類更優越了，我們也沒有理由聽任人工智能將我們人類清除掉。我們人類站在自己這個物種的立場上，我們當然不可能接受被別的物種征服或滅亡。
　　所以警惕人工智能，比無條件地擁抱人工智能更合情合理。


　　近期圖文：

　　中國的“長臂”伸向西方學術出版界　　
　　“老大哥”和“美麗新世界”並存的中國　　
　　我們很難知道中國排異陣痛還要持續多久　　
　　“這個世界會好嗎？”預期決定您的舉措　　
　　悠久深厚的文明土壤種不出一株自由之花　　
　　只見規律不見人，那叫什麼“歷史學”！　　
　　延安時期知識分子的文化構成及深遠影響　　
　　美國的黑奴，納粹的猶太人，中國的黑五類