上個月，人工智慧界的數百名知名人士簽署了一封公開信，警告AI有朝一日可能毀滅人類。公開信只有一句話：「減輕人工智慧滅絕人類風險，應該與大流行病和核戰爭等其他社會規模的風險一起成為全球優先事項。」這是對人工智慧做出不祥警告的一系列公開信中最新的一封，這些警告的特別突出之處是缺少細節。今天的AI系統不能毀滅人類。其中一些系統只能勉強做點加減法。那麼，為什麼這些最了解AI的人如此擔心呢？嚇人的預測。科技行業的災難預言者說，有朝一日，公司、政府或獨立工作的研究人員能有效利用強大的人工智慧系統，處理從商業到戰爭的所有事情。這些系統能做我們不想讓它們做的事情。如果人類試圖介入或將它們關掉，它們會抵抗，甚至會自我複製，以便繼續運行下去。「今天的系統離構成生存威脅還差得很遠，」蒙特婁大學研究人工智慧的教授約書亞·本吉奧說。「但一年、兩年、五年後會怎樣呢？有太多的不確定性。這就是問題所在。我們不能確定AI是否將在某個時刻變成災難性的。」愛擔憂的人常使用一個簡單的比喻。他們說，如果你要求一台機器盡可能多地製造回形針，機器可能會忘乎所以，將所有的東西——包括人類——變成製造回形針的工廠。這與現實世界（或想像中並不久遠的未來世界）有什麼關係？公司能賦予AI系統越來越多的自主性，將它們連接到重要基礎設施（包括電網、股票市場、軍事武器）中去。它們可能會從那裡引發問題。對於許多專家來說，這種可能性直到差不多去年之前似乎還沒有那麼可信。去年，OpenAI等公司展示了在AI技術方面的重大進步，表明如果AI繼續以如此快的速度向前發展的話，是存在這種可能性的。「AI將逐漸獲得授權，並隨著變得更加自主，它可能篡奪目前人類和人類管理的機構的決策和思維，」加州大學聖克魯茲分校的宇宙學家安東尼·阿吉雷說，他是與兩封公開信有關的組織——生命未來研究所的創始人。「到了某個時候，人們會發現運行社會和經濟的大型機器其實並不在人類的控制之下，也無法將它們關掉，就像無法關掉標準普爾500指數一樣，」他說。或按照該理論的說法是這樣的。其他人工智慧專家認為，這是個荒謬的假定。「關於我對『生存威脅說』的看法，說它是『假定』已經非常禮貌了，」位於西雅圖的研究實驗室——艾倫人工智慧研究所的創始首席執行官奧倫·埃齊奧尼說。有跡象表明AI能做到這點嗎？還沒有。但研究人員正在把ChatGPT這樣的聊天機器人轉變為可以按照它們生成的文本行動的系統。名為AutoGPT的項目就是最好的例子。該項目的想法是賦予AI系統目標，比如「創建公司」或「賺錢」。然後系統將不斷尋找實現目標的方法，尤其是如果它與其他互聯網伺服器連接起來的話。AutoGPT這樣的系統能生成計算機程序。如果研究人員將其接入一個計算機伺服器的話，它能實際上運行這些程序。理論上，AutoGPT能用這種方法進行網上的幾乎任何操作——索取信息、使用應用程序、編寫新應用程序，甚至改進自身。AutoGPT這樣的系統目前還不能很好地工作。它們往往會陷入沒完沒了的循環。研究人員曾給一個系統提供了讓其自我複製所需的全部資源。它沒能複製自己。有足夠的時間，這些局限性可能會得到解決。「人們正在積極嘗試構建能自我改進的系統，」Conjecture公司的創始人康納·萊希說，他的公司希望將AI技術與人類價值觀保持一致。「目前還沒有做到這點。但總有一天會做到。我們不知道那一天什麼時候到來。」萊希認為，隨著研究人員、公司和犯罪分子給這些系統設定「賺錢」等目標，它們可能以不好的結果告終，如侵入銀行系統，在它們持有石油期貨的國家煽動革命，或者在有人試圖將它們關掉時複製自己。AI系統從什麼地方學壞？ChatGPT這樣的AI系統是建立在神經網路上的數學系統，通過分析數據來學習技能。2018年前後，谷歌和OpenAI等公司開始構建神經網路，用從互聯網上搜集的大量數碼文本對其進行訓練。通過在所有這些數據中尋找模式，神經網路系統學會了自己生成文本，包括新聞文章、詩歌、計算機程序，甚至類似人類的對話。結果就是像ChatGPT這樣的聊天機器人。用來訓練這些系統的數據量之大，使得系統創造者也無法理解全部數據，因此這些系統會表現出創造者意想不到的行為。研究人員最近報告說，一個系統能在網上僱人來擊敗驗證碼檢驗。當人問系統是不是「機器人」時，系統撒謊說，它是有視力障礙的人。一些專家擔心，隨著研究人員讓這些系統變得更強大，用越來越多的數據對它們進行訓練，它們可能會學到更多的壞習慣。這些警告背後是些什麼人？本世紀初，一個名叫艾利澤·尤德科夫斯基的年輕作家開始警告AI可能毀滅人類。他發在網上的文章培養了一群信奉者。這個被稱為「理性主義者」或「實際利他主義者」（簡稱EA）的群體後來在學術界、政府智囊團以及科技行業產生了巨大影響。尤德科夫斯基和他寫的東西在OpenAI，以及2014年被谷歌收購的DeepMind實驗室的創建中起過關鍵作用。許多來自EA群體的人曾在這些實驗室工作。他們認為，由於懂得人工智慧的危險，因此他們是最適合構建AI系統的人。最近發表公開信警告人工智慧風險的兩個組織——人工智慧安全中心和生命未來研究所——與該運動有密切關係。最近的警告也來自研究先驅和行業領袖，如伊隆·馬斯克，他長期以來一直在警告AI的風險。在最近這封信上簽名的還有OpenAI首席執行官山姆·奧特曼，以及幫助創建了DeepMind、現在負責一個新人工智慧實驗室的戴米斯·哈薩比斯，這個新實驗室結合了來自DeepMind和谷歌的頂尖研究人員。在最近的一封或兩封警告信上簽名的其他備受尊敬的人士包括本吉奧，以及最近辭去谷歌高管和研究員職務的傑弗里·欣頓。2018年，他們因在神經網路方面的工作獲得了通常有「計算領域諾貝爾獎」之稱的圖靈獎。
