我們私下詢問幾乎所有 AI 架構師和領導者同一個問題：你最擔心哪種 AI 風險？幾乎所有人都給出相同的答案：一種致命病原體，它會無聲無息、廣泛且迅速地傳播，令人措手不及。

這之所以重要，是因為 AI 專家們罕見地達成共識，認為這些先進模型可能在政府和業界完善檢測與預防系統之前，協助不法分子製造出致命病原體。這並非一個必然會發生的情境，一些最樂觀的 AI 人士也駁斥末日預言。然而，隨著 AI 越來越擅長理解我們的生物弱點，就像它已經掌握大型非人類系統中的網路弱點一樣，這確實是一個可能發生的情境。

最新消息顯示，專家們並非危言聳聽。麻省理工學院 FutureTech 和昆士蘭大學的一項新研究中，272 位研究人員對 24 項主要的 AI 風險進行了排名。他們評估，到 2030 年，AI 的危險能力導致災難性後果的機率為 12%，而 AI 驅動的武器和大規模殺傷能力導致災難的機率也為 12%。

這還是計入了風險緩解措施後的結果，如果沒有這些措施，機率將超過 20%。研究人員將「災難性」定義為超過一百萬人死亡或一千億美元的損失，而協助製造化學或生物武器，正是這項最高風險類別的核心。

總體來看，我們撰寫此文並非為了嚇唬讀者，而是直白地闡述那些開發這些技術的人私下所說的——以及他們公開時更謹慎的說法。就在上個月，OpenAI 的 Sam Altman、Anthropic 的 Dario Amodei、Google DeepMind 的 Demis Hassabis、Microsoft 的 Mustafa Suleyman 和 Meta 的 Alexandr Wang 共同簽署了一封公開信，警告 AI 衍生生物武器的風險，並呼籲加強防護措施。

這種病原體可能性，影響著聯邦政府和業界在向公眾發布新 AI 模型和能力之前，如何審查和理解它們的每一次討論。

人們希望，領先的模型開發者能建立起防護措施和能力，以阻止懷有惡意的不法分子；同時，也希望這種可能被用於製造病原體的技術，能發展到足以預防或免疫病原體的程度。

現實檢視：要阻止不法分子策劃邪惡陰謀非常困難，特別是隨著所謂的開源模型迅速發展。這些開源模型可以在任何監管體系之外的私人環境中被任何人使用和改編。開源模型的批評者經常提出這一點，儘管領先的模型更有可能擁有創造新事物的運算能力。因此，模型越好，發生不可思議的事情（無論好壞）的可能性就越大。

實際情況可能如何發展：如今，設計一種真正新穎的病原體需要罕見的專業知識、專門的實驗室設備以及多年的失敗實驗。AI 加速了所有這些過程。以下是讓專家們夜不能寐的發展順序：一個不法分子（無論是國家支持還是資源豐富的個人）使用強大的模型來繪製人類的生物弱點，並識別哪些基因調整能使已知病原體更具傳染性、更難檢測或對現有治療產生免疫。

該模型經過大量生物和基因組數據的訓練，能生成可行的候選方案。想像數百位最聰明的科學家以極快的速度工作，永不停止，永不疲倦，這就是大量 AI 代理所能做到的。

這些候選方案隨後會利用日益便宜且易於取得的基因編輯工具進行合成，這是一項與 AI 同步加速的獨立技術。病原體會在任何人意識到其存在之前傳播開來，其新穎性足以避開現有的生物監測系統。等到公共衛生系統辨識出它時，其圍堵難度將遠超我們在 COVID 疫情中所經歷的。

這就是為什麼您應該關注由 AI 帶來的新網路安全風險的辯論。它說明了在新的攻擊能力出現之前，必須更快地建立有效檢測和預防機制的競賽。這也是為什麼您也應該追蹤開源模型的辯論。領先的實驗室可以內建防護措施，但由在任何監管體系之外運作的人微調的開源模型，則可能規避這些措施。

總而言之：這是一個沉重且令人恐懼的議題。但忽視它並不能解決問題，唯有了解並預防它才能。