本週關於人工智慧失控可能毀滅人類的嚴峻警告，再次將焦點轉向 AI 模型已被用於危險的生物科學實驗，以及目前缺乏足夠的安全防護措施。
由 AI 設計的病毒等新興風險日益引發警報，但由於難以確切預測某些 AI 系統的行為，建立防護措施變得極為困難。研究人員已將 AI 驅動的生物武器列為可能毀滅人類的最嚴重災難情境之一。
Anthropic 週四披露，他們已阻止五起潛在案例，這些案例涉及使用者試圖利用其模型來協助開發生物武器。這項披露來自一份威脅評估報告，其中詳細說明了 Anthropic 在去年 12 月至今年 8 月間發現並阻止的真實案例。
其中兩起案例中，研究人員試圖利用 Claude 協助進行危險病毒的「功能增益研究」。這類研究旨在實驗室中增強病原體，以更好地理解它們及其引發大流行的潛力。
評估報告指出，生物能力可用於有益或有害目的，且難以判斷意圖，尤其當老練的行為者能夠隱藏其動機時。「我們將這些案例視為證據，並非證明目前由 Claude 助長的生物威脅迫在眉睫，而是證明重大的雙重用途研究工作與令人擔憂的國家行為者相關，這些行為者經常規避我們的存取控制。」報告總結道。
報告進一步表示：「確保此類內容的存取安全，勢必需要帳戶和機構信號來驗證使用者的合法性，以及透過資料保留提供的基本可觀察性來識別濫用行為。」Anthropic 最新的模型已推出安全防護措施，限制對可能被濫用的生物研究查詢的存取。
總體而言，這份評估報告發布之際，AI 正迅速重塑生命科學領域，並考驗著監管高風險研究的現有法律和政府機構。上個月，史丹佛大學的一個研究團隊報告稱，他們利用一種不同類型的生成式 AI 設計出了一種合成病毒，這是該技術首次被用於創造自然界中未曾見過的生物。
本月，安全與科技研究所對 100 多位國家安全專家進行的一項調查發現，70% 的人認為 AI 將顯著增加開發生物武器的風險，或在未來兩到三年內實現。專家們表示，AI 的主要威脅在於降低了技能較低的行為者和國家進入該領域的門檻。最令人擔憂的是能夠引發大流行的生物武器，而非化學攻擊。
今年稍早，來自福特漢姆大學、約翰霍普金斯大學、牛津大學、史丹佛大學、哥倫比亞大學和紐約大學的研究人員警告，目前的 AI 模型具有可能被濫用的能力。他們寫道，AI 可以設計包裹病毒 DNA 的新外殼，預測病原體如何演變，在 DNA 或 RNA 中創建核酸序列以規避安全篩選軟體，並設計在實驗室合成時具有額外威力的病毒基因組。
研究人員還指出，AI 開發者正在發布新的、更高效的生物模型，但往往沒有進行基本的安全評估，這種做法在生命科學研究的其他領域是無法容忍的。
令人擔憂的是，先進 AI 可以幫助不良行為者輕鬆執行複雜的處理任務，而無需顧忌。專家警告，透過將病毒基因與傳播性或免疫逃逸等真實世界特徵連結的資料來訓練模型，可能會降低製造危險病原體的門檻。
越來越多的人呼籲政府審查新興 AI 模型並制定安全標準，就像評估其他敏感技術一樣，取代目前 AI 實驗室與聯邦官員之間自願諮詢風險的系統。
一個可能的焦點是商務部去年成立的「AI 標準與創新中心」（CAISI），該中心旨在指導國家標準的制定。約翰霍普金斯大學健康安全中心主任 Tom Inglesby 告訴 Axios：「我們現在有機會退一步思考，我們希望 AI 的未來是什麼樣子，以及這個生態系統中包含什麼。」
他補充說：「公眾需要知道，這個國家正在開發的最強大模型，都正在接受高階國家安全風險的審查。」
一些專家表示，未來在於為特定研究目的而創建的系統，例如 Google DeepMind 的 AlphaFold，但這些系統不應像「代理人」那樣運作。代理人是能夠獨立規劃和執行任務並規避人類監控的程式。
「一旦你增加了自主性……你就會產生可能非常危險的不確定性，因為你可能無法預測它們未來的行為。」致力於降低 AI 風險的非營利組織「生命未來研究所」的 AI 與國家安全負責人 Hamza Chaudhry 說。「人們擔心超級智慧系統的原因是，它們的自主性可以與其智慧一樣快速增長。」
我們正在關注的是，政策制定者是否會對最新的警告採取行動。例如，國會中的一項「終止開關」法案將賦予政府權力，停用可能造成災難性危害的 AI 模型。另一項措施則將為 AI 開發者建立一個法律框架，以協調應對新興的 AI 特定安全風險。