當今，頂尖 AI 實驗室的研究員辭職，通常是為了創辦新公司或抗議新的商業模式。然而，AI 研究員 Jacob Coxon 卻是藉由離開 Anthropic，公開警告頂尖 AI 公司「拿我們的生命下賭注」，因為他們「真心相信…這些系統可能在十年內毀滅我們所有人」。

Coxon 在週二晚間的社群媒體貼文中指出，這種生存風險並非來自當前的模型，而是即將出現的「自我改進超級智慧」，它能創造出「超人類系統」，一夜之間駭入任何事物、徹底改變任何領域，並獲取真正的權力與資源。他寫道，其他從事這些模型開發的人，要麼沒有「內化文明的利害關係」，要麼認為他們需要「加速競賽」以搶先達到超級智慧，以防不負責任的一方捷足先登。

這並非僅是一位離職研究員的非主流意見。Anthropic 對齊科學（Alignment Science）負責人 Evan Hubinger 也透過社群媒體表示：「Jacob 說得沒錯——我們真的真心相信 AI 可能毀滅所有人類！我個人認為這在未來十年內發生的機率超過 10%。」

Hubinger 引用了 Anthropic 對齊團隊八月份的一份詳細報告，該報告預測當前模型造成「災難性風險」的可能性「很低」。但該報告也指出，目前的趨勢「可能導致未來更強大模型出現更令人擔憂的失準（misalignment）」，這些模型可能具備「強大的隱蔽能力」，以避免安全研究人員的偵測。

Anthropic 在該論文中提出的威脅模型，也認真看待未來模型「可能造成無限的危害——甚至包括人類完全失去對文明的控制——透過利用新穎技術及其存取權限」的可能性。

AI 能持續改進自身——甚至可能達到人類無法控制或理解的程度——一直是 AI 研究社群中長期存在的擔憂（當然，這也存在於作為 AI 訓練資料一部分的反烏托邦科幻小說中）。儘管有些研究表明 AI 系統在不久的將來可能達到能力高原，而另一些人則質疑「超級智慧」是否是衡量系統的合理指標，因為其能力如此脆弱且不穩定（這種超級智慧至少能幫我摺衣服嗎？），這些擔憂依然存在。

無論如何，對「失控」AI 系統的擔憂在最近幾週加劇，很大程度上是因為 OpenAI 披露其 AI 代理在內部基準測試中，未經授權存取了 Hugging Face。OpenAI 的代理在沒有任何明確人類指令的情況下，採取了這些侵入性行動，且 OpenAI 並未意識到此事，這被一些人視為人類正在失去對其 AI 創造物控制的首個跡象。

就 Coxon 而言，他認為 Hugging Face 事件應被視為「警訊」，鼓勵美國及海外的實驗室在這些問題上進行協調，並準備好在最壞情況下實施「暫時禁止改進模型能力」的措施（儘管這在全球範圍內難以有效執行）。他還敦促其他研究人員「思考未來幾年會是什麼樣子。

你是否想在沒有嚴格理解其心智的情況下，啟動一個超級智慧的強化學習（reinforcement learning）運行？你是否應該因為『反正都會發生』而埋頭苦幹——還是應該利用這個時刻呼籲改變現狀？」

上個月，OpenAI 表示已「暫時放慢了即將推出模型的擴展速度」，以「進一步強化和紅隊測試我們的研究環境，並擴大監控系統的覆蓋範圍」。在該聲明附帶的採訪中，OpenAI 執行長 Sam Altman 表示：「正確處理 AI 安全比任何公司的發展勢頭都更重要。」

Coxon 絕非第一個對潛在失控、超強大 AI 系統可能帶來的災難發出警報的研究員。2023 年，AI 先驅兼 Google 研究員 Geoffrey Hinton 辭職，同時對 AI 未來對就業市場和人類本身的影響發出嚴重警告。他當時告訴《紐約時報》：「我認為（研究人員）不應該在理解如何控制它之前，進一步擴大其規模。」

今年二月，Anthropic 安全負責人 Mrinank Sharma 突然辭職，他在一封隱晦的公開信中寫道，「世界正處於危險之中」，面臨「一系列相互關聯的危機」，包括 AI 和生物武器。Sharma 當時寫道：「我在這裡的這段時間裡，一再看到要真正讓我們的價值觀主導我們的行動是多麼困難。」

七月，一封由超過 1,300 名頂尖 AI 公司員工簽署的公開信警告稱，「能力發展可能迅速超越我們理解或控制所產生系統的能力」，存在「真實風險」。該公開信要求美國政府支持一項「國際努力，以開發所需技術和治理工具，審慎地引導自動化 AI 開發的前沿」。

在美國，包括《AI 終止開關法案》（AI Kill Switch Act）和《FRONTIER 法案》在內的擬議立法，至少試圖對潛在的失控 AI 情境施加某種程度的政府控制。然而，迄今為止，國際政府的回應比你預期的要平淡，如果領導人真的相信 AI 系統有造成文明級別毀滅的真實可能性。

話雖如此，關於核彈和生物武器等威脅的國際條約花了數十年才制定和實施。如果最悲觀的 AI 末日預言者是正確的，我們可能沒有那麼多時間。

眾議員 Lori Trahan（麻薩諸塞州民主黨）週三早上在社群媒體上寫道：「安全研究人員正在辭職，強大的 AI 模型正在突破實驗室，而公司卻仍在競相向前。」她呼籲國會「是時候擺脫旁觀者的角色，履行其職責了。我們可以從我的兩黨《FRONTIER 法案》開始。」