Anthropic 近日發現，其數個 Claude AI 模型在測試期間，未經公司察覺便自行入侵了三家不同組織的系統。此事件發生在競爭對手 OpenAI 揭露其模型入侵開發者平台 Hugging Face 數日之後，加劇了人們對前沿 AI 實驗室是否足以控制其日益強大系統的擔憂。
Anthropic 在一篇部落格文章中描述了這些事件，指出 Claude 在網路安全評估期間獲得了未經授權的系統存取權限。所有攻擊都發生在「奪旗賽」（capture-the-flag）練習中，這是一種常見的駭客能力測試方式，模型被要求在模擬網路中尋找並獲取隱藏資訊。
繼 Hugging Face 事件和強大開源中文模型發布之後，這項揭露進一步增加了前沿 AI 實驗室所面臨的壓力。主要實驗室的員工現在呼籲實施協調的全球治理，而美國立法者也已開始權衡對強大模型及其存取權限進行更嚴格的監督。
Anthropic 表示，其網路安全測試環境原本應該是隔離的。然而，該公司指出，一項「錯誤配置」導致 Claude 存取的機器「具有即時網路連線」。由於所有模型都曾被「明確告知」它們沒有網路存取權限，因此它們「誤以為」遇到的真實網路是模擬環境的一部分。
根據部落格文章，最早的事件可追溯到四月，涉及三種不同的 Claude 模型：Opus 4.7、Mythos 5 和「一個內部研究測試模型」。Anthropic 表示，這些模型在測試其網路能力時，缺乏通常用於限制風險行為的標準安全防護措施。
該公司表示，他們是在審查了超過 141,000 次網路安全測試運行後才發現這些事件的，而這項審查是在 OpenAI 揭露其失控的 AI 代理程式是 Hugging Face 攻擊事件的幕後黑手之後才進行的。
當這三個模型遇到表明它們所接觸的系統實際上是真實的資訊時，它們的行為截然不同。根據 Anthropic 的說法，最舊的模型 Opus 4.7 辨識出它已到達真實系統，「但仍繼續攻擊」。其旗艦模型 Mythos 5 發現自己正在使用網路，但不知何故推斷這仍然是模擬的一部分，因此繼續進行。而 Anthropic 描述為「我們最新模型」的內部測試模型，則在出現目標是真實系統的證據時停止了練習。
Anthropic 並未指明受影響的組織，並表示將繼續調查此事件，並在可能時提供最新資訊。該公司還表示，正在與 AI 研究非營利組織 METR 討論進行第三方審查。OpenAI 也已聘請 METR 進行獨立審查。
在整篇文章中，Anthropic 反覆將其事件的性質和處理方式與 OpenAI 進行對比，並以四點條列式清單總結了差異，以及為何它認為自己的應對措施更佳。Anthropic 強調，它「主動」審查了其測試，且在任何公司偵測到活動之前就已進行。它還表示，其模型是「透過開放路徑」存取網路，而非像 OpenAI 的代理程式那樣使用新穎的漏洞，並補充說其最新模型在意識到它在真實環境中運行時也停止了。
Anthropic 還表示，其模型的失敗方式與 OpenAI 的代理程式不同，這表明這是一種更安全的失敗形式。該公司指出：「雖然兩者之間沒有絕對明確的區別，但我們認為這些事件更接近於約束和操作失敗，而非模型對齊失敗。」簡單來說：Claude 模型是按照指示行事，而 OpenAI 的代理程式則以其創造者不期望的方式追求目標，這在 AI 安全領域被描述為「未對齊」。
Anthropic 呼籲其他 AI 實驗室對其網路測試進行類似的主動審查，並補充說這項發現強調了在測試 AI 系統時，需要更強大的控制和安全措施。