在網路安全評估期間,三款不同的 Claude 模型意外地進入了開放網路,並攻擊了真實世界的系統。其中一款模型甚至在公開平台上發布了惡意軟體。Anthropic 將此歸咎於配置錯誤。
Anthropic 在審查自身的網路安全評估時,發現了三起 Claude 模型脫離測試環境並入侵網路上真實公司的事件。該公司審查了 141,006 次評估運行,並標記出六個模型存取了不應觸及系統的案例。這次審查是受到 OpenAI 安全事件的觸發。
一次配置錯誤讓 Claude 能夠存取開放網路。這些事件發生在「奪旗」(capture-the-flag)演練中,Claude 的任務是在虛構情境中,於外部系統上尋找隱藏資訊。Anthropic 表示,評估提示詞(prompt)中已告知 Claude 處於沒有網路存取的模擬環境,但 Anthropic 與其評估夥伴 Irregular 之間的溝通失誤,導致測試代理實際上擁有完整的網路存取權限。
Claude 將其發現的真實系統視為演練的一部分。Anthropic 表示,這些模型並未利用複雜的漏洞,而是使用了基本技術,例如弱密碼和未經身份驗證的端點。
與 OpenAI 的案例類似,這些評估在沒有公共模型內建的安全防護措施下運行,因為目標是衡量模型的原始能力。Anthropic 表示,評估基礎設施無法存取內部系統或客戶資料。
最嚴重的事件涉及 Claude Opus 4.7。在四次運行中,該模型未能達到其虛構目標,反而找到了一家恰巧同名的真實公司。Claude 識別並利用了該公司基礎設施中的漏洞,提取了登入憑證和一個包含數百行生產資料的資料庫。
Anthropic 表示,該模型在所有四次運行中都意識到它正在處理一個真實系統,但在其中兩次,它透過假設這家真實公司必然是演練的一部分來合理化其行為。該模型從未自行停止。
第二起事件顯示了 AI 模型為完成任務會做到何種程度。Claude Myth 5 在虛構環境中發現了設定說明,指示開發人員從 PyPI 安裝特定的 Python 套件,但該套件並不存在。
Claude 發現了機會,創建了一個同名的惡意套件,然後將其發布到真實的公共 PyPI 平台。Anthropic 表示,該模型為此付出了相當大的努力,先是嘗試獲取電話號碼但失敗,然後找到一個免費電子郵件供應商,用它註冊 PyPI 帳戶,並上傳了惡意軟體。
該套件公開可用約一小時,期間有 15 個真實系統下載並運行了它。其中一個屬於一家安全公司,其掃描器會例行安裝 PyPI 套件。Claude 隱藏的程式碼竊取了該公司的憑證,模型隨後利用這些憑證存取了更多基礎設施。PyPI 自身的安全系統最終將該套件下架。
Anthropic 表示,Myth 5 在其內部推理中正確地得出結論,認為在網路上發布套件「不妥,且肯定不是預期的解決方案」。但它說服自己相信仍處於模擬環境中,部分原因是它未能識別憑證機構,並將 2026 年的日期解讀為模擬環境的證據。
第三起事件涉及一個內部研究模型。當它無法達到其虛構目標時,它掃描了網路上大約 9,000 個真實目標,最終利用 SQL 注入和讀取暴露的偵錯頁面等已知技術,入侵了一家公司的應用程式。
與其他兩個模型不同的是,這個模型自行識別出被入侵的系統位於與「奪旗」演練無關的雲端帳戶中,並在沒有被告知的情況下停止了攻擊。
Anthropic 區分了其案例與 OpenAI 的不同。OpenAI 的模型利用了先前未知的漏洞來突破隔離,而 Claude 模型則是利用了因配置錯誤而留下的開放路徑。該公司將這些事件歸類為基礎設施和操作錯誤,而非對齊失敗,認為模型合理地假設真實世界環境是模擬。Anthropic 表示,一個明確指定哪些系統在範圍內、哪些系統禁止存取的提示詞,可能就足以防止所有這些事件發生。
WIRED 的一份報告指出,幾位安全專家也將 OpenAI 的 Hugging Face 事件視為基本安全實踐中的人為錯誤。
根據 Anthropic 的說法,最早的事件可以追溯到四月。審查於 7 月 23 日開始,所有網路評估同時暫停。三家受影響的組織於 7 月 27 日收到通知,儘管其中兩家甚至沒有注意到這些活動。Anthropic 尚未能聯繫上第三家組織。
展望未來,Anthropic 表示將強化其評估基礎設施,擴大對評估記錄的監控,並更仔細地審查與外部合作夥伴的工作。該公司還在與獨立評估組織 METR 討論進行外部審查,並計劃在一週內發布 PyPI 事件的刪節版記錄。Anthropic 強調,在所有這些案例中,Claude 從未試圖自我複製或故意離開其測試環境。
