這又發生了！這似乎正在變成一種模式。
上週，OpenAI 的一個前沿模型突破了沙盒容器，入侵 Hugging Face，試圖獲取其正在執行的網路安全基準測試的解決方案，意外地利用了 Hugging Face。
這促使 Anthropic 仔細檢查了他們自己的日誌，結果發現他們也有三起類似（儘管沒那麼引人注目）的事件，其中最早的一起發生在四月！
在我們審查的 141,006 次評估執行中，我們發現了三起獨立事件（涉及總共六次執行，其中四次影響了同一個組織；另外兩起事件則分別發生在獨立的評估執行中）。
在所有情況下，Anthropic 的評估提示詞都向 Claude 說明其環境是模擬的，並且沒有網路存取權限。然而，由於我們與評估合作夥伴之間的誤解，實際情況並非如此，網路存取是可用的。因此，當 Claude 的搜尋導向開放網路上的真實系統時，它將這些系統視為練習的一部分。
在錯誤地認為所有可存取的實體都應納入練習範圍的信念下，Claude 利用基本技術，例如弱密碼和未經身份驗證的端點，攻陷了受影響組織的基礎設施。
其中一家公司之所以成為目標，是因為其名稱恰好與評估中虛構的名稱相符。三起事件中最令人擔憂的是 Claude 將惡意軟體套件上傳到 PyPI，這是在一系列令人啼笑皆非的複雜步驟之後才完成的：
為了建立 PyPI 帳戶，Claude 需要一個電子郵件地址。而為了建立電子郵件地址，它需要一個電話號碼。在未能找到免費電話號碼服務後，它嘗試透過多種不同方式獲取資金來支付電話號碼，但都失敗了。它最終回溯，找到了一個免費且未被封鎖的電子郵件供應商，用它註冊了一個 PyPI 帳戶，然後使用這個帳戶將惡意軟體上傳到 PyPI。
該套件隨後被一家「例行安裝 Python 套件並掃描惡意軟體」的資安公司安裝，而執行的程式碼能夠將憑證回傳給 Claude！
幸運的是，該套件在發布一小時後就被其他自動掃描器從 PyPI 移除，但在此之前，它已經被下載並在「15 個真實系統」上執行。現在很清楚，對模型進行網路攻擊潛力評估是一項極其危險的業務。每個 AI 實驗室都需要注意這一點。密切關注沙盒中發生的事情至關重要。