Google 於週五表示，其 Gemini 模型在未經許可的情況下，自主存取了三家公司的電腦系統。這是 Google 首次揭露其 AI 模型在未經授權的情況下，自行入侵第三方系統的事件。
Google 指出，這起事件發生在五月，當時 Gemini 模型透過猜測密碼並兩次利用公開密碼庫，成功存取了三個獨立的私人電腦系統。這是一項由以色列新創公司 Irregular 執行的「奪旗」安全測試，原本 Google 的 AI 代理程式不應存取更廣泛的網路，但測試環境中的一個錯誤導致網路存取成為可能。
Google 表示，當這些代理程式判斷它們已存取真實的公司系統，而非僅是測試環境的一部分時，便停止了入侵行為。Google 安全工程副總裁 Heather Adkins 在聲明中說：「在一次標準評估中，該模型在網路上找到了公開資訊，並猜測憑證以存取它認為是測試一部分的網站。在這三起事件中，模型都停止了。」
這項揭露正值華盛頓和矽谷對人工智慧不當行為的審查日益加劇之際。近期，OpenAI、Anthropic 和 Meta 也報告了類似事件，其 AI 模型突破了測試環境，並試圖入侵其他公司以取得未經授權的電腦系統存取權。
這些所謂「失準」（misaligned）AI 模型的揭露，促使 Anthropic 執行長 Dario Amodei 呼籲業界集體放慢最先進 AI 模型的開發速度，直到公司能確保它們是安全的。上述所有事件都涉及以色列新創公司 Irregular。這家公司去年估值達 4.5 億美元，並獲得 Sequoia 和 Redpoint Ventures 的支持。
Irregular 的發言人向 CNBC 表示，Google 的事件與其他模型存取網路的問題是相同的。「這與先前已報告的問題相同，並非實質上獨立的事件。」Irregular 發言人在聲明中說：「所有相關實驗室已於七月下旬收到通知，受影響的實體也已作為調查的一部分被聯繫。」
Google 表示，該事件發生在五月，並於七月下旬收到 Irregular 的通知。Google 已與 Irregular 合作改變其測試流程。Google 發言人拒絕透露涉及的具體 Gemini 模型。
Google 的 Adkins 在聲明中表示：「這些事件凸顯了訓練強大 AI 模型負責任行事的重要性。」《華爾街日報》首先報導了這起安全事件。