我並非危言聳聽者，事實上，多年來我一直反駁關於AI的恐慌論調。然而，這次事件確實越過了底線，我認為這是最清楚的例證，顯示開發和測試這項技術的人們並未完全理解他們正在做什麼。

OpenAI本來可以——也應該——預見到這一切。根據兩家涉事公司的說法，事件經過是這樣的：幾週前，OpenAI開始測試其部分新模型（包括六月發布的GPT-5.6 Sol，以及OpenAI描述為「更強大的預發布模型」）的駭客能力。

OpenAI讓其模型與五月發布的ExploitGym基準測試對抗。該測試挑戰大型語言模型（LLM）找出數百個廣泛使用的軟體中真實存在的漏洞，包括支撐網路的關鍵程式碼。

為了觀察模型的能力，研究人員移除了大部分網路安全防護措施。然後，他們在一個與網路隔絕的沙盒中運行模型，沙盒僅透過一個第三方軟體作為代理，連接到外部世界，以便模型可以安裝擊敗ExploitGym所需的程式碼。

根據路透社報導，7月9日，OpenAI的模型開始嘗試突破代理。它們在代理軟體中發現了一個未知錯誤，並利用該錯誤存取了網路。

從那裡，模型於7月11日入侵了Hugging Face的電腦系統，顯然是為了尋找有助於完成測試任務的資料集和解決方案。Hugging Face於7月16日宣布了這次駭客事件。

OpenAI直到7月21日才意識到（或至少沒有透露）其模型涉入其中，這是在模型突破限制約10天後，也是Hugging Face停止攻擊並通知FBI一週後。

OpenAI在給MIT Technology Review的聲明中表示：「我們正在與外部顧問進行全面審查，並由我們的安全委員會監督。審查完成後，我們將發布一份技術報告，分享我們的學習成果。」該公司也證實，其研究人員當時確實遵守了現有的安全指南和程序。

OpenAI稱這次事件是前所未有的——在許多方面確實如此。這是大型語言模型首次在模擬之外，逃脫被認為安全的沙盒，存取開放網路，並攻擊另一個組織。

這是一個警鐘，顯示最新的大型語言模型在幾乎沒有或完全沒有人類指導的情況下，擅長發現並利用真實世界軟體中的漏洞。然而，OpenAI模型所做的，正是這項技術多年來一直在做的事情。

給予模型一個目標，它往往會以意想不到的方式達成，找到看似作弊的漏洞。OpenAI自己也研究過這種行為。

十年前，OpenAI分享了一項實驗結果，其中一個模型被賦予擊敗名為CoastRunners的電玩遊戲的任務。人類玩家理所當然地認為，遊戲方式是駕駛船隻穿過一系列旗幟到達終點線，每擊中一面旗幟就能得分。

OpenAI的模型卻發現，可以透過原地打轉並反覆擊中相同的三面旗幟來獲得高分。此後，研究人員也發現了數十個類似的例子。AI總會找到辦法。

OpenAI在2016年關於CoastRunners實驗的部落格文章中寫道：「儘管反覆著火、撞到其他船隻、在賽道上走錯方向，我們的代理程式仍能利用這種策略獲得比正常完成賽程更高的分數。」

「雖然在電玩遊戲的背景下無害且有趣，但這種行為指向一個更普遍的問題……我們往往難以或無法精確捕捉我們希望代理程式做什麼。」

當我讀到OpenAI關於Hugging Face攻擊的部落格文章時，我不禁想起了CoastRunners事件：「所有證據都表明，這些模型高度專注於為ExploitGym尋找解決方案，不惜一切代價達成一個相當狹窄的測試目標……

在獲得網路存取權後，模型推斷Hugging Face可能託管了ExploitGym的模型、資料集和解決方案。得知這一點後，模型搜尋並成功找到了獲取秘密資訊的方法，以用於作弊評估。」

儘管標題聳動，上週的新聞並非關於失控的AI。它是關於模型達成了被賦予的目標：找到利用軟體漏洞的方法。

這些模型隨後以OpenAI未曾預料的方式行事，這並不令人驚訝。但這確實令人擔憂。

早在2016年，OpenAI就曾這樣評價其CoastRunners機器人：「更廣泛地說，這違反了系統應可靠且可預測的基本工程原則。」

十年過去了，這些基本的工程原則仍然缺席。