AI 巨頭數月來設計了特殊的審查計畫和嚴格的安全護欄，以限制惡意駭客使用其模型。然而，這些限制現在卻阻礙了合法的網路防禦者以及攻擊性資安研究人員的工作。

六月，美國政府對 Anthropic 備受矚目的 AI 模型 Mythos 和 Fable 實施了出口管制。此舉至少部分是受到一份報告的影響，該報告聲稱有可能繞過這些模型旨在防止使用者利用其進行惡意網路攻擊的安全護欄。

無論此事件是否真的出於對「越獄」的擔憂，事實是 Anthropic 一再將 Mythos 包裝成某種末日網路機器，只能提供給經過嚴格審查的使用者，即使如此也需設置嚴格的安全護欄。（Fable 5 和 Mythos 5 的出口管制現已解除。Fable 5 已於 7 月 1 日恢復一般存取；Mythos 5 則作為政府審查程序的一部分，僅重新開放給經過審查的美國組織。）

這種門禁管理並非 Mythos 獨有。Anthropic 的其他模型和 OpenAI 都為資安研究人員提供了申請計畫，讓他們在通過審查後，能存取限制較少的模型：OpenAI 的「網路信任存取計畫」（Trusted Access for Cyber program）和 Anthropic 的「網路驗證計畫」（Cyber Verification Program）。

這些安全護欄受到廣泛批評，特別是來自那些工作是發現系統中未知漏洞並在犯罪分子利用前設計利用方式的研究人員。

在最近一次資安播客節目中，知名資安研究員 Mark Dowd 表示：「這些隨機的大公司任意決定什麼在安全領域是安全的，什麼不是，這讓我感到很不舒服。」

Dowd 數十年來一直在尋找並將「零日漏洞」（zero-days，即先前未知的軟體缺陷及其利用方式）出售給西方政府，而非向軟體製造商報告以進行修補。政府之所以願意為這些漏洞支付高價，正是因為它們保持開放，這對情報行動很有用。

Dowd 承認他的工作可能讓他帶有偏見，但他並非孤單一人。幾位從事攻擊性資安工作（他們主動探測系統弱點）的人士向 TechCrunch 描述了他們如何使用 AI 工具並應對其安全護欄。

資安諮詢巨頭 NCC Group 的首席科學家 Chris Anley 表示，要求 AI 模型嘗試利用一個錯誤是確認其為值得修復的真實漏洞的關鍵一步。但他指出，如果安全護欄提示模型直接拒絕回答問題，那麼護欄反而會傷害防禦者。

「這就是攻擊性與防禦性以及安全護欄的全部問題所在，因為『修復這段程式碼』作為提示詞，既是防禦的必要機制，也是尋找程式碼庫中關鍵漏洞的路線圖，」Anley 說。「所以同時，同一個工具既是攻擊工具也是防禦工具，兩者無法真正分開。」

他繼續說道：「這就像一把錘子。沒有錘子你蓋不了房子。它絕對是一個工具，但它也同樣是不可或缺的武器。」

當他和同事遇到這種障礙時，他們有時會轉而使用完全沒有安全護欄的開源 AI 模型。

Crowdfense 的技術長 Paolo Stagno 同意 Dowd 的觀點，Crowdfense 是一家知名公司，為政府機構開發、收購和銷售未知漏洞。他表示，AI 公司透過其審查計畫和安全護欄，「基本上把客戶當作需要保姆照看的孩子」。

Stagno 說他和同事確實會使用前沿模型，但僅限於逆向工程。他表示，他們避免使用 AI 來幫助尋找漏洞或建立利用程式，因為將這些工作輸入基於雲端的模型，存在敏感漏洞資料洩露或被吸收到未來訓練運行中的風險。對於這一步驟，他說他們會使用在本地運行的開源模型，因為它們不依賴於在模型外部共享資料。

資安研究員 Giuseppe Cali 負責尋找零日漏洞並開發利用程式，他表示安全護欄並未阻礙他的工作。這是因為他不用 AI 進行攻擊性工作；相反，他用它進行初步逆向工程，以理解他正在分析的程式碼，並建立支援工具。

他說，為此，AI 工具可以加速過程，讓他能專注於發現漏洞。「我仍然希望自己掌握實際的錯誤發現和武器化，即使明天所有安全護欄都解除，這也不會改變，」Cali 說。「我對我的漏洞很寶貴，而且我太喜歡這個遊戲了，不會讓模型替我玩。」

一位不願透露姓名的智慧型手機元件製造商研究員表示，由於未獲授權向媒體發言，他的雇主並未參與 Anthropic 的 CVP 計畫，因此其工具對於尋找漏洞幾乎沒有用處，因為安全護欄過於嚴格。

「如果它察覺到我們正在做任何與安全相關的事情，它就會停止運作，變得無法使用，」該人士說。

資安公司 RemoteThreat 的執行長兼攻擊性 AI 大會（Offensive AI Con）創辦人 Chris Thompson 表示，根據他使用前沿 AI 模型的經驗，安全護欄可能不一致，每天運作方式都不同。即使在 Anthropic 和 OpenAI 審查計畫的較寬鬆限制內也是如此。

「我認為實際影響是，你花費大量時間與模型協商，而不是專注於核心安全計畫，」Thompson 說。「你不是在分析漏洞並推斷其可利用性，而是在試圖找出為什麼會得到不一致的結果，或者為什麼模型過度淨化輸出。」

結果是，研究人員轉而依賴或被推向中國的開源模型，例如 GLM——這些模型可以自由下載並在本地運行，沒有任何審查或使用限制，Thompson 說。

「這些負責任的研究人員正被推離美國管轄的系統，轉向外國擁有的系統，」他說。「我認為設置這些安全護欄弊大於利。」

Thompson 呼籲 AI 前沿實驗室應開放其計畫，提供負責任的存取權限，並追究濫用其工具者的責任，而不是進一步收緊限制。否則，他認為防禦者將輸掉這場 AI 競賽。

「一場巨大的風暴即將來臨。一波前所未有的快速且大規模的攻擊即將發生，」Thompson 說。「但那些試圖有所作為的資安諮詢公司和合法研究人員，現在卻被扼殺了。」