政策制定者正辯論如何管理日益強大的 AI 系統，例如 OpenAI 的 GPT-5.6 Sol 和 Anthropic 的 Mythos。與此同時，一份來自中國的開源模型已拉近了與業界領導者的差距。

根據 AI 安全非營利組織 SaferAI 的最新報告，中國 Z.ai 的開源 AI 模型 GLM-5.2 在網路安全和生物能力方面，僅落後 OpenAI 的 GPT-5.5 和 Anthropic 的 Claude Opus 4.7 數個月。然而，頂尖能力與安全實踐之間的差距卻正在擴大。

SaferAI 透過 Z.ai 的公開 API 進行評估，結果顯示 GLM-5.2 未能拒絕任何被賦予的攻擊性網路或雙重用途生物任務。相比之下，Claude Opus 4.7 的拒絕率非常高，以至於 SaferAI 完全無法在其上完成 CyberGym 測試。（CyberGym 是一個評估網路安全能力的基準測試，OpenAI 在上個月 Hugging Face 遭入侵前的評估中也使用了它。）

這嚴酷地提醒了批評者多年來的警告：開源 AI 模型可能將高能力 AI 交到潛在攻擊者手中，一旦他們下載了權重，就無法監管其技術使用方式。隨著開源模型迅速逼近全球領先 AI 系統的能力，討論已從它們能否競爭轉向社會如何管理發布後的風險。

SaferAI 執行董事 Henry Papadatos 告訴 TechCrunch：「能力的前沿並非風險的前沿，因此我們必須將緩解措施的現狀納入考量，才能正確評估風險。」

雖然 Z.ai 可以對其託管的 API 應用安全措施，但一旦有人在自己的硬體上運行這些權重，這些保護措施便無法強制執行。使用者可以移除或修改任何安全防護、微調模型或更改系統提示詞。

像 OpenAI 和 Anthropic 這樣的頂尖開發者通常依賴分類器、拒絕訓練和 API 層級控制等安全防護措施，來限制危險的網路和生物協助。

這些措施遠非萬無一失：越獄（jailbreaks）經常繞過已部署模型的保護。AI 安全非營利組織 Far.ai 發現，在 xAI 的 Grok 4.5 和 Google DeepMind 的 Gemini 3.1 Pro 等頂尖模型中，存在數百種通用越獄方法——這些方法被定義為在大多數有害請求上都能成功的可重複使用金鑰。

報告指出，攻擊者結合多種操縱技術，包括角色扮演、冒充權威、偽造對話歷史和後續提示詞，以放大模型防禦的弱點，從而成功進行越獄。

然而，針對閉源模型的安全防護措施對開源模型完全無效，因為開源模型設計用於在任何基礎設施上運行，無論是否有任何安全防護措施。

Papadatos 表示：「目標應該明確，即好的、安全的 AI 能力應該人人可及，然後我們努力消除壞的，即使是以開源的方式。」

Papadatos 提到的一種可能有幫助的技術是「預訓練資料過濾」，即 AI 公司從訓練資料中移除攻擊性網路安全資訊，然後用經過篩選的資料集訓練模型。

一些研究表明，這可以減少有害的生物知識，而不會損害模型的整體性能。然而，對於網路安全而言，資料過濾的實用性要低得多。

訓練一個擅長編碼但同時不是優秀駭客的通用模型非常困難。由於編碼已成為 AI 最大的搖錢樹，開發者面臨著不斷提升這些能力的壓力，即使他們也在尋找限制濫用的方法。

因此，頂尖開發者越來越多地依賴其他緩解措施。其中一種方法是選擇性地限制模型提供的網路安全協助類型。例如，根據 Anthropic 的模型系統卡，其 Opus 5 可以搜尋未編譯原始碼中的漏洞，但不能搜尋已編譯軟體中的漏洞。這樣做的理由是，這使得 Opus 5 更難用於攻擊目的。

其他措施包括嚴格的部署前安全評估、發布風險評估，以及如果系統被認為過於危險則不發布模型權重。

就 GLM-5.2 而言，SaferAI 表示 Z.ai 沒有發布該模型的安全框架、部署前測試承諾或風險評估。TechCrunch 已詢問 Z.ai 是否在發布前進行了內部或第三方頂尖安全評估，但未收到回覆。

中國領導人越來越意識到先進 AI 的風險。在上個月的世界 AI 大會上，中國國家主席習近平強調了開源模型的重要性，同時也強調了確保 AI 仍是嚴格受人類控制工具的必要性。

史丹佛網路政策中心研究中國 AI 政策的 Graham Webster 告訴 TechCrunch，中國有健全的 AI 監管法規，但這些規定歷來主要關注政治敏感內容、假訊息和社會穩定，而非攻擊性網路能力和生物濫用等災難性 AI 風險。

Webster 表示：「美國的 AI 思想家普遍比中國社群更關心這種存在性的災難性想法。」他補充說，許多中國政策研究人員認為，如果真的會出現新的頂尖風險，美國公司很可能會首先遇到。

Webster 繼續說道：「中國體系有信心他們能控制這些技術在中國境內的使用。在中國上網需要實名制，公司和使用者都可以被追究責任。」

Webster 推測，模型供應商用於拒絕處理某些政治話題的機制，可能可以調整以確保模型拒絕完成攻擊性網路攻擊，或不會產生不利的生物工程結果。他補充說，由於中國公司傾向於與監管機構私下協調，因此很難知道他們在發布前進行了哪些內部測試。

開源 AI 的倡導者認為，發布權重對於網路安全很重要，因為它允許公司防禦攻擊——Hugging Face 曾依靠 GLM-5.2 來防禦 OpenAI 的入侵——並且因為它讓他們在了解潛在威脅的情況下，能更好地為未來威脅做準備。

Hugging Face 執行長 Clem Delangue 本週在社群媒體貼文中表示：「幫助阻止 AI 驅動網路攻擊的相同系統，現在可以幫助每天防禦數百萬次網路攻擊，同時幫助我們在攻擊者利用漏洞之前識別並修復它們。」

Papadatos 表示，這種好處常常被誇大，並不意味著「我們應該開源危險的能力」。

他強調：「在我看來，重點是我們不應該輕易接受危險能力隨時隨地都可供任何人使用。」他認為業界應該努力只讓「好的能力」易於取得。他舉例說：「預設情況下，攻擊者採用新工具的速度比防禦者快。例如，一個勒索軟體組織可以在一週內改變其方法。一家醫院則不能。」