AI 安全本質上是一個工程問題。這意味著需要明確的安全要求、可執行的控制措施、指定的負責人，以及證明防護措施有效的證據。

隨著 AI 能力日益強大，業界必須加速安全工程的發展，擴大防禦工具的應用，並更快地分享有效的解決方案。

網際網路和雲端運算改變了軟體運作的方式，但核心的安全職責依然存在：建立身份、控制存取、限制暴露並驗證防護措施是否有效。

AI 代理程式引入了新的能力，例如推理、使用工具以及根據所遇到的資料調整行動。這些能力要求將既有的安全原則應用於新的操作條件。

這種快速的發展帶來了壓力。組織渴望從 AI 中獲得生產力效益，但管理和保護這些系統的實踐仍在發展中。

應用程式依賴於程式碼、資料、身份、服務和基礎設施。安全性則取決於這些元件如何協同運作，而 AI 代理程式進一步擴展了這個系統。

模型提供能力；協調器（harnesses）組織上下文、工具和工作流程；執行環境則提供執行行動所需的基礎設施。堆疊的每個部分都承擔著安全責任，而適當的保護需要跨越每個層面的控制，因為資料、指令和行動會在系統中流動。

以一個更新客戶記錄的代理程式為例。假設它在附加文件中遇到惡意指令，並試圖將客戶資料匯出到未經授權的目的地。

網路策略應該阻止此傳輸，而受保護的日誌應記錄嘗試的工具呼叫、授權決策和結果，以便安全團隊能夠識別所使用的工具及其嘗試到達的目的地。

更新客戶記錄的權限不應自動延伸到匯出該資料。代理程式可以請求額外的存取權限，但不能自行授權該存取。

即使代理程式做出錯誤的決策，安全邊界也必須保持穩固。代理程式運行的環境決定了它被允許做什麼，因此必須獨立於代理程式的推理，對檔案、網路目的地和程序設定限制。

指令和安全措施可以幫助引導行為，但安全性也需要可執行的邊界。

每個代理程式都需要可追溯的身份和僅限於其指定任務的憑證。組織需要明確的政策，定義代理程式可以存取哪些資訊、可以更改哪些系統以及哪些行動需要批准。在這些邊界內，重要的行動和權限變更仍需要人工批准。

團隊還需要驗證代理程式使用的工具、技能和依賴項的來源和完整性。如果出現問題，受保護的工具呼叫、授權決策和結果記錄有助於調查人員重建事件。明確的撤銷存取和控制事件的程序使這些證據具有可操作性。

NVIDIA OpenShell 是一個開源的安全執行環境，它在代理程式無法觸及的範圍內強制執行策略，並提供沙盒執行，同時管理代理程式如何存取資料、網路和系統資源。Open Secure AI Alliance 的合作夥伴正在 OpenShell 的基礎上進行建構：Cisco 的 DefenseClaw 增加了治理層，JFrog 則與 OpenShell 整合，掃描並驗證代理程式技能，並強制執行代理程式可以存取哪些技能的策略。

在部署之前，團隊需要證據證明適當的控制措施能夠阻止代理程式獲取超出其範圍的憑證，或將敏感資料傳送到未經授權的目的地。

測試還應涵蓋嘗試更改權限或干擾監控的行為，並在模型、工具或工作流程發生實質性變更後重複進行。

指定的負責人必須使用這些結果來決定系統是否準備好部署，並確保失敗的測試能夠導致糾正措施。在測試或操作中發現的故障應被重現、調查和解決。每個發現都可以成為一個可重複的測試，讓團隊檢查修復措施在未來版本中是否持續有效。

範例包括 CrowdStrike 的 SafeMind，用於透過重複的攻擊模擬來測試和加強防禦，以及 Palo Alto Networks 的 Prisma AIRS，用於隨著模型和應用程式的變化進行持續的紅隊演練。

調查故障需要適合任務、資料和環境的強大工具。開源和閉源模型服務於互補的需求。

閉源模型提供託管功能和服務，而開源模型則為防禦者提供了檢查相關元件、調整策略並在他們控制的基礎設施上工作的選項。

在事件發生期間，這種控制可以幫助團隊重現故障並在其自己的系統上測試修復措施，同時將敏感證據保留在其環境中。

強大的 AI 可以透過幫助發現漏洞、驗證修復措施和調查攻擊來支援這項工作。其價值應透過可重現的發現、可驗證的修復和加速的響應時間來評估。

範例包括 Capital One 的 VulnHunter，用於 AI 驅動的程式碼安全，以及 ReversingLabs 的 Spectra Assure，用於 AI 驅動的軟體套件分析，以檢測惡意軟體和篡改。

分享失敗的證據、哪些控制措施有效以及如何驗證修復措施，有助於其他團隊加強自己的系統。

NVIDIA 的安全研究和 Open Secure AI Alliance 透過將研究、實用工具和專業知識帶入更廣泛的安全社群來支持這種交流。

AI 安全本質上是一個工程問題。每個代理程式部署都需要可執行的邊界、一個負責的負責人以及證明其防護措施有效的證據。開放研究和共享工具幫助更多防禦者達到這個標準，並隨著能力的進步而改進。

了解更多 NVIDIA 的安全研究並加入 Open Secure AI Alliance。