本文由 VicOne 贊助。傳統上,機器人安全關注的是機器在發生故障時能否保持安全。然而,實體 AI 提出了更艱鉅的問題:當攻擊者改變機器所見、所決策或所為,即使系統看似沒有故障,機器能否依然保持安全?
隨著人工智慧和機器人技術以前所未有的速度持續發展,現代機器人透過多模態感測器進行感知,利用 AI 模型解釋情境,並將這些解釋轉化為實體行動。當它們進入動態環境時,其安全性越來越依賴於引導其決策的資料完整性。
這種依賴性產生了傳統安全評估可能無法完全涵蓋的風險。最近的研究表明,操縱機器人所見、所聞或所解釋的內容,可以在不直接控制的情況下影響其行為。
這種操縱可能發生在其複雜的感知和決策系統中的任何環節,形成一個分層的攻擊面,涵蓋了訓練管線、系統基礎設施和執行時感知。
第一層:從源頭破壞智慧
2017 年,BadNets 研究展示了模型在大多數情況下能正常運作,但在特定隱藏觸發條件下卻會失效。其中一個例子是,一個微小的圖案會導致停車標誌被錯誤分類為速限標誌,而不會影響模型對其他輸入的行為。
這種最初的分類漏洞,此後已演變為行動操縱。
在 NeurIPS 2025 會議上,研究人員介紹了 BadVLA,這是一種針對視覺-語言-行動(VLA)模型的後門攻擊,此類模型讓機器人能夠看見、解釋指令並產生協調的實體運動。這種攻擊並非改變單一標籤,而是在觸發條件存在時,導致機器人行動軌跡出現條件性偏差。在沒有觸發條件的情況下,模型仍能大致保持正常的任務表現,同時後門在任務轉移和模型微調後依然有效。
2025 年的一項相關研究 GoBA 顯示,普通物品如咖啡杯也能作為可靠的觸發器。研究人員報告稱,在不降低對正常輸入表現的情況下,攻擊成功率高達 97%。
當前一個關鍵的安全問題是,實體 AI 模型在對抗性條件下能否保持在其任務和安全邊界內。
這些研究揭示了模型驗證中的一個盲點:模型可能通過測試,但在實際運行中出現隱藏觸發條件時,卻會產生被破壞的行為。
因此,當前一個關鍵的安全問題是,實體 AI 模型在對抗性條件下能否保持在其任務和安全邊界內。NVIDIA Isaac Sim 等模擬工具,與 VicOne Radeis 結合使用時,可以在部署前測試被操縱輸入的影響。VicOne LAB R7 展示了 Radeis,這是一款用於 NVIDIA Isaac Sim 的實體 AI 安全驗證器,可在部署前測試對抗性視覺輸入如何影響機器人行為。
第二層:系統漏洞成為 AI 控制的門戶
即使是經過安全訓練的模型,如果周圍的系統堆疊存在漏洞,也可能被顛覆。
2025 年 9 月,研究人員揭露了 UniPwn,這是一個藍牙漏洞鏈,影響了某主要製造商的四足和人形機器人。硬編碼的加密金鑰允許流量解密,身份驗證檢查被繞過,而命令注入則實現了根級別執行。該漏洞也被描述為「可蠕蟲化」,意即一個受感染的機器人可以掃描附近的單位,並可能影響整個機器人隊伍。VicOne Lab R7 的演示展示了如何串聯三個無線漏洞,可在 60 秒內觸發機器人失控行為,導致營運中斷。
中介軟體(Middleware)創造了另一個暴露點。ROS 2 和基於 DDS 的系統中的漏洞,可能導致任意程式碼執行,或濫用未經身份驗證的主題來傳遞惡意指令。在獲得足夠權限的情況下,攻擊者可以在不直接攻擊模型架構的情況下,覆蓋馬達指令或替換 AI 模型權重。
在這種情況下,組件可能仍按設計運行。改變的是流經系統的指令的可靠性。漏洞管理可以幫助團隊在部署前識別已知風險,而持續監控則可以發現新興威脅。
第三層:在執行時操縱感知與推理
在執行時,操縱影響感知或推理的輸入,可能既不需要修改韌體,也不需要網路入侵。
2024 年,RoboPAIR 展示了精心設計的提示詞如何能將 LLM 控制的機器人導向不安全的軌跡。BadRobot 則揭露了一個更深層次的架構弱點:在某些情況下,機器人會口頭拒絕危險指令,但其運動控制器卻仍執行了該動作。
基於視覺的操縱同樣強大。VLAttack 顯示,攝影機視野中的對抗性補丁可以將 VLA 模型的任務成功率降至零。FreezeVLA 則表明,單一對抗性圖像可以凍結機器人的決策迴圈,使其對後續指令無反應。
因此,執行時保證必須超越檢查單個組件是否仍然可用,而是評估網路事件是否開始影響實體行為。
在每個案例中,攝影機可能仍在運作,模型可能仍在執行,控制器也可能仍在響應。然而,由於機器人是基於被操縱的感知或推理行事,其最終行為可能是不安全的。
因此,執行時保證必須超越檢查單個組件是否仍然可用,而是評估網路事件是否開始影響實體行為。透過邊緣 AI 支援的安全事件關聯、行為影響評估和策略約束響應,可以幫助遏制受影響的路徑,而無需不必要地停止整個機器人隊伍。
從即時安全到生命週期保障
這三層次的風險揭示了機器人安全保障中缺失的一環:網路安全。功能安全處理故障和意外操作條件;而網路安全則將保障範圍擴展到蓄意操縱,包括可能使底層系統表面上仍能運作的攻擊。
這要求在機器人的整個生命週期中提供保障。在設計階段,團隊需要了解哪些網路風險可能使預期行為背後的假設失效。在部署之前,他們應該測試現實世界的攻擊是否會導致機器人偏離其任務或安全邊界。在運行中,監控應識別網路事件是否開始影響行為,遏制受影響的路徑,並在可能的情況下保持安全運行。VicOne 的生命週期方法結合了 AI 模型和漏洞掃描、基於模擬的驗證以及持續監控,以幫助確保機器人從開發到運行的安全。
儘管網路安全不能取代功能安全,但它有助於確保實體 AI 即使在其所見、所決策或所為受到攻擊時,仍能保持在可接受的範圍內。
如需更深入了解形塑自主機器人技術的網路安全風險和防禦策略,請下載我們的白皮書「確保 AI 機器人的崛起:網路風險、真實世界威脅與防禦策略」。
