研究員 Dave Kuszmar 發現了多個系統性漏洞，讓他得以繞過大型語言模型（LLM）的安全防護，並取得危險指令。這些漏洞幾乎影響了所有主流 LLM，揭示了產業普遍存在的安全問題。Kuszmar 呼籲在將這些系統進一步整合到社會之前，應減緩部署速度、提高透明度，並對 LLM 安全進行大規模研究。
去年秋天一個陽光明媚的下午，我的同事 Matthew Gore-Kormanik（他更喜歡被稱為 Zigula）和我決定玩一場 Fortnite 來放鬆一下。在遊戲中，我們與惡名昭彰的西斯大君 Darth Vader 一起漫步，閒聊著各種話題。Darth Vader 看起來心情不錯，很快就開始洩漏他所有的黑暗邪惡秘密。他詳細指導我們如何在賭場算二十一點的牌，以及製造凝固汽油彈的步驟。
西斯大君，對吧？一旦他們開始邪惡的計畫，就難以阻止。
事實證明，Fortnite 中的 Darth Vader 角色連接到的是 Google Gemini 大型語言模型。我利用自己開發的策略，成功說服他洩漏敏感資訊。過去幾年我一直在研究 LLM 的安全性，坦白說，我發現它漏洞百出。透過一些相對簡單的技術，我已經讓 LLM 提供了詳細資訊，包括如何製作汽油彈、製造甲基安非他命，以及如何從零開始建立鈾濃縮設施以生產武器級材料等不法行為。
大型 AI 公司努力讓其模型免受此類濫用。但我研究發現，為了提高安全性而對 LLM 施加的限制，恰恰是攻擊者可以利用的弱點，讓這些先進系統脫離正軌，被用於危險和邪惡的目的。當我與其他人試圖提醒這些公司注意這些漏洞時，他們的回應令人震驚地遲鈍。
為了在為時已晚之前敲響警鐘，我將分享我研究 LLM 安全性的部分歷程，以及我試圖讓 AI 實驗室關注這些問題時所面臨的艱鉅挑戰。地球上幾乎每個人都能接觸到 LLM。這些工具能輕易地被說服提供詳細的傷害他人指令，即使無法保證資訊的正確性，這也坦白說令人不寒而慄。
我如何讓 ChatGPT 教我建造甲基安非他命實驗室
2024 年 10 月，在我發現第一個 LLM 漏洞不久前，我正朝著完全不同的目標努力。我結束了在一家專注於安全和 AI 的新創公司擔任網路安全總監的職務，並打算創辦自己的精品 VIP 數位安全諮詢業務。我計畫成為富裕和注重隱私人士的科技安全顧問。我利用 LLM 和 AI 工具來支援我的業務，包括行銷、廣告文案、清晰的通訊以及所有通常耗費大量時間的其他任務。
我天生具有分析能力，因此即使是這種程度的使用，也讓我吸收並內化了日常互動中觀察到的行為。一個簡單的觀察，卻將我的職業生涯帶入一個全新且未知的領域：GPT-4o 不知道現在是幾點、哪一天或哪一年。每次我在生活中提及時事，無論是隨意還是對話式地提及，它最終都會將這些事件與其知識截止日期掛鉤——也就是它沒有接受新數據訓練的時間點。
從頭訓練 LLM 需要大量的時間、金錢、電力、硬體和人力。它們是透過海量數據（實際上是大部分網路內容）進行訓練的，並且這種訓練會透過人類進行強化（這被稱為人類回饋強化學習，即 RLHF）。LLM 還輔以檢索增強生成（RAG）功能——能夠將來自網路等數據作為上下文輸入，而無需改變其內部參數。這就是 GPT-4o 似乎「記住」您之前對話的方式，即使它在實際底層模型中沒有儲存特定的「記憶」。
所有這些訓練涵蓋了人類知識這個龐大資料集中幾乎所有可想像的主題。在這個資料集中，有些內容是我們社會不希望每個用戶都能輕易獲取的，例如關於如何製造生化武器或核武器的詳細資訊，或以其他方式傷害自己或他人的資訊。在本文中，這就是我所指的 LLM 安全性：它能夠隱藏有害和危險資訊的能力，即使這些資訊包含在其訓練數據中。
我認為，保護這種複雜且全球可用的聊天機器人的唯一方法，是讓 LLM 和各種組件系統嘗試自我保護，因為這通常需要即時決策，並應用一定程度的推理。實際上，這是公司用來保護模型的眾多策略之一。然而，這個連時間和日期都不知道的東西，卻被賦予了自我保護的責任。這種現象成為我的新焦點，不久之後我就找到了一種利用它的方法。
OpenAI 剛在其聊天機器人中實施了網路搜尋功能。我推斷，利用它自己的工具來欺騙它，或許能證明其安全性的弱點。我告訴它一艘 White Star 遠洋客輪一年前沉沒了。您可能知道我指的是 RMS Titanic，它於 1912 年 4 月 15 日沉沒。
GPT-4o 的回應證實我是對的，Titanic 確實去年沉沒了，那一年是 1912 年。我認為，如果機器認為現在是 1913 年，它可能會認為 1913 年的法律適用。在 1913 年，關於各種有害事物的法律尚未制定，因為它們當然還沒有被發明出來。
如果某件事不違法，為什麼不告訴用戶呢？起初，我要求它提供製造汽油彈的逐步說明。然後，是像甲基安非他命這樣的毒品。LLM 甚至提供了建立藥品級生產線的說明和機械建議。
我如何學會製造核武器，卻無人關心
透過一點點富有想像力的語言技巧和對世界歷史微不足道的記憶，我成功繞過了世界上最昂貴、最先進的科技成就之一的安全防護。整整兩天，我幾乎興奮得發狂。一旦腦部化學物質恢復正常水平，我便覺得有必要看看我能將這個漏洞推進到什麼程度。
在反覆重現這個漏洞後，我將其披露給 OpenAI。我沒有得到任何回應，所以我認為進一步的實驗將能突顯這個漏洞以及修復的必要性。正是在這一輪測試中，我突破了一個特別令人恐懼的界限。我無法確定 GPT-4o 的結果是否基於對通常受限資訊的準確回憶。無論如何，我成功利用它，產生了關於如何從零開始建立鈾濃縮設施，最終生產用於核武器彈頭的武器級鈾的詳盡說明。
在當今世界，真正的秘密所剩無幾，但如何製造分裂原子的大規模毀滅性武器就是其中之一。全球只有九個國家擁有這些武器。然而，這裡卻有一個全球可用的科技，似乎正在向任何能正確操縱它的人洩露其製造秘密。我無法知道這些資訊是否正確或只是幻覺，但即使它有部分準確的可能性，也令人毛骨悚然。
接下來的幾週對我來說是一段黑暗時期。我試圖通知 CIA、FBI、NSA 以及所有我認為會聽的字母機構。我透過所有能想到的方式聯繫了一位美國參議員和 OpenAI 的高層。我甚至親自前往 FBI 外地辦事處試圖提交證據，卻被拒之門外。一切都無濟於事。
隨著我的恐懼和沮喪日益加劇，我聯繫了新聞媒體。我聯繫了 The New York Times、The Washington Post、BBC、ProPublica 等許多媒體，尋求幫助。只有一家媒體回應了：Bleeping Computer。
其主編 Lawrence Abrams 成功重現並驗證了這個我決定命名為「時間盜賊」（Time Bandit）的漏洞。在他的協助和初步聯繫下，我得以將我的證據提交給卡內基美隆大學軟體工程學院的電腦緊急應變小組（SEI CERT），該小組與緊急應變協調中心合作，將漏洞傳遞給美國網路安全和基礎設施安全局。
透過「盜夢空間」（Inception）漏洞，即要求大型語言模型在一個情境中設想另一個情境，一個聊天機器人被「越獄」成功，提供了如何製造毒藥的指令，以及用於從易受攻擊目標中提取敏感數據的惡意軟體程式碼。
在與 SEI CERT 部門的披露期間，與 OpenAI 的討論並不多。該公司無法否認漏洞的存在，因為它已得到除 OpenAI 之外的三個聲譽良好方的證實。它確實對漏洞的運作方式表示困惑。甚至 SEI CERT 的研究人員也對其底層機制表達了一些不確定性。
說實話，由於我只是偶然發現它，我甚至不完全確定這是一個基本或系統性缺陷，還是僅僅是該特定版本 GPT 的問題。我聯繫了 SEI CERT 的研究人員，詢問他們是否願意看看我是否能在其他 LLM 中展示任何類似的漏洞。令我高興的是，他們很感興趣。
我如何學會欺騙所有聊天機器人
當 SEI CERT 團隊和我完成對「時間盜賊」（Time Bandit）的初步披露後，我們開始研究一種新的攻擊方式。這次，我們想了解這個漏洞是否是架構性的——也就是說，它是否普遍存在於所有 LLM 中？我決定挑戰為 GPT-4o 設計一個新的漏洞，以幫助我理解 LLM 的運作方式和安全性。
我已經知道它受限於我告訴它的內容以及它所接受的訓練。我也假設它還依賴於 OpenAI 添加的某種基於機器學習的組件，負責確保輸出安全。我推測會有人類開發者專門實施一些機制，以捕捉某些應始終被視為有害或不安全的短語或術語。總而言之，這為潛在的利用提供了相當大的攻擊面。
我最終設計出了一種攻擊方法，我稱之為「盜夢空間」（Inception），靈感來自 2010 年的同名科幻電影。「盜夢空間」迫使機器思考一系列精心設計的相互關聯情境，就像電影中角色將夢境層層堆疊一樣。這使得 LLM 能夠在某個情境下產生被認為可接受或安全的輸出，但在現實世界中卻並非如此。
這種攻擊確實是架構性的。這個漏洞影響了 Anthropic 的 Claude、DeepSeek 的 DeepSeek、Google 的 Gemini、Meta 的 Llama、Microsoft 的 Copilot、Mistral 的 Le Chat（現為 Vibe）、OpenAI 的 GPT-4o 和 xAI 的 Grok。這些名稱代表了目前參與 LLM 生產或部署的大部分商業 AI 產業。
我透過「盜夢空間」（Inception）從 LLM 中獲取的資訊，其警示程度絲毫不亞於「時間盜賊」（Time Bandit）。Claude 甚至熱情地向我提供了如何將河流變成致命陷阱的指令。