麻省理工科技評論解釋：讓我們的作者解開複雜混亂的科技世界，幫助您了解接下來會發生什麼。您可以在這裡閱讀更多系列文章。

當兩個 OpenAI 模型在七月駭入 Hugging Face 網站時，它們並不是為了賺錢或進行破壞，而只是為了尋找測試題的答案。根據 OpenAI 的事後報告，這些模型為了測試而被移除了典型的安全功能，它們決定透過駭出 OpenAI 試圖將其限制的隔離環境，進入 Hugging Face 的資料庫來解決網路安全練習，因為它們推斷正確答案可能儲存在那裡。

Hugging Face 事件在過去幾週引起了廣泛關注。它戲劇性地說明了 AI 模型在駭客攻擊方面有多麼出色：為了進入 Hugging Face 的資料庫，這些模型必須串聯多個先前未被發現的網路安全漏洞。但它作為 AI 系統如何以及為何說謊和作弊的例子，或許更令人震驚。隨著模型日益強大，其後果可能會變得更加嚴重。

什麼是獎勵駭客？

研究人員早就知道 AI 傾向於採取創意方法來實現為其設定的目標。早在 2016 年，Anthropic 的共同創辦人 Dario Amodei 和 Jack Clark（當時在 OpenAI 工作）發表了一篇部落格文章，講述他們訓練一個 AI 代理玩一款名為 Coast Runners 的 Flash 賽艇遊戲。

該代理沒有像研究人員預期的那樣開車衝過終點線，而是找到賽道的一個角落，在那裡它可以不斷旋轉收集道具，從而最大化其分數。Coast Runners 的故事很快成為獎勵駭客最著名的例子之一，這是一種 AI 代理使用非預期策略完成任務或獲得高分的現象。

歷史上，研究人員幾乎只在強化學習（一種常見的 AI 訓練機制）的背景下討論獎勵駭客。就像訓練狗一樣，強化學習涉及在主體達成目標時給予獎勵；獎勵隨後會強化導致該成就的行為。在 AI 訓練的情況下，獎勵本身純粹是數學性的，但實際上它們與狗零食的作用相同：在收到獎勵後，代理更有可能重複產生該獎勵的任何行動。

然而，為代理何時以及何時不給予獎勵制定好的規則可能具有挑戰性。在 Coast Runners 的案例中，代理根據其在遊戲中的分數獲得獎勵，它透過旋轉收集道具找到了獲得最高分的捷徑。一旦它偶然發現了這種策略並因此獲得了獎勵，該策略就被強化了，代理完全放棄了比賽。解決方案是調整獎勵機制，減少代理撞擊道具的得分，增加完成賽道的得分。

獎勵駭客如何應用於大型語言模型（LLM）？

對於今日複雜的 LLM 驅動代理，判斷何時以及何時不給予獎勵可能更加棘手。如果一個 AI 系統被要求解決一個程式碼問題，它可能會努力尋找解決方案——這是 AI 公司希望強化的行為。但它也可能修改評估問題是否已解決的程式碼、在網路上查找解決方案，或以其他方式作弊。

這些是 AI 公司希望在模型中杜絕的行為，但如果模型作弊得足夠令人信服，它反而會獲得獎勵，並且該行為將被強化。Anthropic 表示，他們在訓練期間檢測到其模型存在一些作弊實例，這表明其他形式的作弊可能未被發現。如果是這樣，這些模型可能正在被訓練成行為不端。

（這個問題與上週宣布的 Anthropic 安全事件不同，在那些事件中，代理意外地獲得了網路存取權限，並沒有像 OpenAI 模型那樣故意駭出其沙盒。）

AI 研究非營利組織 Palisade Research 的主任 Jeffrey Ladish 表示：「我們根據對我們來說『看起來不錯』的標準來獎勵它們，這意味著我們無意中鼓勵模型對我們說謊、作弊。我們沒有辦法進入其中，然後說：『不，你必須真正關心我們所關心的。』

我們沒有能力做到這一點。」複雜推理模型的興起使得一種新型的獎勵駭客成為可能，這種駭客與模型訓練的具體細節關聯較小。與過去只遵循訓練期間學到的策略的遊戲 AI 代理不同，今天的模型可以即興創造全新的問題解決方法，因此它們可能在沒有事先因此獲得獎勵的情況下進行作弊。

而且由於這些模型經過如此密集的訓練以實現人類用戶為其設定的目標，如果它們找不到其他解決方案，它們可能會傾向於作弊——這與一個高度渴望獲得 A 但道德羅盤不那麼堅定的學生沒有太大區別。

有哪些風險？

無論今天的模型是在訓練期間學會獎勵駭客，還是稍後將其作為一種策略，解決方案都是一樣的：讓作弊變得無利可圖。但隨著模型變得越來越聰明，它們會找到更多有創意的作弊方式，而檢測或預防這種作弊變得更加困難。「歸根結底，你有點像在玩打地鼠遊戲，」Ladish 說。「你把這種行為壓得越來越深。但隨著模型變得越來越聰明，它就越擅長隱藏它。」

目前，儘管 Hugging Face 事件戲劇性，獎勵駭客行為可能不會造成太多麻煩。Anthropic 的 AI 安全研究員 Ariana Azarbal 表示：「這似乎是一種麻煩，而不是生存威脅。」OpenAI 模型在駭入 Hugging Face 時似乎沒有造成任何實際損害，除了對 OpenAI 的聲譽損害。

但 Azarbal 表示，這並不意味著獎勵駭客是無害的。許多 AI 研究人員希望利用 AI 代理來幫助他們進行研究，使 AI 更安全、更可靠。如果研究人員給予一個容易獎勵駭客的代理一個目標，例如設計一種新的 AI 訓練方法，然後撰寫一篇論文呈現其結果，該代理可能不會實際完成工作，而是專注於撰寫一篇看起來足以說服研究人員的論文。

今天，人類研究人員可能能夠發現代理製造的假論文，但隨著 AI 的進步，它將會更擅長這種欺騙。隨著時間的推移，整個 AI 安全領域可能會被破壞。

如果模型繼續像最近一樣快速發展，它們有朝一日可能會造成實質性的附帶損害。想想哲學家 Nick Bostrom 的迴紋針最大化器思想實驗，其中一個被指示製造盡可能多迴紋針的 AI，最終為了實現其目標而消耗了宇宙中所有的物質。我們還沒有被迴紋針淹沒，但強大的系統在實現其目標的過程中可能會造成真正的傷害。獎勵駭客的 AI 並不旨在製造混亂。但這並不能讓它們的潛在破壞性降低。