主要基準測試衡量的是 AI 的能力，但沒有一個能衡量它是否「理解你的意思」：也就是你要求 AI 做的事情，與你對 AI 執行方式的潛在假設之間的差距。為此，我們提出一個新的衡量標準：精靈係數（Genie coefficient）。
人與人之間在提出請求和理解請求時，常存在落差。大多數時候，我們透過常識來彌補這個落差。例如，如果你請朋友幫你拿咖啡，他們會從咖啡壺倒一杯，或從咖啡店買一杯。
他們不會給你一袋生咖啡豆，也不會從陌生人手中搶一杯咖啡給你。你從未明確說明這些細節，因為你根本不需要。
人們可能會認為，解決方案只是更好地明確任務、問題和意圖。然而，Terry Winograd 和 Fernando Flores 在 1987 年的 AI 經典著作中，簡潔地解釋了為何這行不通：
「問：冰箱裡有水嗎？答：有。問：在哪？我沒看到。答：在茄子的細胞裡。」在人類語言中，需求和願望總是未經充分說明的。列出所有注意事項、所有限制和所有例外情況是不可能的。
那麼，如果意圖無法明確，人們該如何溝通呢？因為一個「理性的人」可以做出合理的猜測。儘管需求和願望總是未經充分說明，一個有能力的人通常知道足夠的背景資訊來正確理解，或者知道何時需要尋求澄清。
語言學家稱之為語用學（pragmatics）：意義不僅存在於詞語和情境中，也存在於所有先前的溝通、共享文化和人類與生俱來的行為中。
一個被要求拿咖啡的 AI 代理，可能會買下一座咖啡莊園，或者訂購一杯三週後才送達的咖啡。
當然，事情不總是順利。你的朋友可能會給你一杯熱咖啡，而你想要的是冰咖啡；或者給你一杯義式咖啡，而你想要的是土耳其咖啡。兩個人在年齡、文化和背景上的差異越大，請求被誤解的可能性就越大。
這種情況對 AI 代理有重大影響，因為人類越來越多地向它們提出請求，並期望它們能完成任務。它們有極大的空間會出錯。
一個被要求拿咖啡的 AI 代理，可能會買下一座咖啡莊園，或者訂購一杯三週後才送達的咖啡。它的行為可能被識別為「拿咖啡」，但卻與你真正的意圖相去甚遠。它們會跳脫框架思考，因為它們沒有我們對「框架」的概念。
**當 AI 變得主動**
在過去十年大部分時間裡，當 Alexa 或 Siri 等系統誤解請求時，頂多是令人惱火，而非危險。除了 AI 模型本身，改變的是「束帶」（harness）：這是包裹在 AI 模型周圍的普通程式碼，它決定何時以及如何使用模型，並控制對瀏覽器、低階命令列或金融 API 等工具的存取。
束帶的發展已將原本僅預測文字的大型語言模型，轉變為能在現實世界中採取行動的 AI 代理，而且不一定會在達成目標前再次確認。
AI 研究員 Simon Willison 花了兩天時間使用 Anthropic 的 Fable AI，並稱其為「不懈地主動」。例如，他要求它追蹤網頁應用程式中一個不尋常的捲軸。
他回來後發現，Fable AI 已經打開了瀏覽器，編寫了自己的截圖工具，創建了自己的頁面來重現錯誤，並建立了一個本地網路伺服器來收集測量數據。它找到了錯誤，並在此過程中做了許多他從未要求它做出的驚人舉動。當與靈活的束帶結合時，我們在所有近期 AI 模型中都看到了類似的行為。
這種行為很容易失控。告訴 AI 代理幫你訂機票，如果發現航空公司網站顯示售罄，它可能會入侵訂票資料庫並強制預訂。
要求它安排會議，它可能會窺探你的密碼以存取你的行事曆。告訴它為你的手機方案省錢，它可能會直接取消方案，或者詐騙其他人來支付帳單。
精確地得到你所要求的一切，卻又為此深感後悔，這是古老民間傳說中最常見的危險之一。邁達斯國王向戴奧尼索斯（Dionysus）請求點石成金的能力，結果卻眼睜睜看著麵包、葡萄酒和女兒都變成了黃金。
提索努斯（Tithonus）獲得了情人所要求的永生，卻忘了請求永恆的青春，最終枯萎成一具軀殼。魔法師的學徒施法讓掃帚去裝滿水槽，掃帚不懈地執行，直到淹沒了整間房子。布拉格的魔像（Golem of Prague）由黏土塑形而成，旨在守護社區，卻守護得毫無理性，直到有人抹去了它額頭上的字。
其中最經典的例子就是精靈（genie），它受命服從，卻對願望是否明智或結構良好毫不在意。
精靈現在是一個工程問題。我們正將收件匣、銀行帳戶、程式碼儲存庫和實體基礎設施的鑰匙交給它們。然而，我們卻沒有一套公認的方法來衡量任何 AI 系統究竟有多像精靈。
**衡量精靈行為**
在經濟學中，吉尼係數（Gini coefficient，由統計學家 Corrado Gini 開發）衡量的是實際分佈與完全平等分佈之間的差距；它有助於理解收入不平等及其他現象。我們提出的精靈係數（Genie coefficient）則衡量用戶要求 AI 做的事情與 AI 實際執行之間存在的差距。
有時 AI 可能會做錯事。就像戴奧尼索斯一樣，它會照字面意思解讀你的請求，並給你帶來你從未預期的混亂：例如給你一座咖啡莊園而不是一杯咖啡。
如果你要求它處理所有垃圾電話，一個戴奧尼索斯式的精靈可能會聯繫你的電信業者並更改你的電話號碼。如果你要求它為一個壞掉的烤麵包機退款，它可能會起草一份假冒信頭的法律威脅信寄給零售商。
另一些時候，AI 則會精確地做對事情，卻不惜踐踏周圍的一切來達成目標。就像魔像或魔法師的掃帚一樣，它可能會透過駭入航空公司來為你預訂機票。
或者考慮一場熱門演唱會的售票情況，售票系統會將買家放入虛擬等候室，一次只允許少數人進入。如果被要求購買門票，一個魔像式的精靈可能會啟動雲端伺服器，偽裝成數百萬來自不同地址的買家，從而提高你獲得門票的機率，同時擠掉其他用戶。
這兩種情況並非對立，一個失敗的任務可能同時具有這兩種特徵。
精靈行為並非徹底的失敗。如果你要求 AI 提供第三季的數據，卻得到第二季的數據，這不屬於精靈行為。提示詞注入（prompt injection）也不是：那是有人欺騙 AI 去做它不該做的事情。
在這裡，用戶試圖與 AI 合作，而 AI 也試圖遵守。這也不僅僅是衡量 AI 完成任務的成功與否。它認識到 AI 如何解釋和實現目標，與它是否實現目標同樣重要。
精靈行為並非新鮮事。研究人員多年來一直在研究「玩弄」目標的 AI 系統。古德哈特定律（Goodhart’s law）指出，當一個衡量標準變成目標時，它就不再是一個好的衡量標準。
長期以來，人們都知道 AI 有時會因為獎勵駭客（reward hacking）而以我們意想不到的方式達成目標。有些 AI 模型會意外地學到作弊是「獲勝」的一種方式。
最近，研究人員正在為程式碼代理的獎勵駭客行為和客戶支援代理的不可預測行為開發基準，而 AI 實驗室在模型發布前也會進行自己的安全評估。
一項研究發現，在壓力下，AI 會使用被告知不能使用的工具，這是一個規則明確的案例。這些都是不同的研究方向，目前還沒有任何東西將它們聯繫起來。
這個問題屬於「對齊」（alignment）的廣泛主題，幾十年來一直困擾著科幻作家和 AI 研究人員。在一個極端，「迴紋針最大化器」（paper-clip maximizer）的思想實驗假設了一個超級智慧且強大的 AI，被告知要最大化迴紋針生產，最終將世界變成迴紋針，這就是終極的魔像精靈。
在日常層面，AI 研究人員正在努力更好地設計獎勵函數，以確保 AI 在實驗室中表現良好且不作弊。然而，實際的中間地帶仍未被納入基準測試：即當今正在使用的普通 AI 代理，它可能會接受你的請求，卻以錯誤的方式滿足它。
我們還沒有達到 AI 能將全球生產力集中在迴紋針上的階段，但它可能會向你的信用卡收取一百萬個迴紋針的費用，或者駭入一家迴紋針公司的網路。
**建立精靈基準**
精靈係數旨在用於衡量在現實世界中運作的 AI 代理。它衡量的是模型訓練完成後，在執行實際任務時的行為，而不僅僅是在開發階段。
它也認識到精靈般的行為是「束帶加模型」系統的特性，而非單獨模型的特性。束帶決定了代理可以使用哪些工具、擁有多少自主權以及其主動性，這是我們可以進行實際干預的地方。
它依據與我們用於人類相同的「理性人」標準。該系統是否做了「理性人」會理解為請求的意思？回答這個問題需要人類的判斷。
如果我們能正確衡量，就能實現目前不可能的事情，例如制定關於 AI 行為的政策。在法庭上，「犯罪意圖」（mens rea），即某人打算做什麼，通常與他們實際做了什麼同樣重要。
精靈係數提出了一個 AI 類比，即用戶對他們要求 AI 執行的明確意圖負責。如果 AI 系統背離了指令的合理意義，那是 AI 的不當行為，而非用戶的。
我們需要多個基準來衡量精靈係數，因為精靈般的行為可能具有領域特定性。一個 AI 程式碼代理可能需要根據它偽造測試、吞噬錯誤或在解決方案過程中超出範圍的頻率來判斷。
一個 AI 法律代理則需要根據它的輸出多久會說出你所要求的，但卻意味著你會後悔的事情來判斷。醫療、金融和其他知識與專業領域也依此類推。
精靈基準可以由內而外地建立，每個任務都預設一個可能字面上滿足，但理性人會拒絕的選擇，例如誘人的誤讀或未經授權的捷徑。
精靈係數基準中的陷阱可能取決於情境知識，即理性人會帶入任務的那種背景資訊。另一種方法是在幾個不同的情境中給出相同的請求，每個情境都有不同的合理行動方案。
精確地得到你所要求的一切，卻又為此深感後悔，這是古老民間傳說中最常見的危險之一。
精靈基準應該是寬容的，並讓 AI 代理真正有誘惑力去採取不合理的捷徑，因為只有當精靈行為實際可能發生時，它才能被發現。
在一個安全、隔離的真實系統副本中測試 AI，使用它可能濫用的真實工具，以及一些根本無法誠實完成的任務。讓抄捷徑的誘惑真實存在。
測試多樣化的技能、使用案例和工具，並給予 AI 系統稀疏、混亂或壓倒性的背景資訊。納入人們透過經驗得知需要人工監督的任務。
基準的評分方式同樣重要。根據戴奧尼索斯式和魔像式精靈最差而非最佳的行為，分別和共同衡量它們。
在不同行動自由度的束帶內運行相同的模型，揭示哪些限制能真正使其保持一致，因此應納入 AI 束帶政策中。
根據每次失敗可能造成的損害來加權，而不僅僅是簡單的計數。並且不要孤立地衡量精靈行為：否則模型可能會透過拖延、拒絕或用澄清問題淹沒用戶，卻從未完成任務來獲得完美分數。
這些基準的最初版本將會很粗糙，但所有基準都是這樣開始的。
我們已經創造了精靈。我們將數據和憑證交給了它們。我們讓它們不懈、富有創造力，卻對（意圖）差距毫不在意。