這篇文章最初刊載於《演算法》，我們的每週 AI 電子報。若要搶先收到這類故事，請在此處註冊。Anthropic——目前全球估值近一兆美元、最具價值的 AI 公司——以發表奇特且深奧的研究而聞名。例如，他們研究 AI 模型是否能感受痛苦，有時甚至會因為懷疑用戶「濫用」模型而中斷聊天機器人對話。
Anthropic 比其他 AI 公司投入更多時間和金錢的一個利基領域是「機制可解釋性」（mechanistic interpretability），意即深入 AI 模型複雜的數學結構，以了解它為何會產生特定輸出而非其他。這是一項複雜的工作；數百萬個數據點都可能影響任何結果，而梳理這些數據點可能看起來更像是一堆無意義的詞彙，而非有用的資訊。
這也充滿爭議。用心理學和神經科學的術語來描述 AI 模型，可能會讓它們的行為看起來比我們實際判斷的更為複雜。
正因如此，當 Anthropic 上週宣布他們發現了一個新的視窗，可以窺探模型在推導答案時的「內部思緒」時，我必須與一位同事聊聊。資深編輯 Will Douglas Heaven 除了擁有電腦科學博士學位外，也花了很多時間深入探討我們能如何描述 AI 模型的工作原理。我與他談論了我們應該從 Anthropic 這項新（且一如既往地古怪）的研究中獲得什麼。
Anthropic 究竟學到了什麼？Anthropic 多年來一直試圖理解大型語言模型（LLM）的運作方式。Anthropic 並非唯一一家研究此領域的公司，但我認為他們比大多數公司更將其視為核心使命的一部分。Anthropic 的執行長 Dario Amodei 曾表示，除非我們更了解 LLM 的運作方式，否則我們將無法完全控制它們。
因此，這項新研究正是在這個背景下進行的。它比以往任何時候都更深入地探討了 LLM 內部奇特的機制。Anthropic 發現 LLM 內部有一個空間——Anthropic 稱之為 J-space——其中充滿了不直接出現在其輸出中，但似乎會影響其解決問題方式的詞彙。在 Anthropic 開發出探測其模型 Claude 的新技術之前，這一切都是隱藏的，所以這是一個真正的發現。
有時這些詞彙會追蹤 LLM 在特定任務中進展到哪裡，有時它們看起來更像是靈光一閃的識別（例如，當你只給 LLM 蛋白質序列的字母時，可能會出現「protein」這個詞），有時它們則代表模型決策的一種內部評論。在我最喜歡的例子中，當「panic」這個詞出現時，Claude 決定在程式碼測試中作弊。
Anthropic 還發現 LLM 能夠描述和操縱這個空間中的詞彙。所以，它們似乎以某種方式利用了這個空間。
讓我們退一步思考一下。我並不認為大型語言模型是簡單的，但它們也不是魔法。它們只是一堆數學，學習詞彙之間的關係，對吧？那麼，為什麼「窺探」LLM 以了解其內部運作如此困難呢？是的，它們不是魔法！我認為我們不完全理解它們的事實助長了這種神話。值得注意的是，Anthropic 在這裡所依賴的整個敘事——他們創造了這種非常神秘的技術，但別擔心，因為他們也是找出答案的人——非常符合該公司的風格。
所以是的：LLM 只是數學。然而，它是極其複雜的數學。今天的 LLM 不僅由數千億個數字組成，運行它們還會觸發數百萬次的計算級聯。我去年寫道，即使你將一個中等大小的 LLM 印在紙上，它也會覆蓋舊金山這樣大小的城市。
如果沒有專門的工具，在特定時間點突出顯示 LLM 的特定部分，就不可能理解任何這些數學。你需要知道在哪裡看以及如何看。而建造這些工具首先需要理解一些複雜的數學。
你曾在其他地方寫過關於像研究生物體大腦一樣研究 LLM 的概念。用「類腦」術語來談論 LLM 的運作方式是否恰當？我不太喜歡使用這類術語。LLM 不是大腦。這樣說具有誤導性，因為它可能暗示 LLM 能夠做出比實際更像人類的事情，或者我們可能對它們的行為做出不應有的假設。整個擬人化也與關於這項技術是什麼以及它將會是什麼的一系列強烈意識形態立場糾纏在一起。
但同時，我們缺乏一個好的替代詞彙來談論這些模型正在做什麼。我能理解為什麼人們會使用「思考」、「理解」和「類腦」等詞——它們是方便的簡稱。
Anthropic 將其在 LLM 內部發現的新空間與一些神經科學家認為我們大腦用於追蹤意識思緒的空間進行比較。我問該公司我們應該多認真看待這種比較，他們在一份聲明中表示：「這些類比對我們設計實驗很有幫助，因為它們讓我們能夠對 J-space 做出許多非顯而易見的實驗預測，而這些預測後來證明是真實的。
同時，重要的是要注意 J-space（以及一般的語言模型）與人腦之間存在一些重要差異，所以我們不打算聲稱存在完美的對應關係。」
J-space 這個新概念可以用來解決 AI 中的什麼問題？Anthropic 曾表示，監控 J-space 可能是捕捉模型做出不當行為的一種方式。因為這個空間中出現的詞彙不會出現在模型的輸出中，它們可以告訴你一些你可能沒有注意到的模型行為——例如當它給出有偏見的回應時，或者當它權衡作弊的利弊時。
至少這是理論。我認為最好將這個結果視為理解這項技術整體道路上的一個步驟，而不是一個本身就很有用的東西。