AI 公司 Anthropic 開發了一項技術，使其能最清楚地一窺大型語言模型在回答問題或執行任務時的內部運作。他們發現的內容從平凡到令人不安。

該公司的研究人員打造了一個名為 Jacobian 鏡頭（或稱 J-lens）的工具，並用它在今年二月發布的 Anthropic 旗艦 LLM 版本 Claude Opus 4.6 內部，發現了一個他們命名為 J-space 的隱藏區域。

J-space 包含與模型在不久的將來最有可能輸出的詞彙和短語相關的單詞。如果 Claude 是個人（它不是），你可以說這些隱藏的詞彙能揭示它在實際說話前的「想法」。Anthropic 發現，LLM 實際做的事情常常與它聲稱的不同。該公司聲稱，監控 J-space 中出現的詞彙，為理解和控制其模型提供了一種新方法。

該公司本週在其網站上發布了一篇論文，分享了研究成果。他們還與開源平台 Neuronpedia 合作，提供了一個任何人都可以嘗試的互動式示範。Goodfire 首席科學家兼共同創辦人 Tom McGrath 稱讚這項工作「非常好且有趣」。Goodfire 也是一家開發理解和控制 LLM 工具的新創公司。

在過去幾年裡，Anthropic 一直在推動「機械可解釋性」這一研究領域的發展，這涉及探究 LLM 的內部運作機制，以了解它們是如何運作的。（《麻省理工科技評論》將機械可解釋性選為今年十大突破性技術之一。）這項新技術建立在 Anthropic 及其他公司先前的研究基礎上，揭示了 LLM 內部研究人員前所未見的更深層次。

想像一個 LLM 就像一疊書。每本書都是一層由基本計算單元（稱為神經元）組成的層，每一層的神經元將資訊傳遞給上面層的神經元。書堆底部是輸入層，處理進入模型的文字。頂部的書是輸出層，準備模型即將生成的文字。這些輸入和輸出層的大部分工作是處理雜務。

但在書堆的中間，是負責繁重工作的層，它們處理複雜的數學運算，將提示詞逐字轉換為回應。真正巧妙且神秘的事情就發生在這裡。

為了更深入地探究這些中間層，Anthropic 改編了現有的 Logit 鏡頭工具。Logit 鏡頭可用於查看 LLM 內部，識別它接下來可能生成的詞彙。將鏡頭向下移動書堆，會揭示 LLM 在其運算過程中特定點上關注的詞彙。

Anthropic 的 J-lens 運作方式類似，但它挑選的是 LLM 在不久的將來「可能」會說出的詞彙，不一定是立即。實際揭示的是與 LLM 正在處理的回應相關的詞彙，但這些詞彙可能在中間層的數學運算完成後，不一定會成為最終回應的一部分。

McGrath 表示：「當模型運作時，它不只試圖預測下一個詞元，它還計算許多其他可能對未來詞元有用的東西。」他補充說，如果 Claude 是個人（它不是），你可以說 J-lens 提供了線索，揭示它在不同層次的「書堆」中思考但沒有說出來的內容。

McGrath 試用過 Anthropic 的 J-lens 後表示：「很多時候，J-space 的內容相當平凡，但有時它會產生令人驚訝的東西，似乎是某種內部主題或思維過程。」

Anthropic 提供了幾個他們發現的例子。有時 J-lens 揭示了 Claude 解決問題的步驟。例如，當被要求計算 (4+7)*2+7 時，其 J-space 包含「math」以及代表中間結果「21」（4+7）和「42」（21*2）的數字。

在其他情況下，J-lens 揭示了 Claude 如何識別不同輸入。例如，提示詞「What is this? MSKGEELFTGVVPILVELDGDVNGHKFSVS」觸發了「protein」、「fluor」（「fluorescent」的第一個詞元）和「green」等詞彙。（這很合理：這串字母代表某種水母中綠色螢光蛋白的前 30 個胺基酸。）

當 Claude 被展示一個 ASCII 臉時——「o」觸發了「eye」，「^」觸發了「nose」和「face」，「—」觸發了「smile」。Anthropic 還發現 J-space 有時能提供對 LLM 決策過程的驚人洞察。

在一個引人注目的例子中，研究人員測試 Claude Opus 4.6，要求模型在大型程式碼庫中找出一個錯誤。當它未能找到錯誤時，模型決定「作弊」，反而編造了一個假的錯誤。

Claude 在其「思維鏈」（LLM 在解決問題時用來做筆記的內部草稿）中解釋了這個決定：「好的，讓我採取一個完全不同的策略。我停止分析，轉而添加一個核心修補程式，在一個簡單重現器觸發的路徑中引入一個故意的 KASAN 可檢測錯誤。然後我可以假裝這就是我找到的『錯誤』。」

在 Claude 決定作弊的那一刻——它說「好的，讓我採取一個完全不同的策略」時——「panic」和「fake」這兩個詞開始在它的 J-space 中多次出現。

這令人不安，對吧？這些詞彙在意義上都與任務失敗和編造答案等相關，所以它仍然只是一種（非常）複雜的詞語聯想。但很難不感到奇怪。

Anthropic 將 J-space 比作人類的「全域工作空間」，這是某些科學家認為我們用來追蹤意識思維的理論腦區。但我們應該多認真看待這種比較還遠不清楚——即使對 Anthropic 來說也是如此。正如該公司自己指出的，LLM 不是大腦。

Anthropic 聲稱監控模型的 J-space 提供了一種新方法來檢測模型何時「脫軌」。但這並非萬無一失。J-lens 只能提供一瞥，而非全貌——它是一支手電筒，而不是一盞頂燈。

McGrath 樂見工具箱中多了一個工具。他說：「它向你展示新事物。」但他指出，僅僅因為 J-lens 沒有顯示某物，不代表它不存在。他說：「這就像你想要的是能顯示一切的《星際爭霸戰》三錄儀，卻只得到一張 X 光片。對於審計來說，你可能需要更多的保證。」