白宮科學顧問 Michael Kratsios 指出，中國公司 Moonshot 在開發其大型開放權重語言模型 Kimi K3 時，不僅複製了 Anthropic 的 Fable LLM，還使用了未獲准出口至中國的晶片。

Kratsios 寫道：「大規模、秘密的工業蒸餾旨在竊取美國專有技術並破壞美國研究，這是不可接受的。」此言論正值業界盛傳美國考慮禁止中國開放權重模型之際，引發了 AI 領域的軒然大波。Moonshot 並未回應有關其訓練過程的提問，而 Kratsios 也未透露更多指控來源的細節。

Kratsios 的推文呼應了財政部長 Scott Bessent 的評論，他曾表示：「我們在許多中國模型中發現了美國大型語言模型的水印，這是不可接受的。」然而，這些水印具體為何尚不明確，財政部也未回應相關詢問。

然而，專家們對於 Kimi K3 所展現的先進能力是否僅透過「蒸餾」而來，抱持懷疑態度。「蒸餾」是指透過查詢大型語言模型來探究其內部運作並複製其能力的過程。

Laude Institute 研究員兼 Snorkel AI 共同創辦人 Braden Hancock 告訴 TechCrunch：「我不認為僅靠嚴格的蒸餾，就能在 Fable 推出後如此迅速地獲得一個如此強大的模型。」他補充道：「坦白說，時間根本不夠。Fable 從 7 月 1 日才公開可用，你不可能在兩週內蒸餾如此大量的數據、訓練一個模型並將其發布。」

Allen Institute for AI 的 AI 研究員 Nathan Lambert 在昨日發布的播客中表示：「我一直認為，隨著中國模型越來越接近前沿，且訓練方式轉向強化學習，蒸餾的影響力正逐漸減弱。」他進一步指出：「如果真是如此，那麼每個人都能輕易地透過蒸餾 GLM 或 K3 的數據來趕上它們。但我們並沒有，也不會僅憑監督式微調就看到這種情況。」

執行蒸餾需要實驗室系統性地查詢目標模型，以生成可用於後續訓練的數據。有時這明確涉及要求模型闡述其思維鏈，以理解其解決問題的方式。其他時候，模型的提示詞和回應則被用於訓練一個新模型，這個過程稱為監督式微調（SFT）。

正是這種微調過程，可能導致一個表面上由第三方創建的模型聲稱自己是 Claude。在 Lambert 看來，微調是「模型學習其行為模式」的關鍵所在。

但 Lambert 認為，隨著模型變得越來越複雜，監督式微調（SFT）的效益正逐漸降低。要蒸餾出類似 Fable 的能力，很可能需要強化學習技術。在許多情況下，這意味著讓大型模型的代理對小型模型的反應進行評分，並根據評分進行調整。

這些更先進的技術也需要更龐大的基礎設施。大規模的強化學習運行可能需要數千萬個代理。若使用前沿實驗室的 API 來執行此操作，「將會非常昂貴，而且可能會成為時間瓶頸，因為這些模型相當緩慢，坦白說，甚至可能無法帶來性能提升。」

Kimi 的成功似乎很可能得益於先前的尖端模型；Anthropic 在今年稍早曾公開指控 Moonshot、DeepSeek 和 MiniMax 系統性地蒸餾其模型。Anthropic 表示，它透過 IP 位址和其他元數據，發現其模型與這些公司用戶之間有數百萬次的互動。

這些查詢「與正常使用模式不同，反映出蓄意提取能力而非合法使用。」Anthropic 未回應 TechCrunch 關於 Fable 蒸餾的詢問。

然而，蒸餾在 AI 公司中被視為普遍現象，不僅限於中國。Elon Musk 今年稍早曾證實，他的公司 SpaceXAI 為了開發 Grok，也蒸餾了 OpenAI 的模型，並指出這種做法在業界很常見。例如，蒸餾與開發合成數據集之間的界線可能相當模糊。

Hancock 表示：「總體而言，美國人低估了這些中國團隊的技術專業知識。」他指出：「Moonshot 的一位創辦人是卡內基美隆大學的博士生。這些都是正在進行紮實工作的合法研究人員和工程師……如果美國模型停滯不前，我認為中國的進步會放緩，但仍會繼續。他們並非只是搭便車。」

此外，也很難將蒸餾與 Kratsios 評論的第二部分分開——即 Moonshot 獲得了先進的 Nvidia Grace Blackwell 300s 晶片，並在泰國使用了配備 GB300 的伺服器。喬治城大學安全與新興技術中心的研究員 Sam Bresnick 表示，這些晶片被禁止出口到中國，但存在黑市。

今年 5 月，美國伺服器製造商 Supermicro 的創辦人就因向中國走私先進晶片而被起訴。

Bresnick 說：「我支持全球資料中心實施『了解你的客戶』（KYC）法規。」他認為：「如果你允許一家公司在你的最先進硬體上進行大規模訓練，就必須有一個報告機制，說明這家公司是誰以及他們正在做什麼。」

美國總統 Joe Biden 領導下的商務部在 2024 年提議為資料中心制定聯邦「了解你的客戶」規則，但在 Donald Trump 執政期間似乎沒有進一步進展。然而，向國外運送先進晶片的出口商，理應確保這些晶片僅用於經批准的用途。