歡迎來到 Import AI，一份關於 AI 研究的電子報。Import AI 的內容來自 arXiv、咖啡和讀者的回饋。如果您想支持我們，請訂閱。論點與反駁：作者們針對這些觀點提出了一些更明顯的反駁，並提供了回應。重要性：為世界的成功做好準備：我同意這裡的所有建議，並在近年來倡導了其中許多。
在我看來，我們可以做很多事情來更好地為社會準備即將到來的巨大變革。「相對於潛在的好處，實施這些政策的成本是微不足道的。相反地，不採取行動的成本可能是災難性的，」作者們寫道。我同意。延伸閱讀：[Radical Optionality (官方論文網站)](https://radical-optionality.ai/)。
Schmidhuber 特輯——神經電腦：…也許作業系統只是一種短暫的流行… 這是一篇來自 Meta 和 KAIST 的有趣論文《神經電腦》，它提出了一個問題：「類神經網路能否像傳統電腦一樣運作？神經電腦 (NC) 是一個神經系統，它在一個學習到的執行時狀態中統一了運算、記憶體和輸入/輸出。」
這篇論文有趣的原因有幾個：1) 它來自 Juergen Schmidhuber，他在 AI 社群中是個傳奇人物，早期就提出了許多重要概念（例如，生成式模型、世界模型、生成對抗網路的某些方面，以及早期關於在電玩遊戲上進行基準測試的想法），2) 這個想法既大膽又簡單，以至於它可能真的可行（儘管需要比現今模型更多的運算和資料）。
核心概念：正如其中一位作者所說，在今天的 AI 中，「一種新的機器形式正在開始出現」。他們接著問：「如果代理程式在實際工作中表現得越來越好，世界模型在內部模擬中越來越精進，而傳統電腦已經在為 AI 重建其底層架構，那麼是否可能存在一種新的執行時，能將執行、推演和能力保留整合到同一台學習機器中？
…我自己的猜測是，一個成熟的 [神經電腦] 指向一種不同的底層架構：一種更像是 10T-1000T 的機器，它更稀疏、更可定址，並且更像電路。」兩項實驗：這主要是一篇概念性論文，進行了一些早期原型設計，探索是否可以使用強大的生成式影片模型 (Wan 2.1) 和精心策劃的訓練資料來創建基於命令列介面 (CLI) 和圖形使用者介面 (GUI) 的神經電腦。
這兩種方法都奏效了，儘管是以一種非常「萊特兄弟起飛前」的感覺——僅僅暗示了一個更宏大的未來。命令列介面 (CLI)： 「神經電腦學習渲染和執行基本的命令列工作流程。它通常與終端機緩衝區保持一致，並捕捉日常 CLI 使用的常見『物理特性』（例如，快速捲動、提示詞換行、視窗大小調整），儘管符號穩定性仍然有限。」
圖形使用者介面 (GUI)： 「我們評估了跨資料品質、游標監控、動作注入和動作編碼的標準世界模型設計，使用全局保真度、動作後響應性和游標準確度測量。」原型機運作成功： 「我們的實驗見解表明，當前的神經電腦已經可以學習實現基本的執行時原語，最顯著的是輸入/輸出對齊和短期控制。
長期目標是『完全神經電腦』(CNC)，這是這種機器形式的成熟、通用實現：一台完全學習的電腦，其運算、記憶體和介面都統一在一個單一的學習執行時底層架構中，而不是作為獨立模組設計。」重要性：未來所有軟體都可能存在於大型類神經網路的權重中：這篇論文指出了一個未來，我們將擺脫傳統意義上支撐電腦的所有軟體，並用一個巨大的類神經網路取而代之。
「神經電腦指向一種機器形式，其中單一的潛在執行時狀態充當電腦本身，驅動像素、文字和動作，同時取代了作業系統和介面今天所處理的一切，」他們寫道。「因此，朝向 CNC 的進展不僅取決於更強大的模型，還取決於重用、一致性和治理是否能持續且可測試。」
這樣的系統將非常有用，與我們今天的系統截然不同，它的存在將大大增加我們自己生活在模擬中的可能性。延伸閱讀：[Neural Computers (arXiv)](https://arxiv.org/abs/2604.06425)。閱讀部落格文章：[Neural Computer: A New Machine Form Is Emerging (Mingchen Zhuge, 部落格)](https://metauto.ai/neuralcomputer/)。
遞迴式自我改進可能導致爆炸性經濟成長：…經濟學家建立了一些模型，表明遞迴式自我改進可能導致前所未有的經濟繁榮… 來自 Forethought、哥倫比亞大學和維吉尼亞大學的經濟學家和研究人員認為，AI 系統的「遞迴式自我改進」(RSI)（或者即使只是經濟中大部分環節的極度自動化）可能會啟動一個複合式回饋循環，使經濟進入前所未有的繁榮。
「我們開發了一個框架，用於分析 AI 驅動的自動化如何與這兩種力量互動，並確定了自動化產生的回饋迴路何時會使經濟進入爆炸性成長的條件，」他們寫道。「該模型確定了自動化產生爆炸性動態的兩個不同渠道，這些渠道相互強化。第一個是跨創新網路的『技術』回饋迴路…第二個渠道是『經濟』回饋迴路，其中更高的產出產生更多資源，可用於推動進一步的經濟成長。」
主要發現： 「所有部門 13% 的自動化足以將經濟推向爆炸性成長的狀態，而當僅自動化軟體和硬體研究時，17% 的自動化就足夠了。其次，硬體研究是主導槓桿——因為硬體研究的回報大約是軟體的五倍，是總體要素生產率的十倍，因此在晶片設計中自動化一項任務，對經濟的影響相當於軟體或最終產品生產中的五項任務。
僅硬體自動化 20% 就足以跨越門檻。第三，單獨的軟體自動化大約處於臨界點：在相當保守的校準下，在不自動化經濟任何其他部分的情況下，完全自動化軟體研究剛好達到爆炸性成長的門檻。其他地方的一點點推動就足以使系統突破。」奇點可能比你想像的更近： 「在我們的基準風格化模擬中，一場涉及軟體研發完全自動化和經濟其他部分僅 5% 自動化的『自動化衝擊』，導致奇點大約在六年內到來，」他們寫道。
「從經驗來看，軟體和硬體生產力最近的成長速度異常之快，因此過渡到新的平衡成長路徑或雙曲線加速也可能發生得非常迅速。」硬體是關鍵： 「我們的結果突顯了半導體研發的戰略重要性。」政策制定者請注意： 「監測 AI 研發活動中的自動化水平，可能與追蹤傳統宏觀經濟指標一樣重要。
關鍵研究部門的自動化程度可以作為潛在成長加速的早期預警系統。這是 AI 公司經濟學家可以衡量並公開分享的資訊。」重要性：如果遞迴式自我改進發生，它將徹底改變經濟：這篇論文為「遞迴式自我改進」——AI 系統能夠自動化其自身的後續發展——將對經濟產生重大影響的觀點提供了經濟理論基礎。
從我的角度來看，令人驚訝的是看到整個經濟體的回饋，這表明隨著自動化技術在經濟中的廣泛傳播，我們可能會達到一個「經濟奇點」。這進一步證明，我們作為一個物種，可能正走向一個激進的未來。小小的利益衝突聲明：Anton Korinek，這篇論文的作者之一，現在與我在 Anthropic 共事。
他發表了他的論文，而我則在同一天發表了我的 RSI Import AI 文章，彼此都不知道對方的工作。延伸閱讀：[When Does Automating AI Research Produce Explosive Growth? Feedback Loops in Innovation Networks (NBER)](https://www.nber.org/papers/w35155)。
查看更多：[Anton Korinek 的推文串 (X)](https://x.com/akorinek/status/2051418157865156897?s=20)。Google 欲運算世界：…分散式訓練又向前邁進一步… 在這份電子報中，我多年來一直從讓運算資源較少的參與者匯集資源來訓練他們原本無法訓練的 AI 系統的角度，撰寫關於分散式訓練的內容。
但 Google 的一篇新論文 Decoupled DiLoCo 強調了分散式訓練技術如何也能在規模的另一端發揮作用，使像 Google 這樣的公司能夠匯集全球資料中心中大量不同類型的電腦，以大規模訓練模型。他們做了什麼：Decoupled DiLoCo 是 Google 先前在「DiLoCo」系列工作上的延伸。
這裡的主要創新是 Google 能夠實現「跨獨立運算島嶼（稱為學習單元）的非同步訓練，這樣一個區域的晶片故障就不會中斷其他區域的進度。」這樣做的結果是，Google 能夠將更多類型的運算資源匯集到單一訓練任務上，並提高其對故障的彈性。「使用 Gemma 4 模型測試 Decoupled DiLoCo 表明，當硬體發生故障時，該系統比傳統訓練方法能保持更高的學習叢集可用性，」Google 寫道。
「我們成功地在美國四個不同區域訓練了一個 120 億參數模型，使用了 2-5 Gbps 的廣域網路（這個水平透過現有的資料中心設施之間的網路連接相對容易實現，而不需要新的客製化網路基礎設施）。」細節：這裡的核心思想是 Google 使得「學習單元」（基本上是設定用於訓練模型的運算單位）能夠與整體全球「同步器」更加解耦，允許不同的學習單元以不同的速率運行，甚至完全失敗，而不會使整個訓練過程停止。
用更技術性的術語來說，Decoupled DiLoCo 是一個「分散式訓練框架，它透過將單一的 SPMD 叢集分解為獨立的、非同步的學習單元，來演進先前的以頻寬為中心的方法」。效果似乎非常好： 「Decoupled DiLoCo 在文字和視覺基準測試中，對於密集和專家混合 (MoE) 架構，在規模高達 90 億參數時，都能匹配資料平行訓練的效能，同時在積極的模擬故障下保持 88% 的有效吞吐量（而彈性資料平行訓練為 58%），」他們寫道。
重要性：世界就是一台電腦：像這樣的技術將塑造運算的低端和高端。在低端方面，分散式訓練技術不斷賦予更鬆散的聯邦式運算能力。