作者：Haoqiang Kang†, Yizhe Zhang, Nikki Lijing Kuang†, Nicklas Majamaki†, Navdeep Jaitly, Yi-An Ma†, Lianhui Qin†大型語言模型 (LLMs) 透過思維鏈 (CoT) 生成展現其推理能力。然而，LLM 的自迴歸解碼可能限制了其全面回顧和精煉早期符元的能力，這也可能導致探索多樣化解方時效率低下。在本文中，我們提出 LaDiR (潛在擴散推理器)，這是一個新穎的推理框架，它將連續潛在表示的表達能力與潛在擴散模型的迭代精煉能力整合到現有的 LLM 中。我們首先使用變分自編碼器 (VAE) 建構一個結構化的潛在推理空間，該空間將文本推理步驟編碼成思維符元區塊，在提供緊湊但富有表現力的表示的同時，保留了語義資訊和可解釋性。隨後，我們利用一個潛在擴散模型，該模型學習使用區塊式雙向注意力遮罩對潛在思維符元區塊進行去噪，從而實現更長的視野和自適應測試時計算的迭代精煉。這種設計允許有效並行生成多樣化的推理路徑，使模型能夠整體規劃和修正推理過程。我們在數學推理和規劃基準套件上進行了評估。實證結果顯示，LaDiR 在準確性、多樣性和可解釋性方面始終優於現有的自迴歸、基於擴散和潛在推理方法，揭示了文本推理與潛在擴散的新範式。* † 加州大學聖地牙哥分校## 相關閱讀與更新這篇論文已被 ICLR 2026 的「潛在與隱性思維 — 超越 CoT 推理」研討會接受。透過下一個符元預測進行訓練的自迴歸語言模型，透過一次採樣一個離散符元來生成文本。儘管具有很高的可擴展性，但這個目標迫使模型在每一步都做出承諾，阻止它探索或反思多種可能的後續內容。此外，符元間的計算分配…[閱讀更多](https://machinelearning.apple.com/research/latent-lookahead)