作者：Arwen Bradley條件式擴散模型似乎具備組合泛化能力，即能為訓練資料以外的條件組合生成令人信服的樣本，但其背後的機制仍不明確。為具體探討此能力，我們研究了長度泛化，亦即生成比訓練時更多物件影像的能力。在受控的 CLEVR 設定（Johnson et al., 2017）中，我們發現長度泛化在某些情況下可實現，但在其他情況下則否，這表明模型有時才能學習到底層的組合結構。隨後，我們將局部性作為組合泛化的一種結構機制進行探討。先前的研究提出了分數局部性作為無條件擴散模型中創造力的機制（Kamb & Ganguli, 2024; Niedoba et al., 2024），但並未處理彈性條件或組合泛化。在本論文中，我們證明了特定組合結構（條件式投影組合）（Bradley et al., 2025）與對像素和條件器都具有稀疏依賴性的分數（局部條件分數）之間存在精確的等價關係。此理論也延伸至特徵空間中概念的組合（例如風格與內容）。我們透過實驗驗證了我們的理論：在長度泛化方面成功的 CLEVR 模型展現出局部條件分數，而失敗的模型則否。此外，我們證明了明確強制執行局部條件分數的因果干預，能使先前失敗的模型實現長度泛化。最後，我們研究了 SDXL，發現在像素空間中，空間局部性存在但條件局部性大多不存在；然而，我們在網路學習到的特徵空間中發現了局部條件分數的量化證據。 ## 相關閱讀與更新 條件式擴散模型似乎具備組合泛化能力，即能為訓練資料以外的條件組合生成令人信服的樣本，但其背後的機制仍不明確。為具體探討此能力，我們研究了長度泛化，亦即生成比訓練時更多物件影像的能力。在受控的 CLEVR 設定（Johnson et al., 2017）中，我們發現長度泛化是… [閱讀更多](https://machinelearning.apple.com/research/local-mechanisms) 我們研究了擴散模型中組合的理論基礎，特別關注分佈外推和長度泛化。先前的研究表明，透過線性分數組合來構成分佈可以取得有前景的結果，包括在某些情況下的長度泛化（Du et al., 2023; Liu et al., 2022）。然而，我們對此類組合如何以及為何奏效的理論理解仍不完整… [閱讀更多](https://machinelearning.apple.com/research/mechanisms-of-projective-composition)