麻省理工學院研究人員開發了一種新方法，能將保護隱私的人工智慧訓練速度提升約 81%。這項進展有望讓更多資源受限的邊緣裝置，例如感測器和智慧手錶，部署更精確的 AI 模型，同時確保使用者資料安全。 麻省理工學院的研究人員提升了一種名為「聯邦式學習」（federated learning）技術的效率，該技術涉及一個由互連裝置組成的網路，這些裝置協同合作以訓練一個共享的 AI 模型。 在聯邦式學習中，模型會從中央伺服器廣播到無線裝置。每個裝置使用其本地資料來訓練模型，然後將模型更新傳輸回伺服器。由於資料保留在每個裝置上，因此得以確保安全。 然而，網路中並非所有裝置都具備足夠的容量、運算能力和連線能力，可以及時與伺服器來回儲存、訓練和傳輸模型。這會導致延遲，進而降低訓練效能。 麻省理工學院的研究人員開發了一種技術來克服這些記憶體限制和通訊瓶頸。他們的方法旨在處理由具有不同限制的異質無線裝置組成的網路。 這種新方法有望使 AI 模型更可行地應用於具有嚴格安全和隱私標準的高風險應用，例如醫療保健和金融。 「這項工作旨在將 AI 帶到目前無法運行這類強大模型的小型裝置上。我們日常生活中隨身攜帶這些裝置。我們需要 AI 能夠在這些裝置上運行，而不僅僅是在大型伺服器和 GPU 上，這項工作是實現這一目標的重要一步。」電氣工程與電腦科學（EECS）研究生兼該技術論文的主要作者 Irene Tenison 表示。 她的合著者包括 Lincoln Laboratory 的機器學習工程師 Anna Murphy ’25；來自瑞士洛桑聯邦理工學院（EPFL）的訪問學生兼 Flower Labs 機器學習工程師 Charles Beauville；以及麻省理工學院電腦科學與人工智慧實驗室（CSAIL）的首席研究科學家 Lalana Kagal。這項研究將在 IEEE 國際神經網路聯合會議上發表。 **減少延遲** 許多聯邦式學習方法都假設網路中的所有裝置都具備足夠的記憶體來訓練完整的 AI 模型，並擁有穩定的連線能力以快速將更新傳輸回伺服器。 然而，這些假設在由智慧手錶、無線感測器和手機等異質裝置組成的網路中卻不適用。這些邊緣裝置的記憶體和運算能力有限，並且經常面臨間歇性的網路連線問題。 中央伺服器通常會等待接收所有裝置的模型更新，然後將其平均以完成訓練回合。這個過程會重複進行，直到訓練完成。 「這種延遲會減慢訓練過程，甚至導致其失敗，」Tenison 說。 為了克服這些限制，麻省理工學院的研究人員開發了一個名為 FTTE（Federated Tiny Training Engine）的新框架，該框架減少了每個行動裝置所需的記憶體和通訊開銷。 他們的框架包含三項主要創新。 首先，FTTE 並非將整個模型廣播到所有裝置，而是傳送模型參數的一個較小子集，從而降低了每個裝置的記憶體需求。參數是模型在訓練期間調整的內部變數。 FTTE 採用一種特殊的搜尋程序來識別在特定記憶體預算內能最大化模型準確度的參數。該限制是根據記憶體最受限的裝置設定的。 其次，伺服器使用非同步方法更新模型。伺服器不會等待所有裝置的回應，而是累積傳入的更新，直到達到固定容量，然後才進行訓練回合。 第三，伺服器會根據接收時間對來自每個裝置的更新進行加權。這樣，較舊的更新對訓練過程的貢獻較小。這些過時的資料可能會拖累模型，減慢訓練過程並降低準確度。 「我們採用這種半非同步方法，是因為我們希望讓效能最弱的裝置也能參與訓練過程，以便它們能為模型貢獻資料，但我們不希望網路中更強大的裝置長時間閒置並浪費資源，」Tenison 說。 **實現加速** 研究人員在包含數百個異質裝置以及多種模型和資料集的模擬中測試了他們的框架。平均而言，FTTE 使訓練過程比標準聯邦式學習方法快了 81%。 他們的方法將裝置上的記憶體開銷減少了 80%，通訊負載減少了 69%，同時達到了接近其他技術的準確度。 「因為我們希望模型盡可能快地訓練，以節省這些資源受限裝置的電池壽命，所以在準確度上會有所取捨。但輕微的準確度下降在某些應用中是可以接受的，特別是考慮到我們的方法執行速度快得多，」她說。 FTTE 還展現了有效的擴展性，並為更大規模的裝置群體帶來了更高的效能提升。 除了這些模擬之外，研究人員還在一個由具有不同運算能力的真實裝置組成的小型網路中測試了 FTTE。 「並非每個人都擁有最新的 Apple iPhone。例如，在許多開發中國家，使用者可能擁有效能較低的行動電話。透過我們的技術，我們可以將聯邦式學習的優勢帶給這些使用者。」