透過在裝置本地處理資料，裝置端 AI 能夠在保護使用者資訊隱私的同時，提供更強化的防護與即時警示。例如，Android 採用名為 SafetyCore 的系統，提供保護隱私的裝置端功能與通用基礎架構，以保護使用者免受不必要內容的侵害。在開發裝置端技術時，團隊需要了解其系統在數百萬部獨立智慧型手機上的運作情況，每部手機都有獨特的資料分佈、不同的硬體限制和不同的使用者行為。
為了在僅揭示集體趨勢而不洩露個別使用者資料的情況下實現這一目標，團隊可以利用密碼學安全聚合作為關鍵的建構區塊。如同所有密碼學協定，安全聚合利用先進的數學工具來提供其安全保證。今天，我們為隱私分析服務中的高效密碼學聚合設定了更高的標準。我們遵循「零信任」原則，旨在減少對任何單一實體的信任。
我們透過結合密碼學與硬體保護機制的新安全設計來實現這一目標。我們的解決方案利用一種新穎的密碼學聚合方法，可證明保證 Google 只能獲取關於群體的匿名化、聚合洞察。此外，可信任執行環境 (TEEs) 也被用於提供嚴格的證明與透明度層級。當模型部署在裝置本地時，僅僅知道模型「正在運行」並不足以理解其行為、有效性或故障模式。
這限制了回答關鍵問題的能力，例如：模型是否正在漂移？（例如，翻譯模型是否難以處理特定地區出現的新俚語？）是否存在隱藏偏見？（例如，圖像分類器在某些地理區域常見的特定光照條件下準確度是否較低？）實際錯誤率是多少？（例如，「智慧回覆」功能是否因為其建議在技術上正確但社交上尷尬而被忽略？）
這就是隱私分析成為關鍵橋樑的地方，它能夠在不洩露個別使用者內容的情況下，提供關於群體的匿名化、聚合洞察。Google 團隊將聯邦式分析用於此類聚合的隱私洞察，並應用於 Pixel Recorder、Gboard 等產品。聯邦式分析需要一個隱私聚合路徑，其中來自個別裝置的資料受到保護，直到它們被組合成一個總和。
在這種情況下，保護使用者資料出現了兩種範式：基於硬體的隔離（TEEs）和密碼學協定。硬體方法以 TEEs 為核心，例如 Intel TDX、AMD SEV-SNP 等。其核心思想是建立一個「安全隔離區」—— 本質上是處理器和記憶體的一個受保護區塊，與裝置的其餘部分隔離。
在這個隔離區內，資料可以被解密並以明文處理，即使面對受損的作業系統或惡意虛擬機管理程式也能受到保護。透過一個稱為「證明」的過程，TEEs 可以計算出在隔離區內運行的確切韌體和軟體狀態的硬體支援密碼學「指紋」。對於使用者或稽核員而言，證明提供了一個可驗證的保證，即資料正由他們預期的特定、防篡改程式處理，而不是旨在洩露資訊的修改版本。
Google 已在 Pixel Recorder 應用程式中部署了由 TEE 支援的差分隱私聚合，用於計算 AI 系統的洞察。然而，TEEs 的隔離機制不斷演進。研究人員經常發現側通道漏洞，攻擊者可以利用這些漏洞來使 TEE 的保證或應用程式層級的特定保證失效 [SNPeek, TDXray]。
儘管業界正努力強化現有解決方案以抵禦已知的側通道攻擊，但預計仍會發現新的側通道漏洞。因此，在理想的系統中，資料應受到多層安全保護，即使 TEE 的安全模型失效，資料也不會受到損害。另一方面，密碼學協定依賴於數學技術，這些技術提供了可證明的保證，即個別資料無法被重建，並且唯一可見的值是聚合、匿名化的輸出。
Google 已大規模部署了兩代安全聚合協定（詳見最初的部落格文章和後續內容）。然而，其廣泛使用受到限制，因為它要求使用者裝置在多輪協定中長時間保持線上，這增加了複雜性。我們的新解決方案引入了一種新穎的密碼學協定，允許使用者裝置以單次訊息安全地提交其資訊，克服了傳統互動式方案的障礙。
透過實現單次訊息提交，我們消除了裝置需要長時間保持線上與伺服器進行多輪互動的需求。此高效協定已整合到 Google 的機密聯邦式分析系統中，我們將其與 TEE 內的執行結合，創建了一個多層次防禦架構。有了這個解決方案，機密性不再完全依賴於硬體保護。
密碼學層確保個別原始資料絕不會在任何伺服器記憶體中暴露或重建——即使是在硬體保護的範圍內。未加密資料唯一在裝置外處理的時間點是在最後階段，此時資料已經過聚合和匿名化。此外，我們的解決方案利用 TEE 證明機制，向所有參與者提供高度保證、可驗證的證明，證明安全聚合協定正按預期精確執行，即透過正確編譯和運行公開可用的程式碼。
我們的密碼學解決方案核心是一種創新的基於格的協定，它允許客戶端以一種方式加密其資料，使得生成的密文可以在聚合底層訊息和加密金鑰的同時進行聚合。現在，伺服器要獲取聚合值所需的唯一東西是一個只能解密聚合值的解密金鑰。為了協助完成這項任務，我們在客戶端之間組建小型委員會，這些委員會持有有助於解鎖被額外差分隱私雜訊遮罩的聚合值的提示。
客戶端根據其可用性不頻繁地在委員會中服務，並促成任何解密金鑰都分發給多個參與者的特性，每個參與者都保護加密資料的機密性。Android System SafetyCore 是 Google 針對 Android 9+ 裝置提供的系統服務，為 Android 安全功能提供保護隱私的裝置端支援。
在裝置端安全領域，SafetyCore 等工具扮演著關鍵角色。然而，為了讓這些工具不斷發展，開發人員需要了解它們的實際效能——特別是哪些威脅被捕捉到，以及哪些地方有機會進一步完善偵測能力，所有這些都不能損害使用者隱私。為了彌補這一差距，我們與 Android SafetyCore 團隊合作，利用我們最先進的隱私分析解決方案來提高分類器的準確性，同時保護隱私。
依賴聚合的隱私保護、匿名化洞察在這裡至關重要；它允許工程師在不查看觸發本地警報的私人敏感內容的情況下，衡量安全模型在多元全球裝置群中的「真陽性」率。透過觀察這些高層趨勢，開發人員可以調整模型閾值並部署更新，以更好地保護使用者，確保安全系統在應對新興威脅時保持有效，同時將原始資料保持私密並嚴格隔離在裝置上。
Android SafetyCore 將利用我們的零信任隱私分析來評估指示其工具有效性的中繼資料，同時遵守其使用者內容僅保留在裝置上的隱私承諾。我們很高興推出一項技術，它有助於 Android 保護使用者安全並同時維護其隱私的更廣泛使命。用於安全計算的密碼學技術帶來了基於數學證明的強大安全保證。
我們展示了如何設計安全聚合協定，使其與大規模分散式系統的部署相容。由此產生的解決方案與現有安全機制整合，提升了隱私分析的安全標準。展望未來，我們正在探索擴展此模型支援的計算集合的機會。