想像一個交響樂團正在演奏一首複雜的樂章。如果小提琴每隔幾小節就走音，整個樂團就必須不斷停下來重新調音。幸運的是，這在現實樂團中不會發生，因為樂器能可靠地保持音準。然而，這卻是目前操作量子電腦的真實寫照。
由於量子電腦本質上是類比機器，對漂移極為敏感，要維持可靠運作，就需要不斷重新校準其控制參數，例如協調量子位元（qubits）的類比訊號的頻率、振幅和相位。目前，這需要完全終止整個量子運算。這種運算與校準的完全分離，對未來而言是一個根本性的瓶頸，因為有用的量子演算法必須連續運行數天甚至數月。
為了應對這個問題，我們在《自然》雜誌上發表了「強化學習控制量子錯誤校正」一文，展示了一個強化學習（RL）框架。在這個框架中，一個自主代理能從量子錯誤偵測中學習，持續引導數千個控制參數，在運算過程中穩定量子系統以抵抗漂移。簡而言之：我們找到了一種「邊演奏邊調音」的方法。
在音樂廳裡，走音的樂器會立刻被聽出來。量子領域卻沒有這種奢侈。彷彿「聆聽」這個動作本身就會破壞表演，測量量子位元會使其量子疊加態崩潰。為了保存量子資訊，我們轉而採用量子錯誤校正（QEC）技術，該技術利用冗餘從許多物理量子位元中建立「邏輯量子位元」，並使用專門的同位檢查（parity checks）對物理量子位元進行檢查，將類比雜訊數位化為二進位錯誤偵測事件。
不幸的是，這些位元只告訴我們在量子電路中某個有界時空區域發生了錯誤，而不是確切的位置。這就像聽到一個不和諧的音符，卻不知道是哪個樂手演奏的。為了精確定位可能的錯誤並計算必要的校正，我們依賴 QEC 解碼器，例如神經網路解碼器 AlphaQubit（經真實數據訓練）和演算法解碼器 Tesseract。
如果錯誤足夠罕見，這些解碼器可以透過分析錯誤偵測數據成功恢復邏輯量子資訊。然而，解碼器留下了一個關鍵問題：這些錯誤最初是如何發生的？
有些錯誤是量子系統與周圍環境不可避免的交互作用造成的，導致去同調（decoherence）。這個無情的過程會破壞宏觀量子疊加態，有效地將量子電腦變成經典電腦。這種基本現象如此普遍，以至於它導致我們熟悉的經典現實從底層的量子自然法則中浮現。雖然這些環境錯誤永遠無法完全避免，但許多其他錯誤是控制校準不精確和硬體漂移的表現——這些缺陷仍在我們能力範圍內可以減輕。
傳統上，量子校準依賴於物理模型。其技術透過數十年的量子控制研究不斷完善。然而，在各個技術領域，人工設計的模型不可避免地會達到性能上限。早期的電腦視覺在依賴嚴格的幾何規則時停滯不前。傳統機器人學仍然在努力解決無法捕捉接觸動力學和摩擦混亂現實的運動學方程式。
同樣，預測蛋白質摺疊這個數十年來的挑戰，對於傳統物理模型來說，在 AlphaFold 等深度學習系統達到前所未有的準確性之前，仍然是難以解決的問題。在這些領域中，當方法轉向直接從數據中學習時，新的突破就發生了。
最近，AlphaQubit 超越了最強大演算法 QEC 解碼器的準確性。現在量子控制面臨同樣的上限。隨著量子處理器透過製造和硬體進步而改進，其錯誤越來越受到複雜現象的影響，這些現象對於傳統建模和校準來說極具挑戰性。機器學習能否帶來新的進展？
Google Research 在開創強化學習以解決傳統程式設計過於複雜的問題方面擁有豐富的歷史。與依賴明確指令的演算法不同，強化學習透過經驗運作。一個自主代理會測試不同的行為，並直接從產生的錯誤中學習以完善其策略。將強化學習應用於實現精確、連續的量子校準幾乎是必然的。
由於 QEC 已經產生穩定的偵測事件流，我們只是賦予這些數據一個補充角色。除了對其進行解碼和校正錯誤之外，我們還將偵測事件用作主動學習訊號。隨著運算進展，RL 代理會監控這些數據，並學習動態引導控制參數，抵消漂移並防止新錯誤的發生。
我們在旗艦 Willow 超導處理器上驗證了這種 RL 量子控制。透過刻意注入控制參數的人工漂移，我們證明了 RL 引導將我們的錯誤校正碼的邏輯穩定性提高了 3.5 倍，延長了處理器作為可靠「量子記憶」設備的時間。通常，將處理器調整到最佳性能嚴重依賴「人機協作」方法，科學家運用物理直覺來解決難以自動化的邊緣案例。
然而，即使經過這種詳盡的專家校準，隨後的 RL 微調仍系統性地將邏輯錯誤率額外降低了 20%。我們在這項實驗中所有技術的綜合，將量子記憶中的邏輯錯誤降低到創紀錄的低點：在表面碼中每千次錯誤校正週期不到一次，在顏色碼中每百次不到一次。
機器學習和量子研究人員的一個關鍵問題是，這種 RL 方法是否能擴展到未來的大型量子電腦。為了測試這一點，我們對數百個量子位元和數萬個控制參數進行了數值模擬。
模擬證實了我們的預期：所需的 RL 訓練迭代次數（epochs）與系統大小無關，這歸因於 QEC 偵測事件對錯誤的局部敏感性。然而，要充分發揮 RL 框架的潛力，需要更緊密的整合。透過加速代理與量子處理器之間的通訊週期，並採用更先進的機器學習方法，我們希望能夠實現顯著的額外改進。因此，我們的工作開啟了一個新範式：一台能從錯誤中學習且不停止運算的量子電腦。
我們感謝共同作者的貢獻，包括建立和維護硬體、軟體、低溫和電子基礎設施。這項工作由 Google Research 的 Google Quantum AI 團隊與 Google DeepMind 團隊合作完成。