心率（HR）是主要的生命徵象之一，是生理狀態的動態指標，受活動、壓力、急性和慢性疾病等因素影響。此外，靜息心率（RHR）是心血管健康和長期健康風險的關鍵生物標誌物。較高的 RHR 和 RHR 隨時間的增加與主要不良心血管事件和全因死亡率相關。

Fitbit 裝置和 Pixel Watch 等穿戴裝置使我們能夠在日常生活中追蹤這些健康指標。然而，它們的普及率仍有提升空間，尤其是在資源匱乏的環境中以及心血管疾病風險最高的人群中。智慧型手機提供了一個獨特的機會來擴大健康追蹤的普及性——如今，約有五十億人已經擁有一部配備強大感測器、能夠監測健康的裝置。

2022 年，我們展示了如何透過將手指放在相機上，利用智慧型手機進行即時心率測量，隨後 Google 的研究也探討了該測量過程中偵測到的訊號如何幫助預測心血管疾病。

我們在《自然》雜誌上發表了「智慧型手機日常使用中的被動式心率監測」一文，介紹了一項研究系統（PHRM），該系統能夠在日常智慧型手機使用期間，於背景中追蹤心率和靜息心率。PHRM 利用前置鏡頭在臉部解鎖後數秒內捕捉使用者臉部的影片。然後，它應用深度學習來估計心率，與心電圖（ECG）衍生的真實數據相比，平均絕對百分比誤差（MAPE）小於 10%，符合所有膚色人群的業界準確度標準。

最後，該系統將全天的心率測量值整合為每日靜息心率的估計值，其準確度與穿戴裝置相當，與穿戴式追蹤器相比，平均絕對誤差（MAE）小於每分鐘 5 次（bpm）。隨著我們的論文發表，我們也發布了目前公開可供研究使用的最大且最多樣化的智慧型手機影片數據集，以及一個預訓練的「PHRM-mini」模型。符合資格的研究人員可以申請存取。

像穿戴裝置、脈搏血氧儀以及我們之前的工作一樣，PHRM 透過光體積變化描記法（PPG）測量心率，即透過感測血液每次脈動時光線與皮膚互動的波動。我們開發了一個裝置內軟體管線，處理 8 秒的臉部影片片段，並使用計算效率高的時間位移卷積神經網路來預測心率以及信心分數。該管線進一步整合全天的心率預測，並利用信心分數和卡爾曼濾波來估計每日靜息心率。

儘管用於此類「遠端」PPG（rPPG）的電腦視覺模型已經存在二十年，但之前的工作涉及在受控條件下進行的小型研究，限制了其普遍性。此外，之前的研究嚴重低估了深色皮膚人群的代表性，因為黑色素使得相機更難偵測到 PPG 訊號。直到最近，研究人員才更徹底地調查了 rPPG 模型在深色皮膚研究參與者上的表現，發現準確度顯著較低——這與脈搏血氧儀和其他基於 PPG 的技術所發生的情況類似。

對脈搏血氧儀的擔憂促使 FDA 起草指導方針，以確保驗證研究中包含多樣化的膚色代表性。迄今為止，缺乏達到類似標準的 rPPG 研究。我們利用來自近 700 名不同研究參與者的超過 35 萬個影片片段開發了 PHRM，這些參與者來自實驗室和真實世界環境，並且我們將更多的模型訓練投入到最具挑戰性的案例中，就像我們早期工作一樣。

我們利用比色法和 Monk Skin Tone 量表，確保淺色皮膚（「第一組」，Monk 1-4）和中等膚色（「第二組」，Monk 5-7）的參與者各佔數據集的至少 25%，而深色皮膚（「第三組」，Monk 8-10）的參與者佔至少 33%。

這種抽樣方法與 FDA 後來提出的膚色群組一致。更進一步，在 Google 健康優化團隊的支援下，我們制定了一項非劣性標準，規定 PHRM 對每個群體的心率 MAPE 必須與其他群體相差小於 5 個百分點。這些努力使我們對 PHRM 的研究成為迄今為止最大且最多樣化的 rPPG 研究，並使我們能夠開發出在整個膚色範圍內都能準確執行的包容性模型。

我們在實驗室研究中訓練 PHRM 處理各種條件，記錄了 365 名不同研究參與者的臉部影片和同步心電圖（ECG）數據，涵蓋不同的光照條件和活動狀態。在一個獨立的 104 名參與者測試集上，經過最低信心分數的門控後，儘管我們測試的條件範圍廣泛，PHRM 在所有膚色組別中都實現了顯著小於 10% 的 MAPE。

PHRM 在相同的測試集上顯著優於 15 個領先的已發表 rPPG 模型，無論是否經過門控，並且是唯一一個在所有膚色上都達到 MAPE 小於 10% 的模型。

為了在真實世界數據上訓練 PHRM，我們進行了一項史無前例的「自由生活」研究。231 名不同的研究參與者在他們的個人手機上安裝了一個客製化的數據收集應用程式，並在八天內正常使用手機，同時佩戴 ECG 胸帶和 Fitbit Charge 6 健身追蹤器。

我們的應用程式在每次臉部解鎖後立即記錄 8 秒的影片片段和 ECG 數據，平均每天捕捉 231 個片段。每天結束時，參與者在審查其片段以確認排除敏感內容和其他臉部後，手動並明確授權上傳到我們安全的加密伺服器。

在一個獨立的 101 名參與者驗證子集上，PHRM 在信心門控後達到了 6.09% 的整體 MAPE，其中第一組、第二組和第三組的 MAPE 分別為 5.04%、5.12% 和 7.84%。每個 MAPE 都顯著小於 10%，並符合我們預設的非劣性目標。

PHRM 在自由生活條件下以更大的幅度優於相同的 15 個領先 rPPG 模型，並且仍然是唯一一個在所有膚色上都達到 MAPE 小於 10% 的模型。Bland-Altman 分析顯示，PHRM 平均僅低估心率 0.64 bpm，95% 的一致性區間介於 -11.3 和 10.3 bpm 之間；信心分數較高的測量值誤差較低。

然後，我們將 PHRM 的 RHR 演算法應用於至少有一天有 20 次心率測量的參與者。對於這 90 名參與者，PHRM 成功地估計了 73.6% 的參與者-天數的 RHR。PHRM RHR 與 Fitbit Charge 6 的每日 RHR 相比，整體 MAE 為 4.39 bpm，顯著低於我們預設的 5 bpm 目標。

Bland-Altman 分析顯示，PHRM 平均低估 RHR 0.1 bpm，95% 的一致性區間介於 -9.1 和 9.2 bpm 之間；誤差隨著 RHR 測量天數的增加而減少。除了第三組外，所有膚色組的 MAE 都顯著小於 5 bpm。

然而，隨著我們的 RHR 演算法的卡爾曼濾波器收斂，所有組的 MAE 隨時間減少——第三組的 MAE 從第三天起顯著小於 5 bpm。

在確認我們方法的有效性時，我們進一步發現，在控制共變數後，PHRM 測得的 RHR 較高的參與者，其身體質量指數（BMI）和心血管適能（最大攝氧量 VO2max）較差的可能性更高，這表明 PHRM 正確捕捉了心血管風險的方向性。

據我們所知，PHRM 標誌著首次大規模展示在日常智慧型手機使用中進行被動式心率和每日靜息心率監測。作為唯一一個在所有膚色人群中（即使在不可預測的真實世界條件下）都符合心率準確度標準的 rPPG 方法，它為該領域樹立了新標準。它也代表了首次使用 rPPG 來估計每日靜息心率，在所有膚色上都達到了穿戴裝置級的準確度。

透過結合對使用者習慣的理解、尖端深度學習技術和包容性設計，我們開發了一個基於智慧型手機的心率監測系統，能夠提供類似穿戴裝置的心臟健康洞察。因此，PHRM 提供了一個機會，透過我們最普及的裝置，實現心臟健康追蹤的普及化。更廣泛地說，它展示了我們如此頻繁使用的裝置如何反過來反映我們健康的洞察。

儘管 PHRM 在所有膚色上都達到了準確度標準，但其心率測量成功率在第二組中較低，在第三組中最低，這可能是由於在深色皮膚中偵測 PPG 訊號的困難。未來的努力可以探索優化相機曝光或觸發額外的採樣嘗試，以提高測量成功率。我們還觀察到一些由參與者說話和頭部運動引起的異常誤差。

改進的影片穩定功能可以減輕這些誤差，基於加速度計的門控可以幫助優先選擇適當的靜止時刻。最後，未來的系統可以透過要求臉部驗證和採用安全的裝置內處理來確保數據完整性和隱私。為了促進進一步的研究，我們將我們的里程碑數據和模型資源提供給符合機構審查委員會（IRB）批准並符合我們數據保護要求的合格研究人員。

為了保護研究參與者的隱私，所有影片均在 IRB 批准下收集，並根據參與者的明確同意進行處理。此數據集完全限制用於非商業研究用途，存取研究人員嚴禁嘗試重新識別任何個人或公開顯示原始影片資產。我們邀請研究社群利用我們的資源來推進我們的工作。

致謝

這項工作代表了超過 7 年努力的結晶。我們感謝論文共同作者 Shun Liao, Paolo Di Achille, Jiang Wu, Silviu Borac, Jonathan Wang, Xin Liu, Lawrence Cai, Yuzhe Yang, Yun Liu, Daniel McDuff, Hao-Wei Su, Brent Winslow, Anupam Pathak, Mark Malhotra, Shwetak Patel, James A. Taylor, and Jameson K. Rogers。

我們感謝主要貢獻者，包括：Nikola Teslovich, Alex Mun, Jonathan Hsu, Xiaoxia Zheng, Derrick Vickers, Sam Mravca, Tracy Giest, Jason Guss, Florence Thng, Jiening Zhan, Julie Cannon, Mehr Kashyap, Jaspreet Pannu, Tiffany Kung, Ming Jack Po, Matthew Shore, Justin Tansuwan, Liwen Chen, Cristo Alanis Barrera, Anand Saxena, Jeremy Miles, Melissa Moran, Michael V. McConnell, Ivor Horn, Benny Ayalew, Jonelle Saunders, Jonathan Tsai, Heather Cole-Lewis, Ebony Respress, Perry Payne, Kamillah Wood, Nnamdi Ezeanochie, Magdala Chery, and Rich Gossweiler。