這項測試針對 200 個案例，評估了 16 種 AI 模型，並將其表現與一群放射科醫師進行比較。在總分 2,000 分中，人類專家獲得 988.7 分，而表現最佳的 AI 模型僅得到 758 分。
在結合了準確性與答案自信程度的主要評估指標上，人類放射科醫師的表現超越了所有受測的 AI 模型。
誠實的沉默勝過過度自信的猜測。
這套評分系統獎勵誠實，並懲罰過度自信。如果答案正確且自信度高，就能獲得滿分；但如果答案錯誤卻聲稱高度自信，則會扣除相應分數。若回答「我不知道」，則得分為零但不會扣分。即使模型的原始命中率看起來不錯，但若自信地猜測，其排名也會下降。
這項研究探討了一個近期被高度引用的論文所提出的觀點：只要基準測試只獎勵準確性，AI 模型就會被訓練去猜測。然而在醫學領域，一個自信滿滿的錯誤診斷，遠比誠實承認不確定性來得危險。
沒有任何單一模型全面勝出。
整體而言沒有一個模型是絕對的贏家。Anthropic 的 Claude Fable 5 在提供可靠且安全的答案方面表現最佳，並在主要指標上領先。而 Google 的 Gemini 3 Pro 則擁有最高的原始準確度。
若單純以命中率衡量，最強大的前沿模型幾乎已能追上人類的表現。
Meta 的 Muse Spark 1.1 在判斷何時應將案例轉交給人類方面表現最佳。Meta 最近將 Muse Spark 1.1 的幻覺率降低了近一半，因為該模型更常選擇拒絕回答而非給出錯誤答案。然而，其他前沿模型卻呈現相反趨勢。例如，Grok 4.5 的幻覺現象比其前身顯著增加，儘管它知道更多，卻也對其錯誤答案更加深信不疑。
轉交指數衡量一個系統是否能根據自身的不確定性，判斷何時應將案例轉交給人類放射科醫師。
根據研究團隊的說法，如果一些模型能更常保持沉默而非猜測，它們的得分會高出許多。這在開源模型和專為醫療用途訓練的模型中尤為明顯。這些模型試圖回答幾乎所有案例，卻經常出錯，且通常帶有高度自信。
幾款頂級商業模型產生了大量高度自信的錯誤診斷，這使得它們的自信程度成為不可靠的準確性指標。
在開源模型和醫療專用模型中，與人類表現的差距顯著擴大。許多模型試圖處理幾乎所有案例，但卻頻繁出錯，且通常帶有中高程度的自信。
該測試的第一個版本呈現出更為嚴峻的景象。放射科醫師的準確度達到 83%，而最佳模型僅約 30%。然而，在三個月內，Gemini 3 Pro 已超越了住院放射科醫師的水平。儘管準確性快速提升，但這些模型仍然缺乏對自身極限的認知。
病患已開始將 MRI 掃描傳送給聊天機器人。
越來越多的人將 X 光片或 MRI 掃描上傳到聊天機器人並信任其回應。npj Digital Medicine 最近的一項研究顯示，廣泛使用的聊天機器人經常對醫療問題給出不可靠的答案。
研究團隊指責高階主管和投資者公開誇大 AI 模型的能力。聲稱 AI 系統診斷能力已超越 99% 醫師的說法，大多基於軼事或模擬。就在今年四月，一項針對當時被認為最先進的 21 種模型的研究顯示，它們尚未準備好進行無人監督的臨床使用。
RadLE 2.0 將持續擴展以納入新的模型。一份包含成本分析和錯誤分類的完整科學出版物已宣布即將發布。
另外兩項關於自主醫療 AI 代理的近期研究則指向不同方向。用於電子健康紀錄的 MIRA 系統和 AMIE 在模擬諮詢中能夠與全科醫師保持同步。這兩項研究都助長了 AI 可能很快就能獨立做出診斷的期望。然而，RadLE 2.0 的作者反駁道：在 AI 獨立做出決策之前，它必須先知道何時最好不要這麼做。
此外，還存在技能退化的問題。一項來自 2025 年的波蘭觀察性研究發現，在結腸鏡檢查中經常使用 AI 的醫師，若沒有該工具輔助，檢測到的癌前病變會顯著減少。檢測率從 28.4% 下降到 22.4%。作者將此稱為「Google 地圖效應」：沒有導航輔助，使用者就會迷失方向。
放射學界曾見證過這波 AI 熱潮。
2016 年，AI 研究員 Geoffrey Hinton 曾宣稱我們應該停止訓練放射科醫師，因為深度學習很快就會取代這項工作。Richard Sutton 等同事也表示同意。
近十年後，放射科醫師仍然工作超負荷，而 Hinton 也不得不收回他的預測。他將這個專業簡化為圖像分析，卻忽略了整個領域的複雜性。這些系統能夠自信地給出錯誤診斷的事實，意味著人類仍然不可或缺。
OpenAI 執行長 Sam Altman 多年來一直預測 AI 將以驚人的速度取代人類工作，但最近他收回了此說法，轉而認為 AI 可能實際上創造了更多工作。然而，截至目前，研究並不支持這兩種說法。
AI 專家或許了解他們所建立的模型，但他們經常高估整個專業被取代的速度。這類預測目前又再度流行起來。就像他們所建立的 AI 一樣，即使是人類也不總是知道何時該保持沉默，因為他們可能超出了自己的專業領域。