自駕車常由深度學習模型控制，但有時會在意想不到的情況下失誤。例如，車輛可能無故煞車，阻擋迎面而來的緊急車輛。此時，人類駕駛或乘客需要迅速反應以避免碰撞。

為幫助人類更好地預測車輛錯誤，麻省理工學院（MIT）和自駕車技術公司 Motional 的研究人員開發了一種新方法。該方法能清晰解釋底層模型的決策過程。

通常，深度學習模型的內部推理過程不透明且難以理解。但這項名為 Concept-Wrapper Network (CW-Net) 的新方法，能將推理過程轉化為忠實描述自駕車決策的概念，同時不影響其駕駛性能。

CW-Net 使用「接近靜止車輛」或「靠近自行車騎士」等易懂概念，來解釋基於機器學習的規劃器決策。這些解釋能糾正駕駛和乘客對車輛行為的誤解，並提升他們的狀況感知能力。

在私人測試跑道上的路測顯示，CW-Net 的解釋有助於安全駕駛更準確地預測車輛行為；一項針對非專業用戶的大型模擬研究也得出類似結果。這些實驗證明 CW-Net 能為工程師在排除車載 AI 系統故障時提供重要回饋。從長遠來看，這項技術可提升自駕車的安全性與透明度，同時建立駕駛和乘客對其的適當信任。

麻省理工學院航空航天學教授、電腦科學與人工智慧實驗室（CSAIL）互動機器人小組主任，同時也是 CW-Net 論文的共同資深作者 Julie Shah 表示：「這項工作展示了解釋如何支持人類對系統行為的心智模型和理解，以及它如何應用於工程和開發以改進技術。」她補充道：「除非我們以一種可信賴並能預測其行為的方式來建構這些技術，否則其應用基礎將是不穩定且不安全的。」

論文主要作者為前麻省理工學院博士後、現任 J.P. Morgan Chase 資深 AI 研究員 Eoin Kenny；共同資深作者為 Motional 的資深研究科學家 Momchil Tomov；以及 Motional 團隊成員 Akshay Dharmavaram、Sang Uk Lee、Tung Phan-Minh、Shreyas Rajesh、Yunqing Hu 和 Motional 總裁兼執行長 Laura Major。這項研究成果已發表於《自然》（Nature）期刊。

基於機器學習的規劃器是自駕車的「大腦」。這些強大的深度學習架構處理來自車輛攝影機和光達感測器的數據，生成車輛環境的高階摘要，決定車輛下一步該做什麼，並輸出其應遵循的行駛軌跡。

這些規劃器通常是黑箱模型，這意味著其內部決策過程過於複雜而難以理解。這可能讓科學家和安全駕駛不清楚為何自駕車會做出意外決策，例如幽靈煞車。

研究人員設計 CW-Net，旨在用易懂的概念解釋車輛決策，同時確保這些解釋能準確反映其行為背後的真實原因。Kenny 表示：「尤其在自駕車這種高風險環境中，解釋不具誤導性至關重要。由於 CW-Net 在決策方式上具有因果忠實性，這為其解釋提供了某些保證。」

CW-Net 是一種「概念分類器」，這是一種經過訓練的 AI 演算法，能預測輸入數據中存在的高階概念。研究人員將 CW-Net 模組插入自駕車現有機器學習規劃器架構的中間。

它將模型的內部推理過程轉化為「接近靜止車輛」或「靠近自行車騎士」等易懂概念。然後，它強制規劃模型架構的最後部分在決定車輛下一步行動時使用這些概念。透過這種方式，CW-Net 確保這些概念能忠實解釋車輛的行為。同時，CW-Net 利用其分類的概念，即時生成清晰的解釋，並與車輛軌跡一同輸出。

Kenny 說：「與其只是猜測車輛為何停止，擁有即時數據能提供回饋，讓你在部署期間測試系統。你也可以將這些數據提供給工程師，以潛在改進系統。」

研究人員使用包含 1.3 億個自駕車場景範例的數據集來訓練 CW-Net，每個場景都帶有多個標註概念。使用如此龐大且帶有標籤的數據集，使其能在各種環境中準確識別概念。

他們還設計 CW-Net 來模仿基於機器學習的規劃器所做的駕駛決策，因此該模組不會對車輛性能產生負面影響。

最終，CW-Net 在不改變原始深度學習模型的情況下，生成了準確且易於理解的解釋。

為測試 CW-Net，研究人員將該模組部署在一輛真實的自駕測試車輛（Motional 的自動駕駛計程車）上，並在私人測試跑道上進行，配備一名安全駕駛。他們發現 CW-Net 幫助安全駕駛在意外情況下，能更好地預測車輛行為。

例如，當車輛接近一名自行車騎士時，它會持續停車，安全駕駛原以為這是因為車輛偵測到騎士。但 CW-Net 的解釋揭示，模型並未正確配置以偵測該騎士，而是選擇了一條可能導致碰撞的軌跡。相反，它之所以停車，是因為當它靠得太近時，緊急煞車程序啟動了。掌握了模型錯誤的這項資訊，安全駕駛可以在類似情況下更早地減速或切換到手動駕駛模式。這也有助於工程師修復模型，以避免未來再次發生此類故障。

在拉斯維加斯道路上捕捉到的真實駕駛情境進行的更大規模線上模擬研究中，研究人員也看到了類似的結果。CW-Net 的解釋顯著提高了參與者預測自駕車行為的能力。

未來，研究人員可以擴展 CW-Net，使其模組能涵蓋更多概念，並探索不同的訓練和設計技術，以提升性能和可解釋性。

Kenny 表示：「我們的研究顯示，可解釋性對於這些高風險環境是多麼關鍵，以及未來在開發自駕車或其他安全關鍵型 AI 時，人們應該將其銘記在心。」