WIRED 編輯部本週試圖釐清 AI 產業的至少兩起事件。首先是關於一項百萬美元數學問題的重大爭議，以及 OpenAI 是否暗中借用其他研究人員的工作來搶先解決該問題。

隔天，一位曾任職於 OpenAI 的 Anthropic 研究員高調辭職，理由是他對兩家公司處理 AI 安全的方式感到擔憂。Anthropic 的另一位技術人員回應說，公司裡的人「真的真心相信 AI 可能會殺死所有人類！我個人認為在未來十年內，這種可能性超過 10%。」（請注意那個驚嘆號）。

網路隨即爆發一場辯論，討論這些擔憂究竟是合理、完全誇大、監管俘虜策略的一部分，還是 AI 實驗室為自身技術進行的自我膨脹，或者這些因素的某種組合。

一位著名的科技與 AI 研究員 Timnit Gebru，尤其言辭激烈，她在 X 和 Bluesky 上發文，闡述她認為導致我們進入這個怪異時刻的各種重疊觀點和意識形態。Gebru 先前最為人所知的是她高調離開 Google 的事件。

她於 2018 年受聘，負責評估 Google 快速發展的 AI 工具中的偏見。她和她的研究夥伴們提交了一篇關於機率式大型語言語言模型潛在危險的論文，但 Google 拒絕了這篇論文。不久後，Gebru 便離開了公司。

她正在撰寫一本關於自身經歷的書，名為《深度反學習：AI 的崛起與科技理想主義者的激進化》（Deep Unlearning: The Rise of AI and the Radicalization of a Tech Idealist），預計明年初出版。

Gebru 對過去一週與 AI 相關的事件有許多看法。雖然她的工作本質上根植於 AI 安全，但她拒絕使用「安全與對齊」（safety and alignment）等詞彙，並認為那些警告我們即將面臨末日的人，正試圖轉移人們對科技產業可能造成實際危害的注意力。

LAUREN GOODE：你認為所有對「數學之戰」的關注，說明了 AI 現狀的什麼？

TIMNIT GEBRU：嗯，首先我會問，他們為什麼要大量投資解決數學問題？為什麼他們選擇某些學科？不知何故，這些主題，比如程式設計、西洋棋和數學，被提升到一個層次，意味著「好吧，你解決了這個，因此你就解決了智慧」。這樣他們就可以說：「我們解決了它。」

OpenAI 希望你聽到的故事是，這個 AI 做了一件不可思議的事情，而且它超級聰明。這就是他們選擇數學這個懸賞百萬美元的公開問題的原因。但如果它經歷了數學界驗證聲明的重要性、新穎性以及貢獻者的整個過程，並且我們都等到塵埃落定，我們就會更好地了解 OpenAI 是否準確地描述了這項突破。

我認為《萊頓宣言》（Leiden Declaration）非常好，它警告了如果數學領域被企業以這種方式利用會發生什麼。政策制定者開始依賴新聞稿和流行媒體，而不是與數學家本身交流。

現在，從公司聲稱 AI 突破到 Bernie Sanders 提出法案所需的時間非常短，這不是一件好事。

現在一切都非常激烈，只為了趕在首次公開募股（IPO）之前。通常，研究人員應該是協作的。當我在 Google 時，我們與 Microsoft、Amazon 的研究人員合作。你總是這樣做。

現在，研究人員都因為即將到來的 IPO 而對他們認為正在解決的問題感到狂熱。

你如何解讀 Anthropic 工程師的辭職，他聲稱這些公司魯莽行事，拿我們的生命冒險？一方面，你似乎同意這些公司確實魯莽；另一方面，你已經明確表示，你認為「AI 將導致文明終結」的辯論是毫無意義的。

TIMNIT GEBRU：我整個職業生涯都在試圖從不同角度說同樣的事情。我們在 2021 年撰寫了我們的「隨機鸚鵡」（stochastic parrot）論文就是這個原因。OpenAI 曾聲稱 GPT-2 過於強大而無法發布。它被炒作得沸沸揚揚。而我們當時說的是，你們問錯了問題。

在我的書中我寫道：「一座橋會決定倒塌嗎？」整個「噢不，我們的模型失控了」這件事……當一座橋倒塌時，你不會分析這座橋是否道德或是否有感知能力，或者它為什麼決定倒塌。你會問，是誰把這座橋建得如此脆弱？

你必須取得許可證。應該有測試。當你問橋本身倒塌的原因時，你已經偏離了重點。

同時，真正具有存在性威脅的是 AI 驅動的自主武器，這些殺人機器實際上正在戰爭中使用。氣候災難是真實存在的，這些科技公司正在建造的東西可能會加劇它。老闆們正在利用 AI 作為藉口來擺脫他們那些麻煩的員工。

在我看來，這種「機器神」（machine-god）敘事是為了轉移我們對這些問題的注意力。這個產業已經變成了一種混合的邪教，一群真正的信徒，就像一個說末日即將來臨的傳教士。奇點（singularity）已經說了幾十年了。

請你一步一步地告訴我，如果「AI 滅絕」是真的，它會如何發生？我想到有人說，難道是一張憤怒的 GPU 會出現在我家嗎？

TIMNIT GEBRU：我真的無法想像，但很多這樣的場景似乎都是你要求機器優化某個任務，然後機器決定達到這個目標的方法是殺死世界上所有人。AI 會催眠你，讓你無法拔掉插頭嗎？我不知道！

其他人說，AI 可以感染你的機器。是的——但我們已經有惡意軟體了，所以……

那麼洪水和火災呢？全球糧食供應鏈的重大中斷呢？我們面臨著真正的威脅，比如人們能夠製造和使用化學武器。[註：在我們談話後不久，Anthropic 透露它已阻止了科學家製造生物武器的幾次潛在惡意嘗試。]

還有另一個因素是，你太過優越，以至於無法想像其他事情會傷害你。就像如果你不擔心警察暴力、洪水或戰爭——這些真正能殺死你的事情——那麼你就可以沉迷於「機器神」。

我們為什麼要花這麼多時間討論這種人們從 40 年代和 50 年代就開始談論的 AI 概念？我有一個遊戲，有時我會向人們朗讀我在研究中收集到的關於人工智慧的引文，然後問：這句話是在哪個年代說的？有時人們猜對了，但很多時候沒有，因為聽起來都一樣。