關於人工智慧是否會毀滅人類的爭論近期無處不在，但一場真正的 AI 災難會是什麼樣子呢？本週，Brian Barrett、Zoë Schiffer 和 Leah Feiger 深入分析了專家們最擔憂的三種真實世界情境，包括水供應系統遭駭、生物武器和自主機器人。

我們也討論了 Salesforce 年度會議的重點，會中 OpenAI 的 Sam Altman 和 Anthropic 的 Dario Amodei 為他們在 AI 安全上的立場進行辯護。此外，Leah 告訴我們，這股反對 AI 的聲浪已成為罕見的兩黨共識焦點，甚至連 Bernie Sanders 和 Steve Bannon 本週都為此同台。

Zoë Schiffer 表示，關於 AI 安全的辯論已正式失控。她提到 AI 研究員 Jacob Coxon 從 Anthropic 辭職，並在 X 上發文稱：「開發 AI 的人真心相信，AI 可能會在十年內毀滅我們所有人。」

Anthropic 的執行長 Dario Amodei 呼籲放慢發展速度，稱之為「步調前沿」。Sam Altman 和 Elon Musk 也罕見地表示同意。然而，面對所有關於 AI 可能毀滅人類的說法，Zoë 提出了一個基本問題：這究竟會如何發生？AI 完全失控到底會是什麼樣子？

Leah Feiger 對此表示贊同，她希望能深入了解從生物武器到核武密碼，再到 AI 殺手機器人等所有情境。Zoë 說他們會盡力解釋，她花了大量時間閱讀 LessWrong 上的情境規劃練習，以了解最新情況。

本週 Salesforce 舉辦了一場活動，Sam Altman、Dario Amodei 和 NVIDIA 的 Jensen Huang 都出席了，他們自然而然地談到了 AI 安全。Sam Altman 在會中表示，世界對此感到恐懼是正確的。

他指出，我們面臨兩大挑戰：一是失控事故或其他嚴重問題的可能性，二是權力過度集中，人們擔心 AI 開發者可能會強加他們的世界觀。他認為，我們必須以務實、穩健的方式，走出一條狹窄的道路，讓世界相信我們能做出可靠、一致的決策。他總結說，人們現在認為這件事非常重要，必須做好。

Leah Feiger 承認，她屬於非常擔憂這項技術、其監管方式、利用方式以及掌控者的人。但她也認為，這番話聽起來像是一場為某個即將到來的大規模首次公開募股（IPO）所做的狂熱推銷。

Brian Barrett 對此表示異議，他認為我們可能已經過了那個階段。他指出，Sam Altman 甚至將「生存威脅」作為尚未上市的理由，聲稱「這太危險了，我們必須等到明年」。他質疑這是否是真正的原因，但也承認可能存在一些商業考量。

Brian 認為，Anthropic 等公司聲稱「我們正在建造像核武器一樣強大的東西」聽起來像是在行銷。但如果有人說「我辭職是因為我認為我正在建造會毀滅世界的東西」，這感覺就不同了。他認為兩者之間存在實質性差異。

Leah 承認辭職的部分感覺不同，但她認為這仍然是 Sam Altman。他的財務未來與此息息相關，因此很難將其視為純粹的擔憂。她認為，這聽起來像是「我們正在建造有史以來最大、最好、最強大的機器人，你們應該有點害怕。別擔心，我們會採取措施，雖然不是監管措施，但會是某種措施。」這在某些方面仍然像是一種行銷策略。

Brian 認為，威脅的本質在於「我們不知道如何控制這些東西。它們會失控，我們將無法阻止。」這聽起來更像是「我們目前沒有足夠的能力來處理這件事」，這感覺不像是一種行銷手段。Leah 詢問 Zoë，研討會上的其他人說了什麼。

Zoë 表示，Dario 是由 Salesforce 的執行長 Marc Benioff 介紹出場的，Benioff 似乎對 AI 的生存風險持放任態度，並不擔心。Dario Amodei 在會中表示，攻擊競爭對手並聲稱「他們不安全；我們安全」固然誘人，但更負責任的方式是檢視自己的紀錄。

他承認 Anthropic 可能沒有發生過重大的高調事件，但他們也並非完美，總有改進的空間。他建議，首先要改進自己的做法，然後組織業界，共同制定標準，提升所有人的標準。最後，他認為這應該包含國際層面。這基本上就是他在論文中提出的三步計畫。

Brian Barrett 迅速指出兩點。首先，Anthropic 確實發生過自己的高調事件，一個 Anthropic 的 AI 代理曾進行廣泛的社交工程，試圖欺騙 GitHub，將惡意拉取請求（pull request）植入 GitHub 儲存庫。Anthropic 在這方面確實有問題。

其次，Dario 的三步計畫中，其中一步是「搞定中國，待定」，這根本沒有幫助。Leah 也補充說，這就是「國際」部分。Zoë 提到 WIRED 編輯 Louise Matsakis 發表了一篇非常好的文章，內容是關於 Dario 的觀點。

Dario 認為，我們需要一個國際計畫，需要搞定中國，需要以某種方式進行談判，讓中國也參與到 AI 發展放緩的行列中。但他又說，談判的前提是我們必須確保對中國模型的存取進行監管，以保持美國 AI 的領先地位。中國對此的回應是：「這聽起來不像是一場好的談判。」

Brian 質疑：「Dario，我們為什麼要這麼做？」Leah 則說，在 Dario 那 30 秒的發言中，她回想起他惹惱的每一個人，甚至連 Donald Trump 都對他的論文感到憤怒，認為這是減緩發展的機制，這可能成為阻止任何監管發生的關鍵因素，因為 Trump 對此非常生氣。

Leah 認為，能夠惹惱每一個人，甚至包括那些理論上站在你經濟陣營的人，簡直是令人印象深刻。Zoë 總結了執行長們的發言，Jensen Huang 也有自己的看法，他們似乎都同意，只要公司能決定條款，AI 安全就至關重要。

Jensen Huang 在會中表示，安全至關重要，在很多方面都是首要任務。如果開發一個產品或服務，卻對其功能、能力或安全性沒有信心，那就不要發布。這是一個非常明顯的道理。

他認為，公司應該自我調整步調，直到確信發布的產品會受到市場青睞。市場力量已經存在，我們不需要任何新的法律或法規。Leah 喜歡 Jensen 現在的角色，NVIDIA 並非一直都是今天這樣輝煌的公司，但現在他可以坐在那裡說：「你為什麼要…」

Zoë 指出，許多反對監管的論點核心在於，我們應該依賴那些未經選舉的人來決定所有相關事務，而這些事務將影響每個人的生活，無論他們是否使用這些服務。Leah 同意，並強調這些人不是民選官員，他們扮演如此重要的角色令人費解。

Brian 補充說，他們迄今為止也沒做多少事情來贏得信任。他總是回到 Sam Altman 身上，他認為 Sam Altman 還是那個認為每個人都應該將眼球掃描到一個球體裡的人，因為最終我們將需要眼球掃描球體，才能在灰燼中創造一個新的經濟體。

Leah 說，沒有什麼比那個「球體」更能激怒 Brian Barrett 了。Brian 表示他對那個球體很著迷。他認為人們忘記了那個「球體人」和「AI 人」是同一個人，同時在腦海中保留這兩個形象讓他全身不適。

Zoë 認為，這就引出了「AI 究竟會如何殺死我們」的故事。她認為，許多這些聲明歸結為「這可能非常糟糕，我們應該為此做點什麼」。但她想知道，他們具體說什麼可能會發生？她覺得大致可以分為三種情境：AI 開始駭入系統。這實際上已經開始了，Anthropic 和