AI 產業似乎正就其技術是否對人類構成生存威脅，展開迄今為止最激烈的辯論。

這場討論始於 AI 研究員 Jacob Coxon 宣布辭去 Anthropic 職務，因為他擔心領先的 AI 公司正在「拿我們的生命下賭注」。隨後，Anthropic 的對齊研究主管也發文表示：「我們確實真誠地相信 AI 可能會殺死所有人類！」他個人認為，未來十年內發生這種情況的機率「超過 10%」。

在最新一集的 TechCrunch Equity 播客中，Kirsten Korosec、Sean O’Kane 和我（Anthony Ha）討論了這些最新的末日警告。我試圖闡明為何我對許多 AI 末日論述持懷疑態度，而 Kirsten 則質疑這是否「只是公司展示其 AI 模型有多先進的一種奇怪方式」，尤其是在這些公司準備上市之際。

Sean 則想知道這些擔憂將如何呈現在 Anthropic 的 IPO S-1 文件中：「現在是否有初級律師正在重新撰寫 S-1 文件的整個章節，以聲明『Anthropic 的官方立場是，我們開發出可能毀滅全人類的技術，且這對我們的業務將造成實質負面影響的機率超過 10%』？」

Sean 表示：「我實在很難想像有什麼事情會發展得如此之快。不僅這位曾在 OpenAI 工作過的年輕研究員發出了警告，Anthropic 的對齊研究主管也立即在 X 上分享了這則貼文，並說道：『我們確實真誠地相信 AI 可能會殺死所有人類！』這感嘆號用得真是恰到好處，簡直是史上最棒的感嘆號之一。」

Sean 補充道：「這氛圍真是奇怪。這給原本就充滿爭議的貼文或系列貼文，增添了大量的助燃劑。在 OpenAI 內部模型發生 Hugging Face 駭客事件之後，加上我們看到 Anthropic 和幾週前 OpenAI 推出 Astra 的最新模型能力不斷提升，我認為這對這位年輕研究員來說，正是引爆點的完美時機。」

Anthony 回應：「恕我不同意，我確實認為如果你相信 AI 可能毀滅全人類，那確實值得一個感嘆號。我會說那是一個用得非常好的感嘆號！」

Anthony 接著說：「我對那則推文的問題更多在於『我們』。這裡的『我們』是誰？我們能在多大程度上將 AI 社群或 AI 研究社群視為一個整體？還有那個超過 10% 的機率——那只是一個憑空捏造的數字，沒有任何意義。有時候，科技業和其他領域都有這種習慣，隨意拋出這些百分比，它們並非基於任何事實或計算而來。」

Anthony 補充道：「關於 Coxon 的聲明和決定，我想說的是——在 Equity 節目中，有一個重複出現的主題，當像 Sam Altman 或 Dario Amodei 這樣的人提出末日論述時，總會有一個疑問：既然如此，你為什麼還要繼續做你正在做的事情？如果你真的相信 AI 可能毀滅人類，你就不會繼續這樣做了。」

Anthony 強調：「然而，這確實是有人將其職涯發展與其言論相符。他確實說：『我認為這真的、真的、非常糟糕，我不想繼續研究它。』所以，至少他有勇氣這麼做，值得稱讚。」

Kirsten 表示：「是的，我把他和所有其他談論危險的人區分開來。」

Kirsten 戴上她的猜測帽，向兩位提問：「有沒有可能，每次我們看到越來越多的部落格文章，談論他們的 AI 代理人意外突破的事件，或者他們談論人類面臨風險時，這是一種奇怪的『炫技』方式，用來展示他們公司 AI 模型有多麼先進？」

Kirsten 補充道：「我的意思是，這聽起來很憤世嫉俗，但它確實達到了那個目的。也就是說：如果這些 AI 模型不夠先進、沒有能力、沒有突破，我們就不必擔心這些事情，對吧？這就像是一種非常奇怪的方式，來吹噓你公司內部創建的模型能力。」

Anthony 說：「我確實思考過這個問題。我不認為這完全是憤世嫉俗的，因為我不認為這一切都只是一種非常刻意的全面行銷策略。我認為當許多人——無論是研究員還是執行長——談論這些時，他們確實有真正的擔憂。」

Anthony 接著說：「但當然，在很多方面，這確實符合他們的商業利益，去說『哇，我們已經開發出了有史以來最致命的軟體』。我不想在這裡做過多的心理分析，但其他人也指出，在個人層面上存在一種誘惑：你當然會想相信你正在從事的事情是世界上最重要、最危險的事情。」

Sean 表示：「當我思考這個問題時，我腦海中浮現的是，這當然有一部分讓人覺得『好吧，我們正在做一件如此有能力的事情，這在某些方面對我們有好處，即使它在許多不同的角度看起來很糟糕』。」

Sean 補充道：「我認為這些最新案例的不同之處在於，它確實讓你感覺這些公司在某些方面無法掌控這些東西，特別是 OpenAI 的情況。我們不斷看到越來越多的報導，關於其他內部代理人訪問了網路上的不同維基，並互相留言，而且這種方式似乎並非由 OpenAI 以一種稱職的方式處理。我會想像，如果這完全是為了讓大家相信『天哪，他們創造了如此不可思議的能力』，那麼故事的包裝會更加精緻。」

Sean 接著說：「另一件我認為非常引人入勝的事情是，我們距離看到 Anthropic 的 IPO S-1 文件最多還有幾週，距離潛在的 IPO 也只剩下幾週或一兩個月。在 IPO 之前，你竟然會用如此明確的語言發表這些言論——我非常好奇這對整個流程意味著什麼。

他們在 S-1 文件和該文件中的風險因素中，已經寫入了多少這類內容？現在是否有初級律師正在重新撰寫 S-1 文件的整個章節，以聲明『Anthropic 的官方立場是，我們開發出可能毀滅全人類的技術，且這對我們的業務將造成實質負面影響的機率超過 10%』？」

Kirsten 反問：「你假設它還沒寫進去。」

Sean 回應：「這就是我的意思：它已經在裡面並被重新措辭了嗎？還是這是一場真正的混亂？裡面肯定有相關的措辭。這是我如此渴望閱讀這份文件的一個原因，在某些方面甚至比 SpaceX 的 S-1 更甚，因為我確信裡面會有針對這些想法的具體內容，這將會很有趣。」

Kirsten 表示：「問題是：在傳統的投資環境中，人們可能會認為這樣的措辭會損害公司的估值，因為它突然變得危險。但我們現在並非處於正常時期。」

Kirsten 補充道：「所以再次回到我的觀點，這最終可能成為公司在估值方面一種奇怪的有利『炫技』。這與我們去年看到的『煽動性內容』趨勢不同，但它屬於同一個範疇，即某物的強度、能力，甚至危險元素，都等同於高估值。所以我想我們幾週後就會知道了。」

Kirsten 轉移話題：「暫且把這個放一邊，我們正在做些什麼來應對？我們能控制它嗎？非營利組織 ControlAI 的美國執行董事 Connor Leahy 本週在節目中談到了這個問題。那麼，就如何控制 AI 的危險方面，你們關注的是什麼？還是我們只是束手無策，看著一切發展？」

Anthony 說：「我自己不一定有很好的答案，但我一直在思考這場辯論的一些方面，以及我為何會做出這樣的反應。」

Anthony 接著說：「呼應 Sean 的一個觀點，我確實認為這部分說明了這些主要 AI 公司在多大程度上感覺他們不再真正掌控這些模型了。這絕對不是好事。這是我們都應該擔憂的事情。」

Anthony 補充道：「我確實認為，我對末日論述持懷疑或抵制態度的部分原因，是因為它達到了『哇，這可能在未來 10 年內毀滅人類』這種歇斯底里的程度。這有點分散了人們對 AI 可能造成的更直接危害的注意力，無論是勞動相關的，還是環境和氣候相關的。」

Anthony 總結道：「理想情況下，我認為我們應該能夠討論所有這些事情，並針對所有這些事情（包括 AI 的生存威脅）制定監管和其他類型的保障措施。但一旦你開始使用像 AGI 和超級智慧這樣的詞彙，那就會搶走所有討論空間，這並不是很有效。」