當OpenAI執行長Sam Altman、Anthropic執行長Dario Amodei、Google DeepMind共同創辦人Demis Hassabis以及SpaceX負責人Elon Musk，在上週末非正式地同意放緩AI發展時，懷疑論者立刻察覺到背後的動機不單純。

這些AI巨頭宣稱他們的目標是「調整前沿發展速度」，並至少部分簽署了一項提案，內容包括引入第三方審計、規範國內實驗室，以及達成全球性的減速協議。然而，批評者認為他們只是想阻止潛在競爭者、削弱開源運動，並規避真正的法律保障——有些人甚至直指這根本是個「卡特爾」。

然而，根據業界消息人士的說法，真相遠比這複雜。Amodei在一篇文章中提出的三步驟提案，呼籲進行AI安全倡議者長期以來所主張的變革。儘管這可能成為監管的替代方案，但在川普政府下，實質性的監管本來就不太可能發生。但專家們指出，在一個重要性只會日益增加的議題上，AI領導者並非引領這場討論的最佳人選。

紐約大學兼任教授兼國土安全部前新興科技政策主任Nick Reese表示：「整個產業需要新的領導者。」他補充說：「我們一直把Dario Amodei、Sam Altman和Elon Musk這些人視為最接近問題、每天都在努力解決問題的人，認為他們最了解情況。但事實是，我們從未對正在建立的目標有過切實可行的願景。」

對AI發展的擔憂已持續數月，主要導因於Anthropic和OpenAI等領先前沿實驗室在不知情的情況下，發現大量AI代理程式進行惡意攻擊。兩家公司的報告以及Anthropic研究員Jacob Coxon的辭職信，都加劇了這種恐懼。Coxon在公開信中解釋了他的選擇：「建造AI的人真心相信，AI可能在本世紀末殺死我們所有人。」

他補充說，OpenAI和Anthropic都沒有「負責任地行事」，反而是「直接衝向自我改進的超級智慧，並拿我們的生命冒險」。

在業界內部，關於AI的嚴峻警告並非新鮮事，但Coxon的信似乎打破了原有的限制。僅在X平台上，這封信的瀏覽量就超過1.7億次，而Coxon和他的故事也登上了報紙和電視。

然而，對大部分AI安全研究人員和AI非營利組織工作者來說，這只是將更多注意力引向一個早已廣泛討論的議題。前OpenAI員工、現任AI研究非營利組織AI Futures Project負責人Daniel Kokotajlo表示：「很多人認為這是Dario的主意，或是來自執行長們的提議，但這是不對的。」

他補充說：「公司外部的人們多年來一直在呼籲這樣做……要求『請不要這麼快建造超級智慧。我們還沒準備好。你們需要放慢速度』的聲音越來越多。」

Kokotajlo表示，在人們「多年來不斷對他們大喊要求這樣做」之後——包括在OpenAI-Hugging Face事件後，超過1,000名AI實驗室員工於七月簽署了一封公開信，呼籲放緩AI發展——這些執行長們「現在正屈服於這種壓力，同時也聲稱這是他們的功勞，儘管這並不合理。」

總體而言，一些消息人士告訴The Verge，他們認為AI領導者們達成的口頭協議是朝正確方向邁出的一步。紐約大學的Reese表示他「不認為這只是空話」。Apollo Research執行長Marius Hobbhahn稱其為「一個好主意」，並說「如果真的實現，這將是長期以來對安全最有益的事情之一」。

Midas Project的Tyler Johnston稱這是一個「好兆頭」。Redwood Research執行長Buck Shlegeris則說這是「一些好消息——顯然很難知道這是否會轉化為實際行動，但我持謹慎樂觀的態度。」然而，所有人都同意，要將這項口頭承諾轉化為堅不可摧的協議，仍有許多工作要做。

許多人仍然質疑AI領導者的動機。大型科技產業多年來一直透過遊說制定自己偏好的規則或承諾自我監管，來搶先於政府監管。大型平台曾提出可能對小型競爭者造成更大打擊的政策，並以利他主義的語言來合理化自私的目標。他們被指控進行「安全漂白」（safety-washing），即做出無意義的改變，給人一種實際安全保障的錯覺。因此，人們擔心這也會發生在AI產業，尤其AI實驗室的自願性安全框架多年來一直受到批評。

幾位消息人士認為，對「安全漂白」的擔憂是合理的。Kokotajlo表示：「人們嚴重擔心他們實際上並不會放慢速度。」他補充說，這種擔憂是「他們只會引入一些外部審計員，做一堆安全文件——其中一些確實會很好——但歸根結底，這實際上根本不會讓他們放慢多少。」

紐約大學的Reese將這種策略比作十年前社群媒體平台的做法，當時這些公司開始呼籲監管行動，以搶先於即將到來、對他們更不利的法律。Reese表示，對於AI產業來說，「這屆政府可能不會祭出重拳，但我認為如果下屆大選後是民主黨政府，這種可能性將會非常大。」

Tech Oversight Project執行董事Sacha Haworth表示，這種監管將至關重要。她認為任何自願性框架本質上都是監管俘虜，並說：「我們不應該讓狐狸看守雞舍。這不是國會再次將責任外包給產業的機會。」Political Integrity Project共同創辦人Daniel Lobo-Lewis表示，自願性監管很可能步上Meta形同虛設的監督委員會後塵。

然而，大多數人也認為，除了AI實驗室在川普政府下同意的模型預發布審查期外，公司目前並無立即面臨監管的危險。川普總統週一發文稱，「AI唯一需要的控制或『護欄』是一個強大且聰明（高智商！）的總統，而美國正擁有這樣的人，而且綽綽有餘！」他還在Nvidia執行長Jensen Huang在會議台上時打電話給他——川普透過擴音器告訴現場群眾，最近對AI的擔憂是個「騙局」，而且「機器人不會接管一切」。

至於對監管可能阻礙其他公司或開源開發者的擔憂，許多業界專家告訴The Verge，要求放緩發展的呼籲幾乎完全針對那些由精確規模指標定義的大型前沿AI實驗室。

在沒有政府AI監管的情況下，最好的選擇可能是推動公司達成即時、可衡量且可執行的協議。例如，Kokotajlo的AI Futures Project提議AI實驗室讓審計員存取其運算預算——並承諾大幅減少其用於研究的運算預算，這將減緩AI的發展速度，並讓其他AI實驗室有機會追趕。

（Amodei的文章已經呼籲AI實驗室允許外部第三方審計機構——如METR、Apollo和Redwood Research——在一定程度上嵌入其組織內部，並可能能夠標記並揭發有問題的發現。）

可以說，AI發展減速的最大挑戰可以用一個詞來概括：中國。

AI領導者和政治人物長期以來都將中國視為美國AI進程不能放緩的原因——因為無論這項技術變得多麼危險，他們寧願它掌握在美國手中，也不願掌握在中國手中，而且中國不會踩煞車。Lobo-Lewis將對中國的擔憂比作冷戰時期的飛彈差距。一位X用戶寫道：「如果我會死於殺手級AI之手，我希望它是美國的，而不是中國的。」

Redwood Research的Shlegeris表示，美國和中國政府以「魯莽」方式追求AI發展，都不符合彼此的最佳利益，並補充說「這並非前所未有的國際協調水平」。

Johnston說：「人們想當然地認為中國不會合作。」他補充說：「這是一個如此嚴峻且廣泛的問題，以至於協調合作似乎符合所有人的利益，就像美國和俄羅斯在核不擴散問題上協調合作一樣。」

週一，中國外交部發言人郭繼坤確實反駁了放緩發展的呼籲，稱其為「散佈恐懼」。

Midas Project的Johnston和Redwood Research的Shlegeris都表示，即使沒有中國的合作，鼓勵美國內部協調仍然至關重要。而對Tech Oversight Project的Haworth來說，放緩發展提供了一個機會，讓「我們能夠定位自己，成為AI技術如何開發和使用的指南針。」

她認為反對的論點是熟悉套路的一部分。「每當一個產業想要逃避監管時，中國就會被當作一個嚇人的假想敵。」

Kokotajlo則將這種情況比作他看過的一部卡通，裡面的人開著車衝下懸崖。他回憶起對話框裡寫著：「萬歲，我們領先中國了。」

所有近期恐慌的根本問題是一個里程碑，稱為遞迴式自我改進（recursive self-improvement, RSI），而根據產業目前的發展軌跡，我們才剛開始聽到警鐘。

RSI指的是一個潛在的產業里程碑，屆時AI模型可以在沒有人類參與的情況下，自行訓練、改進並創造出新版本。Anthropic表示，這個時間點可能最快在2027年初就會到來，而OpenAI的首席科學家本月初也撰文指出，OpenAI正投入大量資源以實現這個目標。越來越多的AI產業工程師和研究人員擔心，RSI會引發一系列新的、更嚴重的AI問題，包括對整個社會產生更深遠影響的嚴重網路安全事件。

Amodei將RSI列為他呼籲放緩發展的主要因素：「大約從今年夏天開始，AI的發展速度急劇加快。」他在最近的文章中寫道，RSI「正開始在整個產業中發生，包括在Anthropic……如果任其發展，它可能會超越我們理解和控制這些系統的能力，因此必須非常謹慎地推進，甚至不該推進。」Amodei提議對RSI的速度實施「某種『限速』」，並將其比作飛彈數量的限制。

Jacob Coxon在Anthropic的辭職信中警告了「能夠駭入任何東西、一夜之間徹底改變任何領域、並獲取真實權力和資源的超人類系統」。許多其他領先AI實驗室的研究人員也表達了同樣的擔憂。OpenAI研究員Jasmine Wang寫道，加速邁向RSI的「危險性難以言喻」。前Google DeepMind員工Vishal Maini表示，RSI「現在如此迫在眉睫，以至於沒有其他選擇是合理的。」

對RSI的恐懼很容易演變成末日預言。Anthropic研究員Samuel Marks在X上寫道：「AI開發者相信他們的技術可能在未來幾年內導致人類滅絕（或類似的糟糕結果）。」他補充說：「總的來說，員工職位越高，他們就越擔憂。」另一位Anthropic研究員兼團隊負責人Evan Hubinger在X上寫道：「Jacob在這裡說得沒錯——我們真的真心相信AI可能殺死所有人類！」

（他認為未來十年內發生的機率超過10%）。前Google DeepMind員工Alex Turner寫道：「許多研究人員相信他們正在建造的東西可能殺死地球上的每一個人。」