Anthropic 執行長 Dario Amodei 堅持他對強大開源模型(open-weight models)存在重大風險的看法,但他並非原則上反對開源模型。他在一篇部落格文章中強調,「Anthropic 從未倡議禁用開源模型」,並補充說「不具危險能力的模型是公共財」。
然而,Amodei 提到他有兩個「夢魘情境」:威權國家,特別是中國,可能建立比美國更強大的模型,並利用它們來取得軍事優勢或監控能力。此外,強大的開源模型可能被濫用於網路或生化攻擊。AI 實驗室從其使用數據中得知,即使是閉源模型也已經發生過此類嘗試。
他認為,開源模型風險更高,因為它們缺乏安全防護措施,且一旦發布就無法撤回。儘管開源模型也能賦予防禦者能力,但 Amodei 認為在生物威脅方面存在嚴重失衡,因為足夠強大的模型可以迅速將病毒武器化,而即使在最佳情況下,建立防禦措施也需要數年時間。
英國 AI 安全研究所的一項研究發現,開源模型在網路安全方面落後頂尖模型數個月。Amodei 之前也曾警告過自家模型的能力,這些警告促成了美國的禁令,因此他的論點至少是一致的。
Amodei 希望減緩中國的發展速度,避免最壞情況發生。他呼籲實施更嚴格的晶片出口管制,以防止中國在沒有美國晶片的情況下訓練出比美國更強大的模型。他也希望採取行動打擊「工業蒸餾」(industrial distillation),據報導中國利用此技術部分規避晶片限制,並「搭便車」享受美國 AI 的成功。
批評者反駁說,切斷美國對中國的晶片銷售主要會助長中國自身晶片產業的發展,而且蒸餾是一種合法且有用的技術。
Amodei 還希望對所有強大模型強制進行安全測試,無論它們來自何處或如何授權。關於最後一點,Amodei 認為共識正在增長,他指出最近的提案將豁免新創公司和研究機構的較弱模型。
Amodei 的評論是在有報導稱美國當局正在權衡措施,以使美國公司更難使用中國開源模型之後發表的,同時還有許多主要科技公司簽署了一封信,反對此類舉動。
批評者指責 Anthropic 貶低開源模型,以保護其業務免受更便宜的競爭。據稱 OpenAI 也仍在遊說反對開源模型,儘管該公司簽署了那封信。
