AIUC 憑藉其 NFDG 支援首次引起我們的關注，並於今日宣布完成 4,000 萬美元的 A 輪募資。AIUC-1 是他們推出的代理人標準，由真實保險承保，其背後擁有我們前所未見、令人印象深刻的早期新創公司產業顧問名單。
從擔任 Anthropic 的首位產品經理，到建立旨在讓尖端 AI 得以部署的標準、測試和保險基礎設施，Rune Kvist 認為 AI 普及的最大限制不會是其能力，而是信任。在本集中，這位 AIUC 共同創辦人與 Swyx 和 Vibhu 一同宣布了這輪 4,000 萬美元的募資，並解釋為何 Cursor、Harvey、Lovable 和 ElevenLabs 等公司正日益面臨一個隨著 AI 越好而越難解決的問題：當自主系統失效時，誰該負責？
我們深入探討了 AIUC-1，這個針對 AI 代理人安全、保障和可靠性的新興標準；AI 代理人如何進行越獄、幻覺和資料洩漏的壓力測試；以及 Rune 為何認為標準和保險可能成為 AI 的關鍵基礎設施。我們也討論了政府與尖端實驗室之間日益擴大的信任鴻溝、AI 帶來的網路和生物風險、為何每個模型最終都可能被越獄、當一個 20 美元的程式碼代理人造成 2 億美元的損害時會發生什麼、AI 工程師是否應該獲得認證，以及為何即使在通用人工智慧（AGI）之後，實驗室可能仍無法自行完成一項工作：成為自己的監督者。
風險、責任和信任可能成為 AI 普及的關鍵限制。Rune 從閱讀「規模法則」（Scaling Laws）論文到加入 Anthropic 早期團隊的歷程，以及 Anthropic 早在數年前就已理解的關於規模、運算和未來，這些在當時還不那麼顯而易見。
Waymo 如何說明 AI 能力與實際部署之間的差距。AIUC 的 4,000 萬美元募資以及與 Cursor、Harvey、Lovable、ElevenLabs 和其他尖端 AI 公司的合作。AIUC-1：AI 代理人安全、保障和可靠性的標準。
代理人如何進行越獄、幻覺和資料洩漏的測試。為何大多數 AI 公司只優化「快樂路徑」，卻不認真對抗性情境進行壓力測試。為何 AI 標準可能需要每季更新，而非每十年一次。
尖端 AI 實驗室與政府之間日益擴大的信任鴻溝。網路安全、兒童安全、生物武器以及不斷擴大的尖端模型風險範圍。為何標準和保險可能需要共同演進。
倫敦勞合社（Lloyd’s of London）如何為 AI 系統承保並為企業部署帶來信任。如果 20 美元的 Cursor 訂閱導致 2 億美元的飛機失事會發生什麼。加拿大航空聊天機器人案例以及 AI 故障如何開始釐清法律責任。
版權可能成為最難承保的 AI 風險之一。評估（Evals）、機械式可解釋性（mechanistic interpretability）、監控以及模型意識到自己正在被測試。不可能的資安長（CISO）任務：快速採用 AI，但不能出任何差錯。
為何機器人技術將使 AI 責任變得更加重要。AI 工程師是否應該擁有 1 級、2 級和 3 級認證。AIUC 在代理人、尖端模型、機器人技術和通用紅隊演練方面的發展藍圖。為何 AGI 可能成為國家主權的問題。
為何實驗室永遠無法完全充當自己的監督者。「大賣空」（Big Short）問題：如何阻止相互競爭的監督者將標準競相降低？
Swyx [00:00:00]: 好的，我們在錄音室裡，與來自 AIUC，也就是人工智慧承保公司（Artificial Intelligence Underwriting Company）的 Rune，以及我們可靠的共同主持人 Vibhu。歡迎。
Rune Kvist [00:00:10]: 謝謝。謝謝邀請。謝謝。
Swyx [00:00:11]: 你今天宣布了什麼？
Rune Kvist [00:00:12]: 我們已經募得了 4,000 萬美元，由 Ribbit Capital 和 First Harmonic 領投。
Swyx [00:00:17]: 你們第一次引起我的注意是 Nat 和 Daniel 投資你們的時候。這個故事，大概還是一樣的嗎？你現在和當時認為的自己有什麼不同？
Rune Kvist [00:00:26]: 當我們進行種子輪募資時，我們有一個假設，即在某個時候，風險將會阻礙 AI 的普及。當時，這感覺有點像假說，我認為現在已經不是了。顯然，現在正是時候，隨著 Mythos 和 Fable 的出現，很明顯，普及的真正限制就是風險。所以對我們來說，這感覺像是同一個假設的自然延續，但以前是猜測，現在感覺是事實。
Swyx [00:00:54]: 那麼，請列出你們在 A 輪募資中重點提及的客戶名單。
Rune Kvist [00:00:58]: 當然。是的。我們現在正與 Cursor、Harvey、Lovable、ElevenLabs 等公司合作。
Swyx [00:01:05]: 是的。太棒了。恭喜。
Rune Kvist [00:01:06]: 謝謝。
Swyx [00:01:07]: 你曾是 Anthropic 著名的首批 GTM 和產品招聘人員之一。我很好奇：你是如何進入 AI 領域的？請簡述一下。
Rune Kvist [00:01:18]: 是的。
Rune Kvist [00:01:19]: 2021 年底，我賣掉了我的第一家公司，一家教育科技公司。我有一些時間思考下一步。我偶然讀到了「規模法則」（Scaling Laws）論文，那簡直像閃電一樣擊中了我。我當時想：「這是一個大想法。」簡而言之，「規模法則」論文只是說，模型越大，模型就越聰明。
Swyx [00:01:38]: 所以這是 Kaplan 的那篇，不是 Chinchilla 的那篇？
Rune Kvist [00:01:40]: 沒錯，是 Kaplan 的那篇。
Swyx [00:01:42]: 是的。
Rune Kvist [00:01:42]: 對我來說，關鍵的領悟是，哦，現在資本會理解這一點。如果你投入更多的錢，你就會得到更多的錢，這將會引發一個炒作週期。因此，你會得到可預測的回報，這實際上也已經發生了。所以我只是收拾行李。我從未去過舊金山。
我從未去過那裡。我只是收拾行李，飛到這裡尋找寫這篇論文的人。當時，他們剛成立了一個名為 Anthropic 的小型實驗室。當時大約有 40 人左右。我喝了很多咖啡，直到最終被介紹給 Dario。當時，他們正在解決一些問題，比如我們是否應該部署我們的模型？
我們是否應該賺取收入？我們應該如何與世界互動？他們剛從 OpenAI 分裂出來，據公開報導，他們對 OpenAI 處理部署的方式有些擔憂。所以他們正在解決這些問題。此時，這是早期戰爭迷霧，大約是 2022 年初。當時最熱門的產品是 Jasper。
當時市面上什麼都沒有。所以價值將會在哪裡累積，以及堆疊的不同部分將會是什麼，這些都還是開放性問題。
Swyx [00:02:48]: 我想向大家強調，你提出這些問題是因為你有 PPE（哲學、政治、經濟）的背景。
Rune Kvist [00:02:52]: 是的。
Swyx [00:02:52]: 我實際上在新加坡參加過一個為 PPE 準備的預備課程。所以我有一位導師。我們學習了哲學、政治和經濟。但是，我認為你的背景很重要。閱讀「規模法則」論文的機器學習人員不一定會得出你所做的相同結論。然而，任何資本家讀了那篇論文都會說：「天啊！」
Rune Kvist [00:03:19]: 沒錯。
Swyx [00:03:20]: 對吧？
Rune Kvist [00:03:21]: 是的。
Swyx [00:03:21]: 是的。誰向你推薦了那篇論文？因為那不是你通常會在你的圈子裡讀到的論文，對吧？
Rune Kvist [00:03:26]: 是的。我想我從 AlphaGo 以來，就一直很欣賞 AI 是一件大事。
Swyx [00:03:36]: 是的。
Rune Kvist [00:03:36]: 但它感覺像是提出所有這些有趣的哲學問題，但從遠處看，它將走向何方還不太清楚。但足夠明顯的是，如果我們能找到正確的機制讓科技資本機器在這方面運作，這將會是一件大事。但當時還不清楚。所以我認為，在某種程度上，這變得顯而易見，而且當時也不像現在這麼明顯，對吧？
當時只是覺得，哇，這太有趣了。但從哲學和經濟學背景來看，仍然覺得如果這證明是真的，你將會面對社會上所有的大問題。你所學到的一切政治知識都會被拋諸腦後。你所學到的一切經濟學知識至少會受到挑戰。所以有趣的是，能夠站在這個對所有事物都有影響的尖端。這就是我尋求它的原因。
Swyx [00:04:32]: 我的意思是，顯然是非常好的洞察力。對於不了解的人來說，PPE 課程是培養首相的地方。然後你最終見到了 Dario。
Rune Kvist [00:04:41]: 是的。首先是 Dario，是的。
Swyx [00:04:43]: 是的。嗯，我的意思是，你從與他們交談中獲得了你最初假設中沒有的額外見解嗎？
Rune Kvist [00:04:50]: 如果你讀了「規模法則」論文，你會得到一個非常模糊的草圖，像是，哇，這似乎很重要。圖表上有一些線條。這似乎很重要。而我認為 Anthropic 團隊比任何人都更深入思考的是，如果你真的將其推演下去，這會帶來什麼影響？
當時他們有 2026 年世界會是什麼樣子的願景文件，他們詳細地推演了需要多少運算能力、資本支出會是什麼樣子、一些社會擔憂會是什麼，以及會產生多少經濟價值？所以感覺他們手裡握著一個水晶球，事後證明是極其準確的。他們並不是像他們顯然是正確的那樣握著它。他們只是說：「認真對待這個假設。」
Swyx [00:05:38]: 徹底思考，是的。
Rune Kvist [00:05:38]: 並以同樣的方式思考，就像那種情境意識一樣。
Swyx [00:05:43]: 街對面。
Rune Kvist [00:05:44]: 街對面。
Swyx [00:05:44]: 你的辦公室，是的。天啊，我們都住在街對面，在同一平方英里內。
Rune Kvist [00:05:50]: 沒錯。那已經是幾年前的事了，但人們在 Fable 和 Mythos 的這幾個星期裡仍然不斷提及它，感覺就像，哇，如果你認真對待這個想法——對於「規模法則」來說，很多事情都水到渠成。
Vibhu [00:06:03]: 請記住，此時，這是製作了 GPT-1、GPT-2 和 GPT-3 的同一個團隊。
Rune Kvist [00:06:08]: 沒錯。
Vibhu [00:06:08]: 這也不僅僅是一些實驗。這是一個我們剛剛擴展的真實模型。
Rune Kvist [00:06:14]: 他們對這個想法深信不疑：如果你投入大量的運算和數據，它就會想要學習，並從中產生越來越聰明的模型。所有的細節都不清楚。
Vibhu [00:06:26]: 是的。
Rune Kvist [00:06:27]: 所有的影響都不清楚。但他們的深信不疑。