與許多大型科技平台不同,LinkedIn決定本財年不積極擴張其AI資料中心。這家專業社群網路的高層向WIRED透露,他們計劃維持對GPU的投資穩定,運算和儲存資源也將保持不變。

這項支出計算適用於LinkedIn上個月開始、明年六月結束的財政年度。公司表示,過去六個月他們透過將現有GPU的效率提高一倍,成功避免了在AI硬體上的巨額支出。儘管AI硬體需求變化迅速,LinkedIn的計畫仍可能生變,但高層表示公司已將記憶體晶片價格飆升的因素納入考量。

LinkedIn工程技術長Erran Berger表示:「我們設定的目標之一,是盡可能維持運算資源不變,同時將更多運算密集型產品投入生產。」他補充說:「在當今世界,這是一個相當大膽的聲明。」

Berger和基礎設施技術長Raghu Hiremagalur表示,他們希望在支出上保持審慎,而這些新限制將激勵工程團隊在開發LinkedIn計畫推出的眾多生成式AI功能時,發揮更大的創意。Berger相信,效率的提升會隨著時間累積,讓LinkedIn在未來再次增加預算時,能從資料中心擴張中獲得更多效益。

Hiremagalur強調:「對於我們這種規模的公司來說,要說一整年不增加儲存和運算資源,這絕非易事,但我們為此付出了巨大的努力。」

像OpenAI、Meta和Google等公司正竭盡所能籌措資金,並建立意想不到的合作夥伴關係,以建造、裝備和營運充滿最新電腦晶片的大型資料中心。勞動力和零件短缺阻礙了許多專案,許多企業不得不限制客戶使用某些AI工具。然而,對於AI的無止盡投資是否可持續,也出現了越來越多的疑問。擁有超過13億用戶的LinkedIn,或許是迄今為止透過反其道而行,公開解決支出問題的最大企業。

Principal Venture Partners的執行合夥人兼伺服器製造商HP董事會成員Songyee Yoon表示:「這對業界來說是個鼓舞。這表明AI正從實驗階段轉向生產紀律。最終獲勝的公司,將不只是那些在基礎設施上花費最多的公司。」

在Microsoft於2016年收購LinkedIn幾年後,LinkedIn曾嘗試遷移到母公司的Azure雲端服務,但將這個龐大的社群網路塞進通用資料中心,在經濟上並不划算。Hiremagalur說:「Microsoft Azure當時正瘋狂成長,客戶需求量大增,同時我們也看到LinkedIn的業務呈現爆炸性成長。」

2022年,LinkedIn全面投入其位於奧勒岡州、德州和維吉尼亞州的自有資料中心。這種自主權讓LinkedIn能對其技術的每個細節擁有顯著控制,為迎接新時代的現實做好了準備。大約在同一時間,LinkedIn開始開發基於AI的助理,幫助用戶撰寫訊息、尋找工作和招募候選人。

這項努力成本不菲。Hiremagalur表示:「每次網站查詢的成本都隨著時間增加。」他補充說,LinkedIn儲存的資料量每年翻倍。「這不是一個可持續的狀態。」

LinkedIn著手優化其AI管線每個階段的資料中心使用,從訓練模型到回應用戶查詢提供服務。Hiremagalur的團隊開發了測量工具,以了解各個團隊使用了多少運算和儲存資源。然後,他們建立了一個系統,更有效地將專案分配給資料中心的電腦,使其閒置時間減少。Hiremagalur表示:「我們在訓練方面的GPU分配效率和利用率是我見過最好的。」他形容使用率超過95%。

LinkedIn也採用了蒸餾(distillation)等技術,從較大的AI模型中訓練出較小的模型。例如,對於其職位推薦工具,一個單一模型從兩個較大的模型中學習,既能識別相關職位空缺,又能預測哪些用戶最有可能點擊它們。Berger表示,雖然較小的模型營運成本更低,但它並沒有犧牲品質。他說:「人們正在找到並發現以前未能成功找到的工作,因為這個模型在理解他們的需求方面做得非常好。」

用於選擇向用戶新聞動態顯示哪些貼文的模型,最初營運成本也很高,但LinkedIn找到了一種方法,使其能以「相對具成本效益的方式」運行,Berger說。他表示,公司進行了數十項改進,例如簡化模型訓練、重複利用早期推薦的資訊,以及更好地平衡CPU和GPU之間的工作負載。

LinkedIn甚至重新設計了Nvidia處理器上的一些基礎軟體,使其能夠處理超出其設計能力的任務。他們還調整了其他軟體,讓任務在CPU而非價格更高、更難採購且耗電量更大的Nvidia GPU上運行。總體而言,LinkedIn估計其效率提升工作在過去12個月中節省了約2400萬美元,相當於約1100個GPU全年無休運行的成本。

LinkedIn高層承認,對於一家年銷售額達180億美元的公司來說,這些節省的金額並不算多。但Hiremagalur表示,「工藝」也很重要,以及釋放資源所創造的「敏捷性」也同樣重要。工程師可以更快地投入下一個專案,並整合更多的AI功能,而無需增加LinkedIn的運算資源。

Berger認為,LinkedIn在控制成本並為Microsoft創造財務回報的同時,也能提供更好的職位和候選人搜尋結果。他說:「如果我們能以更低的成本部署更大的模型、進行更深入的推論,我們應該能夠提供更好的品質。」

儘管支出保持不變,LinkedIn的資料中心並未停滯不前。公司已承諾購買新伺服器,使其能夠在未來幾個月內隨著機器老化或損壞而持續升級。但公司透過提前採購鎖定了一些節省。Hiremagalur說:「所有這些硬體的成本都飆升了。」他指出,一些伺服器在過去幾個月內價格上漲了三倍。「這簡直是瘋了。」

LinkedIn的效率驅動是更廣泛趨勢的一部分,有時被稱為「代幣經濟學」(tokenomics)——更深入地分析使用生成式AI工具的成本。Gartner顧問公司的Chirag Dekate協助企業思考其AI雲端策略,他表示:「企業正從『多買時代』演變到『多做時代』。直到現在,口號一直是『買越多省越多』。但買越多只會增加成本。」

Dekate表示,他最近看到一些對基礎設施控制不如LinkedIn的小型企業,也找到了自己的節省成本方法。他們清除了未使用的軟體並裁減了員工,從比傳統供應商更實惠的「新雲端」(neoclouds)購買資料中心空間,並為任何特定專案採用成本最低的AI模型。

他有些擔心LinkedIn和其他公司如果施加過多財務限制,可能會遇到瓶頸,因為對更多運算和儲存的需求是不可避免的。「在某個時候,總會有取捨。」Dekate說:「你要麼在AI抱負上妥協,要麼在凍結IT支出的指令上妥協。」

LinkedIn並非完全放棄未來的資料中心成長。但它正在改變基礎設施的分配方式。Hiremagalur表示,不再是「胡亂猜測」團隊預計在未來一年使用多少運算資源。但Berger說,LinkedIn選擇「擁抱混亂」,並逐季評估,同時關注長期投資回報。也許這種持平的支出不會像計畫的那樣持續太久。