工廠、倉庫和生產線很少一成不變。任務會改變、佈局會調整、新產品會不斷推出，而大多數機器人若沒有經過大量重新編程，就難以跟上這些變化。
Skild AI 新推出的 S1 機器人基礎模型旨在解決這個問題，它能透過單一影片示範，學習以前未曾見過的、長期的任務。這個模型於上週發布，以影片作為輸入，理解並執行任務，而無需更新其權重或進行特定任務的後訓練，這項技術被稱為情境學習（in-context learning）。
Skild 在 NVIDIA AI 基礎設施上建構 S1 並進行相關研究，這是兩家公司更廣泛合作的一部分，涵蓋合成資料生成、模型訓練、模擬以及實際物理 AI 部署。他們正攜手將適應性機器人智慧從實驗室推向工廠和其他動態操作環境。
Skild AI 共同創辦人暨執行長 Deepak Pathak 表示：「透過經驗而非預先編程來學習，是機器人技術的一大變革。NVIDIA Isaac Lab 和 NVIDIA Cosmos 技術幫助 Skild 創造出其機器人所需的、可擴展且多樣化的經驗，以在多種情境和實體中進行學習。」
此次發布之際，Skild AI 在首次商業部署後 10 個月內，年營收已達到 1 億美元。在此期間，Skild 已與超過 60 家合作夥伴建立部署關係，業務範圍涵蓋製造、物流、檢測、安全、食品準備及其他應用。
大多數工業機器人都是為固定工作而設計的，因此每當有新產品、新製程或新佈局時，都需要更多的資料、重新訓練和驗證。
S1 採用了不同的方法：操作員錄製一段所需任務的影片，並將其作為提示詞提供給模型。模型會解釋示範的意圖、物件和順序，然後將這些資訊轉換為機器人的動作，無需重新訓練，而且通常適用於其預訓練資料集未涵蓋的任務。
S1 可以執行長達 10 分鐘的陌生任務，包括植物盆栽、製作鬆餅、手沖咖啡和套件組裝。這些任務可能涉及數十個操作步驟，並要求機器人以其以前未曾執行過的順序組合技能。
在一項植物盆栽測試中，Skild AI 團隊從錄製示範到硬體上的自主執行僅用了 11 分鐘。該模型還可以在物件移動時進行調整、從錯誤中恢復，並以未明確編程的順序組合技能。
在 Skild 對新的多步驟任務進行測試時，其 S1 機器人在每個步驟的成功率約為 66%，而類似的 AI 系統僅為 9%，這是一個超過七倍的改進。Skild 還估計，向機器人展示一個簡短的影片範例，其效果約等於提供 380 個實際操作訓練範例。人工收集這些範例可能需要 50 到 100 小時。
S1 打破了機器人需要不斷為新因素重新訓練的循環，它讓操作員可以直接示範新任務，而無需為每次變更準備新的資料集或進行訓練。在客戶協議允許的情況下，Skild 商業部署的經驗可以回饋給更廣泛的模型，並有助於加速未來的部署。
這項工作已經在工廠中實際應用。Skild、NVIDIA 和 Foxconn 正在雙臂機械手上部署 Skild Brain，用於 NVIDIA Blackwell 系統的高精度組裝。在一個示範工作流程中，機器人安裝匯流排和限位塊，鎖緊 16 顆螺絲，並在多步驟任務中適應干擾。這項工作需要精確的運動、接觸感知控制、順序追蹤以及在場景與計畫不同時的恢復能力。
NVIDIA 加速運算讓 Skild 能夠利用模擬、人類影片、遠端操作以及在允許情況下的部署資料，來訓練其共享的機器人「大腦」。NVIDIA Cosmos 開放世界基礎模型有助於使訓練資料多樣化，並將影片轉換為結構化描述，而 Cosmos Curator 則有助於大規模地註釋、篩選和組織資料。
Skild 大量使用 NVIDIA 的開放模擬框架，在實際部署前訓練和驗證其機器人「大腦」。NVIDIA Omniverse 函式庫和 NVIDIA Isaac Sim 框架提供了基於物理的虛擬環境，用於生成資料、測試邊緣案例和驗證行為。
Skild 透過 Isaac Lab 中的強化學習進一步強化其「大腦」的技能，Isaac Lab 是一個開放的模組化機器人學習框架。由 Newton 物理引擎驅動，Isaac Lab 幫助 Skild 的工程師精確模擬各種物理參數，例如力、接觸、碰撞和壓力，並縮小模擬與現實之間的差距。
Skild 和 NVIDIA 還共同開發新的 GPU 加速模擬求解器，可以快速準確地模擬機器人如何物理接觸、抓取和操作固體物件。這些求解器將很快作為 Newton 的一部分提供給所有開發人員。
隨著模型進入生產階段，NVIDIA Nsight 工具幫助工程師在訓練期間找到性能瓶頸，而 NVIDIA TensorRT 軟體開發套件則優化了推論，使機器人能夠在物理世界中快速反應。這些技術共同將資料、模擬、訓練和部署階段連接起來，而不是將它們視為獨立的系統。