AI 公司 Runway 發表了 Solaris,這是其稱之為「介面世界模型」(Interface World Models)新類別中的首個模型。這個系統不是執行程式碼,而是根據你的互動,即時逐幀生成使用者介面。

這個模型能以 720p 解析度自行渲染介面,並回應點擊、拖曳或語音指令,而非先將設計轉換成程式碼。這與軟體通常的運作方式大相徑庭,傳統軟體中,作業系統決定螢幕上顯示的內容,應用程式在更新發布前保持不變。

Runway 列舉了幾個應用場景:在線上購物中,商店本身將成為介面,使用者可以將襯衫拖曳到自己的照片上試穿。商店不再是固定的版面,而是會根據每位使用者進行調整。

對於產品視覺化,你可以說「移動桌子」或「改變沙發顏色」,場景會立即反應,Runway 認為這很適合家具和室內規劃。該公司也看到了它在教學和學習方面的應用。Solaris 不像聊天機器人那樣提供文字答案,而是在其自身情境中視覺化地展示下一步,例如作為不同材料的燃燒演示。

Solaris 建構於 Runway 的影片模型 Gen-4.5 之上,並延續了該公司從 GWM-1 開始的發展路徑。一個語言模型決定介面如何變化,而世界模型則渲染每一幀。Runway 也將其視為 AI 代理的訓練場,這些代理目前在飯店預訂等任務上仍會失敗,因為它們是根據固定版面訓練的,無法處理偏離這些版面的網站。

Runway 更大的主張是,作為固定單位的「應用程式」將會消失。如今,要完成某件事意味著打開正確的預建應用程式,一個用於購物,一個用於訊息,一個用於預訂。如果作業系統可以自行生成正確的介面,那麼將軟體分類到固定的應用程式目錄中的理由就減少了。

屆時,線上商店將不再是每個人都看到的固定版面,而是一個根據每位使用者調整的生成環境。至於人們是否真的想要不斷變化的介面,Runway 將這個問題留待討論。

目前,這仍然還有很長的路要走,因為 Runway 表示,即使介面高度依賴文字,穩定、可讀的文字仍然是一個難以解決的問題。長時間會話和可靠性也是懸而未決的問題,而一個錯誤但看起來令人信服的結果可能比沒有結果更糟。生成的介面也必須與螢幕閱讀器等輔助技術配合使用。

因此,Solaris 目前仍是一項研究工作。Runway 正在尋找合作夥伴以進行發布,並透過表格提供早期試用。