
剛剛,Google DeepMind 正式發(fā)布新一代世界模型 Genie 4,AI 生成的虛擬世界,又向現(xiàn)實邁進(jìn)了一大步。

更重要的是,谷歌還將 Gemini 引入世界模擬,讓大語言模型負(fù)責(zé)規(guī)劃行動,Genie 4 負(fù)責(zé)實時生成環(huán)境。過去只能觀看的 AI 視頻,正在變成一個可以自由探索、持續(xù)互動的虛擬世界。
AI 視頻的下一站,是可以走進(jìn)去的世界
早在 2024 年,Google DeepMind 就推出了 Genie 1,嘗試從視頻中學(xué)習(xí)動作與環(huán)境變化之間的關(guān)系。隨后,Genie 2 將能力擴(kuò)展到可探索的三維環(huán)境,2025 年發(fā)布的 Genie 3 則實現(xiàn)了實時生成、實時交互。
如今,Genie 4 在真實感、物理模擬和交互能力上再次升級,單次模擬時長也從約一分鐘延長至兩分鐘。
根據(jù)谷歌公布的演示,用戶只需輸入一段文字,就能生成可以探索的虛擬世界,通過鍵盤控制角色移動、調(diào)整鏡頭,甚至在運(yùn)行過程中繼續(xù)輸入提示詞,改變整個場景。
例如,在一個漂浮于湖面的小平臺上,一名身穿棕色西裝的男子正在演奏薩克斯。周圍是薄霧籠罩的湖水、森林和隨風(fēng)搖曳的植物。

提前體驗 Genie 4 的沃頓商學(xué)院教授伊桑 · 莫利克,只用一句「一座由機(jī)器人和馬匹居住的新哥特式粗野主義城市」,便在一分鐘內(nèi)生成了一座虛擬城市,隨后又實時加入了巨龍和一只友善的水獺 NPC。




在物理模擬方面,谷歌還展示了西瓜受到?jīng)_擊、楓樹種子從空中飄落,以及擁擠的鄉(xiāng)村火車站等案例,呈現(xiàn)碰撞、空氣動力學(xué)、重力作用和復(fù)雜人群行為。

過去,AI 生成視頻通常是一次性交付,用戶只能觀看最終結(jié)果。如今,Genie 4 試圖讓每一次移動、每一個操作,都成為影響虛擬世界發(fā)展的新變量。
AI 生成的世界,終于有聲音了
Genie 4 的另一項重要升級,是首次支持原生音頻生成。
此前,Genie 系列主要圍繞畫面和動作交互展開。如今,Genie 4 可以在生成世界的同時,實時生成環(huán)境聲音、音樂和人物對話。
例如,海邊會有海浪聲,樹林里會有風(fēng)聲,騎著巨龍穿越山谷時,還能聽見翅膀拍打空氣、狂風(fēng)呼嘯以及遠(yuǎn)處的火山活動。
更值得關(guān)注的是,Genie 4 開始讓虛擬人物擁有實時對話能力。
傳統(tǒng)游戲中的 NPC 通常依賴預(yù)先設(shè)計的對白和行為邏輯,而 Genie 4 可以根據(jù)用戶輸入和場景中發(fā)生的事情,動態(tài)生成角色的語言與反應(yīng)。
這意味著,未來玩家有機(jī)會走進(jìn)一個 AI 創(chuàng)造的世界,與里面的人物自由交流,甚至通過自己的行動改變故事發(fā)展。
不過,Genie 4 目前仍存在音頻準(zhǔn)確性和長期一致性方面的問題,距離真正支撐大型開放世界游戲,還有不小的技術(shù)距離。
Gemini 也來當(dāng)導(dǎo)演,AI 開始理解世界如何運(yùn)轉(zhuǎn)
如果說畫面和聲音讓 Genie 4 更加接近現(xiàn)實,那么 Gemini 的加入,則讓世界模型開始具備復(fù)雜的推理和規(guī)劃能力。
根據(jù) Google DeepMind 的介紹,Genie 4 融合了 Gemini 家族的多項能力。
其中,Gemini Omni 為模擬提供現(xiàn)實世界的外觀與行為基礎(chǔ),而 Gemini 3.8 Flash 則充當(dāng)實時引導(dǎo)智能體,持續(xù)觀察生成畫面,將任務(wù)分解為多個步驟,并判斷每一步是否成功。
Genie 4 負(fù)責(zé)生成虛擬世界,Gemini 則負(fù)責(zé)規(guī)劃接下來應(yīng)該發(fā)生什么。
例如,用戶要求機(jī)器人完成一項復(fù)雜任務(wù),Gemini 可以將任務(wù)分解成多個動作,觀察機(jī)器人在模擬環(huán)境中的表現(xiàn),并根據(jù)執(zhí)行結(jié)果調(diào)整下一步計劃。

谷歌還展示了一項結(jié)合 Gemini 4 Argon 與 Genie 4 的研究實驗。
在演示中,Gemini 4 Argon 將任務(wù)分解為連續(xù)步驟,Genie 4 則實時模擬 Apptronik 旗下 Apollo 人形機(jī)器人下跳棋的過程。
相比單純生成一段機(jī)器人下棋的視頻,這種組合更強(qiáng)調(diào)對任務(wù)執(zhí)行過程的持續(xù)模擬和調(diào)整。

現(xiàn)實中的機(jī)器人訓(xùn)練需要大量設(shè)備、場地和實驗,一些危險或成本高昂的場景也很難反復(fù)測試。如果世界模型能夠準(zhǔn)確模擬物理環(huán)境,機(jī)器人就有機(jī)會在虛擬世界中提前練習(xí),再將學(xué)到的能力遷移到現(xiàn)實。
Google DeepMind 研究主管 Tejas Kulkarni 也表示,未來的重要方向是混合世界模型,將語言模型的結(jié)構(gòu)化推理能力與世界模型的感官模擬能力結(jié)合起來。
Gemini 可以負(fù)責(zé)規(guī)劃和組織復(fù)雜事件,Genie 則將這些規(guī)劃轉(zhuǎn)化為實時變化的畫面、聲音和物理環(huán)境。
AI 開始嘗試在自己創(chuàng)造的世界中,預(yù)測并驗證行動可能帶來的結(jié)果。
世界模型的野心,遠(yuǎn)遠(yuǎn)不止游戲
目前,Google DeepMind 已邀請電影、游戲、新聞、教育和工程等行業(yè)的測試者,探索 Genie 4 的實際應(yīng)用。
其中,一個頗具想象力的方向是電影制作。
過去,導(dǎo)演想驗證復(fù)雜鏡頭,通常需要提前制作分鏡、搭建三維場景,或者安排演員預(yù)演。
借助 Genie 4,創(chuàng)作者可以通過文字生成一個可探索的虛擬場景,直接進(jìn)入其中調(diào)整鏡頭、燈光、人物動作和對白,快速嘗試不同的拍攝方案。
對于游戲開發(fā)者,Genie 4 也可能成為快速原型工具。開發(fā)者可以通過提示詞創(chuàng)造游戲環(huán)境,直接測試美術(shù)風(fēng)格、材質(zhì)表現(xiàn)和基礎(chǔ)互動玩法,再決定是否投入資源正式開發(fā)。

谷歌提到,一些攝影記者正在嘗試將二維歷史照片轉(zhuǎn)化為可探索的動態(tài)場景,或者通過模擬展示洪水、野火等事件的發(fā)展過程。不過,AI 根據(jù)歷史照片推斷出的畫面,并不能直接視為對歷史事實的準(zhǔn)確重建。
在企業(yè)端,世界模型也可能用于工業(yè)仿真、機(jī)器人研發(fā)和復(fù)雜環(huán)境測試,減少部分真實試驗所需的時間與成本。
隨著應(yīng)用前景逐漸清晰,世界模型也成為 AI 巨頭爭奪的新方向。
除了谷歌,Runway 已推出支持實時音頻和交互的 GWM Worlds 2,而李飛飛創(chuàng)立的 World Labs 則選擇了另一條空間智能路線,更強(qiáng)調(diào)三維環(huán)境的重建、編輯和長期一致性。

只有 120 秒的世界,卻通向 AI 的未來
盡管 Genie 4 展示了令人印象深刻的能力,但距離真正完整的數(shù)字世界,仍然有很長一段路。
目前,模型能夠維持的交互模擬時長約為兩分鐘。隨著模擬時間延長,物體細(xì)節(jié)可能發(fā)生變化,場景也可能出現(xiàn)前后不一致的問題。
如果用戶連續(xù)修改提示詞,或者在較大環(huán)境中不斷探索,模型也可能逐漸失去對早期場景信息的準(zhǔn)確把握。此外,復(fù)雜物理交互、空間準(zhǔn)確性、音頻生成,以及畫面中文字的可讀性,都還有待改進(jìn)。
目前,Genie 4 已向部分受邀測試者開放研究預(yù)覽,未來將通過 Project Genie 向 Google AI Ultra 訂閱用戶開放,并逐步提供給 Gemini API 和 Google AI Studio 的早期合作伙伴。
回看過去幾年的生成式 AI,從文字到圖片,從圖片到視頻,再到如今可以實時探索、擁有聲音和人物行為的虛擬環(huán)境,AI 生成內(nèi)容的邊界正在不斷擴(kuò)大。

過去,AI 可以告訴你一個人推開門后可能看到什么,也能生成一段推門的視頻。未來,它還需要理解門為什么會打開,門后的人會如何反應(yīng),以及接下來的一連串行動會產(chǎn)生什么結(jié)果。
對于走向現(xiàn)實世界的 AI Agent 和機(jī)器人來說,能夠預(yù)測行動后果,并在虛擬環(huán)境中反復(fù)嘗試,可能比生成一段漂亮的視頻更加重要。
當(dāng)大語言模型正在讓 AI 學(xué)會思考,世界模型則試圖讓 AI 理解行動的后果。
或許,未來 AI 理解現(xiàn)實世界的重要方式之一,就是先在自己創(chuàng)造的無數(shù)個世界中,反復(fù)學(xué)習(xí)現(xiàn)實究竟如何運(yùn)轉(zhuǎn)。