剛剛過去的 GTC Taipei 上,最備受關(guān)注的,莫過于Cosmos 3。
這是一個完全開源的物理 AI 全模態(tài)模型。老黃表示,Cosmos 3 在世界生成這項上,在 Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench 四個開源榜單上均列第一。
前三個 bench 都算業(yè)界比較眼熟的,而R-bench——我特意查了查,這個讓 Cosmos 3 霸榜的榜單,竟出自一支北大團隊。
這篇工作已被 ICML 2026 接收,名字叫《Rethinking Video Generation Model for the Embodied World》,來自北京大學(xué)、字節(jié)跳動 Seed 等機構(gòu)的研究團隊。
他們提出了面向具身世界的視頻生成評測與數(shù)據(jù)基礎(chǔ)設(shè)施:R-Bench+RoVid-X。
值得注意的是,在作者列表里,字節(jié) Seedance 2.0 的預(yù)訓(xùn)練負責(zé)人曾妍,也赫然在列。
R-Bench:專門給機器人視頻生成請的 " 考官 "
Cosmos 3 是英偉達這次 GTC Taipei 的主角之一。
按老黃的說法,它是全球首個完全開源的物理 AI 全模態(tài)模型,基于一種 mixture-of-transformers 架構(gòu),能在一個模型里同時理解和生成文本、圖像、視頻、環(huán)境聲音,乃至機器人的動作。
Nano 和 Super 兩個尺寸,都已經(jīng)掛上了 Hugging Face。
換句話說,Cosmos 3 要做的不是 " 拍出好看的視頻 ",而是給機器人、自動駕駛這些要在真實世界里干活的系統(tǒng),生成 " 物理上說得通 " 的數(shù)據(jù)。
但問題它就來了。
一個模型生成的機器人視頻,到底是不是 " 物理上說得通 ",該用什么來衡量?
過去一年,視頻生成的故事幾乎都繞著同一個問題展開:誰能拍得更清晰、更穩(wěn)定、更有電影感。
但在機器人場景里,畫質(zhì)好看是一回事,能不能用又是另一回事。
如果一個模型能生成逼真的機械臂,卻讓夾爪穿過物體;能讓機器人看起來 " 動起來 ",卻無法完成抓取、放置、轉(zhuǎn)身、協(xié)作等任務(wù),那么它距離 Physical AI 需要的 " 世界模型 ",仍然隔著一條鴻溝。
R-Bench的核心出發(fā)點,就是把視頻生成模型從 " 視覺生成器 " 放到 " 物理世界模擬器 " 的語境下重新評估。
它不只看畫面是否逼真,而是系統(tǒng)性衡量模型是否能生成符合具身任務(wù)邏輯和物理約束的視頻。
具體而言,R-Bench 是一個以機器人為中心的視頻生成評測基準,包含650 個圖像 - 文本評測樣本,從5 類任務(wù)能力和4 類機器人形態(tài)兩個維度構(gòu)建。
在任務(wù)維度上,R-Bench 覆蓋操作執(zhí)行、空間關(guān)系、多主體協(xié)作、長時規(guī)劃和視覺推理;在機器人形態(tài)維度上,覆蓋單臂、雙臂、四足和人形機器人。
這樣的設(shè)計讓 R-Bench 不再只問 " 視頻像不像 ",而是進一步追問:
機器人有沒有真正接觸到目標物體?
任務(wù)關(guān)鍵步驟是否完整出現(xiàn)?
多個物體或多個主體之間的關(guān)系是否合理?
機器人形態(tài)在運動過程中是否保持穩(wěn)定?
長時序動作是否符合任務(wù)邏輯?
因此,R-Bench 不只是一個排行榜,更可以作為機器人視頻生成數(shù)據(jù)的" 物理質(zhì)量過濾器 ":
它能夠評估生成視頻是否滿足接觸關(guān)系、動作順序、形態(tài)穩(wěn)定性和任務(wù)完成度等物理約束,從而幫助篩選出更符合物理規(guī)律、可用于具身智能訓(xùn)練的數(shù)據(jù)。
為了捕捉這些問題,R-Bench 設(shè)計了一套可復(fù)現(xiàn)的自動化評測指標體系,能夠識別機器人形態(tài)畸變、物體屬性漂移、部件漂浮或穿模、無接觸抓取、憑空出現(xiàn)物體、關(guān)鍵動作缺失等常見失敗模式。
值得注意的是,R-Bench 的自動打分,和人工評測的 Spearman 相關(guān)系數(shù)達到0.96。
這意味著它不只是個自動跑分工具,在很大程度上對齊了人類對 " 物理合不合理 "" 任務(wù)完沒完成 " 的判斷。
榜單上還能看到什么?
在最新 R-Bench Leaderboard 中,Cosmos 3 系列已經(jīng)成為開源社區(qū)最亮眼的模型之一。
Cosmos3-Nano 以0.584的綜合得分位列 RBench 開源模型第一,Cosmos3-Super 緊隨其后,拿到0.581。
放到整個榜單里看,這傳遞出兩個信號。
一是以物理 AI 為目標訓(xùn)練的視頻世界模型,已經(jīng)開始在機器人圖像到視頻生成上展現(xiàn)競爭。
相比傳統(tǒng)通用視頻模型,它的優(yōu)勢不只在畫質(zhì),更在于更接近具身智能需要的物理模擬與動作延展能力。
二是閉源商業(yè)模型綜合能力仍然領(lǐng)先,但開源正在快速追趕。
對研究社區(qū)來說,這種 " 開源能打 " 的信號,比單個模型更強更重要。
而比排名更有價值的,是 RBench 照出來的幾處共性短板:
精細操作還是老大難。移動、轉(zhuǎn)身這類大幅動作模型已經(jīng)做得不錯,但抓、捏、擰、插、放置這些對接觸建模要求高的動作,最容易出錯。
長時規(guī)劃仍是弱項。視頻看起來連貫,不代表任務(wù)邏輯正確,模型可能動作流暢卻漏掉關(guān)鍵步驟,或者把順序搞反。
通用知識和機器人數(shù)據(jù)沒 " 合上 "。純通用視頻有豐富的世界知識但缺機器人交互,純機器人數(shù)據(jù)又往往規(guī)模有限、形態(tài)單一。
從這個角度看,R-Bench 更像一面鏡子,把視頻模型在物理世界里的真實軟肋照了出來。
RoVid-X:400 萬條機器人視頻,開源了
發(fā)現(xiàn)了問題,下一步就是喂數(shù)據(jù)。這正是RoVid-X要解決的事。
團隊已經(jīng)在 Hugging Face 上開源了 RoVid-X 的重要子集(300 萬條機器人視頻),上線后熱度攀升很快——它在 Datasets Trending 的 Video 模態(tài)大規(guī)模數(shù)據(jù)集中排名第一,在全部 6.5 萬多個 Video 模態(tài)數(shù)據(jù)集的整體 Trending 里也位列第九。
這反映了 RoVid-X 作為面向機器人視覺 / 視頻理解的大規(guī)模數(shù)據(jù)資源,在開源社區(qū)中的快速影響力。
數(shù)據(jù)集的完整版規(guī)模達到400 萬條機器人視頻片段、1300+ 細粒度技能、1 萬 + 小時內(nèi)容,分辨率 720P,并附帶 RGB、深度、光流等多模態(tài)物理標注。
和通用互聯(lián)網(wǎng)視頻不同,RoVid-X 要讓模型接觸的是更接近真實的機器人交互過程:物體怎么被抓取、機械臂怎么接近目標、任務(wù)怎么被分解、動作和環(huán)境怎么共同形成物理約束。
這種數(shù)據(jù)對于視頻世界模型尤其關(guān)鍵。因為物理理解不是簡單靠提示詞補出來的,而需要模型在大量交互數(shù)據(jù)中學(xué)習(xí)接觸、順序、力學(xué)關(guān)系和結(jié)構(gòu)穩(wěn)定性。
實驗結(jié)果也顯示,引入 RoVid-X 數(shù)據(jù)后,模型在具身任務(wù)中的表現(xiàn)能夠獲得穩(wěn)定提升。
例如在 Wan 系列模型上,經(jīng)過 RoVid-X 微調(diào)后,模型在操作執(zhí)行、長時規(guī)劃和空間理解等維度均有明顯改善。
這說明高質(zhì)量、結(jié)構(gòu)化的機器人視頻數(shù)據(jù),確實能夠提升視頻生成模型面向具身場景的可執(zhí)行性與穩(wěn)定性。
這項工作的意義,不只在于多了一個 benchmark 和一個 dataset,而是把視頻生成放進了物理 AI 的語境里重新審視。
過去視頻生成更多服務(wù)于內(nèi)容創(chuàng)作:廣告、短片、特效。往后,它可能成為機器人訓(xùn)練、仿真環(huán)境構(gòu)建和具身智能數(shù)據(jù)閉環(huán)的基礎(chǔ)設(shè)施。
當模型開始理解接觸、順序、結(jié)構(gòu)穩(wěn)定性和動作后果," 生成一段看起來合理的視頻 " 就在向 " 可用于物理世界推演的世界模擬引擎 " 靠近。
R-Bench 和 RoVid-X 是在這個轉(zhuǎn)向中補上兩塊關(guān)鍵拼圖:一個回答 " 如何評估 ",一個回答 " 如何訓(xùn)練 "。
隨著 Cosmos 3 等 Physical AI 視頻世界模型進入 R-Bench 榜單并取得開源 Top-1,具身視頻生成的競爭也正在從單純比拼視覺效果,轉(zhuǎn)向更接近真實世界的物理理解和任務(wù)執(zhí)行能力。
對于開源社區(qū)而言,這或許是一個更重要的信號:Physical AI 的進展,不只屬于閉源模型和商業(yè)系統(tǒng),也可以建立在開放評測、開放數(shù)據(jù)和開放模型共同演化的基礎(chǔ)之上。
按團隊的規(guī)劃,下一步還會去做從生成視頻反推可執(zhí)行動作的 Inverse Dynamics Model,進一步打通視頻生成、策略學(xué)習(xí)和真機部署之間的閉環(huán)。
視頻生成模型的下一站,或許真的不只是拍電影,而是模擬、理解,并參與真實的物理世界。
團隊背景
這支團隊叫DAGroup,來自北京大學(xué),負責(zé)人是周大權(quán)。
周大權(quán)的履歷,恰好踩在這次工作的題眼上。
他從 2022 年就開始做視頻生成,是最早一批入場的人之一——
代表作 MagicVideo 是業(yè)界最早的隱空間擴散視頻模型之一,后來還有 MagicVideo-V2、StoryDiffusion、Magic-Me 等一系列工作。
在騰訊混元視頻模型 HunyuanVideo 中,他帶領(lǐng)了模型預(yù)訓(xùn)練與擴散算法設(shè)計團隊。
更早之前,他在模型與硬件效率方向也頗有積累,Coordinate Attention 曾被列為 CVPR 2020 最具影響力論文第 2 名。
如今回到北大做助理教授,他把研究重心放到了機器人、AIGC 和 VLA 上。
他自述,自己的研究始終帶著一條 " 用最少的算力和內(nèi)存,跑最強的算法 " 的主線。
除 R-Bench/RoVid-X 外,DAGroup 還在推進 HumanNet、StableVLA 等多個具身與世界模型方向的開源項目。
論文地址:
https://arxiv.org/abs/2601.15282
Project Page:
https://dagroup-pku.github.io/ReVidgen.github.io/
GitHub 地址:
https://github.com/DAGroup-PKU/HumanNet
R-Bench Leaderboard:https://huggingface.co/spaces/DAGroup-PKU/Leaderboard
RoVid-X Dataset:https://huggingface.co/datasets/DAGroup-PKU/RoVid-X/
— 歡迎 AI 產(chǎn)品從業(yè)者共建 —
「AI 產(chǎn)品知識庫」是量子位智庫基于長期產(chǎn)品庫追蹤和用戶行為數(shù)據(jù)推出的飛書知識庫,旨在成為 AI 行業(yè)從業(yè)者、投資者、研究者的核心信息樞紐與決策支持平臺。
一鍵關(guān)注 點亮星標
科技前沿進展每日見