电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
量子位 06-03

老黃吹的 Cosmos 3,在一個北大團隊做的榜單上拿了第一

剛剛過去的 GTC Taipei 上,最備受關(guān)注的,莫過于Cosmos 3。

這是一個完全開源的物理 AI 全模態(tài)模型。老黃表示,Cosmos 3 在世界生成這項上,在 Artificial Analysis、Physics-IQ、PAI-Bench、R-Bench 四個開源榜單上均列第一。

前三個 bench 都算業(yè)界比較眼熟的,而R-bench——我特意查了查,這個讓 Cosmos 3 霸榜的榜單,竟出自一支北大團隊。

這篇工作已被 ICML 2026 接收,名字叫《Rethinking Video Generation Model for the Embodied World》,來自北京大學(xué)、字節(jié)跳動 Seed 等機構(gòu)的研究團隊。

他們提出了面向具身世界的視頻生成評測與數(shù)據(jù)基礎(chǔ)設(shè)施:R-Bench+RoVid-X。

值得注意的是,在作者列表里,字節(jié) Seedance 2.0 的預(yù)訓(xùn)練負責(zé)人曾妍,也赫然在列。

R-Bench:專門給機器人視頻生成請的 " 考官 "

Cosmos 3 是英偉達這次 GTC Taipei 的主角之一。

按老黃的說法,它是全球首個完全開源的物理 AI 全模態(tài)模型,基于一種 mixture-of-transformers 架構(gòu),能在一個模型里同時理解和生成文本、圖像、視頻、環(huán)境聲音,乃至機器人的動作。

Nano 和 Super 兩個尺寸,都已經(jīng)掛上了 Hugging Face。

換句話說,Cosmos 3 要做的不是 " 拍出好看的視頻 ",而是給機器人、自動駕駛這些要在真實世界里干活的系統(tǒng),生成 " 物理上說得通 " 的數(shù)據(jù)。

但問題它就來了。

一個模型生成的機器人視頻,到底是不是 " 物理上說得通 ",該用什么來衡量?

過去一年,視頻生成的故事幾乎都繞著同一個問題展開:誰能拍得更清晰、更穩(wěn)定、更有電影感。

但在機器人場景里,畫質(zhì)好看是一回事,能不能用又是另一回事。

如果一個模型能生成逼真的機械臂,卻讓夾爪穿過物體;能讓機器人看起來 " 動起來 ",卻無法完成抓取、放置、轉(zhuǎn)身、協(xié)作等任務(wù),那么它距離 Physical AI 需要的 " 世界模型 ",仍然隔著一條鴻溝。

R-Bench的核心出發(fā)點,就是把視頻生成模型從 " 視覺生成器 " 放到 " 物理世界模擬器 " 的語境下重新評估。

它不只看畫面是否逼真,而是系統(tǒng)性衡量模型是否能生成符合具身任務(wù)邏輯和物理約束的視頻。

具體而言,R-Bench 是一個以機器人為中心的視頻生成評測基準,包含650 個圖像 - 文本評測樣本,從5 類任務(wù)能力和4 類機器人形態(tài)兩個維度構(gòu)建。

在任務(wù)維度上,R-Bench 覆蓋操作執(zhí)行、空間關(guān)系、多主體協(xié)作、長時規(guī)劃和視覺推理;在機器人形態(tài)維度上,覆蓋單臂、雙臂、四足和人形機器人。

這樣的設(shè)計讓 R-Bench 不再只問 " 視頻像不像 ",而是進一步追問:

機器人有沒有真正接觸到目標物體?

任務(wù)關(guān)鍵步驟是否完整出現(xiàn)?

多個物體或多個主體之間的關(guān)系是否合理?

機器人形態(tài)在運動過程中是否保持穩(wěn)定?

長時序動作是否符合任務(wù)邏輯?

因此,R-Bench 不只是一個排行榜,更可以作為機器人視頻生成數(shù)據(jù)的" 物理質(zhì)量過濾器 ":

它能夠評估生成視頻是否滿足接觸關(guān)系、動作順序、形態(tài)穩(wěn)定性和任務(wù)完成度等物理約束,從而幫助篩選出更符合物理規(guī)律、可用于具身智能訓(xùn)練的數(shù)據(jù)。

為了捕捉這些問題,R-Bench 設(shè)計了一套可復(fù)現(xiàn)的自動化評測指標體系,能夠識別機器人形態(tài)畸變、物體屬性漂移、部件漂浮或穿模、無接觸抓取、憑空出現(xiàn)物體、關(guān)鍵動作缺失等常見失敗模式。

值得注意的是,R-Bench 的自動打分,和人工評測的 Spearman 相關(guān)系數(shù)達到0.96。

這意味著它不只是個自動跑分工具,在很大程度上對齊了人類對 " 物理合不合理 "" 任務(wù)完沒完成 " 的判斷。

榜單上還能看到什么?

在最新 R-Bench Leaderboard 中,Cosmos 3 系列已經(jīng)成為開源社區(qū)最亮眼的模型之一。

Cosmos3-Nano 以0.584的綜合得分位列 RBench 開源模型第一,Cosmos3-Super 緊隨其后,拿到0.581。

放到整個榜單里看,這傳遞出兩個信號。

一是以物理 AI 為目標訓(xùn)練的視頻世界模型,已經(jīng)開始在機器人圖像到視頻生成上展現(xiàn)競爭。

相比傳統(tǒng)通用視頻模型,它的優(yōu)勢不只在畫質(zhì),更在于更接近具身智能需要的物理模擬與動作延展能力。

二是閉源商業(yè)模型綜合能力仍然領(lǐng)先,但開源正在快速追趕。

對研究社區(qū)來說,這種 " 開源能打 " 的信號,比單個模型更強更重要。

而比排名更有價值的,是 RBench 照出來的幾處共性短板:

精細操作還是老大難。移動、轉(zhuǎn)身這類大幅動作模型已經(jīng)做得不錯,但抓、捏、擰、插、放置這些對接觸建模要求高的動作,最容易出錯。

長時規(guī)劃仍是弱項。視頻看起來連貫,不代表任務(wù)邏輯正確,模型可能動作流暢卻漏掉關(guān)鍵步驟,或者把順序搞反。

通用知識和機器人數(shù)據(jù)沒 " 合上 "。純通用視頻有豐富的世界知識但缺機器人交互,純機器人數(shù)據(jù)又往往規(guī)模有限、形態(tài)單一。

從這個角度看,R-Bench 更像一面鏡子,把視頻模型在物理世界里的真實軟肋照了出來。

RoVid-X:400 萬條機器人視頻,開源了

發(fā)現(xiàn)了問題,下一步就是喂數(shù)據(jù)。這正是RoVid-X要解決的事。

團隊已經(jīng)在 Hugging Face 上開源了 RoVid-X 的重要子集(300 萬條機器人視頻),上線后熱度攀升很快——它在 Datasets Trending 的 Video 模態(tài)大規(guī)模數(shù)據(jù)集中排名第一,在全部 6.5 萬多個 Video 模態(tài)數(shù)據(jù)集的整體 Trending 里也位列第九。

這反映了 RoVid-X 作為面向機器人視覺 / 視頻理解的大規(guī)模數(shù)據(jù)資源,在開源社區(qū)中的快速影響力。

數(shù)據(jù)集的完整版規(guī)模達到400 萬條機器人視頻片段、1300+ 細粒度技能、1 萬 + 小時內(nèi)容,分辨率 720P,并附帶 RGB、深度、光流等多模態(tài)物理標注。

和通用互聯(lián)網(wǎng)視頻不同,RoVid-X 要讓模型接觸的是更接近真實的機器人交互過程:物體怎么被抓取、機械臂怎么接近目標、任務(wù)怎么被分解、動作和環(huán)境怎么共同形成物理約束。

這種數(shù)據(jù)對于視頻世界模型尤其關(guān)鍵。因為物理理解不是簡單靠提示詞補出來的,而需要模型在大量交互數(shù)據(jù)中學(xué)習(xí)接觸、順序、力學(xué)關(guān)系和結(jié)構(gòu)穩(wěn)定性。

實驗結(jié)果也顯示,引入 RoVid-X 數(shù)據(jù)后,模型在具身任務(wù)中的表現(xiàn)能夠獲得穩(wěn)定提升。

例如在 Wan 系列模型上,經(jīng)過 RoVid-X 微調(diào)后,模型在操作執(zhí)行、長時規(guī)劃和空間理解等維度均有明顯改善。

這說明高質(zhì)量、結(jié)構(gòu)化的機器人視頻數(shù)據(jù),確實能夠提升視頻生成模型面向具身場景的可執(zhí)行性與穩(wěn)定性。

這項工作的意義,不只在于多了一個 benchmark 和一個 dataset,而是把視頻生成放進了物理 AI 的語境里重新審視。

過去視頻生成更多服務(wù)于內(nèi)容創(chuàng)作:廣告、短片、特效。往后,它可能成為機器人訓(xùn)練、仿真環(huán)境構(gòu)建和具身智能數(shù)據(jù)閉環(huán)的基礎(chǔ)設(shè)施。

當模型開始理解接觸、順序、結(jié)構(gòu)穩(wěn)定性和動作后果," 生成一段看起來合理的視頻 " 就在向 " 可用于物理世界推演的世界模擬引擎 " 靠近。

R-Bench 和 RoVid-X 是在這個轉(zhuǎn)向中補上兩塊關(guān)鍵拼圖:一個回答 " 如何評估 ",一個回答 " 如何訓(xùn)練 "。

隨著 Cosmos 3 等 Physical AI 視頻世界模型進入 R-Bench 榜單并取得開源 Top-1,具身視頻生成的競爭也正在從單純比拼視覺效果,轉(zhuǎn)向更接近真實世界的物理理解和任務(wù)執(zhí)行能力。

對于開源社區(qū)而言,這或許是一個更重要的信號:Physical AI 的進展,不只屬于閉源模型和商業(yè)系統(tǒng),也可以建立在開放評測、開放數(shù)據(jù)和開放模型共同演化的基礎(chǔ)之上。

按團隊的規(guī)劃,下一步還會去做從生成視頻反推可執(zhí)行動作的 Inverse Dynamics Model,進一步打通視頻生成、策略學(xué)習(xí)和真機部署之間的閉環(huán)。

視頻生成模型的下一站,或許真的不只是拍電影,而是模擬、理解,并參與真實的物理世界。

團隊背景

這支團隊叫DAGroup,來自北京大學(xué),負責(zé)人是周大權(quán)。

周大權(quán)的履歷,恰好踩在這次工作的題眼上。

他從 2022 年就開始做視頻生成,是最早一批入場的人之一——

代表作 MagicVideo 是業(yè)界最早的隱空間擴散視頻模型之一,后來還有 MagicVideo-V2、StoryDiffusion、Magic-Me 等一系列工作。

在騰訊混元視頻模型 HunyuanVideo 中,他帶領(lǐng)了模型預(yù)訓(xùn)練與擴散算法設(shè)計團隊。

更早之前,他在模型與硬件效率方向也頗有積累,Coordinate Attention 曾被列為 CVPR 2020 最具影響力論文第 2 名。

如今回到北大做助理教授,他把研究重心放到了機器人、AIGC 和 VLA 上。

他自述,自己的研究始終帶著一條 " 用最少的算力和內(nèi)存,跑最強的算法 " 的主線。

除 R-Bench/RoVid-X 外,DAGroup 還在推進 HumanNet、StableVLA 等多個具身與世界模型方向的開源項目。

論文地址:

https://arxiv.org/abs/2601.15282

Project Page:

https://dagroup-pku.github.io/ReVidgen.github.io/

GitHub 地址:

https://github.com/DAGroup-PKU/HumanNet

R-Bench Leaderboard:https://huggingface.co/spaces/DAGroup-PKU/Leaderboard

RoVid-X Dataset:https://huggingface.co/datasets/DAGroup-PKU/RoVid-X/

— 歡迎 AI 產(chǎn)品從業(yè)者共建 —

「AI 產(chǎn)品知識庫」是量子位智庫基于長期產(chǎn)品庫追蹤和用戶行為數(shù)據(jù)推出的飛書知識庫,旨在成為 AI 行業(yè)從業(yè)者、投資者、研究者的核心信息樞紐與決策支持平臺。

一鍵關(guān)注 點亮星標

科技前沿進展每日見

相關(guān)閱讀

最新評論

沒有更多評論了

覺得文章不錯,微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容