电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
虎嗅APP 昨天

宇樹、智元都在押注,機器人最大的浪費有解了 ?

出品 | 虎嗅科技組

作者 | 易玉琴

編輯 | 苗正卿

頭圖 | AI 生成

具身智能行業(yè)正面臨一場昂貴的 " 浪費 "。

同樣的任務(wù),每換一種機器人,就可能需要重新采集數(shù)據(jù)、訓(xùn)練模型。如果未來有上萬種機器人,難道就要訓(xùn)練上萬顆 " 大腦 "?

如今," 一腦多形 "" 一腦多態(tài) " 成為行業(yè)探索的新方向,試圖讓不同機器人共享智能。

但身體千差萬別的機器人,究竟能共享哪些能力?一顆 " 大腦 ",又如何適應(yīng)不同的身體?

為了尋找答案,我們和香港具身智能實驗室聯(lián)合總監(jiān)、香港中文大學(xué)助理教授李鐘毓聊了聊。

1996 年出生的李鐘毓,本科畢業(yè)于浙江大學(xué)機械電子工程專業(yè),2025 年獲得加州大學(xué)伯克利分校機械工程博士學(xué)位。他早期主要研究雙足機器人的運動控制,后來逐漸將研究延伸至不同機器人之間的數(shù)據(jù)、模型與能力遷移。

他所在的香港具身智能實驗室,也在嘗試將跨構(gòu)型研究推向產(chǎn)業(yè)。目前,實驗室已與 24 家產(chǎn)業(yè)伙伴、投資機構(gòu)及科創(chuàng)企業(yè)展開合作,包括智元機器人、宇樹科技、云深處、仙工智能、舞肌科技等。

在這次對話中,李鐘毓談到了自己從人形機器人轉(zhuǎn)向跨構(gòu)型研究的原因,也分享了他對模型遷移、世界模型、數(shù)據(jù)采集和行業(yè)協(xié)作的思考。

以下是虎嗅根據(jù)采訪整理的李鐘毓自述。為便于閱讀,在保留原意的基礎(chǔ)上,對部分內(nèi)容進行了刪減、重組,并對技術(shù)概念作了適當(dāng)?shù)耐ㄋ谆幚怼?/strong>

每換一種身體都重新訓(xùn)練,行業(yè)很難實現(xiàn)規(guī)?;?/p>

我們最開始研究人形機器人,看中的就是它的通用性。

人有兩條腿、兩條手臂和兩只靈活的手,可以去各種各樣的地方,完成各種各樣的工作。所以,理論上只要把人形機器人的模型和運動控制能力做好,它就能夠適應(yīng)不同的任務(wù)和環(huán)境。

但我們也很清楚,人形機器人現(xiàn)在還不夠成熟。即使再過五年、十年,也很難說會有某一種機器人,能夠把所有事情都做了。

現(xiàn)實世界中的任務(wù),對機器人的身體有不同要求。

有的需要兩米長的機械臂,有的要求重載,有的要把東西舉得很高,有的需要移動得很快。末端執(zhí)行器也是一樣,有些任務(wù)用柔性夾爪或者吸盤就能完成,完全沒必要配置復(fù)雜的靈巧手。

所以,我認為人形機器人一定會有用,家庭可能就是一個重要場景,但它未必會占據(jù)所有場景的主導(dǎo)地位。未來更可能出現(xiàn)的情況,是多種構(gòu)型的機器人長期共存,各自在專業(yè)場景中完成不同的工作。

這也帶來一個問題:如果每一種機器人都要單獨開發(fā)一套 " 大腦 " 和 " 小腦 ",重新采集數(shù)據(jù)、訓(xùn)練模型,整個行業(yè)的成本會非常高。

更大的問題是,這些投入很難積累到一起。

比如,一家公司做機械臂,另一家公司做人形機器人,它們采集的數(shù)據(jù)不同,模型的輸入輸出不同,對任務(wù)的理解和動作表示也可能不同。即使兩者完成的是類似任務(wù),積累的經(jīng)驗也很難直接共享。

機器人越來越多,每一類卻都在 " 各練各的 ",就很難形成我們希望看到的 Scaling(規(guī)?;┬?yīng)。

理想情況下,我們希望把不同來源的數(shù)據(jù)放在一起訓(xùn)練,再通過機器人與真實環(huán)境的 Interaction(交互),不斷產(chǎn)生新的數(shù)據(jù),用這些數(shù)據(jù)繼續(xù)提升模型。

數(shù)據(jù)和能力不斷積累,達到一定規(guī)模后,甚至有可能出現(xiàn) Emergent Intelligence(智能涌現(xiàn)),也就是模型表現(xiàn)出此前沒有明確訓(xùn)練過的新能力。

但如果所有數(shù)據(jù)、模型和能力都被限制在單一構(gòu)型里,這個過程就很難持續(xù)放大。

所以,我們認為,跨構(gòu)型是一個必須盡早考慮的問題。

先理解 " 要做什么 ",再考慮 " 怎么做 "

為什么最近大家又開始重視跨構(gòu)型?

一個重要原因是,我們發(fā)現(xiàn),單一構(gòu)型模型訓(xùn)練出來的部分能力,已經(jīng)開始表現(xiàn)出復(fù)用和遷移的可能性。

過去,跨構(gòu)型最大的難點之一,就是輸入和輸出對不上。

不同機器人擁有不同的自由度、關(guān)節(jié)結(jié)構(gòu)和傳感器。攝像頭的位置不同,看到的畫面就不同;機械臂的關(guān)節(jié)數(shù)量不同,模型輸出的控制指令也不能直接照搬。

所以,大家往往只能先把一種機器人做好。

但隨著數(shù)據(jù)規(guī)模擴大,我們開始發(fā)現(xiàn),如果能夠在不同構(gòu)型之間找到一些共性,模型就有機會學(xué)習(xí)到可以遷移的能力。

比如,機器人要把一個杯子放到桌子的另一邊。無論是人形機器人、輪式雙臂機器人,還是固定機械臂,它們都需要理解杯子在哪里、目標(biāo)在哪里,以及應(yīng)該完成什么任務(wù)。至于具體哪個關(guān)節(jié)轉(zhuǎn)多少度、輪子往哪個方向走,則取決于它們各自的身體結(jié)構(gòu)。

所以,跨構(gòu)型的一個重要思路,就是先把 " 要做什么 " 和 " 具體怎么做 " 盡量分開。

我們可以讓模型學(xué)習(xí)一種更抽象的表示,例如任務(wù)意圖,再由不同機器人根據(jù)自己的身體條件,把這種意圖轉(zhuǎn)化成具體動作。

這有點像人學(xué)習(xí)不同的交通工具。一個人先學(xué)會騎自行車,再去學(xué)騎摩托車、開汽車。具體操作方式一直在變,但過去的經(jīng)驗可以幫助他更快掌握新的操作方式。

機器人也有可能獲得類似的遷移能力。

現(xiàn)在,In-Context Learning(上下文學(xué)習(xí))、Continual Learning(持續(xù)學(xué)習(xí))以及強化學(xué)習(xí)等技術(shù)的發(fā)展,讓我們看到了一些機會。機器人可能只需要嘗試幾次,就能利用原有經(jīng)驗更快學(xué)會一項新任務(wù)。

但這里還有一個關(guān)鍵問題:遷移能力最好在預(yù)訓(xùn)練階段就開始考慮。如果模型最開始只圍繞某一種構(gòu)型訓(xùn)練,到了后訓(xùn)練階段才要求它適應(yīng)另一種機器人,就可能出現(xiàn)所謂的 " 災(zāi)難性遺忘 "。也就是說,新任務(wù)學(xué)會了,原來的一些能力反而丟掉了。

因此,我們需要在模型設(shè)計和訓(xùn)練的早期,就考慮不同構(gòu)型之間有哪些能力可以共享。

身體可以不同,對世界的理解可以相通

盡管機器人的身體一直在變,但我們可以從中找到一些相對不變的東西。

除了任務(wù)意圖,我認為還有兩種能力非常重要。

第一種,是對世界的理解。

這與 World Model(世界模型)有關(guān)。

不同機器人雖然身體不同,但它們觀察的是同一個物理世界。

比如,一個杯子放在桌子上,不管是人形還是輪式機器人,都需要理解杯子的位置、周圍環(huán)境,以及自己的動作可能帶來什么變化。

機器人能夠采取的動作不同,但世界本身的很多規(guī)律是共通的。

因此,世界模型的 Prediction(預(yù)測)能力和空間、物理的理解能力,可以成為跨構(gòu)型的一個共同基礎(chǔ)。

第二種,是對任務(wù)進度的判斷。

人在完成一項任務(wù)時,通常會對進度有一個大致的判斷。我們未必能準(zhǔn)確說出已經(jīng)完成了百分之多少,但通常知道自己做到了哪一步、還有哪些事情沒做、是不是快完成了。

機器人也可以學(xué)習(xí)這種能力,也就是 Progress Model(進度模型)。

過去,大模型的后訓(xùn)練更多依賴 SFT(監(jiān)督微調(diào)),現(xiàn)在大家越來越關(guān)注強化學(xué)習(xí),讓機器人通過不斷嘗試和反饋來提升能力。

但強化學(xué)習(xí)有一個難點:怎樣判斷機器人做得好不好,并給予準(zhǔn)確的獎勵?

比如,人形機器人和輪式機器人都去拿杯子,雖然動作不同,但任務(wù)目標(biāo)相同,評價標(biāo)準(zhǔn)也應(yīng)該一致。不能因為機器人構(gòu)型不同,完成同樣的任務(wù)就得到不同的獎勵。

假如在真實環(huán)境中,每種機器人、每個任務(wù)都需要單獨設(shè)計獎勵函數(shù),成本很高,也難以規(guī)模化。

Progress Model 提供了一種思路:讓模型判斷任務(wù)有沒有向前推進,再將這種進度信息轉(zhuǎn)化為獎勵信號。這樣,不同構(gòu)型的機器人即使動作不同,也有機會共享一部分評價標(biāo)準(zhǔn),減少重復(fù)設(shè)計獎勵函數(shù)的成本。

如果能夠找到跨構(gòu)型通用的獎勵方式,強化學(xué)習(xí)就有機會在更多機器人上規(guī)?;_展。

這也是為什么,隨著世界模型、進度模型和強化學(xué)習(xí)等技術(shù)的發(fā)展,跨構(gòu)型正在變得越來越可行。

我們希望從中找到那些不依賴具體身體結(jié)構(gòu)的共通能力,讓不同機器人能夠共享,再根據(jù)各自的身體完成具體動作。

人類數(shù)據(jù)是起點,最終還要回到真機

跨構(gòu)型還有一個現(xiàn)實問題:數(shù)據(jù)從哪里來?

數(shù)據(jù)規(guī)模對模型能力至關(guān)重要,但要讓機器人掌握各種各樣的技能,需要的數(shù)據(jù)量非常龐大。如果完全依靠機器人自身采集,成本很高,而且不同構(gòu)型的數(shù)據(jù)也很難直接復(fù)用。

所以,我們認為,人類的 Ego Data(第一視角數(shù)據(jù))非常重要。

比如,人可以佩戴攝像頭或其他采集設(shè)備,記錄自己拿取物品、整理桌面、完成裝配任務(wù)的過程。這些數(shù)據(jù)包含了人對環(huán)境的觀察,以及人與環(huán)境交互的經(jīng)驗,可以幫助模型學(xué)習(xí)一些更通用的能力。

在我們看來,人類操作經(jīng)驗可以成為不同構(gòu)型機器人學(xué)習(xí)的共同參照。

這里有一個重要的技術(shù)思路:我們未必需要讓模型直接從視覺、語言輸入,一步到位地輸出不同機器人的關(guān)節(jié)控制指令。

打個比方,兩個 AI 系統(tǒng)交流,不一定要使用人類語言,也可能存在更高效的信息表達方式。不同機器人之間,同樣可以嘗試建立這樣一套共同的 " 語言 "。

具體來說,可以讓模型先學(xué)習(xí)一種更抽象的內(nèi)部表示,用來表達任務(wù)意圖、環(huán)境信息等,再由不同構(gòu)型的機器人根據(jù)自身結(jié)構(gòu),將這些信息轉(zhuǎn)化為具體動作。

當(dāng)然,人類數(shù)據(jù)只是一個起點。機器人最終還是要用自己的身體完成任務(wù),因此還需要結(jié)合不同構(gòu)型的真機數(shù)據(jù)進行訓(xùn)練。

一種可行的路徑是,先利用大量人類第一視角數(shù)據(jù)進行預(yù)訓(xùn)練,讓模型掌握相對通用的基礎(chǔ)能力;再加入不同構(gòu)型的真機數(shù)據(jù),通過微調(diào)或繼續(xù)訓(xùn)練,讓模型適應(yīng)不同的機器人。

更重要的是,模型訓(xùn)練完成后,一定要重新部署到真機上,在真實環(huán)境中產(chǎn)生新的數(shù)據(jù),再用這些數(shù)據(jù)繼續(xù)訓(xùn)練。

隨著機器人部署規(guī)模擴大,未來的數(shù)據(jù)來源有機會逐漸減少對人類示范的依賴,更多來自機器人自身的交互。

這樣,模型能力提升可以推動更多機器人部署,而機器人在實際運行中積累的新經(jīng)驗,又能反過來提升模型,逐步形成一個持續(xù)迭代的數(shù)據(jù)閉環(huán)。

數(shù)據(jù)多樣性很重要,跨構(gòu)型需要整個行業(yè)參與

如今,跨構(gòu)型越來越具備可行性,一個重要原因是機器人的本體形態(tài)正在變得越來越多樣。

以四足機器人為例,不同產(chǎn)品的關(guān)節(jié)布局各有差異,還出現(xiàn)了輪足結(jié)合的新形態(tài)。人形機器人同樣如此,手臂有五自由度、七自由度等不同設(shè)計,腿部自由度的配置也不盡相同。此外,還有輪式雙臂機器人、固定機械臂等多種構(gòu)型,進一步豐富了機器人的形態(tài)和應(yīng)用場景。

隨著機器人構(gòu)型越來越豐富,我們也有機會獲得更多不同類型的數(shù)據(jù)。

數(shù)據(jù)規(guī)模很重要,但數(shù)據(jù)多樣性同樣重要。比如,將同一段視頻重復(fù)十萬遍,即使累計出十萬小時的數(shù)據(jù),也不會增加多少有效信息。相比之下,不同構(gòu)型、不同環(huán)境和不同交互方式產(chǎn)生的數(shù)據(jù),能夠讓模型接觸更多樣化的任務(wù)和操作經(jīng)驗。

如果始終圍繞單一構(gòu)型采集數(shù)據(jù)、訓(xùn)練模型,數(shù)據(jù)的覆蓋范圍和模型能力都會受到一定限制。而將不同構(gòu)型的數(shù)據(jù)整合起來訓(xùn)練,就有機會讓模型從中找到更多共性,學(xué)習(xí)可以在不同機器人之間遷移的能力。

所以,未來的數(shù)據(jù)采集,也不應(yīng)該局限于某一種機器人,或者某一個專門的數(shù)據(jù)采集中心。

我們希望形成這樣一個循環(huán):先利用大量人類第一視角數(shù)據(jù)進行預(yù)訓(xùn)練,讓模型學(xué)習(xí)通用技能和對物理世界的理解;再將預(yù)訓(xùn)練模型或?qū)<夷P筒渴鸬讲煌瑯?gòu)型的機器人上,讓它們在真實環(huán)境中執(zhí)行任務(wù),產(chǎn)生新的交互數(shù)據(jù)。

這些數(shù)據(jù)再回流到統(tǒng)一的訓(xùn)練體系中,進一步提升模型能力,并部署到更多機器人上。每增加一種新構(gòu)型,就有機會為整個模型體系帶來新的數(shù)據(jù)和經(jīng)驗,推動能力持續(xù)積累。

當(dāng)然,這件事很難由幾所高?;蛏贁?shù)企業(yè)獨立完成。

高校擅長模型、算法和訓(xùn)練方法的研究,但很難長期覆蓋大量機器人本體和真實場景;單個企業(yè)能夠接觸的構(gòu)型和任務(wù)同樣有限。

因此,我們希望更多本體公司、模型企業(yè)、數(shù)據(jù)服務(wù)商和實際場景方參與進來,讓不同構(gòu)型的機器人在真實部署中持續(xù)產(chǎn)生數(shù)據(jù),再將這些經(jīng)驗用于共同訓(xùn)練。

跨構(gòu)型最終能否實現(xiàn)規(guī)?;P(guān)鍵在于不同機器人產(chǎn)生的數(shù)據(jù)和能力,能否真正流動和積累起來。

這也是為什么我們認為,跨構(gòu)型需要盡早研究,更需要整個行業(yè)共同參與。

相關(guān)閱讀

最新評論

沒有更多評論了
虎嗅APP

虎嗅APP

有視角的商業(yè)資訊與交流平臺

訂閱

覺得文章不錯,微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容