电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
鈦媒體 昨天

什么?一個(gè)人就能訓(xùn)練大模型,指標(biāo)還能硬剛 K3V4?

文 | 字母 AI

訓(xùn)練一個(gè) 5000 億參數(shù)的大模型,需要多少人?

AI 行業(yè)的經(jīng)驗(yàn)是,至少幾十人,大廠動(dòng)輒投入數(shù)百人。

但硅谷一家叫 Mirendil 的初創(chuàng)公司,把這個(gè)數(shù)字壓縮到了極致——只要一個(gè)人。

就在剛剛,Mirendil 在官網(wǎng)發(fā)了一篇文章,標(biāo)題非常聳人聽聞:《無需預(yù)訓(xùn)練團(tuán)隊(duì)的大規(guī)模預(yù)訓(xùn)練》。

文章標(biāo)題下面列著三個(gè)數(shù)字:

1 名研究員、三個(gè)半月、成本不到 1000 萬美元。

這些錢涵蓋了 Agent 的 token 消耗、數(shù)據(jù)處理和全部研究實(shí)驗(yàn)成本。只靠這些投入,他們真的把千億參數(shù)的模型訓(xùn)出來了:Mirendil-Base,一個(gè) 1000 億到 5000 億參數(shù)區(qū)間的編碼專用基座模型。

Mirendil 在文章中稱,新模型超過 99% 的代碼不是人寫的,而是 Agent 寫的。

人類研究員只需要負(fù)責(zé)確定方向、下判斷,在關(guān)鍵節(jié)點(diǎn)踩剎車。寫代碼、跑實(shí)驗(yàn)、錯(cuò)誤排查之類的活兒,全交給了 Agent。

在 Mirendil 的測試中,新模型的部分指標(biāo)已經(jīng)逼近了 Kimi K3、GLM-5.3、DeepSeek-V4 等主流一線模型。

" 單人手搓基模 " 的時(shí)代,真的要到來了……嗎?

01

按照官方說法,Mirendil-Base 是 Mirendil 系列模型的首發(fā)產(chǎn)品,定位是編碼專用基座模型,目標(biāo)用戶是前沿 AI 實(shí)驗(yàn)室內(nèi)部的研究員和工程師。

為了驗(yàn)證一個(gè)人究竟能不能把模型做出來,Mirendil 設(shè)置了許多苛刻條件。比如,不能用現(xiàn)成的預(yù)訓(xùn)練框架,也不能繼承代碼。

研究員和 Agent 從零起步,在 100 多天里搭建了一切——訓(xùn)練基礎(chǔ)設(shè)施、模型架構(gòu)、訓(xùn)練算法、數(shù)據(jù)管道,全是自己寫的,只是在 PyTorch、JAX 這幾個(gè)通用庫上,參考了一些熱門開源項(xiàng)目當(dāng)樣板。

當(dāng)然,這里的 " 自己 ",通常指的是 Agent。

研究員主要負(fù)責(zé)決定嘗試什么、信任什么,并在需要時(shí)干預(yù)。寫代碼、跑實(shí)驗(yàn)、診斷報(bào)錯(cuò)這些具體的動(dòng)作,基本都是 Agent 自己跑。

數(shù)據(jù)方面,Mirendil 全部使用公開數(shù)據(jù),比如 GitHub 開源代碼、公開網(wǎng)頁、公開數(shù)據(jù)集之類。公司強(qiáng)調(diào),訓(xùn)練過程中沒買過一行數(shù)據(jù),沒做過蒸餾,也沒用合成數(shù)據(jù)。

此外,Mirendil 希望通過改進(jìn)設(shè)計(jì)提升效率。" 我們通過改進(jìn)的架構(gòu)、數(shù)據(jù)混合的高級(jí)調(diào)優(yōu),以及其他數(shù)據(jù)層面的改進(jìn),還有 kernel 優(yōu)化,獲得了顯著的效率提升。" 公告稱。

最終成品是 Mirendil-Base,參數(shù)為 1000 億~5000 億。

一個(gè)人做出來的千億參數(shù)模型,到底是個(gè)什么水平?

Mirendil 拿了五款模型做對(duì)比,分別是 Kimi K3、GLM-5.3、Nemotron-550B-Base、DeepSeek-V4-Pro-Base、Inkling,均為 MoE 架構(gòu)的大參數(shù)模型。

在新代碼倉庫的交叉熵測試(模型猜測代碼怎么寫的,分?jǐn)?shù)越低、猜得越準(zhǔn))中,幾款模型的比拼結(jié)果如下:

Kimi K3 排第一,得分 0.193;Mirendil-Base 排第二,得分 0.222;后面依次是 GLM-5.3、DeepSeek-V4、Nemotron。

換句話說,在部分編碼維度上,一個(gè)人和 Agent 組隊(duì)訓(xùn)練出來的預(yù)訓(xùn)練模型,已經(jīng)能跟頭部大廠的成品模型掰手腕了。

不過,必須指出的是,通常情況下,基座模型在交叉熵測試中比后訓(xùn)練模型表現(xiàn)更好。Mirendil-Base 作為基座模型,分?jǐn)?shù)反而比后訓(xùn)練過的 Kimi-K3 更高,說明 Kimi-K3 的真實(shí)實(shí)力比表面分?jǐn)?shù)顯示的還要強(qiáng)得多,Mirendil-Base 跟它的差距比看起來更大。

根據(jù)官方介紹,Mirendil-Base 往上還有兩檔:Large 在 5000 億到 2 萬億,XL 直接沖到 2 萬億到 10 萬億。

目前,Large 訓(xùn)練了 80%,XL 剛開了個(gè)頭,才 19%,卻已經(jīng)快追上 Large 現(xiàn)在的分?jǐn)?shù)了。

也就是說,在鈔能力和 Agent 的加持下,一個(gè)人訓(xùn)練萬億模型不是夢——這是許多 AI 大廠都還沒摸到的門檻。

02

千億乃至萬億參數(shù)大模型的預(yù)訓(xùn)練,極為耗錢、費(fèi)時(shí),還必須大量堆人。

幾百位研究員里面,一部分研究模型該長什么樣、怎么做 scaling;一部分人管數(shù)萬億 token 的清洗和配比;還有一部分人守著幾千張,甚至幾十萬張算力卡,保證訓(xùn)練不停機(jī)。

AI 大廠可以聚攏足夠多的人才,但資金和算力成本壓力依然很大。

整個(gè)行業(yè)一直在嘗試降本,核心思路就是一條:讓 AI 來訓(xùn)練 AI。

比如,Anthropic 已經(jīng)沿著這條路走了很遠(yuǎn)。

它此前披露,今年 5 月,其代碼庫里超過 80% 的合并代碼是 Claude 寫的。

谷歌也在做類似的事情:AI 編程智能體 AlphaEvolve,已經(jīng)被用來優(yōu)化數(shù)據(jù)中心調(diào)度、芯片設(shè)計(jì)和 AI 訓(xùn)練流程。

但 "AI 訓(xùn)練 AI" 這條路,目前只有大廠才能玩得轉(zhuǎn)。

科學(xué)家、研究員、小團(tuán)隊(duì)等,想自己訓(xùn)練一個(gè)模型,以前幾乎不可能。

Mirendil-Base 卻證明了,在一定條件下,一個(gè)人也可以 " 手搓 " 模型。

Mirendil 在官網(wǎng)文章中稱,直到不久前,預(yù)訓(xùn)練一個(gè)有競爭力模型的瓶頸還是人:一支需要多年才能搭建起來的專家團(tuán)隊(duì)。

如今,這一局面正在改變。

過去只有大型研究機(jī)構(gòu)才能做到的事,現(xiàn)在一名研究員就可以完成。當(dāng) Agent 承擔(dān)了大部分動(dòng)手工作時(shí),瓶頸轉(zhuǎn)移到了算力、數(shù)據(jù),以及指揮 Agent 的那個(gè)人的判斷力上。

" 人人都能訓(xùn)練模型 ",蘊(yùn)含著巨大的想象空間。

以前,大多數(shù)人和公司如果需要專屬模型,往往租用一個(gè)通用模型、再在邊緣做適配。

現(xiàn)在,一支芯片設(shè)計(jì)團(tuán)隊(duì)、一個(gè)機(jī)器人實(shí)驗(yàn)室,或是一家醫(yī)院,都可以用自己的數(shù)據(jù)、為自己的問題訓(xùn)練一個(gè)模型。基座模型以及圍繞它們構(gòu)建的系統(tǒng),將不再是只有少數(shù)大廠才能制造的東西,而會(huì)更加普及。

另一方面,過去需要一個(gè)大型團(tuán)隊(duì)才能啟動(dòng)的 AI 項(xiàng)目,現(xiàn)在可以從小團(tuán)隊(duì),甚至一個(gè)人起步;而隨著算力越來越便宜、越來越強(qiáng)大,更多人能夠去嘗試這些項(xiàng)目。" 一人公司 " 或者 " 超級(jí)個(gè)體 ",有望變成現(xiàn)實(shí)。

人們的工作方式也會(huì)被改變:隨著越來越多的工作被交給 Agent,人類的日常工作將越來越不像 " 親手做事情 ",而越來越像 " 帶領(lǐng)一個(gè)小型實(shí)驗(yàn)室 ":設(shè)定研究方向、設(shè)計(jì)值得運(yùn)行的實(shí)驗(yàn)、判斷哪些想法值得繼續(xù)推進(jìn)。

Mirendil 描繪了更加炫目的前景:下一個(gè)模型將部分由 Mirendil 自己的模型來構(gòu)建,而每一個(gè)在構(gòu)建 AI 這件事上變得更強(qiáng)的模型,都會(huì)讓下一個(gè)模型的構(gòu)建更便宜、更快速。

" 我們認(rèn)為,還沒有達(dá)到完全自主的 RSI,但我們已經(jīng)比以往更接近了。" 公司稱。

此外,公司已經(jīng)開始對(duì) Mirendil-Base 進(jìn)行后訓(xùn)練。Mirendil-Base-Large 以及達(dá)到前沿水平的 Mirendil-Base-XL 仍在訓(xùn)練中。

03

Mirendil 的背后,是兩位 Anthropic 前員工:Behnam Neyshabur 和 Harsh Mehta。

Neyshabur 是 80 后,伊朗出生、讀大學(xué)。2011 年去了美國,在豐田工業(yè)大學(xué)芝加哥分校拿了博士學(xué)位。畢業(yè)后,他在谷歌 DeepMind 干了 5 年,2024 年底加入 Anthropic,領(lǐng)導(dǎo)了 Discovery 團(tuán)隊(duì),專門研究怎么讓 AI 像科學(xué)家一樣參與研發(fā)。

Mehta 是印度裔,印度理工學(xué)院古瓦哈提分校畢業(yè)的,在 DeepMind 的時(shí)候跟 Neyshabur 是同事。加入 Anthropic 之后,Mehta 搭建了 Anthropic 內(nèi)部自動(dòng)化 AI 研究平臺(tái)的第一個(gè)版本。

2025 年 12 月,兩人前后腳離職,成立了 Mirendil,公司定位是讓 AI 來幫助科學(xué)家造出他們自己的 AI,而不只是直接用 AI 輔助科學(xué)。

換句話說,他們希望讓科研團(tuán)隊(duì)能夠自己訓(xùn)練、迭代專屬 AI 模型,不用再仰仗大廠的通用模型。背后的技術(shù)路線,就是最近 AI 圈內(nèi)炒得很熱的 RSI。

今年 6 月,Mirendil 官宣了 2 億美元種子輪融資,投后估值 10 億美元。投資方包括 a16z、凱鵬華盈、英偉達(dá)等。

團(tuán)隊(duì)目前約 20 人,都是從 Anthropic、xAI、Google DeepMind、OpenAI 出來的研究員和工程師,在舊金山市中心辦公。

Mirendil-Base 的亮相,標(biāo)志著公司跨過了第一個(gè)里程碑。

但話說回來," 單人訓(xùn)練千億參數(shù)模型 " 聽起來美好,門檻并沒有被拉低多少。

1000 萬美元的成本,對(duì)大廠來說不算什么,剛剛拿到融資的 Mirendil 也還付得起。但對(duì)于絕大多數(shù)個(gè)人、小團(tuán)隊(duì)來說,依然是天文數(shù)字。

更別說,能指揮 Agent 整出如此大活兒,不是隨便拉一個(gè)工程師就能上手的。Mirendil 的人才質(zhì)量之高、AI 項(xiàng)目經(jīng)驗(yàn)之豐富,在整個(gè)硅谷都處于第一梯隊(duì)。

" 一人手搓大模型 " 的時(shí)代確實(shí)在靠近,但離普通人還很遠(yuǎn)。

Mirendil-Base 的發(fā)布,是這條漫長道路的第一塊路標(biāo)。至于它能不能真的把大模型的門檻打下來,還得看后續(xù)更大規(guī)模模型的實(shí)際水平,以及這套方法論能不能復(fù)制到別人身上。

相關(guān)閱讀

最新評(píng)論

沒有更多評(píng)論了

覺得文章不錯(cuò),微信掃描分享好友

掃碼分享

熱門推薦

查看更多內(nèi)容

企業(yè)資訊

查看更多內(nèi)容