电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
極客公園 昨天

關(guān)于混元 4 模型、算力、刷榜與 RSI,姚順雨回應(yīng)一切

下一代混元將大幅度擴(kuò)參。

作者|連冉

編輯|鄭玄

11 月 21 日凌晨,騰訊首席 AI 科學(xué)家、混元大模型負(fù)責(zé)人姚順雨和混元團(tuán)隊(duì)的研究員現(xiàn)身 Reddit LocalLLaMA 社區(qū),開啟了混元團(tuán)隊(duì)第一場(chǎng)面向全球開發(fā)者的公開 AMA。

圖片來源:x

兩小時(shí)內(nèi),姚順雨和混元團(tuán)隊(duì)解答了 300 余條開發(fā)者提問,從底層架構(gòu)取舍到長期路線規(guī)劃,從量化落地經(jīng)驗(yàn)到開源生態(tài)適配,幾乎覆蓋了當(dāng)前開源大模型領(lǐng)域所有核心爭(zhēng)議與關(guān)切。

過去不到一個(gè)月,混元?jiǎng)倓偼瓿梢惠喐呙芏犬a(chǎn)品發(fā)布—— 11 月 4 日推出的 Hy4 首次躋身全球最強(qiáng)開源模型之列,拿下 Agent Arena 開源模型榜首、Artificial Analysis 中國模型第二的成績;一周后,定位「極致性價(jià)比」的 Hy4 flash 快速跟進(jìn),單任務(wù)成本僅為 Hy4 的二十分之一,上線首日 Token 調(diào)用量便突破 50 萬億。

如果把時(shí)間倒回九個(gè)月前—— 今年 2 月,混元才剛剛完成預(yù)訓(xùn)練與強(qiáng)化學(xué)習(xí)基礎(chǔ)設(shè)施的全面重建。從重建底座到連發(fā)兩款標(biāo)桿級(jí)模型,九個(gè)月、平均每兩個(gè)月一個(gè)大版本的迭代速度,背后是「preview 先行、正式版跟進(jìn)」的閉環(huán)研發(fā)邏輯:把真實(shí)業(yè)務(wù)場(chǎng)景的反饋直接注入研發(fā)鏈路,在解決實(shí)際問題中完成能力躍遷。

模型路線上,團(tuán)隊(duì)走的是雙線并行的思路,既相信規(guī)模化的潛力,會(huì)繼續(xù)訓(xùn)練更大的模型探索能力上限;也同步布局小尺寸模型與端側(cè)場(chǎng)景,試圖在能力、成本與速度之間找到更務(wù)實(shí)的平衡點(diǎn)。

落到具體技術(shù)選擇上,無論是注意力機(jī)制選型、MoE 稀疏度設(shè)計(jì),還是量化方案的取舍,團(tuán)隊(duì)的判斷都錨定實(shí)驗(yàn)結(jié)果、硬件適配條件與實(shí)際部署效率,并未將參數(shù)規(guī)?;虬駟畏?jǐn)?shù)作為核心決策標(biāo)準(zhǔn)。

對(duì)于當(dāng)前的能力短板,團(tuán)隊(duì)也沒有回避,稱過度思考仍是后訓(xùn)練階段的核心難題,創(chuàng)意寫作與文本可讀性還有提升空間,遞歸自我改進(jìn)相關(guān)技術(shù)尚處于早期摸索階段。

此外,問答也覆蓋了開發(fā)者普遍關(guān)心的實(shí)操問題,包括本地運(yùn)行門檻、工具調(diào)用適配、開源生態(tài)合作進(jìn)展;安全層面則提及了有害數(shù)據(jù)過濾、訓(xùn)練防護(hù)、紅隊(duì)評(píng)估等治理機(jī)制,同時(shí)坦言,模型的過度拒絕問題仍需進(jìn)一步優(yōu)化。

以下是極客公園從本次 Reddit AMA 中提煉出的核心問題,覆蓋模型路線、技術(shù)架構(gòu)、研發(fā)難點(diǎn)、開源生態(tài)等核心維度。

01

混元的整體產(chǎn)品路線是什么?

接下來還有哪些新模型?

混元采用「兩端并行」的研發(fā)策略:一邊擴(kuò)大模型與數(shù)據(jù)規(guī)模,探索智能上限;一邊壓縮推理成本,主打極致性價(jià)比,Hy4 與 Hy4 flash 分別對(duì)應(yīng)這兩個(gè)方向。

后續(xù)產(chǎn)品路線清晰,更小尺寸的 Hy4-mini、Flash-Lite 模型已在規(guī)劃中;24 – 31B 稠密模型正在評(píng)估;5 – 12B 級(jí)小型開源圖像模型、新一代視頻模型均在考慮范圍內(nèi);循環(huán)式 MoE、持續(xù)學(xué)習(xí)等前沿方向也在積極研究。

02

不跟風(fēng) 3T/5T 超大規(guī)模參數(shù),

混元對(duì)模型規(guī)模的判斷是什么?

團(tuán)隊(duì)認(rèn)為,打磨扎實(shí)的小尺寸模型同樣可以勝過大參數(shù)模型,且部署成本更低,研發(fā)過程中能沉淀更多技術(shù)經(jīng)驗(yàn)。但混元同時(shí)相信 Scaling law 的有效性,下一代模型的參數(shù)量會(huì)顯著擴(kuò)大,會(huì)持續(xù)向更大規(guī)模投入研發(fā)。

03

Hy4 與 Hy4 flash 的架構(gòu)核心差異在哪?

關(guān)鍵取舍邏輯是什么?

Hy4 flash 繼承了 Hy4 的 iHC、門控 MLA、DSA 技術(shù)底座,同時(shí)新增混合 SWA、LatentMoE、Engram 三大組件。

所有架構(gòu)選擇均圍繞「性能 - 成本 - 硬件適配」的綜合權(quán)衡:比如改用 SWA 替代門控 DSA,可將 KV cache 體積壓縮至原有的 1/4,大幅降低服務(wù)成本;DSA 技術(shù)則解決了 MLA 解碼階段計(jì)算強(qiáng)度過高的問題,最終讓團(tuán)隊(duì)在長期權(quán)衡后放棄 GQA、選擇效果更優(yōu)的 MLA。

此外,iHC、Engram 這類架構(gòu)創(chuàng)新并非大模型專屬,在小尺寸模型上能帶來甚至更大的性能收益。

04

MoE 是不是越稀疏越好?

極端稀疏路線為什么行不通?

在激活參數(shù)量固定的前提下,提高稀疏度確實(shí)能提升計(jì)算效率;但如果保持總參數(shù)量不變、單純降低激活參數(shù),會(huì)顯著損害模型質(zhì)量——激活參數(shù)本質(zhì)決定了計(jì)算預(yù)算,稀疏度的效率提升無法完全彌補(bǔ)計(jì)算量減少帶來的能力損失。

對(duì)于數(shù)據(jù)中心部署,過于稀疏的 MoE 并不友好:會(huì)占用大量顯存卻無法充分利用算力,相同吞吐量下,不如運(yùn)行總參數(shù)相當(dāng)、激活參數(shù)更高的模型;端側(cè)場(chǎng)景則會(huì)采用獨(dú)立的架構(gòu) - 硬件協(xié)同設(shè)計(jì)思路。

05

端側(cè)視覺模型的最小可用規(guī)模是多少?

多模態(tài)有什么規(guī)劃?

針對(duì)圖像推理、UI/ 圖表理解等深度視覺任務(wù)(非單純 OCR 或圖像描述),團(tuán)隊(duì)驗(yàn)證,激活參數(shù)約 30 億(A3B)級(jí)別的模型已經(jīng)可以支撐相關(guān)能力。

多模態(tài)產(chǎn)品方面,團(tuán)隊(duì)正在考慮推出 5 – 12B 級(jí)別的小型開源圖像模型,降低本地部署門檻,新一代混元視頻模型也在推進(jìn)中。

圖片來源:reddit

06

后訓(xùn)練階段最難解決的問題是什么?

「過度思考」是后訓(xùn)練階段最難改善的問題。

Hy4 為了追求極致智能,思維鏈偏長是已知問題;而 Hy4 flash 則通過強(qiáng)化學(xué)習(xí)專門控制了思維鏈長度,實(shí)現(xiàn)效率優(yōu)先。

此外,長程智能體任務(wù)的強(qiáng)化學(xué)習(xí)落地中,最大挑戰(zhàn)是環(huán)境漏洞導(dǎo)致的「獎(jiǎng)勵(lì)投機(jī)」,比如智能體通過搜索答案而非自主解題完成任務(wù),需要反復(fù)修正環(huán)境規(guī)則與獎(jiǎng)勵(lì)機(jī)制。

07

MoE 量化如何避免能力退化?

混元有哪些實(shí)操經(jīng)驗(yàn)?

團(tuán)隊(duì)沉淀了四點(diǎn)核心經(jīng)驗(yàn):

位寬分配上,down 投影因激活值存在離群值,對(duì)量化更敏感,會(huì)分配更多比特,位寬選擇基于 Hessian 敏感度判斷;

精度顆粒度上,更傾向按張量分配混合精度,而非按單個(gè)專家設(shè)置,避免破壞推理引擎的堆疊矩陣處理邏輯;

量化感知訓(xùn)練(QAT)中,路由器會(huì)和模型主體一起訓(xùn)練,避免路由漂移與工具調(diào)用能力退化;

方案優(yōu)先級(jí)上,全參數(shù) QAT 的模型質(zhì)量優(yōu)于 LoRA 類適配器方案,是團(tuán)隊(duì)的首選。

08

對(duì)標(biāo)行業(yè) AGI 分級(jí),Hy4 處在什么水平?

提升空間還有多大?

團(tuán)隊(duì)自評(píng) Hy4 處于 AGI 分級(jí)的 2.5 級(jí)水平,并明確表示 Hy4 遠(yuǎn)未到容量上限,在后訓(xùn)練層面仍有很大提升空間,目前正大規(guī)模投入強(qiáng)化學(xué)習(xí)技術(shù),同時(shí)持續(xù)優(yōu)化用戶體驗(yàn)與模型安全性。

09

遞歸自我改進(jìn)(RSI)進(jìn)展如何?

當(dāng)前研發(fā)優(yōu)先級(jí)怎么排?

遞歸自我改進(jìn)目前仍處于早期階段,團(tuán)隊(duì)已開發(fā)若干內(nèi)部基準(zhǔn)用于評(píng)估核心能力。

但 RSI 并非當(dāng)前最高優(yōu)先級(jí),團(tuán)隊(duì)現(xiàn)階段的核心目標(biāo)是打牢模型基礎(chǔ)能力、提升通用智能水平,并與產(chǎn)品場(chǎng)景結(jié)合優(yōu)化真實(shí)體驗(yàn),而非優(yōu)先推進(jìn)模型自我迭代。

10

開源模型如何平衡安全能力

與「過度拒絕」問題?

安全層面,混元通過有害數(shù)據(jù)過濾、訓(xùn)練防護(hù)、紅隊(duì)評(píng)估三級(jí)機(jī)制推進(jìn)負(fù)責(zé)任開源:網(wǎng)絡(luò)安全方向重點(diǎn)訓(xùn)練防御性任務(wù)(漏洞分析、修復(fù)),過濾進(jìn)攻性利用類數(shù)據(jù)。

團(tuán)隊(duì)同時(shí)承認(rèn),減少過度拒絕是重要的改進(jìn)方向。根據(jù)內(nèi)部評(píng)估,當(dāng)前 Hy4 的漏洞發(fā)現(xiàn)能力較強(qiáng),漏洞利用能力相對(duì)較弱。

11

本地部署的門檻有多高?

開源生態(tài)適配進(jìn)展如何?

硬件門檻上,96GB 顯存 +128GB 系統(tǒng)內(nèi)存即可運(yùn)行 Hy4 flash,可將部分專家層、Engram 表卸載到主機(jī)內(nèi)存降低顯存壓力。

生態(tài)適配方面,llama.cpp 適配正在推進(jìn),即將向社區(qū)發(fā)布;同時(shí)已與 vllm、sgl 等主流推理框架社區(qū)深度合作。

目前 Hy4 與 Hy4 flash 已可在 OpenCode、Claude Code、Cline 等開發(fā)工具中直接使用。

12

為什么不卷傳統(tǒng)基準(zhǔn)榜單?

混元的評(píng)測(cè)理念是什么?

混元堅(jiān)持「評(píng)測(cè)真實(shí)性」原則,以真實(shí)任務(wù)而非榜單分?jǐn)?shù)檢驗(yàn)?zāi)P湍芰Α?/p>

團(tuán)隊(duì)認(rèn)為 GPQA、SWE-bench 等傳統(tǒng)基準(zhǔn)已出現(xiàn)分?jǐn)?shù)飽和,參考價(jià)值下降,因此更傾向展示 Agent 編程、真實(shí)工程任務(wù)等高難度新基準(zhǔn)的成績。研發(fā)過程中不刻意刷榜,靠更豐富的訓(xùn)練數(shù)據(jù)、多樣化的內(nèi)部真實(shí)任務(wù)評(píng)測(cè)來打磨模型的實(shí)際可用性。

* 頭圖來源:ChatGPT 生成

本文為極客公園原創(chuàng)文章,轉(zhuǎn)載請(qǐng)聯(lián)系極客君微信 geekparkGO

相關(guān)閱讀

最新評(píng)論

沒有更多評(píng)論了
極客公園

極客公園

這里匯聚著優(yōu)秀的產(chǎn)品觀察報(bào)道、高質(zhì)量的線下活動(dòng)

訂閱

覺得文章不錯(cuò),微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容