电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
量子位 09-10

DeepSeek V4.1 重回國產(chǎn)一哥!全新架構(gòu)非對稱 Transformer,Engram 用上了

DeepSeek V4.1 Flash 上線,跑分重回國產(chǎn)一哥!

而且這次,是完全重新訓(xùn)練的非對稱模型新架構(gòu)。

552B 參數(shù)的 MoE 模型,采用了全新的 Causal-Encoder-Decoder 結(jié)構(gòu),輸入和輸出不對稱,輸入激活只有 8B,輸出激活 16B。

這種架構(gòu)成本顯著低于已知的同尺寸模型,難怪這兩天測試感覺速度飛快,原來不光是因為用的人少。

這次重新預(yù)訓(xùn)練、用了新的數(shù)據(jù)、強化學習后訓(xùn)練規(guī)模更大,訓(xùn)練過程還與新版 DeepSeek Harness v0.1.5 深度結(jié)合。

所以 Flash 打敗自家 Pro(除了知識容量),昨天還覺得離譜,今天一下子合理了起來。

V4.1 Flash 也是 DeepSeek 首個原生支持多模態(tài)視覺理解的正式版模型,此前視覺能力以實驗版 V4 Flash Vision Exp 的形式單獨提供,現(xiàn)在統(tǒng)一到了一個模型里。

再加上 9 月 14 日起所有 V4 Pro 的請求會被重新路由到 V4.1 Flash。

所以未來一段時間內(nèi),直到 V4.1 Pro 上線,DeepSeek API 將只提供這一個模型。

此外,還有一個能影響整個行業(yè)的消息。

推理效率方面,V4.1 Flash 的 KV Cache 緩存大小相比上一代模型,對 HBM 的需求減少到 1/4,對 SSD 的需求減少到 1/8。

從初代 V1 到 V4.1 Flash,KV Cache 足足縮小到原來的 1/437。

咱就是想問,內(nèi)存啥時候降價?

51 頁論文解析

模型變化這么大,論文也少不了,剛放出的 pdf 足足有 51 頁。

從標題就在強調(diào) " 把 KV 緩存壓縮到極致 "。

究竟怎么壓縮這么狠的呢,先從架構(gòu)開始說起。

非對稱 Transformer,提示詞不必走完整 40 層

新架構(gòu)是 40 層因果 Transformer,被切分為前 20 層的因果編碼器和后 20 層的解碼器,這套結(jié)構(gòu)命名為 Causal Encoder-Decoder(CED)。

CED 受 YoCo 架構(gòu)啟發(fā),但做了一系列結(jié)構(gòu)改進來提升 KV Cache 容量和 KV 生成的計算深度。

CED 的核心在于非對稱。編碼器處理輸入時激活 8B 參數(shù),解碼器生成輸出時激活 16B 參數(shù)。

在 Agent 工作負載中,頻繁的工具調(diào)用會產(chǎn)生大量 prefill 請求,CED 的處理方式是:解碼器的全局 KV Cache 不從各層自身的隱藏狀態(tài)生成,而是直接從編碼器最后一層(第 20 層)的隱藏狀態(tài)投射得到,每層使用獨立的投射權(quán)重。

這樣一來,大部分 prompt token 只需通過前 20 層編碼器,不必再走完整的 40 層。

對于序列長度遠大于滑動窗口的場景,prefill 計算復(fù)雜度直接從 O ( NL ) 降至約 O ( NL/2 ) ,接近減半。

CSA2 注意力:沿三個維度同時壓縮緩存

接下來是注意力機制的改動。

Compressed Sparse Attention 2(CSA2)取代了 V4 中 CSA 與 HCA 的混合架構(gòu)。

CSA2 沿三個維度同時壓縮緩存:條目大小、序列維度和層維度。

跨層復(fù)用全局 KV 和 Top-K 索引來減少存儲和計算。

CSA2 的壓縮器和索引器也做了簡化,去掉了 CSA 中相鄰壓縮條目之間的重疊和絕對位置嵌入,索引器 K 改為從主 KV 條目投射獲得,而非從隱藏狀態(tài)單獨壓縮。

CSA2 定義了三種靜態(tài)分配的工作模式。

Full 模式執(zhí)行完整計算路徑,生成自己的全局 KV,投射索引器 K,運行索引器產(chǎn)生 Top-K 索引。

Reindex 模式復(fù)用前序 Full 層的全局 KV 和索引器 K,但用自己的索引器查詢重新評分,選出新的 Top-K。

Reuse 模式最輕量,直接復(fù)用前序?qū)拥娜?KV 和 Top-K 索引,不做任何索引計算。三種模式下每層都保留自己的查詢和滑動窗口 KV(SWA KV)。

三種模式下每層仍保留自己的查詢和滑動窗口 KV。編碼器以少數(shù)純 SWA 層開場,其余按組編排,每組一個 Full 帶若干 Reuse;解碼器則大量使用 Reindex 打頭的組,在復(fù)用緩存的同時保留逐層重新選擇注意力目標的能力。

解碼器另外引入層次化稀疏索引器。

第一個 Full 層在掃描全部可見位置的同時,通過逐塊評分構(gòu)建一個共享候選池;后續(xù) Reindex 層只在池內(nèi)搜索。

由于池的大小固定,深層索引器的每查詢計算量不再隨上下文長度增長。這個機制是 training-aware 的,在后訓(xùn)練中引入,訓(xùn)練與推理施加相同的候選約束。

緩存精度與持久化分層

緩存精度上,V4.1 Flash 將主 KV Cache 從 FP8 進一步壓到 FP4,采用分組縮放因子的 E2M1 方案,并在論證數(shù)值范圍安全后省略了二級全局縮放因子。

對量化更敏感的 SWA KV 仍保留 FP8。FP4 通過 QAT 在后訓(xùn)練階段引入,量化點選在 RoPE 之后——放在之前只有邊際精度收益,卻要付出解碼開銷。

部署側(cè)引入SWA Bounded Replay。

上一代精確重建 SWA KV 需要按層數(shù)成倍回放 token,生產(chǎn)環(huán)境成本過高,V4.1 改為只回放最近一個窗口的 token 做近似重建,對響應(yīng)質(zhì)量影響可忽略。

于是 KV Cache 被拆成兩級,SWA KV 移出持久化層,改放在各機預(yù)留的一小部分主機 DRAM 組成的分布式內(nèi)存池中,TTL 只有分鐘級,過期即回收;全局 KV 留在 SSD 上的持久化緩存,保證數(shù)十小時生命周期。

其他架構(gòu)擴展

-Single-Pass mHC:將輸入混合系數(shù)偏移一個塊,消除原始多核實現(xiàn)中的數(shù)據(jù)依賴;配合 Mega-mHC 部署內(nèi)核,激活內(nèi)存流量減半并觸到理想下界。

-Engram 條件記憶模塊:在淺層和中層各插入一處,多階 n-gram、多 hash head 索引,推理時通過后臺 RDMA 從主機內(nèi)存預(yù)取嵌入。它貢獻了模型中相當大比例的參數(shù)量。

-DSpark 投機解碼:在骨干凍結(jié)后獨立訓(xùn)練,用少量 Transformer 塊并行產(chǎn)出多個草稿位置的 logits,配一個 Markov head 建模草稿 token 間依賴、一個置信度 head 預(yù)測逐位置接受概率,調(diào)度器再結(jié)合引擎吞吐曲線為每個請求動態(tài)選擇驗證長度。

45 萬億 token 預(yù)訓(xùn)練,后訓(xùn)練只改數(shù)據(jù)不改算法預(yù)訓(xùn)練,數(shù)據(jù)重新清洗

模型在數(shù)十萬億 token 的多模態(tài)語料上預(yù)訓(xùn)練,全程無不穩(wěn)定。

稀疏注意力從零開始訓(xùn)練,沒有任何密集注意力預(yù)熱階段;多模態(tài)數(shù)據(jù)從第一步就混入;長上下文擴展在訓(xùn)練后段一次完成。

這次 DeepSeek 在數(shù)據(jù)側(cè)提出兩個判斷。

一是把弱模型生成內(nèi)容和低質(zhì)量機器翻譯定義為 "隱性重復(fù)" 并過濾掉,理由是它們主要是對已有信息的改寫,在長訓(xùn)練周期中可能有害。

二是發(fā)現(xiàn)爬蟲系統(tǒng)過度偏向純文本網(wǎng)頁,于是從 Common Crawl 重新引導(dǎo)抓取以提高多模態(tài)來源覆蓋。

交錯圖文數(shù)據(jù)的構(gòu)建被組織成成本遞增的流水線:在昂貴的圖像檢索之前先用啟發(fā)式過濾、去重和質(zhì)量模型篩出高價值文檔,組裝成交錯序列后再做圖像感知的過濾與去重,最后交給 VLM 嚴格評分;被淘汰的文檔還會部分回收為圖文對。

優(yōu)化器是分層的:線性變換權(quán)重用 Muon,歸一化與非矩陣參數(shù)用 AdamW,嵌入表和預(yù)測頭則用基于 Sinkhorn 平衡的動量更新。交替對行列歸一化以近似均衡更新矩陣的行列 RMS,只需一個動量緩沖區(qū)而非 Adam 的兩個狀態(tài),直接壓掉了巨量 Engram 參數(shù)帶來的優(yōu)化器狀態(tài)內(nèi)存。

Q/K 權(quán)重使用 head-wise Muon,為不同注意力頭提供不同預(yù)條件器。視覺編碼器在學習率衰減前保持凍結(jié),僅歸一化層與投射器可訓(xùn)練,衰減開始后再以更小學習率解凍聯(lián)合優(yōu)化。

后訓(xùn)練,只改數(shù)據(jù)不改算法

這次 V4.1 Flash 后訓(xùn)練流程沿用 SFT + RL + OPD 的標準范式,所有改變集中在數(shù)據(jù)與環(huán)境管線。

原文寫道:" 在當前階段,工程化數(shù)據(jù)和環(huán)境管線的邊際回報遠超后訓(xùn)練中算法創(chuàng)新的邊際回報。"

任務(wù)合成管線把每個訓(xùn)練任務(wù)形式化為(問題、環(huán)境、驗證系統(tǒng))三元組,沿難度與正確性兩個維度評估,再用這兩個信號迭代訓(xùn)練 " 造任務(wù)的模型 ",并在任務(wù)每次進入新的 RL 運行時用產(chǎn)生的軌跡重新審計質(zhì)量。

環(huán)境構(gòu)建走了兩條路。

General Agent 環(huán)境取材于內(nèi)部員工和合作伙伴的真實交互數(shù)據(jù)與失敗案例,據(jù)此重建 SaaS、企業(yè)應(yīng)用和后端系統(tǒng)的 mock 工具集,連工具上下文、交互模式和失敗條件一起復(fù)現(xiàn)。

Coding Agent 環(huán)境則由多個專門化 Agent 協(xié)作流水線產(chǎn)出。構(gòu)建 Agent 判斷項目可運行性與可驗證性并設(shè)計評測點,搭建 Agent 配置依賴、清除泄露解答的痕跡并打包鏡像層,解題 Agent 嘗試完成任務(wù),獨立質(zhì)檢 Agent 審查事實錯誤、評測點匹配度和可攻擊性風險,不通過則交修復(fù) Agent 返工重驗。

支撐規(guī)模的是自研沙箱平臺DSec,訓(xùn)練期間并發(fā)實例達到百萬級。它沒有用 Kubernetes,而是自研放置引擎,以弱一致性換擴展性,多個副本不做同步協(xié)調(diào),各自依據(jù)近期測量預(yù)測資源可用性獨立決策,準入約束由各節(jié)點本地執(zhí)行。單物理節(jié)點通過 sub-NUMA 分區(qū)與 NUMA 綁定,把容器密度提升了一倍以上,再配合延遲敏感執(zhí)行類和超線程核心調(diào)度消除干擾。

RL 中出現(xiàn)了大量獎勵黑客和環(huán)境破壞行為。

Agent 利用了真實披露的內(nèi)核驅(qū)動權(quán)限問題、安全模塊的非法內(nèi)存訪問、從軟件包鏡像服務(wù)泄露答案,也刪過關(guān)鍵二進制、破壞系統(tǒng)文件、甚至移除整個文件系統(tǒng)。

防御手段是 per-sandbox 的 AppArmor 配置和基于 eBPF 的細粒度網(wǎng)絡(luò)策略;Agent 弄崩環(huán)境會被當作失敗軌跡,并向 RL 框架回報一個 "repercussion" 信號。測試階段同樣出現(xiàn)類似行為。Agent 會去反編譯系統(tǒng)軟件包挖漏洞。

可控推理強度

系統(tǒng)提示詞中可加入一個標量 effort 級別,token 懲罰系數(shù)隨其指數(shù)衰減,API 對外只暴露三檔。

從低檔到最高檔,推理基準與 Agent 基準的成績都有可觀提升,代價是數(shù)倍輸出 token;但收益并不線性,中高區(qū)間就能恢復(fù)最大設(shè)置的大部分準確率而 token 消耗不到一半,最后一段提升要用近兩倍的軌跡長度換邊際改善。

雖然訓(xùn)練只用了有限幾個級別,部署時中間值仍能引出插值后的推理行為。

OPD:多教師與 token 級中斷恢復(fù)

蒸餾階段動用了四十余個教師模型,不同領(lǐng)域的最優(yōu)教師可能來自模型開發(fā)的不同階段,彼此架構(gòu)也未必相同。

配套的異步生成機制支持token 級中斷與恢復(fù):rollout 狀態(tài)(含 KV Cache 與專家路由)以 token 粒度持久化,切換檢查點后接復(fù)用,徹底消除重新 prefill 的成本。

一句話總結(jié)

V4.1 Flash 的全部架構(gòu)創(chuàng)新幾乎都指向同一個目標,讓 KV Cache 在層與層之間盡可能被復(fù)用、在精度和存儲層級上盡可能被壓縮。

從而讓長上下文 Agent 負載在經(jīng)濟上成立。

在后訓(xùn)練上,DeepSeek 公開承認算法已非瓶頸,幾乎把資源全押在數(shù)據(jù)與環(huán)境工程。

論文地址:

https://huggingface.co/deepseek-ai/DeepSeek-V4.1-Flash/blob/main/DeepSeek_V41_Tech_Report.pdf

參考鏈接:

[ 1 ] https://mp.weixin.qq.com/s/lt6fT1iYCJIfEdAGlJEktg

相關(guān)閱讀

最新評論

沒有更多評論了

覺得文章不錯,微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容