电竞比分网-中国电竞赛事及体育赛事平台

關于ZAKER Skills GEO服務 合作
鈦媒體 昨天

每天 500 萬億 Token 背后,KV Cache 正把存儲墻推到臺前

過去二十年,服務器峰值浮點算力每兩年增長約 3 倍,而 DRAM 帶寬每兩年只增長 1.6 倍,互連帶寬僅 1.4 倍,這就形成了行業(yè)內(nèi)稱之為存儲墻的痛點,而這個問題其實已經(jīng)存在很久,而如今的 AI 時代,隨著計算能力的增強及其對數(shù)據(jù)需求量的擴大,據(jù)中國信通院統(tǒng)計,中國每天平均的 Token 消耗量,從 2024 年的 1000 億,躍升到 2025 年 8 月的 500 萬億,一年多時間增長了約 5000 倍。在此背景下,存儲墻問題也被放大了。

推理時代,算力與存儲必須加強融合

大模型推理的核心流程之一,是自回歸解碼,模型每生成一個 Token,都要回頭看一遍之前所有的上下文。如果每次都重新計算全部歷史數(shù)據(jù),算力會被海量的重復計算消耗殆盡。于是 KV Cache 誕生了,它把中間計算結果緩存起來,用 " 以存換算 " 的方式跳過重復計算。這個機制極大地減少了計算開銷,但它同時埋下了一顆雷:數(shù)據(jù)越攢越多,而緩存總得有地方放。

這個問題隨著 Token 消耗量的提升在不斷被放大,對此,聯(lián)想集團首席科學家肖利民告訴我們,過去典型的 AI 應用是一問一答的對話機器人,如今變成為能夠感知、會規(guī)劃、能執(zhí)行任務的數(shù)字員工。實際上,每一次 Agent 執(zhí)行任務,背后都是動輒數(shù)十輪、上下文動輒數(shù)萬 Token 的推理調(diào)用。

而推理,恰恰是對存儲要求最高的環(huán)節(jié)。KV Cache 的存放問題,本質(zhì)上是一場空間擠壓戰(zhàn),數(shù)據(jù)如放全部在 GPU 顯存,顯存通常不夠用,進而人們想到將數(shù)據(jù)卸載到 CPU 直連內(nèi)存,但 CPU 直連內(nèi)存容量同樣扛不住。因此,數(shù)據(jù)很自然地再往外卸到外部存儲,但是 GPU 無論走 PCIe 或網(wǎng)絡去訪問外部存儲,帶寬和延遲與訪問本地顯存相比,存在數(shù)量級的差距," 數(shù)據(jù)在外部存儲和 GPU 之間搬運的開銷,往往會拖累推理性能。" 肖利民指出。

在此背景下,推理基礎設施就出現(xiàn)了兩個痛點。一個是 KV 可用的 GPU 顯存和 CPU 直連內(nèi)存容量不足,一個是 GPU 訪問外部存儲的開銷太大。業(yè)界現(xiàn)有的主流方案是 KV Cache 卸載到外部共享 CXL 內(nèi)存池,但該方案主要解決前一個問題,通過 CXL 交換機,把內(nèi)存資源與 CPU 解耦,實現(xiàn)獨立彈性擴容和多主機共享。但對后一個痛點,也就是 GPU 訪問 CXL 內(nèi)存池開銷大問題,始終力不從心。

實際上,更底層的核心問題是存儲硬件與計算硬件的發(fā)展速度不匹配。計算性能的提升速度遠快于存儲,而且這個差距還在逐年拉大。這就是計算機體系結構領域經(jīng)典的存儲墻問題,而這個問題從來沒有被完全真正解決過,人們用多級緩存等各種手段不斷緩解它,但緩解不等于消除。大模型推理的爆發(fā),不過是把這道舊墻,重新又推到了所有人的面前。

于是,存算融合的思路呼之欲出:既然把數(shù)據(jù)搬到算力那邊成本太高,那就反其道而行之,把計算單元搬到數(shù)據(jù)旁邊去。與其讓海量的 KV 數(shù)據(jù)經(jīng)過 PCIe 鏈路在 GPU 和外部存儲之間奔波,不如讓計算單元駐扎在內(nèi)存旁邊,就地處理數(shù)據(jù),只把計算結果傳回來。

對此,肖利民給出的路徑是,把內(nèi)存池化技術和近存計算技術結合在一起,構建一套面向大模型推理的存算融合池化系統(tǒng),用內(nèi)存池化解決 KV Cache 的大容量擴容和跨實例共享,用近存計算在內(nèi)存池內(nèi)嵌計算單元,把 attention 這類訪存密集型算子下沉到內(nèi)存池一側,從整體上降低端到端的推理時延、提升系統(tǒng)吞吐。

在肖利民看來,這條路線并不算激進," 技術的發(fā)展通常是逐步演進的," 他進一步指出," 現(xiàn)階段算力基礎設施出現(xiàn)斷崖式重寫的可能性不大,但推理負載帶來的這些新變化,確實需要更多創(chuàng)新技術被引入到推理算力基礎設施里面去,存算融合池化技術就是這個演進過程中一個非常重要的技術點。"

平衡點在哪?

從當前存算融合技術路徑上看,主要分為 CIM(存算一體)、PIM(存內(nèi)計算)、以及 PNM(近存計算)三條路徑。前兩者通常把計算單元直接做到了存儲芯片內(nèi)部,帶寬極高、延遲極低,這種做法在某種意義上已經(jīng)算是存算一體了,但這通常需要改變現(xiàn)有存儲器本身的結構,屬于高度定制化的硬件,與現(xiàn)有的軟件生態(tài)難以兼容。對任何一個要考慮產(chǎn)品化落地的團隊來說,這都是一道需要攻克的坎。

有鑒于此,在肖利民看來,不改動存儲器本身結構的 PNM 是當下較為現(xiàn)實的路徑。對此,肖利民表示,把計算單元放置在存儲器的邊上、內(nèi)存控制器的位置,既拉近了計算與存儲的距離,又不改動存儲器原有的結構,從源頭上維持了與現(xiàn)有軟硬件生態(tài)的兼容性。這個選擇背后是清醒的商業(yè)判斷:" 我們未來要真正落地做產(chǎn)品化實現(xiàn),兼容現(xiàn)有生態(tài)的路徑會有很大的優(yōu)勢。" 肖利民解釋道。

但在實現(xiàn)近存計算的產(chǎn)品化路上,還有很多挑戰(zhàn)。其中肖利民認為最大的挑戰(zhàn)有兩個。第一個是近存計算單元放置策略選擇上的兩難。計算單元要既離存儲足夠近,又不對現(xiàn)有生態(tài)產(chǎn)生大的改變,放在哪里本身就是一道難題。選定了內(nèi)存控制器附近之后,新的問題接踵而至,內(nèi)存控制器原本就承擔著來自主機的訪存請求,如今旁邊又多了一個近存計算單元的訪存請求,兩路請求同時涌向存儲器,沖突不可避免。團隊的解決辦法是在內(nèi)存總線上內(nèi)置一套 QoS 仲裁機制,對兩路不同的訪問進行仲裁調(diào)度,既避免沖突,又保證兩邊的服務質(zhì)量不會互相拖累,還能維持一定的公平性。" 存儲總線的速率高,如何做沖突檢測,如何保證兩邊的 QoS 不往下掉,同時還要保證公平性,確實是個較為復雜的問題。" 肖利民強調(diào)道。

第二個是算子相對固化與模型快速迭代之間的矛盾。大模型幾乎每隔幾個月就要更新?lián)Q代,而硬件計算單元相對固化。聯(lián)想采用的是指令驅(qū)動的可重構計算編排思路,讓同一套硬件通過指令驅(qū)動算子編排適配不同模型的計算需求,緩解了這個矛盾。

除此之外,在軟件實現(xiàn)和負載運行層面,還要面臨如何用統(tǒng)一編址實現(xiàn)算力統(tǒng)一納管和高效調(diào)用?多機共享內(nèi)存池時如何保證數(shù)據(jù)一致性?以及一次推理請求到來時,哪些計算該下沉到內(nèi)存池側、哪些留在 GPU 本地算、KV 該不該卸載等問題,這些問題都需要尋找到一個最佳的平衡點。據(jù)肖利民介紹,聯(lián)想研究院智能計算基礎設施團隊為此建立了一個成本分析模型,根據(jù)鏈路拓撲、上下文長度等輸入動態(tài)決策,在編排策略上按頭切分 KV 并與 GPU 張量并行策略對齊,盡量避免設備之間的通信,提高設備并行計算效率。

當所有問題都找到解決的平衡點之后,聯(lián)想團隊進行了測試,肖利民介紹,他們在三個核心模塊上進行了分項性能測試。在內(nèi)存池卸載方面,與 NVMe 層池化方案對比,在固定輸入長度場景下,首 Token 延遲(TTFT)可降低 3.5 倍;多輪對話場景下可降低 2.4 倍,且隨著對話輪次增多,優(yōu)勢愈發(fā)明顯;在 KV 跨實例共享方面,借助內(nèi)存池實現(xiàn) KV 復用,相比完全重算,首 Token 延遲最高加速 12~28 倍;相比 RDMA 分布式內(nèi)存架構,也有 2~3 倍的加速;在存算融合方面,把注意力計算下沉到內(nèi)存池側后,解碼延遲可降低 2.5 倍,同時騰出大量顯存,用以支持更長上下文、更大規(guī)模的模型。為驗證對大模型推理的整體加速效果,聯(lián)想團隊還進行了端到端推理性能測試。在推理延遲方面,與 RDMA 分布式內(nèi)存池相比,取得了 2~3 倍的加速;在系統(tǒng)吞吐方面,性能提升更為可觀,隨著上下文變長,系統(tǒng)吞吐提升 6~20 倍。

從 G2.5 到 G1.5 是接下來要做的事

肖利民團隊目前實現(xiàn)的是 G2.5 層次的基于內(nèi)存池化和近存計算技術的存算融合池化系統(tǒng)。但肖利民告訴我們,接下來從 G2.5 向 G1.5 演進將會是重點研發(fā)的方向之一。

具體來說,其思路是借助超級節(jié)點里 scale-up 高速互連技術,把共享存算融合池進一步向 GPU 靠攏,從 G2.5 推進到 G1.5 層次,進一步縮短訪問路徑。" 一旦超節(jié)點成為 AI 系統(tǒng)主流,利用它里面 scale-up 高速互連,不僅享有 G2.5 已獲得的收益,而且在計算與存儲的互連帶寬、延遲上,都會比現(xiàn)有互連網(wǎng)絡有一個數(shù)量級的提升。" 肖利民說。在硬件上,3D 堆疊封裝、TSV 垂直互連等技術逐漸成熟后,也有望進一步提升存算之間的帶寬密度;軟件上則會持續(xù)擴展算子庫,適配更多主流模型。肖利民同時強調(diào),隨著芯片新技術的日益成熟,團隊會在 " 存算融合 " 理念下會吸納更多新的芯片技術,使得推理性能在現(xiàn)有水平上再提升一個層次。

在肖利民看來,聯(lián)想存算融合池化技術的差異化特色,主要在于將內(nèi)存池化和近存計算相結合,同時解決容量不足和訪存開銷大這兩大難題。" 目前國內(nèi)外相關工作大多聚焦于怎么做出一個大容量內(nèi)存池,解決 KV Cache 容量不足的問題;或者,通過存算融合技術,緩解訪存開銷大的問題 " 肖利民進一步指出," 目前暫未見到把近存計算引入到大容量內(nèi)存池里,同時 KVcache 解決容量不足和訪存開銷大兩個難題的產(chǎn)品。"。

當然,算力基礎設施技術的演進并不會一蹴而就,目前階段出現(xiàn)類似 AI 技術的 "GPT 時刻 " 的可能性不太大。在肖利民看來,在算力基礎設施中,計算、存儲、通信、調(diào)度多種要素交織在一起,相互融合、協(xié)同優(yōu)化," 某一塊跑快了,另一塊拖后腿,然后被加快,再又換一塊成了短板,有點像是按下葫蘆浮起瓢。" 肖利民進一步表示," 我們的存算融合池化技術不是要終結這樣一種局面,而是在大模型推理負載把存儲墻問題推到舞臺中央之后,通過近存計算靠近大內(nèi)存池的方式,來加速大模型推理性能。實際上,更為理想的方式,不僅局限于存儲和計算的融合,而是圍繞計算、存儲、通信、調(diào)度多種要素做系統(tǒng)性的協(xié)同優(yōu)化,以實現(xiàn)算力基礎設施及其上運行大模型推理應用的更大性能提升。"

相關閱讀

最新評論

沒有更多評論了

覺得文章不錯,微信掃描分享好友

掃碼分享

熱門推薦

查看更多內(nèi)容

企業(yè)資訊

查看更多內(nèi)容