电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER Skills GEO服務(wù) 合作
IT之家 10-04

蘋(píng)果 MacBook Pro 外接 iPhone 17 Pro Max 運(yùn)行 AI 模型,預(yù)填充性能最高提升 44%

IT 之家 10 月 4 日消息,Qwen3.8 27B 是一款性能不錯(cuò)的人工智能模型,但前提是設(shè)備擁有足夠的顯存與系統(tǒng)內(nèi)存。搭載 M4 Pro 芯片的 MacBook Pro 僅有 24GB 統(tǒng)一內(nèi)存,在運(yùn)行該 AI 模型時(shí),預(yù)填充速度會(huì)因此受到限制。據(jù) Wccftech 報(bào)道,有一名用戶(hù)通過(guò) USB C 接口將 iPhone 17 Pro Max 外接至這臺(tái)便攜 Mac 電腦上,并借助自制軟件,使得該 AI 模型的預(yù)填充性能最高提升了 44%。

IT 之家注意到,為突破這臺(tái) Mac 24GB 統(tǒng)一內(nèi)存的上限,Reddit 用戶(hù) "u/StayLameBro" 采用兩種方式,把運(yùn)算任務(wù)拆分交給 Mac 本機(jī)和 iPhone 17 Pro Max 協(xié)同處理。針對(duì)預(yù)填充加速,MacBook Pro 負(fù)責(zé)處理每一批 256 個(gè) token 當(dāng)中的第 1 至 40 層,再將激活值數(shù)據(jù)流傳輸?shù)绞謾C(jī)端;與此同時(shí),iPhone 利用 A19 Pro 的 GPU 運(yùn)行第 41 至 64 層,而 Mac 這邊則已經(jīng)開(kāi)始處理下一批數(shù)據(jù)。依靠 GPU 運(yùn)算,手機(jī)端的運(yùn)行速度相比不使用 GPU 時(shí)提升約 2.4 倍。

整套方案里,神經(jīng)網(wǎng)絡(luò)引擎也沒(méi)有閑置。每 16K 長(zhǎng)度的舊上下文會(huì)被編譯為一套神經(jīng)網(wǎng)絡(luò)引擎模型。在 140K 上下文長(zhǎng)度下,相較于僅使用 A19 Pro 的 GPU,單 token 寫(xiě)入耗時(shí)從 279 毫秒縮短至 176 毫秒。拿將一份 2000token 的文件預(yù)填充并保存會(huì)話(huà)這項(xiàng)任務(wù)來(lái)看性能表現(xiàn):上下文設(shè)為 8K 時(shí),僅靠 Mac 本機(jī)的速度是每秒 132 個(gè) token;外接 iPhone 之后達(dá)到每秒 177 個(gè) token,性能提升 35%。上下文設(shè)為 16K 時(shí),速度從每秒 109 個(gè) token 上漲至每秒 157 個(gè) token,增幅高達(dá) 44%。

當(dāng)上下文窗口設(shè)置為 32K 時(shí),預(yù)填充速度從每秒 101 個(gè) token 提升至每秒 130 個(gè) token,性能改善 29%。把 iPhone 17 Pro Max 外接在 M4 Pro 版 MacBook Pro 上,使用這套自制軟件,按理可以得到十分出色的預(yù)填充速度。可惜正如這名 Reddit 用戶(hù)指出的,現(xiàn)實(shí)并沒(méi)有這么美好,這套方案還存在若干局限。舉例來(lái)說(shuō),在 64K 以?xún)?nèi)的場(chǎng)景,手機(jī)并不會(huì)加速文本生成,文本生成的工作依舊全部交由 Mac 完成。

另外值得一提的是,驅(qū)動(dòng) iPhone 18 Pro 以及 iPhone 18 Pro Max 的 A20 Pro 芯片有望提供更大的性能余量。一方面它本身的整體性能更強(qiáng);另一方面它配備雙 16 核神經(jīng)網(wǎng)絡(luò)引擎。據(jù)稱(chēng),針對(duì)專(zhuān)門(mén)適配神經(jīng)網(wǎng)絡(luò)處理器的任務(wù),這款引擎的數(shù)據(jù)吞吐能力甚至超過(guò)該系統(tǒng)級(jí)芯片內(nèi)置的 7 核 GPU。這套自制軟件目前已經(jīng)開(kāi)源,可以在 GitHub 上下載,項(xiàng)目名稱(chēng)叫作 "backburner"。

即便僅僅作為一項(xiàng)實(shí)驗(yàn),也能夠看出預(yù)填充速度提升帶來(lái)的收益相當(dāng)可觀。后續(xù)自然還有繼續(xù)挖掘性能潛力的空間;不過(guò)這或許也意味著,未來(lái) iPhone 這類(lèi)設(shè)備也有可能步入和內(nèi)存、固態(tài)硬盤(pán)一樣的供貨緊缺階段。

相關(guān)標(biāo)簽

相關(guān)閱讀

最新評(píng)論

沒(méi)有更多評(píng)論了
IT之家

IT之家

數(shù)碼,科技,生活

訂閱

覺(jué)得文章不錯(cuò),微信掃描分享好友

掃碼分享

熱門(mén)推薦

查看更多內(nèi)容

企業(yè)資訊

查看更多內(nèi)容