电竞比分网-中国电竞赛事及体育赛事平台

關(guān)于ZAKER 合作
愛范兒 04-02

十年時間,移動影像抵達「入??凇?/h1>

1975 年的冬天,柯達應(yīng)用電子研究中心的工程師 Steven Sasson,在實驗室里拼湊出了一臺古怪機器。

它重達 8 磅、僅 1 萬像素,按下快門后,需聽著沉悶的機器運轉(zhuǎn)聲等待漫長的 23 秒,才能將一張黑白照片寫入到飛利浦卡式磁帶里。

面對極低的像素和數(shù)據(jù)存儲速度,Steven Sasson 認為這玩意還需要 15 到 20 年才能真正和膠卷競爭。

之后二十年,影像行業(yè)滄海桑田。影像載體加速數(shù)字化,并在二十一世紀的頭一個十年,終于如 Steven Sasson 所愿,終結(jié)了膠卷時代。但那時,相機依舊屬于「家庭重資產(chǎn)」,人類還沒法隨心所欲地拍照,更遑論視頻創(chuàng)作。

直到移動影像時代來臨。

剛剛發(fā)布的 vivo X300 Ultra,搭載第五代驍龍 8 至尊版,拋出了一個令人側(cè)目的規(guī)格:全焦段 4K 120 幀 10-bit Log 視頻。

此時回頭看去,才發(fā)現(xiàn)人類用五十年的時間,建造了一條數(shù)字大運河,并讓每個人都能行船其上。

底層擴容,鯨吞光影

這條運河里奔涌的河水,本質(zhì)上就是海量的「密集影像信號」。

這個聽起來頗為學術(shù)、有些距離的詞,實際與每個舉起手機按快門的人息息相關(guān)——

回想一下早年的智能手機,你一定對這樣的畫面不陌生:高光死白、暗部死黑、色彩斷層、幀數(shù)不高,還伴隨著揮之不去的噪點。

▲ iPhone 4s 拍攝的夜景畫面,圖片來自 @PhoneArena

視覺上的災(zāi)難,本質(zhì)上都是因為底層圖像信號處理器(也就是我們更熟悉的 ISP)「咽不下」龐大的信號。

那時的手機只有 8-bit 的量化精度。一旦環(huán)境光比超過傳感器的承載極限,高光區(qū)域的電平就會發(fā)生不可逆溢出,變成一片死白;而信號的暗部,則會被 ISP 粗暴地抹平成一團帶有噪點的死黑。并且物理級的信息丟失,任何后期軟件都無力回天。

這個痛點,比我們想象中更持久。

廠商曾試圖用增大傳感器面積換取更大的動態(tài)范圍解決這個問題。但時至今日,在極度受限的機身內(nèi)部,單純堆疊物理尺寸的路徑已逼近極限,后端 ISP 變得愈發(fā)重要。

▲ 手機內(nèi)部空間已經(jīng)被影像模組與電池瓜分,圖片來自 @Notebookcheck

過去很長一段時間,受限于物理規(guī)格,手機的算力中樞停留在 14-bit 雙 ISP 階段,隨著傳感器捕捉的信息愈發(fā)龐大,ISP 的數(shù)據(jù)管道必須隨之拓寬。

從 2020 年驍龍 888 引入 14-bit 三 ISP 以應(yīng)對并發(fā)數(shù)據(jù),到后來 Spectra ISP 迭代至 18-bit,移動平臺將影像數(shù)據(jù)的處理帶寬擴容了 4096 倍。如今,為了承載更密集的影像信號,vivo X300 Ultra 搭載的第五代驍龍 8 至尊版 Qualcomm Spectra ISP 順理成章地邁入了 20-bit AI 三 ISP 時代。

別小看這區(qū)區(qū) 2-bit。在數(shù)字底層,這個單位的任何變化都呈指數(shù)級海嘯:單通道色彩的量化層級從 26 萬平穩(wěn)過渡到了 104 萬級,為底層數(shù)據(jù)提供了 4 倍的動態(tài)范圍余量。

依托這層寬裕的物理基底,vivo 與高通在底層影像管線上,完成了深度的聯(lián)合調(diào)優(yōu)。

結(jié)果也很生猛:X300 Ultra 實現(xiàn)了全焦段 14EV 的動態(tài)范圍覆蓋。

這股龐大的數(shù)據(jù)余量,被悉數(shù)灌注進了兩個極其考驗底層的專業(yè)規(guī)格中—— Log 格式,與杜比視界。

在 Log 模式下,20-bit AI 三 ISP 負責將傳感器捕捉到的線性信號,實時映射為對數(shù)曲線。由于底層采樣精度的提升,手機保留了更豐富的原始信息,從而在后期調(diào)色時能有效抑制色階斷層,擴展了后期處理的邊界;而在杜比視界標準下,算力則體現(xiàn)為對動態(tài)元數(shù)據(jù)(Dynamic Metadata)的封裝精度。它能夠更準確地對準每一幀的亮度與對比度信息,使高光與暗部的 HDR 層次得到如實呈現(xiàn)。

落實到實際體驗上,效果也很明顯——我們帶著 X300 Ultra 去拍攝了一場「熱帶極光」,憑借 Log 格式極其優(yōu)秀的動態(tài)范圍與寬容度,我們在夜半時分記錄到離島的漁船照亮了天際。

經(jīng)過后期還原后,漸變的天空過渡自然柔和,沒有出現(xiàn)色彩斷層,噪點抑制表現(xiàn)堪稱優(yōu)秀。

至此,原本屬于影視工業(yè)的寬容度規(guī)格被集成進移動芯片,在底層鑿出一條數(shù)字運河的航道。普通人也就能隨時隨地、以手機拍攝出更高規(guī)格且具備后期空間的視頻,進而有了更多的創(chuàng)作可能。

多攝并發(fā),變焦絲滑

解決了單顆鏡頭的明暗寬容度,只是完成了靜態(tài)畫面的重構(gòu)。

但視頻的核心在于敘事的連貫性,這就引出了移動影像長久以來的另一個痛點:變焦卡頓。

在拍攝視頻時,我們常需要推拉鏡頭來切換視角。但滑動變焦環(huán)時,畫面往往會伴隨一陣不易察覺的跳動,色彩和白平衡也會發(fā)生突兀的偏轉(zhuǎn)。

影像的敘事感,就這樣被硬件的遲鈍瞬間撕裂。

癥結(jié)在于手機內(nèi)部的鏡頭各自為戰(zhàn)。它們素質(zhì)各異且受控于獨立時鐘,傳統(tǒng) ISP 的「冷啟動」策略只能在變焦瞬間倉促切換。時間戳一旦錯位,畫面的跳幀與色彩斷層便注定發(fā)生。

▲ 傳統(tǒng)專業(yè)攝影中,時間戳的對齊需要參照全球時間

要在移動設(shè)備上實現(xiàn)順滑的變焦推拉,就必須在底層強行打通這些相互獨立的硬件。

在 vivo X300 Ultra 實現(xiàn)全焦段高規(guī)格視頻錄制的背后,第五代驍龍 8 至尊版用兩套相互咬合的底層機制將硬件扣合起來——

20-bit AI 三 ISP 撐起龐大數(shù)據(jù)吞吐,讓三顆鏡頭得以在后臺保持熱并發(fā)狀態(tài)。即使當前只用主攝錄制,超廣角和長焦的 ISP 通道也已經(jīng)在后臺同步運行著 3A(自動對焦、自動曝光、自動白平衡)算法,為隨時上場熱好身。

與此同時,第五代驍龍 8 至尊版的高通多攝同步系統(tǒng)(MSCC),扎進最底層的硬件總線,給這些原本各自為戰(zhàn)的鏡頭,強制下發(fā)了一個統(tǒng)一的「全局時鐘」。

廣角、超廣角、長焦。

無論它們的物理位置有多遠,傳感器素質(zhì)有多大差異,底層的死命令只有一個:

在同一個微秒,同時曝光;在同一個瞬間,讀取數(shù)據(jù)。

時間軸,被徹底鎖死。

兩套機制并發(fā)運行,以此換取 vivo X300 Ultra 跨鏡頭推拉時,不同傳感器之間的數(shù)據(jù)交接平穩(wěn)過渡,從而緩解了跳幀與白平衡漂移的痼疾。

專業(yè)影像領(lǐng)域如河流般暗流涌動,如果沒有堅固巨艦為依托、嚴密的團隊做協(xié)同,不得逐浪其中。

如今,底層芯片的算力在小小的機身內(nèi)部,用數(shù)字邏輯管控物理秩序,讓沒有資金與團隊的創(chuàng)作者,也能泛舟而行。

編解碼,與算力雙向奔赴

在影像領(lǐng)域,長期存在著一個反直覺的「算力悖論」:

在普遍認知中,相機處理器并非性能怪獸,卻能吞吐洪流般的超高規(guī)格視頻數(shù)據(jù);我們手中搭載著強悍 SoC、能夠高幀渲染游戲大作的智能手機,但在持續(xù)的極致影像記錄時捉襟見肘。

究其根本,相機的處理器(ASIC)生來只為影像服務(wù);而手機作為復雜的數(shù)字樞紐,真正留給影像的算力其實并不富裕。

算力的拮據(jù),逼迫過去的手機不得不向存儲空間妥協(xié)——普遍采用 H.264 或 H.265 等幀間壓縮(Long GOP)格式,只記錄關(guān)鍵幀和差異信息。這種做法極大地壓縮了體積,卻也徹底破壞了畫面的物理空間信息。

▲ H.264 編解碼原理,圖片來自 @ResearchGate

沒有后期的底氣,所有的前期快門都不過是碰運氣。

一旦將這種素材導入剪輯軟件進行二級調(diào)色,哪怕只是輕微拉扯一下陰影或高光曲線,畫面立刻會暴露出大面積的馬賽克色塊與嚴重的色彩斷層。

后期的調(diào)色空間被死死鎖住,創(chuàng)意的落地、創(chuàng)作的可行,都無從談起。

隨著 vivo X300 Ultra 上市,長期以來的固有認知正在失效,4K 120fps Log 這類專業(yè)格式,來到手掌的方寸之間。

除了 20-bit AI 三 ISP 的持續(xù)發(fā)力,讓有著高后期空間、創(chuàng)意可能的格式來到我們手上,此外,編解碼器也功不可沒——在 vivo X300 Ultra 上,vivo 與高通互相協(xié)作,成為國內(nèi)首個落地 APV 422 編碼的智能手機。

APV 采用的是專為非線性編輯(NLE)打造的「幀內(nèi)壓縮」,將每一幀畫面的色彩深度與亮度信息獨立、完整地封存起來。將 APV 422 格式的素材在達芬奇中調(diào)色,畫面會展現(xiàn)出相當強的韌性,在應(yīng)對節(jié)點式操作或復雜的 LUT 映射時,也能有效支撐起暗部細節(jié)與高光過渡,大幅減少了以往手機視頻一拉曲線就出現(xiàn)馬賽克與色階斷層的尷尬。

更友好的是,在提供與影視標桿 ProRes 幾乎同等極致畫質(zhì)的前提下,APV 的底層編碼機制讓文件體積進一步降低了約 10%。

在內(nèi)存價格飛漲的大環(huán)境下,編碼效率提升有助于創(chuàng)作者開源節(jié)流,能省下不少錢。

性能與編解碼器技術(shù)的雙向奔赴,為這條大運河打造了高規(guī)格的「數(shù)字集裝箱」,將信號完整且順暢地運送到后期工作流,手機得以擁有與專業(yè)數(shù)字電影機全鏈路閉環(huán)無二的創(chuàng)作潛力。

移動影像抵達入???/b>

2014 年,vivo 推出 Xshot 拍照旗艦,與 X 超薄、Xplay 大屏兩臺機型一起組成三位一體產(chǎn)品線。

這臺手機搭載 1300 萬像素的索尼第二代堆棧式傳感器、F1.8 的大光圈、光學防抖和雙色溫補光燈。而另一個沒那么引人注目的配置,是 Xshot 配備的驍龍 801 處理器引入了雙 ISP 架構(gòu),用以解決快門遲滯問題,并為高頻作用的 OIS 光學防抖計算補償角度,提供算力支持。

▲ vivo Xshot,圖片來自 @vivo

用底層算力輔助物理防抖的工程雛形,在今天演變?yōu)榈谖宕旪?8 至尊版上 OIS 與 EIS 極高頻數(shù)據(jù)握手的全焦段防抖鏈路。

非常巧妙的呼應(yīng)。

此后十余年,手機影像能力一路狂奔,所產(chǎn)生的數(shù)據(jù)從溪流匯聚成洪流。 承載洶涌信息的河道,也持續(xù)擴容。

回溯至 X100 Ultra,行業(yè)首次將 2 億像素長焦塞入受限的機身時,瞬間快門帶來龐大數(shù)據(jù)擁堵。高通引入認知 ISP(Cognitive ISP),在底層提供了硬件級的實時語義分割與算力冗余,讓高像素的數(shù)據(jù)吞吐不再伴隨漫長的處理黑屏,干凈利落。

到了確立專業(yè)影像基調(diào)的 X200 Ultra,戰(zhàn)線被推進至更為嚴苛的暗光 4K 視頻。面對極低信噪比的環(huán)境,依托驍龍底層的異構(gòu)計算平臺,影像架構(gòu)完成了從傳統(tǒng) ISP 向 NPU(神經(jīng)網(wǎng)絡(luò)處理器)的深度交接。通過將 AI 算力前置到 RAW 域進行幀級降噪,手機終于跨越了小尺寸傳感器在夜景視頻中的進光量枷鎖,實現(xiàn)了干凈、可用的動態(tài)記錄。

每一次前端模組與傳感器的激進探索,都在對底層的吞吐能力發(fā)出嚴苛拷問。

如今,在 X300 Ultra 上,這場向底層索要寬容度的漫長工程,終于觸碰到了工業(yè)級影像標準的邊界。

回頭,移動影像從「拍到」到「拍好」的河道蜿蜒漫長;前眺,從「記錄」邁向「創(chuàng)作」的汪洋近在眼前。

數(shù)據(jù)洪流激蕩交匯,驍龍筑起的河床向?qū)挾小?/strong>

移動影像,終于在此刻抵達入??凇?/p>

相關(guān)標簽

相關(guān)閱讀

最新評論

沒有更多評論了

愛范兒

愛范兒

發(fā)現(xiàn)創(chuàng)新價值的科技媒體

訂閱

覺得文章不錯,微信掃描分享好友

掃碼分享

企業(yè)資訊

查看更多內(nèi)容