記者：昄菲
H.266/WC于2020年7月正式發(fā)布，由國際標準化組織ISO、國際電工委員會(huì )IEC和國際電信聯(lián)盟電信標準化部門(mén)ITU-T等聯(lián)合制定。與上一代國際視頻編碼標準H.265/HEVC相比，H.266/VC可在保證相同主觀(guān)質(zhì)量的情況下，將所需帶寬降低一半。介于新標準的推出，Tencent media lab資深研究員焦華龍和他所在的團隊，奮力加快H.266/VC標準的實(shí)際推廣應用，在不到三個(gè)月的時(shí)間里，重磅推出全球首個(gè)面向移動(dòng)端的H.266/VVC標準視頻解碼器，即其自研的O266移動(dòng)端版本，以及基于該解碼器的開(kāi)源播放器O266player，目前能夠在PC端上完成4K H.266/VVC視頻的實(shí)時(shí)解碼。手機可看4K超高清VVC視頻。O266已成為世界領(lǐng)先的全平臺VVC解碼器，支持main10 profile，包括高分辨率、高動(dòng)態(tài)范圍、屏幕內容編碼等重要功能。
近幾年，以視頻為信息載體的互聯(lián)網(wǎng)應用越來(lái)越廣泛，海量視頻數據的存儲及傳輸對視頻編解碼技術(shù)提出了更高的要求，焦華龍團隊所研發(fā)的H.266/VVC編解碼器 O266既能滿(mǎn)足人們對視頻質(zhì)量的追求，又能降低存儲與流量消耗。相較于上一代標準H.265/HEVC，以H.266/VVC標準研發(fā)的解碼器O266，在同樣的主觀(guān)質(zhì)量下，可以減少38%左右的數據大小。H.266/VVC在main10 profile里能同時(shí)支持高分辨率、高動(dòng)態(tài)范圍、屏幕內容編碼等功能，進(jìn)一步提升在各種視頻場(chǎng)景下的編解碼能力，這得益于焦華龍研發(fā)團隊首創(chuàng )了更靈活的編碼結構和更加優(yōu)化的編碼技術(shù)。
編解碼技術(shù)的提升是一個(gè)非常緩慢而艱難的過(guò)程，每一次世界級的編解碼標準的的推出，往往距離上一代標準，時(shí)隔近10年，它非?？简炑邪l(fā)人員的數學(xué)功底，焦華龍研究生畢業(yè)于享譽(yù)世界盛名的浙江大學(xué)數學(xué)專(zhuān)業(yè)，浙大數學(xué)系建于1928年，曾經(jīng)為全國高校培養近80%的數學(xué)教育工作者。2011年，成為我國首個(gè)美國數學(xué)及應用研究所會(huì )員單位。焦華龍自幼喜歡數學(xué)，在浙江大學(xué)他將所有時(shí)間都投入到數學(xué)相關(guān)課題的研究，這為后來(lái)視頻編解碼技術(shù)的研發(fā)打下了扎實(shí)的數學(xué)功底。
2021年1月，焦華龍研發(fā)團隊在O266dec里新增main10 profile移動(dòng)端解碼器，進(jìn)一步促進(jìn)了H.266/VVC標準生態(tài)建設。它以全面的模塊性能優(yōu)化和出色的并行結構設計，能夠達到266標準在移動(dòng)端的單核1080p或多核4K碼流的實(shí)時(shí)解碼，可以廣泛應用于面向移動(dòng)端的視頻點(diǎn)播、視頻直播、音視頻通信、視頻智能生產(chǎn)、短視頻、VR/AR等各個(gè)領(lǐng)域，服務(wù)于公司及內外部相關(guān)業(yè)務(wù)?？焖俅龠M(jìn)行業(yè)的跨躍式發(fā)展。
O266player能夠實(shí)現清晰流暢的視頻播放，核心關(guān)鍵技術(shù)在于焦華龍和研發(fā)團隊成員創(chuàng )新視頻解碼架構，通過(guò)多維度的并行處理，從而達到大幅利用多核多線(xiàn)程技術(shù)的目的，使其解碼性能指標大幅提升。O266dec的并行解碼架構主要包括以下四個(gè)方面：
第一、幀層級并行：獨立并行解碼幀內預測幀，以及沒(méi)有相互依賴(lài)性的幀間預測幀；同時(shí)不同幀之間的熵解碼和像素處理也可以并行。
第二、CTU層級并行：利用Wavefront技術(shù)可以實(shí)現不同CTU行之間的CTU級的并行解碼。
第三、模塊層級并行：針對像素的操作，如運動(dòng)矢量推導、預測、反量化、反變換和重建等，以及環(huán)路濾波操作可以并行處理。
第四、亞CTU層級并行：所有幀間預測CU都可以并行解碼，并最大程度的利用SIMD指令。
為了能夠在移動(dòng)端支持H.266/VVC解碼，焦華龍和他的團隊特別在O266dec上增加了許多移動(dòng)端相關(guān)優(yōu)化，使得其解碼器性能在移動(dòng)端得到大幅提升。
例如，自適應環(huán)路濾波器（Adaptive Loop Filter，ALF）作為H.266/VVC解碼器中復雜度最大，優(yōu)化難度最高的模塊，是焦華龍在移動(dòng)端平臺上優(yōu)化的重點(diǎn)，該模塊在整個(gè)解碼過(guò)程中的復雜度占比如圖所示。
優(yōu)化前各模塊解碼復雜度占比圖
從圖中可以看出ALF模塊占整個(gè)解碼復雜度的60%以上，復雜度占比遠超其他模塊，同時(shí)它的優(yōu)化復雜度也是最高的，流程上的簡(jiǎn)化以及提升并行性都是比較困難的，因此是所有模塊中優(yōu)化優(yōu)先級最高的。為提升移動(dòng)端ALF解碼速度，焦華龍帶領(lǐng)團隊對整個(gè)ALF流程進(jìn)行整理與分類(lèi)，并充分結合移動(dòng)端SIMD對ALF濾波模塊進(jìn)行優(yōu)化，使得解碼器速度得到大幅提升, 解碼速度是原始代碼的2倍以上。
除去ALF模塊之外，對于同樣復雜度較高的插值（Interpolation）模塊，焦華龍也對其進(jìn)行了細致優(yōu)化。插值模塊也是H.266/VVC解碼器中計算量比較大的一個(gè)模塊，其涵蓋的多種多樣的濾波器是整個(gè)模塊的優(yōu)化重點(diǎn)。焦華龍對濾波器參數特點(diǎn)進(jìn)行了充分的分析，并將其根據參數類(lèi)型以及輸出結果進(jìn)行分類(lèi)與邏輯優(yōu)化，在結合移動(dòng)端SIMD的基礎上，使得解碼速度得到明顯提升。
除去一些通用模塊，焦華龍帶領(lǐng)團隊對于針對B幀等其他編碼工具集模塊都著(zhù)手進(jìn)行了優(yōu)化，優(yōu)化范圍與內容相對比較全面。例如雙向光流（Bi-directional optical flow，BDOF）模塊，它是一個(gè)用于4x4子塊級別上優(yōu)化CU的雙向預測信號，經(jīng)過(guò)優(yōu)化，這一模塊的解碼速度也獲得了進(jìn)一步提升。
優(yōu)化完成后各模塊性能占比餅圖如下圖所示。
以iOS端A14處理器為測試平臺，O266dec移動(dòng)端性能如下：
在單線(xiàn)程下，O266dec在采用RA（Radom Access）配置時(shí)， 對于2K標準序列，可完全滿(mǎn)足30fps實(shí)時(shí)解碼的需求;對于2K SCC(Screen Content Coding)序列可充分滿(mǎn)足60fps以上的實(shí)時(shí)解碼需求。
在多線(xiàn)程下，O266dec在采用RA（Radom Access）配置時(shí)， 4K標準序列在6線(xiàn)程下的解碼速度可以達到30幀左右，可以實(shí)現266在移動(dòng)端的實(shí)時(shí)解碼。
焦華龍團隊自研的解碼器目前已經(jīng)集成在了O266player的iOS端應用上，在移動(dòng)端播放H.266解碼畫(huà)面清晰流暢，能夠充分滿(mǎn)足H.266/VVC實(shí)時(shí)解碼的需求，性能優(yōu)勢十分明顯。
焦華龍所在團隊首創(chuàng )了面向移動(dòng)端的O266dec，是國內首個(gè)H.266/VVC標準在移動(dòng)端的實(shí)際應用，也是視頻編解碼技術(shù)進(jìn)展的又一個(gè)重要里程碑。未來(lái)焦華龍將繼續發(fā)揮自己在視頻編解碼技術(shù)領(lǐng)域的尖端技術(shù)，不斷引領(lǐng)行業(yè)發(fā)展。
