多功能視頻編碼（VVC，Versatile Video Coding）是國際電信聯(lián)盟電信標準化部門(mén)（ITU-T）和國際標準化組織/國際電工委員會(huì )（ISO/IEC）聯(lián)合制定的最新國際視頻編碼標準。與前代高效視頻編碼（HEVC）相比，VVC編解碼器能夠在保證相同視頻質(zhì)量的情況下，縮減視頻數據大小約50%。在網(wǎng)絡(luò )視頻流量不斷增長(cháng)的時(shí)代，視頻壓縮變得越來(lái)越重要。隨著(zhù)使用生成式人工智能（AI）制作視頻內容的浪潮即將到來(lái)，同時(shí)視頻內容制作和內容消費的節奏不斷加快，減少多媒體內容的比特數仍是一個(gè)重要問(wèn)題。
讓我們來(lái)看看那些使VVC區別于當前所使用的視頻編碼器的基礎創(chuàng )新，以及高通技術(shù)公司為打造一個(gè)充滿(mǎn)活力的VVC生態(tài)系統所做出的努力。
面向常見(jiàn)用戶(hù)體驗，優(yōu)化視頻編碼
不止于顯著(zhù)降低數據大小，在視頻會(huì )議、屏幕共享和全景視頻等特定視頻場(chǎng)景中，VVC編解碼器還引入了多種特別實(shí)用的智能工具。
視頻會(huì )議
新冠疫情對人們的工作方式產(chǎn)生了深遠的影響，致使人們對遠程辦公工具（尤其
是視頻會(huì )議軟件）的需求劇增，視頻通話(huà)已成為個(gè)人和專(zhuān)業(yè)用途中很重要的通信方式。
在視頻通話(huà)中，會(huì )持續監測兩端的網(wǎng)絡(luò )帶寬，并相應調整入站和出站視頻質(zhì)量，使視頻數據適應可用帶寬。對于以前的視頻編解碼器，比如高效視頻編碼（HEVC）和高級視頻編碼（AVC），當視頻分辨率發(fā)生變化以適應可用網(wǎng)絡(luò )帶寬時(shí)，服務(wù)器需要發(fā)送一種特殊類(lèi)型的幀，稱(chēng)為即時(shí)解碼刷新（IDR）幀。這會(huì )中斷時(shí)間預測，意味著(zhù)無(wú)法引用來(lái)自先前幀和后續幀的數據估算。
VVC提供了一種叫做參考圖像重采樣（RPR）的特殊功能，可以彌補當前這一代視頻編解碼器的不足。在解碼時(shí)，RPR能夠改變視頻的分辨率，而無(wú)需IDR幀。這能夠避免大量IDR幀帶來(lái)的數據量激增，從而實(shí)現更流暢的視頻通話(huà)體驗，不會(huì )出現卡頓。
屏幕共享
屏幕共享在團隊協(xié)作中變得越來(lái)越受歡迎，尤其是在遠程辦公的時(shí)代。借助屏幕共享功能，團隊成員可以輕松地展示他們的工作并實(shí)時(shí)進(jìn)行項目協(xié)作。隨著(zhù)屏幕共享使用需求的不斷增長(cháng)，與攝像頭生成內容一起被渲染、混合或疊加的圖形數據的使用需求也在增長(cháng)。
從一開(kāi)始，VVC就是一種旨在支持對屏幕共享內容進(jìn)行編碼的編解碼器。VVC編解碼器包括五個(gè)主要的與屏幕內容編碼相關(guān)的底層工具：變換跳過(guò)殘差編碼（TSRC）、基于塊的差分脈沖編碼調制（BDPCM）、幀內塊拷貝（IBC）、自適應顏色變換（ACT）和調色板模式。
通過(guò)減少需要傳輸的數據量，這些工具幫助提升編碼屏幕內容的色彩準確度和總體數據效率。以前的視頻編解碼器增加了一些屏幕編碼改進(jìn)特性，但這些不夠高效，且并非被所有終端支持。相比之下，由VVC定義的屏幕共享內容的編碼工具在主檔次（Main Profile）中被默認支持，并且應該在大多數支持VVC的設備上可用。
相較于其他視頻編解碼器所展現出的高效率，可以說(shuō)，VVC將會(huì )是那些擁有全部或部分屏幕共享內容應用的主流選擇。
全景視頻
全景視頻已超越傳統視頻的被動(dòng)范式，提供更高程度的沉浸感和交互感。此項革命性技術(shù)能夠使用戶(hù)與場(chǎng)景或環(huán)境交互，在虛擬空間中感受參與感和臨場(chǎng)感。虛擬現實(shí)（VR）是一個(gè)已經(jīng)在我們日常生活中實(shí)現的沉浸式技術(shù)范例，在娛樂(lè )之外，對電子醫療、電化教育和文化遺產(chǎn)展示等重要經(jīng)濟領(lǐng)域產(chǎn)生影響。
VVC為全景視頻引入智能工具：碼流提取與合并、子圖像、虛擬邊界和水平環(huán)繞運動(dòng)補償。全景視頻通常需要以時(shí)間同步的方式同時(shí)處理多個(gè)基本碼流。對于以前的視頻編解碼器，每個(gè)基本碼流需要一個(gè)實(shí)例化的視頻解碼器。不過(guò)，碼流的提取與合并定義了一種在壓縮域拼接和剪裁視頻的方式，解耦了視頻應用所需的基本碼流數和在終端上運行所需的視頻解碼器實(shí)例數。
子圖像是VVC中引入的全新圖像分區方案。它是一個(gè)矩形編碼區域，獨立于鄰近區域進(jìn)行編碼，因此可獨立提取圖像。子圖像可以對應于一個(gè)感興趣的區域，比如消費者通過(guò)VR頭顯看到的區域?；谟脩?hù)視向，它能夠支持優(yōu)先處理并向頭顯終端發(fā)送更高保真度的子圖像。
在360度視頻中，當我們將其轉化為二維表示時(shí)，某些投影（例如立方體貼圖cubemaps）的非對齊面邊界可能出現間斷點(diǎn)。但通過(guò)在邊緣處禁用環(huán)路濾波，可以減少這些偽影。借助VVC，我們能夠通過(guò)水平或垂直虛擬邊界來(lái)進(jìn)行環(huán)路濾波的控制，虛擬邊界的配置也會(huì )在碼流中進(jìn)行標記和傳輸。
環(huán)繞運動(dòng)補償支持從圖像的左邊界以外開(kāi)始執行運動(dòng)補償，在水平方向上進(jìn)行環(huán)繞預測，并使用來(lái)自圖像右側的像素值，反之亦然。這一全新的靈活性有助于使用等距柱狀投影格式對全景視頻進(jìn)行編碼。
領(lǐng)先的基礎視頻技術(shù)
20多年來(lái)，高通技術(shù)公司在重要視頻技術(shù)的發(fā)展中扮演了至關(guān)重要的角色，這些技術(shù)徹底改變了視覺(jué)內容在智能手機、平板電腦、PC、電視和其他終端上被拍攝、傳輸以及消費的方式。這些創(chuàng )新使視頻質(zhì)量更佳，內容更豐富，同時(shí)還降低了帶寬和存儲空間，為生態(tài)系統中的消費者和公司都創(chuàng )造了巨大效益。我們的發(fā)明家獲得廣泛認可，我們技術(shù)發(fā)明的影響力不僅限于移動(dòng)生態(tài)系統，對更加廣泛的領(lǐng)域也有所助益。業(yè)界廣泛部署由高通技術(shù)公司助力推動(dòng)的視頻技術(shù)，其中包括領(lǐng)先的視頻編解碼器、流協(xié)議（streaming protocol）和多媒體文件格式。
在推動(dòng)VVC技術(shù)發(fā)展方面也不例外。與HEVC一樣，高通技術(shù)公司是本文中所介紹的VVC標準的主要貢獻者。
通過(guò)智能手機VVC演示，推動(dòng)生態(tài)系統向前發(fā)展
VVC在生態(tài)系統中的發(fā)展勢頭強勁，目前已經(jīng)被加入DVB核心規范（Digital Video Broadcasting Project/國際數字視頻廣播組織），用于廣播和寬帶應用的視頻編碼。巴西數字電視廣播技術(shù)標準ISDB-T International（又稱(chēng)SBTVD），也采用了VVC作為主要視頻編解碼器——預計其他廣播標準也將相繼采用該視頻編碼標準。
在高通技術(shù)公司，我們對VVC編解碼器如何提升當下的視頻體驗感到興奮。為此，我們已經(jīng)開(kāi)始與生態(tài)系統中的伙伴合作，期待將VVC技術(shù)帶給消費者。
近日，我們攜手騰訊公司，在集成Adreno GPU的第二代驍龍8移動(dòng)平臺上對其VVC軟件解碼器進(jìn)行了優(yōu)化。該預商用原型實(shí)現了超過(guò)30%的性能提升，能夠穩定且實(shí)時(shí)流暢地播放4K 10-bit 60幀/秒（FPS）的超高清VVC內容。7月28-31日，2023年中國國際數碼互動(dòng)娛樂(lè )展覽會(huì )（ChinaJoy 2023）于上海舉辦，我們首次演示了這款經(jīng)優(yōu)化后的解碼器。我們相信，經(jīng)優(yōu)化的軟件解碼器（例如這款來(lái)自騰訊公司的解碼器）將有助于加速在視頻內容服務(wù)中采用VVC編解碼器的進(jìn)程。
