AIoTel下視頻編碼（二）--快速視頻編碼技術(shù)

作者：雷鵬，單位：中國移動智慧家庭運(yùn)營中心

我們在《AIoTel下視頻編碼技術(shù)（上）》中提到，AIoTel中應(yīng)用場景中，視頻編碼面臨著低延時和高效率的挑戰(zhàn)。從H.264、H.265到H.266，雖然每一代編碼標(biāo)準(zhǔn)比前一代在編碼效率有顯著提高，但編碼復(fù)雜度也都大幅提升，嚴(yán)重限制了它們的應(yīng)用場景。為了解決這個問題，快速編碼成為了視頻編碼中的一個重要研究方向。本文將著重討論快速視頻編碼重要意義和關(guān)鍵技術(shù)。

視頻編碼標(biāo)準(zhǔn)和快速編碼算法的發(fā)展

隨著數(shù)字視頻技術(shù)的發(fā)展，視頻編碼技術(shù)也在不斷進(jìn)步。早在上世紀(jì)九十年代，MPEG-2作為第一代廣泛應(yīng)用的視頻編碼標(biāo)準(zhǔn)，就開始被廣泛用于數(shù)字電視、DVD等應(yīng)用中。然而，由于它的編碼效率相對較低，無法滿足網(wǎng)絡(luò)視頻傳播的需求。H.264作為一種高效的視頻編碼標(biāo)準(zhǔn)，大大提高了編碼效率，但隨之而來的是編碼復(fù)雜度的大幅度提升。H.265標(biāo)準(zhǔn)進(jìn)一步推動了編碼效率的提升，相比于H.264，可以在相同的視頻質(zhì)量下將碼率降低50%，但與此同時，編碼復(fù)雜度也進(jìn)一步提高。H.266標(biāo)準(zhǔn)下編碼器的復(fù)雜度比H.265相比又提升了一個數(shù)量級。

伴隨著視頻編碼標(biāo)準(zhǔn)的迭代演進(jìn)和壓縮效率的顯著提升，降低編碼計(jì)算復(fù)雜度問題也日益凸顯。研究人員在不斷探索更高效的編碼方法，期望在保持一定的壓縮率和質(zhì)量的前提下，通過優(yōu)化編碼算法，減少冗余計(jì)算有效地提高編碼速度。

圖1 視頻編碼標(biāo)準(zhǔn)及復(fù)雜度變化[1]

快速視頻編碼的重要性

快速視頻編碼具有如下重要意義：

節(jié)約計(jì)算成本

快速視頻編碼能夠在保持一定的壓縮率和質(zhì)量的前提下，有效地降低編碼復(fù)雜度，減少編碼時間。這意味著，對于同樣的視頻內(nèi)容，使用快速視頻編碼技術(shù)可以更快地完成編碼處理，從而提高了視頻的處理速度和傳播效率。

縮短編碼延時

快速視頻編碼的實(shí)現(xiàn)，使得視頻內(nèi)容可以在更多的應(yīng)用場景中得到應(yīng)用。例如，在實(shí)時或近實(shí)時的視頻通信、直播流媒體、視頻監(jiān)控等領(lǐng)域，快速視頻編碼技術(shù)的應(yīng)用，能夠確保視頻內(nèi)容可以在短時間內(nèi)被處理和傳輸，從而滿足了這些應(yīng)用對于實(shí)時性的要求。

支撐和推動更多的視頻應(yīng)用

快速視頻編碼的出現(xiàn)，推動了視頻技術(shù)的發(fā)展，為未來的視頻應(yīng)用提供了更多的可能性。隨著技術(shù)的進(jìn)步，更多的創(chuàng)新應(yīng)用，如虛擬現(xiàn)實(shí)、增強(qiáng)現(xiàn)實(shí)等，都需要依賴快速視頻編碼技術(shù)的支持。

H.265快速編碼的技術(shù)原理與方法

為了實(shí)現(xiàn)視頻編碼的高效率和高質(zhì)量，從H.264到H.266，新一代的編碼標(biāo)準(zhǔn)引入了一系列復(fù)雜而高效的技術(shù)，如更精細(xì)的運(yùn)動估計(jì)、更多樣的模式?jīng)Q策、更復(fù)雜的編碼塊劃分等。然而，這些高效的技術(shù)同時也帶來了大量的計(jì)算量，導(dǎo)致編碼過程變得復(fù)雜和耗時。研究人員提出了一系列的快速編碼技術(shù)，包括快速編碼塊（Coding Unit, CU）劃分算法、快速模式?jīng)Q策算法和快速運(yùn)動估計(jì)算法等。

3.1 快速編碼塊劃分算法

H.264編碼中，宏塊的劃分相對簡單，可以被劃分為16x16、16x8、8x16或8x8的子塊。H.265引入了一種更靈活的編碼樹（Coding Tree Unit, CTU）結(jié)構(gòu)，允許每個編碼塊被遞歸地劃分成更小的子塊，同時也支持更大的CTU尺寸。這顯著提高了編碼效率，但同時也增加了編碼復(fù)雜度。H.266再次推動了編碼塊劃分的復(fù)雜性，引入了更多的劃分模式和更大的CTU尺寸，但同樣也帶來了更大的計(jì)算負(fù)擔(dān)。

圖2 H.265 CTU劃分結(jié)構(gòu)[2]

為了解決這個問題，研究人員提出了一系列的快速塊劃分方法。這些方法的主要思想是通過分析編碼過程中的統(tǒng)計(jì)信息，預(yù)測出最優(yōu)的劃分方式，提前結(jié)束逐層級的CU劃分和RD cost計(jì)算。快速劃分策略通常利用先驗(yàn)知識，如歷史編碼信息、空間和時間上下文信息等，分析并預(yù)測出最優(yōu)的劃分方式，然后只對預(yù)測出的劃分方式進(jìn)行測試和RD cost計(jì)算，在其中挑選出最終劃分方式。這樣，就可以大大減少劃分測試的數(shù)量，從而降低劃分決策的復(fù)雜度和時間。

通過一個具體的例子進(jìn)一步說明。對一個CTU進(jìn)行塊劃分時，可以按照圖3的方式，僅僅根據(jù)四個角的CU信息進(jìn)行快速判定，看是否可以跳過子CU的劃分。若滿足跳過條件，整個計(jì)算流程將會極大簡化，從而降低計(jì)算復(fù)雜度。圖4所示的紋理可以更直觀地看出，如果四個角的CU非常接近，那么大概率不用進(jìn)一步劃分成子CU。

圖3 基于四角信息的快速 CU劃分方法

圖4 紋理變化與CU劃分結(jié)果

3.2 快速模式?jīng)Q策算法

幀內(nèi)預(yù)測模式是視頻編碼中一個重要的環(huán)節(jié)，它可以預(yù)測當(dāng)前幀中的像素值，以實(shí)現(xiàn)更高的壓縮效率。在H.264編碼中，幀內(nèi)預(yù)測主要包括9種預(yù)測模式：垂直模式、水平模式、DC模式和6種角度模式。H.265進(jìn)一步擴(kuò)展了幀內(nèi)預(yù)測模式，引入了33種角度模式；H.266繼續(xù)增加了幀內(nèi)預(yù)測模式的復(fù)雜性，將角度模式擴(kuò)展到了65種，并且引入了更多的預(yù)測工具，如色度預(yù)測、聯(lián)合預(yù)測等。這些新的模式和預(yù)測工具進(jìn)一步提高了編碼效率，但同時也增加了編碼的復(fù)雜度和計(jì)算負(fù)擔(dān)。

圖5 H.264 4x4塊 9種預(yù)測模式[4]

快速模式?jīng)Q策算法的核心思想是利用視頻數(shù)據(jù)的特性和模式的先驗(yàn)知識，以盡可能減少需要計(jì)算的編碼模式數(shù)量。例如，視頻序列中相鄰的幀和塊在視覺上通常是相似的，它們的最優(yōu)編碼模式也可能相似。因此，可以通過分析前一幀或鄰近塊的編碼模式預(yù)測當(dāng)前塊的最可能的編碼模式。此外，可以進(jìn)一步優(yōu)化模式?jīng)Q策過程。例如，可以使用更復(fù)雜的預(yù)測模型，如機(jī)器學(xué)習(xí)模型，來預(yù)測最可能的編碼模式。這種模型可以更好地利用歷史編碼信息和上下文信息，提供更準(zhǔn)確的預(yù)測結(jié)果。通過以上方法，可以大大減少需要計(jì)算的編碼模式，從而降低計(jì)算復(fù)雜度。

例如，對H.265的35種模式進(jìn)行預(yù)測時，不必逐一進(jìn)行計(jì)算，而是按照標(biāo)號為5、10、15、20、25、30的5個方向做初步篩選，從其中最可能的角度模式中做進(jìn)一步的精細(xì)篩選，從而降低模式?jīng)Q策復(fù)雜度。進(jìn)一步地，甚至可以先從水平和垂直兩個方向中篩選中粗篩，然后從相鄰模式中細(xì)篩，進(jìn)一步減少決策步驟。

圖6 H.265 35種預(yù)測模式及五步法快速預(yù)測

圖7 水平和垂直快速預(yù)測法

3.3 快速運(yùn)動估計(jì)算法

運(yùn)動估計(jì)在視頻編碼中起著至關(guān)重要的作用。它的主要任務(wù)是為每個視頻塊找到一個運(yùn)動矢量，該矢量指示該塊在參考幀中的位置。傳統(tǒng)的運(yùn)動估計(jì)方法，如全搜索方法，需要對整個搜索窗口進(jìn)行遍歷，計(jì)算量巨大，效率低下。對于每一個可能的運(yùn)動矢量，都需要計(jì)算塊之間的匹配程度，例如通過塊間差異的絕對和（SAD）或塊間差異的平方和（SSE）等。這種方法雖然可以找到最優(yōu)的運(yùn)動矢量，但是計(jì)算復(fù)雜度太高，不適合于實(shí)時編碼。

圖8 運(yùn)動估計(jì)原理

在H.264中，引入了一些基本的快速運(yùn)動估計(jì)算法，如鉆石搜索（DS）、三步搜索（TSS）和新的三步搜索（NTSS）等。這些算法通過設(shè)計(jì)特定的搜索模式和搜索步長，減少了搜索點(diǎn)的數(shù)量，從而降低了運(yùn)動估計(jì)的復(fù)雜度和時間。然而，這些算法的搜索精度和靈活性還有待提高。

在H.265和H.266中，引入了更精細(xì)的運(yùn)動估計(jì)算法，例如精度更高的亞像素和1/4像素位置插值、基于深度信息的運(yùn)動估計(jì)優(yōu)化等。同時，也引入了更多的快速運(yùn)動估計(jì)算法，如Test Zone Search（TZSearch）等。這些算法利用運(yùn)動矢量的時間和空間相關(guān)性，通過精細(xì)地設(shè)計(jì)搜索模式和搜索步長，大大減少了搜索點(diǎn)的數(shù)量，從而降低了運(yùn)動估計(jì)的復(fù)雜度和時間。

圖9 TZSearch算法的搜索模板[5]

值得注意的是，上述的快速CU劃分、快速模式?jīng)Q策、快速運(yùn)動估計(jì)等算法雖然可以大大降低運(yùn)動估計(jì)的復(fù)雜度和時間，但也可能導(dǎo)致一定程度的性能損失。因此，在設(shè)計(jì)和實(shí)施快速算法時，需要在降低計(jì)算復(fù)雜度和保持編碼性能之間找到一個平衡。

快速視頻編碼的應(yīng)用與前景

快速視頻編碼技術(shù)的出現(xiàn)，為許多實(shí)時或近實(shí)時的應(yīng)用提供了可能。

4.1 會議和直播場景

在網(wǎng)絡(luò)直播、視頻會議、在線教育、遠(yuǎn)程醫(yī)療等場景，都需要快速編碼技術(shù)來保證視頻內(nèi)容在短時間內(nèi)被處理和傳輸，滿足用戶對于實(shí)時性的要求。

4.2 實(shí)時監(jiān)控場景

在安防監(jiān)控領(lǐng)域，由于監(jiān)控視頻數(shù)據(jù)量巨大，快速視頻編碼技術(shù)也起著關(guān)鍵作用。它不僅可以有效地壓縮視頻數(shù)據(jù)，節(jié)省存儲空間，而且由于其快速的編碼能力，也可以支持實(shí)時監(jiān)控，對于犯罪預(yù)防和公共安全具有重要意義。

4.3 VR、AR等新型應(yīng)用場景

此外，隨著虛擬現(xiàn)實(shí)（VR）、增強(qiáng)現(xiàn)實(shí)（AR）等新型應(yīng)用的出現(xiàn)，對于視頻編碼技術(shù)的要求也在不斷提高。這些應(yīng)用需要傳輸大量的高質(zhì)量視頻數(shù)據(jù)，因此，快速視頻編碼技術(shù)的應(yīng)用，將是未來發(fā)展的一個重要方向。

結(jié)論

總的來說，快速視頻編碼技術(shù)，對于推動視頻技術(shù)的發(fā)展，具有重要的意義。它在保持一定的壓縮率和質(zhì)量的前提下，可以有效地降低編碼復(fù)雜度，節(jié)約計(jì)算成本，減少編碼時間，提升視頻的處理速度和傳播效率。在未來，隨著視頻應(yīng)用的不斷擴(kuò)大和深入，我們有理由相信，快速視頻編碼技術(shù)將在更多的領(lǐng)域得到應(yīng)用，推動視頻技術(shù)向更高的水平發(fā)展。

參考文獻(xiàn)

[1]https://en.sdmctech.com/news/industry-knowledge_1894.html.

[2]萬帥. 新一代高效視頻編碼 H. 265/HEVC: 原理, 標(biāo)準(zhǔn)與實(shí)現(xiàn). 電子工業(yè)出版社, 2014.

[3]J. Park, B. Kim, J. Lee and B. Jeon, "Machine Learning-Based Early Skip Decision for Intra Subpartition Prediction in VVC," in IEEE Access, vol. 10, pp. 111052-111065, 2022.

[4]Kim, Taeho, Ung Hwang, and Jechang Jeong. "Efficient block mode decision and prediction mode selection for intra prediction in H. 264/AVC high profile." 2011 International Conference on Digital Image Computing: Techniques and Applications. IEEE, 2011.

[5]Kibeya, Hassan, et al. "TZSearch pattern search improvement for HEVC motion estimation modules." 2014 1st international conference on advanced technologies for signal and image processing (ATSIP). IEEE, 2014.