1、視頻緊縮規范陳虎規范的分類ITU 規范ISO/IEC 規范其他規范ISO、IEC 簡介IEC International Electrotechnical Commissionfounded in 1906 to establish international standards for all electrical technologiesprivate, non-profit company under Swiss lawISO International Organization for StandardizationEstablished in 1947 “to facilitate

2、the international coordination and unification of industrial standardsPrivate, non-profit company under Swiss lawAgency of the United NationsJoint ISO/IEC Technical Committee 1 (JTC 1)Jointly addresses all computer-related activitiesAbout 30% of total ISO and IEC standardsISO/IEC組織構造ISO/IEC 任務流程任務文件

3、(Working Draft，WD)任務組(Working Group，WG)預備的任務文件委員會草案(Committee Draft，CD)從任務組WG預備好的任務文件WD提升上來的文件。這是ISO文檔的最初方式，由ISO內部正式調查研討和投票表決國際規范草案(Draft International Standard，DIS)投票成員國對CD的內容和闡明稱心之后由委員會草案CD提升上來的文件國際規范(International Standard，IS)由投票成員國、ISO的其他部門和其他委員會投票經過之后出版發布的文件 ISO/IEC 規范ISO 和IEC 結合成立的MPEG(Moving

4、Picture Expert Group運動圖像專家組)，擔任開發視頻數據和聲音數據的編碼、解碼和它們的同步等規范。這個專家組開發的規范稱為MPEG規范。MPEG-1MPEG-2MPEG-4MPEG-7MPEG-21ISO/IEC 規范特點對象構成及跟蹤基于語義基于對象基于像素對象特征提取MPEG-7MPEG-4MPEG-1MPEG-2ITU 簡介Formed in 1934 by merger of the International Telegraph Convention of 1865 and the International Radiotelegraph Convention of

5、 1906Several “committees, among them CCITT (International Telephone and Telegraph Consultative Committee) 1956-1992CCIR (International Radio Consultative Committee) 1927-1992Reform in 1992CCITT-ITU-TCCIR -ITU-RAny recommendation must be agreed upon unanimously by all its member statesITU 組織構造ITU 規范I

6、TU制定的一系列音視頻緊縮編碼和通訊技術規范以H.26x 命名H.261H.262H.263H.264AVC、SVC、MVCH.265HEVCITU 規范H標準H.261H.262H.263H.264對應MPEG標準 MPEG-1= MPEG-2 MPEG-4= MPEG-4/AVC發布時間1993.31995.71998.22003.5視頻緊縮規范總覽編碼標準全 稱傳輸碼率主要應用H.261P64kbps的音/視頻服務的編/解碼P64kbpsP=130ISDN視頻會議MPEG-1面向數字存儲的運動圖像及伴音編碼1.5MbpsVCD,CD-ROMMPEG-2運動圖像及伴音的通用編碼4100Mb

7、psDVD,HDTV,VOD,DABH.263低比特率通信的視頻編碼低于64kbps遠程視頻監控，可視電話，電視會議MPEG-4音/視頻對象的通用編碼小于64kbps64384kbps384kbps4MbpsInternet通信，無線通信，2D/3D計算機圖像交互式視頻MPEG-7多媒體內容描述接口任意多媒體檢索H.264/AVC高級視頻編碼算法任意視頻編碼工業標準視頻編碼規范開展視頻編碼規范開展MPEGStandardJointStandardITU-TStandard19901992199419961998200020022004H.262/MPEG-2H.263H.263+H.263+M

8、PEG-420062021SVCMVCH.264/MPEG-4H.261MPEG-11988H.26L視頻編碼規范開展視頻編碼框架其他規范AVS AVS是我國具備自主知識產權的第二代信源編碼標。Real Video Real Networks公司開發的在窄帶(主要的互聯網)上進展多媒體傳輸的緊縮技術WMV 微軟公司開發的在互聯網上進展媒體傳輸的視頻和音頻編碼緊縮技術，運用MPEG-4規范的一些原理。QuickTime Apple公司開發的一種音頻、視頻文件格式，用于存儲常用數字媒體類型，如音頻和視頻。MPEG-1 緊縮規范MPEG1開場設計于1988年，測試于1989年，草稿產生于1990年，

9、1991年正式規范 編號為ISO/IEC 11172規定視頻信息與伴音信息經緊縮之后的數據速率上限為 1.5Mbps其中視頻約為1.2Mbps，音頻約為0.3Mbps可以在CD-ROM、硬盤、可寫光盤、數字音頻磁帶等介質上進展存儲，也可在局域網、ISDN上進展視頻與伴音信息的傳輸的運用目前市場上VCD以及數字網絡上的視頻傳輸為MPEG-1。MPEG-1 規范組成MPEG-1系統這部分是有關同步和多路復合的技術，用來把數字視頻和聲音復合成單一的數據位流。規范名是ISO/IEC11172-1。MPEG-1視頻這部分是有關電視圖像的緊縮技術，規范名是ISO/IEC11172-2。MPEG-1音頻這部

10、分是關于聲音的緊縮編碼技術。規范名是ISO/IEC11172-3。MPEG-1一致性測試這個規范詳細闡明了如何測試比特數據流和解碼器能否滿足MPEG-1前3個部分中所規定的要求。這些測試可由廠商和用戶實施。規范名是ISO/IEC11172-4。MPEG-1軟件模擬這部分內容不是規范，而是一個技術報告，給出了用軟件執行前3個部分的結果。規范名是ISO/IEC11172-5。緊縮方法MPEG-1采用兩種緊縮方法：幀內緊縮算法： 采用與JPEG緊縮算法大致一樣的方法，即基于DCT的變換編碼技術，用以減少空間冗余信息。幀間緊縮算法： 采用運動補償算法、預測編碼方法、以及差補法等編碼方法。幀間編碼技術可

11、以減少時間冗余信息。MPEG-1框架MPEG-1規范并沒有定義特定的編碼過程，只是定義了編碼比特流的語法和解碼過程。MPEG-1編碼過程I幀：DCT 量化 編碼P、B幀：預測 求幀差 DCT 量化 編碼DCT變換幀內編碼方式下，采樣為8位無符號數；幀間編碼方式下，采樣為9位有符號數，由于差值有能夠為負數；經過DCT變換后，用一個12位有符號整數表示。MPEG-1量化MPEG規定了默許的量化表，也可以運用自定義的量化表；幀內編碼取整通常是取最近的整數；幀間編碼是截斷非整數到最接近的小于其值的整數；量化不是簡單的DCT系數除以一個量化系數，還牽扯一個稱為量化階quantizer_scale的比例因

12、子；量化階quantizer_scale：整數，取值范圍131，影響量化結果和緊縮性能，編碼器隨時可以改動該值，在緊縮碼流中必需插入一個特殊碼字來表示它。MPEG-18161922262729341616222427293437192226272934343822222627293437402226272932354048262729323540485826272934384656692729353846566983MPEG-1幀內量化公式幀間量化公式MPEG緊縮構造有損1量化從10bits降為8bits無損2省略程度和垂直空白間隔有損3降低垂直方向色度分辨率(4:2:0)無損4活動圖像的DP

13、CM有損5DCT離散余弦變換和量化無損6Z掃描和零序列的游程編碼無損7Huffman編碼MPEG緊縮構造20量化10bits到8bits270Mbit/s216Mbit/s25忽略程度和垂直空白間隔166Mbit/s-25%降低垂直色度分辨率(4:2:0)124.5Mbit/s進一步數據緊縮步驟26Mbit/sMPEG緊縮構造DPCMZ掃描VLCHuffman編碼進一步數據緊縮DCT量化MPEG-1 輸入圖像格式MPEG-1只采用逐行掃描方式MPEG-1輸入視頻信號采用源輸入格式SIF, Source Input Format采用YCrCb色空間；采樣格式4：2：0MPEG-1最大的圖像尺寸只

14、能是352288MPEG-1的約束參 數范 圍參 數范 圍像素/行768圖像幀數/秒30行/圖像576輸入緩沖器大小327 680 bit宏塊數/圖像396運動矢量（64，63.5）宏塊數/秒9900=39625=33030比特率l.856 Mbit/sMPEG構造MPEG視頻圖像數據流是一個分層構造，目的是把位流中邏輯上獨立的實體分開，防止語意模糊，并減輕解碼過程的負擔。 MPEG視頻位流分層構造共包括六層：每一層支持一個確定的函數；或是一個信號處置函數DCT，運動補償；或是一個邏輯函數同步，隨機存取點等；每一個層的開場有一個頭，作為闡明參數。MPEG分層構造圖像序列層由延續圖像組成，用序列

15、終止符終了；圖像組層圖像組GOP由幾幀延續圖像組成，是隨機存取單元，其第一幀總是I幀；圖像層圖像幀編碼的根本單元，獨立的顯示單元；條帶層由一幀圖像中的幾個宏塊組成，主要用于誤差恢復；宏塊層一個宏塊由四個88的亮度塊和兩個88的色差塊組成；塊層一個88的像素區域稱為一個塊，是最小的DCT單位。MPEG分層構造層次稱號 功能圖像序列層 隨機存取單元：上下文圖像組層 隨機存取單元：視頻編碼圖像層 根本編碼單元宏塊片層 重同步單元宏塊層 運動補償單元塊層 DCT單元MPEG分層構造 圖像組 圖像組 圖像組圖像圖像序列宏塊條宏塊88塊MPEG分層構造GOP 1GOP SCGOP 頭圖像1圖像2圖像3圖像

16、N圖像 SC圖像 頭條 1條 2條 3條 m條 SC條 頭宏塊 1宏塊 2宏塊 3宏塊 nY 1宏塊編碼信息Y 2Y 3Y 4C 1C 288 系數塊序列層GOP層圖像層宏塊層像塊層序列SC序列擴展序列頭GOP 2序列EC0 x000001B3像條層MPEG分層構造MPEG分層構造宏塊的概念獲得高速緊縮的關鍵是去掉盡能夠多的冗余，在靜止圖像緊縮方面，MPEG和JPEG算法幾乎是一樣的。首先把圖像轉換成YUV空間。Y分量被劃分成1616的小塊，U及V分量被劃分成88；然后，把1616亮度塊再劃分成4個88塊，這樣88塊就可以進展DCT變換。由一個1616像素的亮度信息和兩個88像素的色度信息組成

17、的塊稱為宏塊。一幅靜態圖像就是由許多這樣的宏塊組成。對于分辨率為352240的NTSC制式的一幅圖像，有2215=330個宏塊組成。對于分辨率是352288的PAL制式的一幅圖像，有2218=396個宏塊組成。宏塊的概念圖像幀幀內圖intra picture，I幀對I幀的編碼類似于JPEG，支持隨機存取，緊縮比低，其信息由本身畫面決議，不需求參照其他畫面而產生，是P幀和B幀的參考幀。 前向預測圖predicted picture，P幀是運動主體在與I幀相隔一定時間，在同一背景上已有明顯變化的畫面。以前面I幀為參考，一樣信息不發送只發送主體變化差值，進展具有運動補償的前向預測；雙向預測圖bidi

18、rectional picture，B幀傳送I、P幀間的畫面，只反映運動主體變化情況，重放時即參考I也參考P，本身不做參考幀運用，不能用作預測參考；圖像幀1I2B3B4B5P6B7B8B1I前向預測雙向預測I 圖像幀I幀圖像采用幀內編碼方式，即只利用了單幀圖像內的空間相關性，而沒有利用時間相關性。由于I幀不依賴其他幀，所以是隨機存取的入點，同時是解碼的基準幀。I幀主要用于接納機的初始化和信道的獲取，以及節目的切換和插入，I幀圖像的緊縮倍數相對較低。I幀圖像周期性地出如今圖像序列中的，出現頻率可由編碼器選擇。I 圖像幀P圖像幀P幀圖像是參考過去的I幀圖像幀內圖像或者過去的預測得到P幀圖像用運動補

19、償預測技術進展編碼，這些預測圖像通常作為進一步預測的參考幀，預測圖像的編碼效率較高。P幀圖像的編碼也是以圖像宏塊為根本編碼單元。預測編碼的根底是運動估值，它將直接影響到整個系統的編碼效率和緊縮性能，因此希望找到一種預測精度高同時計算量又小的運動估值算法。P圖像幀P圖把I圖中的“準宏塊復制過來，拼成的一幅圖?！皽屎陦K的邊境不是I圖中的1616的宏塊，是I圖中的一個類似塊，這一個復制過程稱為“運動。由于P是在I的未來，所以稱為“前向預測。把一個類似塊復制過來之后，與真正的P圖是不吻合的，需求修正，這個過程就是運動補償。經過“補償之后，P圖就與原來沒緊縮的圖像相差無幾了。1616的運動矢量塊是預測誤

20、差，必需進展編碼、傳送,供解碼時恢復圖像時運用。不同區域宏塊的運動矢量，可有不同的選擇，運動矢量的選擇范圍是基于幀間圖像的時間分辨率，和塊內圖像的時間分辨率，以及幀序列圖像的性質而選定。例如，當兩個1616宏塊所包含的畫面內容在傳送中完全靜止不動，那么宏塊的運動矢量為零宏塊的坐標沒有改動。運動估計P圖像幀P圖像幀P圖象宏塊有2種類型 幀內宏塊, 簡稱I塊； 前向預測宏塊, 簡稱F塊；P幀編碼時,編碼器需求對每一個宏塊作以下選擇: (1)決議能否作運動補償(MC/No-MC)，即是將運動矢量發送出去，還是設其為0。在許多情況下,運用非零的運動矢量并不比運用零值的運動矢量所構成的誤差少多少。而非零

21、運動矢量需求額外的編碼比特，因此這時可設運動矢量為0，這樣可以提高編碼效率。P圖像幀(2)決議采用幀內編碼還是幀間編碼，即是采用幀內宏塊編碼還是利用運動矢量預測編碼。在許多情況下，某些宏塊采用幀內編碼方式也許會用更少的比特。這通常發生在由于運動非常猛烈而導致運動估計失敗的情況。(3)決議宏塊要不要編碼。有時在量化后，宏塊中一切的DCT系數都是0，這種宏塊就不需求被編碼。在對這種宏塊解碼時，只需求從過去的幀中把對應的宏塊復制到這個宏塊就行了。(4)決議量化等級能否符合要求，能否需求改動B圖像幀B幀圖像(或稱雙向圖) (1) 既可運用前向預測方式，也可運用后向預測方式，或同時運用雙向預測后取平均方

22、式雙向幀間預測，取決于哪一種方式下表示該宏塊所需的信息量為最少。(2) 運用雙向預測后，可以使那些在前一幀中預測不到的內容很好地在后一幀中預測到，而且經過預測后取平均，非常有效地減少了預測噪聲的影響。(3) 它的緊縮效率最高，但雙向預測圖像不作為預測的參考圖像。B圖像幀B圖像幀B圖像幀B圖象宏塊有4種類型 幀內宏塊, 簡稱I塊； 前向預測宏塊, 簡稱F塊； 后向預測宏塊, 簡稱B塊； 平均宏塊, 簡稱A塊。B圖像幀類似于P幀，B幀在編碼前同樣要作一系列的決議,其流程如下: (1)決議運動補償方式，即前向，后向及插值運動補償中哪個能到達最正確。宏塊運動補償方式的選擇是基于代價函數的最小值。代價函

23、數是運動補償宏塊和當前宏塊的亮度差的均方誤差。解碼器經過一種簡單的方法為前向運動補償計算最正確運動補償宏塊。然后再為后向運動補償計算最正確運動補償宏塊。最后再求兩種運動補償宏塊的均值，從而產生宏塊的插值。然后再選擇它與當前宏塊均方誤差最小的方式。假設找不出最小值，就選取宏塊插值方式。B圖像幀 (2)決議采用幀內/幀間編碼。 即宏塊類型是幀內編碼還是運用運動矢量作運動補償編碼。計算方法和P幀的類似，解碼器計算差分宏塊和當前宏塊的變化。假設兩者的變化一樣那么選擇非幀內編碼。(3)假設宏塊類型是非幀內宏塊，那么要決議這個宏塊能否編碼，即殘差能否大得足以采用DCT變換。解碼器根據量化的結果選擇編碼與否

24、,當一切量化系數都為零時,那么這個塊不用編碼.假設宏塊中沒有編碼的塊,那么這個宏塊不需編碼 ,否那么該宏塊需求編碼。(4)決議量化尺寸能否滿足要求，能否需求改動尺寸。MPEG的幀序列從緊縮的程度來看，I圖的緊縮率最?。挥捎赑圖只存儲當前幀和參考幀的誤差信號，因此P圖得到了較大的緊縮；而B圖的緊縮率是最大的，這也使得B幀不能作為預測基準的緣由。P幀和B幀圖像采用幀間編碼方式，即同時利用了空間和時間上的相關性。P幀圖像只采用前向時間預測，可以提高緊縮效率和圖像質量。P幀圖像中可以包含幀內編碼的部分，即P幀中的每一個宏塊可以是前向預測，也可以是幀內編碼。B幀圖像采用雙向時間預測，可以大大提高緊縮倍數

25、。由于B幀圖像采用了未來幀作為參考，因此MPEG-1編碼碼流中圖像幀的傳輸順序和顯示順序是不同的。MPEG的幀序列發送端首先發送一個根本幀，然后比較后續幀的區別進展編碼，緊縮后加以傳送。接納端可以根據第一個根本幀和接納到的差值重建一切的幀。一個全新的情景出現時，由于新老情景間的差別很大，這時很能夠不得不發送新的場景。MPEG的幀序列不同的幀類型在一個幀序列中應按什么方式陳列？要保證I幀必需在任何幀序列中周期性地出現。這是由于差分編碼計算適用于幀之間差別極小的情況，但與一個固定幀差別很小的情況總是局限在相對較短的一段時間內，假設出現新的物體，隨后情景就會發生改動。這種情況涉及那些藏在某些挪動體后

26、面的物體。例如當一個人在一個場景中挪動時，前一幀中本來藏在人后面的物領會出如今后續的幀中。讓I幀周期性地出現確保差別是相對于最近的情景進展計算的，能消除錯誤的傳播。怎樣從其他幀重建P幀和B幀？播放時看到的幀次序不是傳送的幀的次序。P幀在最初的兩個B幀前面傳送，而第二個I幀在最后的兩個B幀前面傳送。然后P幀和兩個I幀可以被緩存起來，這樣接下來收到的B幀就可以在觀看端進展解碼。MPEG的幀序列首先處置I幀圖像，然后是P幀，最后在兩者的根底上才處置B幀；MPEG編碼器算法允許選擇I圖像頻率指每秒鐘出現I圖像的次數和位置時間方向上幀所在的位置；一個典型的I、P、B圖像陳列如下：I的間隔為15；P的間隔

27、為3；MPEG的幀序列“開放性的視頻碼流：I 幀在碼流中出現的位置和頻率，可根據圖像序列中隨機存取和景物切換的需求進展選擇。相鄰最近的I與P幀或P幀之間的B幀數目可以選擇。I，P，B三種圖象的數據緊縮比：25：1， 510：1， 2030：1 圖象的編碼順序和顯示順序不一樣。MPEG的幀序列MPEG的幀序列與延時顯示順序上在前的B幀圖像，由于預測時參照靠后的P幀圖像，在傳輸存儲和解碼是必需先處置P幀圖像，因此在編碼順序上P幀圖像反而在B幀圖像之前；由于編碼順序和顯示順序之間的差別，帶來編、解碼總延時達0.81s；這種延時對廣播性質的圖像傳輸不會帶來任何影響，由于用戶并不能發現發射端與接納端信號

28、起始時間的差別；對于交互性質的圖像傳輸，如數字會議電視會帶來不便，如甲方向乙方提問，由于雙向延時那么會1.82s以后得到回答；MPEG的幀序列與延時為減小延時采用方法：經過減少B幀使兩個I幀之間的幀數減少，那么編、解碼總延時下降；為進一步減小延時，可以把B幀、P幀全部去掉。這樣可得零延時，此方式稱M-JPEG方式；此時緊縮比降到5:17:1,所以延時與緊縮倍數是相互矛盾的。MPEG-1視頻解碼器輸入緩沖解碼VLDIQIDCT前向運動補償緩沖器內插運動補償后向運動補償前面幀存后面幀存輸出輸入 量化表重建幀輸入速率固定，但畫面數據量大，必需設置緩沖輸出為I、B、P畫面的預測畫面預測畫面+差分畫面=

29、重建畫面MPEG-1視頻解碼器VLD解碼器先解出圖像頭信息，確定圖像類型，提供預測方式和運動矢量等信息，解出量化的DCT系數;反量化復原DCT系數;反DCT復原出像塊的預測差值;經過運動補償，得到相應的預測值;預測差值再與當前的預測值相加，恢復像素值;復原的圖像數據存儲在緩沖器里，經重新排序后，按圖像顯示順序輸出。MPEG-1音頻MPEG音頻規范的特點:音頻信號采樣率可以是32KHz,44.1KHz或48KHz。緊縮后的比特流可以按以下4種方式之一支持單聲道或雙聲道:提供應單音頻通道的單聲道方式；提供應兩個獨立的單音頻通道的雙-單聲道方式；提供應立體聲通道的立體聲方式；結合立體聲方式,利用立體

30、聲通道之間的關聯或通道之間相位差的無關性,或者對兩者同時利用。MPEG-1音頻MPEG音頻規范提供3個獨立的緊縮層次,用戶可在復雜性和緊縮質量之間權衡選擇。層1最簡單,運用比特率384Kbps,主要用于DCC; 層2的復雜度中等,運用比特率192Kbps左右, 主要運用于數字廣播的音頻編碼、CD-ROM上的音頻信號以及CD-I和VCD。 層3最為復雜,運用比特率64Kbps,尤其適用于ISDN上的音頻傳輸,有損緊縮但音質堅持逼真效果。MP3音樂 是利用 MPEG Audio Layer 3 的技術, 聲音采用 1:10 甚至 1:12 的緊縮率 MPEG-1音頻緊縮后的比特流具有預定義的比特率

31、之一。MPEG音頻規范也支持用戶運用預定義的比特率之外的比特率。 編碼后的比特流支持循環冗余校驗(CRC)。MPEG音頻規范還支持在比特流中載帶附加信息。H.261ITU引薦H.261方案標題“64Kbps視聲效力用視象編碼方式, 又稱為P64Kbps視頻編碼規范，1993年3月制定。P取值范圍為1-30。P=1或2時,僅能支持QCIF(176144)分辨率格式, 每秒幀數較低的可視;當P6時,那么可支持圖象分辨率格式為CIF(352288)的電視會議。P64Kbps緊縮算法采用基于DCT的變換編碼和帶有運動預測的DPCM預測編碼的混合方法。P64Kbps規范的緊縮算法與MPEG-1規范有許多

32、共同之處, 只是傳輸速率P64Kbps覆蓋較寬的信道頻帶, 而MPEG-1是基于較窄的頻帶上傳輸。H.261P64Kbps規范采用層次塊的視頻數據構造方式, 使高緊縮視頻編碼算法得以實現。P64Kbps規范的視頻編碼定義一個視頻數據構造CIF保證解碼器對接納到的比特流進展沒有二義性的正確解碼。利用CIF格式, 可使不同制式的各國電視信號變換為一致的中間格式, 然后輸入給編碼器, 從而使編碼器本身不意圖識信號是來自哪種制式的。H.261規范適宜各種各樣實時視覺運用,如位率不同(P不同), 運動效果和圖象質量不同,位率提高、畫面質量改善。H.261編碼框架H.261參數參 數CIFQCIFY有效取

33、樣點數352點/行176點/行U，V有效取樣點數176點/行88點/行Y有效行數288行/幀144行/幀U，V有效行數144行/幀72行/幀塊組層數12組/幀3組/幀H.261分層構造圖像頭QCIF幀圖塊組1塊組2塊組3塊組1頭宏塊1宏塊2宏塊33宏塊1頭亮度塊1亮度塊4色度塊1色度塊2DCT系數DCT系數塊終了H.261分層構造H.261輸入格式輸入格式 CIF (352 x 288 Y) QCIF (176 * 144 Y) 幀率7.5 . 30 fps 采樣4：2：0H.261編碼方式每一個宏塊可以采用幀內或幀間方式編碼為了防止由于網絡問題導致的誤差傳播，周期性地插入intra-mode

34、幀間編碼方式中采用整像素精度當畫面快速變化時，運動補償無效，這時應采用幀內編碼。為了控制幀間編碼和傳輸引起的誤差分散，規范規定一個宏塊最多延續進展132次幀間編碼后進展一次幀內編碼H.261編碼方式編碼方式根據交流能量決議當幀內交流能量大于幀間交流能量時，采用幀間編碼當幀內交流能量小于幀間交流能量時，采用幀內編碼當幀內交流能量和幀間交流能量時都很小時，采用節省碼率的幀間編碼H.261運動估計的精度為整像素，搜索范圍-16,+16生成運動矢量的方法規范中沒有指定，規范只定義了比特率的語義和解碼方法運動向量進展差分編碼編碼器和解碼器運用解碼的MVs進展運動補償環路濾波器用于編碼噪聲的傳播DCT系數

35、先進展游程編碼然后進展huffman編碼其他信息也運用huffman編碼MPEG-2視頻編碼和解碼規范簡介“運動圖象和相關聲音信息的普通編碼方法 ， ISO/IEC 18 ，94年11月公布；用于DVB，HDTV，DVD。是針對規范數字電視和高明晰度電視在各種運用下的緊縮方案和系統層的詳細規定，也是國際主流的SDTV和HDTV的編碼規范。在ITU-T的協議系列中，被稱為H.262；MPEG-2和MPEG-1的圖像構造一樣；MPEG-2通用性較強，滿足對圖像質量和傳輸速率的多層次要求，技術成熟；圖像格式：704576PAL和704480NTSC，碼率為315 Mbps，9Mbps模擬分量質量；能

36、處置逐行掃描和隔行掃描圖像，包括16：9寬高比圖像格式。3.3 MPEG-2視頻編碼和解碼MPEG-1定位在VHS質量，MPEG-2的目的是要到達廣播級的音視頻質量；MPEG-2編碼添加了場處置的方式；MPEG-2支持多種分辨率；MPEG-2的音頻編碼可與MPEG-1兼容MPEG-2 BC，并擴展支持16KHz、22.05KHz 和24KHz采樣頻率，音頻數據位率擴展到864Kbps，支持5.1和3.1聲道環繞立體聲；MPEG-2還支持線性PCM編碼和Dolby AC-3編碼。 MPEG-2視頻編碼和解碼規范組成共分9個部分，中心如下：18-1系統：定義規范的系統編碼，包括復合視頻和音頻數據的

37、復用構造以及重放同步序列所需表示定時信息的方法；18-2視頻：定義視頻數據的編碼方法和重建圖像所要求的解碼過程；18-3音頻：定義音頻數據的編碼方法；18-4兼容性：定義編碼碼流能否符合MPEG-2碼流的兼容性測試方法；18-5軟件：描畫MPEG-2 規范的前3部分的軟件實現方法；18-6數字存儲媒體-命令與控制：描畫交互式多媒體網絡中效力器與用戶間的會話信令集。MPEG-2視頻編碼和解碼 檔次及等級:MPEG-2視頻規范的技術規范集包括5個“檔次Profiles和4個“等級Levels；檔次是MPEG-2規范定義的不同編碼算法的子集：較低的檔次在編碼時僅運用最為根本的編碼工具；較高的檔次那么

38、采用較多的編碼工具集；檔次之間具有向下兼容性；等級主要針對ITU-R CCIR601規范下的不同的圖像信源的分辨率：從低級到高級，對應信源的分辨率逐漸添加。檔次與等級的假設干組合構成MPEG-2視頻編碼規范在某種特定運用下的子集，對某一輸入格式的圖像，采用特定集合的緊縮編碼工具，可產生規定速率范圍內的編碼碼流。MPEG-2視頻編碼和解碼MPEG-2規范的檔次檔次（Profile）說明簡單檔次（Simple Profile ）使用最少的編碼工具集主檔次（Main Profile ） 增加雙向預測方法信噪比可伸縮檔次（ SNR Scalable Profile ）增加可伸縮特性空間可分伸縮檔次（

39、Spatially Scalable Profile ）高級檔次（High Profile ） 用于圖像質量、比特率要求更高的場合MPEG-2視頻編碼和解碼MPEG-2規范的等級級別（Level）分 辨 率最大碼率低級(Low Level)35224030,352288254Mbps主級(Main Level)72048030,7205762515Mbps1440高級(High-1440 Level)144010803060Mbps高級(High Level)1920108030（16:9）80MbpsMPEG-2視頻編碼和解碼檔次與等級的組合選擇在實現MPEG-2規范時，可根據運用環境數字存

40、儲媒體、可視、數字電視、高明晰度電視及通訊網絡的需求，選擇適當的檔次與等級；在20種能夠的組合中，為了保證與MPEG-1向下兼容及特定的數字廣播、通訊和家用視聽設備的需求，目前11種是已獲經過的，成為MPEG-2適用點。MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼以下4種技術規范最常運用：MPML：主級/主類，可運用于包括數字視頻廣播DVB、數字視盤DVD、數字有線電視和交互式電視等；SPML：簡單類/主級，用于數字有線電視和數字錄像機；MPHL：主類/高級，用于全數字HDTV；SSPHL1440：空域可伸縮類/1440高級，用于HDTV。MPEG-2視頻編碼

41、和解碼系統層原理MPEG-2在概念上將編碼構造分為兩層：最外部為系統層系統層作用是對多個緊縮層的碼流進展打包和復用；內層為緊縮層；為使緊縮碼流可以在衛星、電纜和地面頻道等信道的傳輸中兼容MPEG-1系統層碼流，MPEG-2系統部分還定義了兩種碼流構造：節目流Program Stream, PS；傳送流Transport Stream, TS。MPEG-2為TS流和PS流都提供了相關的解碼方式和語法，可以保證緊縮碼流的同步譯碼和音/視頻信號的重構；TS流和PS流的數據構造稱為PES數據包，包含編碼后的音/視頻信息和相關系統信息。MPEG-2視頻編碼和解碼MPEG-2系統層構造圖打包器打包器PS復

42、用TS碼流PS碼流視頻PES視頻音頻數據TS復用視頻編碼器音頻編碼器數據編碼器MPEG-2系統規范原始音/視頻等信息編碼后送到系統層系統層對緊縮碼流打包構成PES數據包復合成節目流和傳輸流送出I1B2B3P4B5B6P7B8B9I10I1P4B2B3P7B5B6I10B8B9MPEG-2視頻編碼和解碼節目流:節目流可以將一個或多個具有一樣時間基點的數據流合成單個數據流；MPEG-2節目流解碼器可以正確對MPEG-1系統流進展解碼，因此與MPEG-1系統流一樣，MPEG-2節目流適用于無誤碼影響的環境以及基于軟件的解碼處置；節目流的PES數據包通常比較長且長度不固定，典型長度在12KB之間；節目

43、流支持MPEG-2規范一些特性：隨機訪問；特技方式等。MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼傳送流:傳送流面向通訊傳輸信道定義，可以有效提高傳送碼流對信道噪聲的魯棒性，傳送流中可以包含多個信道節目；傳送流將多個獨立時間基點的多信道節目合成為一個單獨的數據流，屬于同一節目的各個原始數據流具有一樣時間基點，以便于劃分；傳送流由一系列的傳送流分組構成，每個傳送流分組是包括頭信息在內的188 B的數據包；更利于運用嵌入式硬件進展處置，也適宜在各種有線和無線信道中傳輸。MPEG-2視頻編碼和解碼1鏈接頭作用包同步：用于建立包同步；包識別PID：復用和解復用的識別信息，靠PID提取根本碼流；

44、誤碼處置：發端對包作015的反復計數，接納端發現延續計數中斷，就會判別喪失數據；有條件接納：傳輸格式允許包的數據作加擾處置，各根本流可獨立擾亂，傳輸包的銜接投要闡明能否擾亂，標志出解擾密鑰。頭部信息不允許擾亂。 鏈接頭 可變長適配頭 凈負荷數據 188 字節 4 字節MPEG-2視頻編碼和解碼2適配的作用定時:一些包的適配頭傳時間信息，即在PCR字段傳27MHz時鐘，指出解碼器從碼流中讀完該字段的期望時間。解碼器的時鐘與PCR比較，調整本時鐘頻率，進展同步；可隨機進入緊縮碼流； 在節目調理或改換時應該隨機進入音頻和視頻的I幀，在I幀前的視頻序列的頭部應該有一個隨機進入點； 可插入本地節目。MP

45、EG-2視頻編碼和解碼188字節包頭凈荷包頭凈荷包頭凈荷順應字段81113包同步誤碼指示開場指示傳送優先級PID加擾控制順應字段控制延續性計數器1224可變長可選字段8115順應字段長度不延續性指示隨機進入指示ES優先級指示5個標志填充字節14848PCR拼接點倒計時傳送私有數據8OPCR順應字段擴展TS包格式MPEG-2視頻編碼和解碼系統復用:復用器是整個系統的關鍵設備之一，它接納從前端編碼器來的視頻、音頻數據流，按照一定的復用規范將其交錯復用成符合MPEG-2系統層規范的單一的系統碼流。MPEG-2視頻編碼和解碼假設在一個電視頻道內復用幾路TS流，也即在一個常規頻道內傳輸多套數字電視節目，

46、那么稱為多路節目的雙層復用。第一層復用稱為節目復用(Program Multiplex)；第二層復用稱為傳輸復用(Transport Multiplex)。其中，節目復用有共同的時間基準，傳輸復用時彼此可以有獨立的時間基準。MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼視頻構造 :與MPEG-1的視頻構造一樣，從下到上依次是，像塊block、宏塊macroblock、像條slice、圖像picture、圖像組group of picture、視頻序列video sequence。但區別是MPEG-2支持逐行掃描方式。 圖像組 圖像組 圖像組圖像圖像序列宏塊條宏塊88塊MPEG-2視頻編碼

47、和解碼編/解碼原理:1、編碼原理經典的基于DCT變換的混合編碼方案MPEG-2視頻編碼和解碼在編碼器端，輸入圖像首先根據幀編碼方式來進展相應處置：幀內編碼編碼圖像分塊后直接進展DCT變換，隨后運用量化矩陣進展量化處置，以減少數值的動態區域。幀間編碼視頻信號經過運動估計和運動補償后，由運動矢量和參考幀生成當前幀的預測圖像，而后將當前幀與預測圖像的殘差圖像進展DCT變換、量化、VLC編碼，生成編碼比特流送入緩沖器。3.3 MPEG-2視頻編碼和解碼2、解碼:重建像塊差值每個GOP的頭部送一個量化矩陣用兩個碼表解碼運動矢量重建像塊數據提取各種參數MPEG-2視頻編碼和解碼關鍵技術:1、離散余弦變換D

48、CT思索到視頻信號的隔行掃描特性，MPEG-2專門設置了兩種圖像構造：場方式Field-pictures和幀方式Frame-pictures，因此DCT變換的根本單元也有所不同，即可以基于幀，也可以基于場；幀方式在進展DCT變換之前直接對宏塊進展劃分，每塊由兩場的交替行組成，最后分割為88像素的子塊即可；場方式是每幀先被劃分為1616的宏塊，隨后對宏塊進展重新組合，按宏塊中每一行所在場的不同將宏塊劃分為168的2個子塊，最后對每個子塊中的2個88的數據塊做DCT變換。MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼2、量化器:量化針對DCT變換系數進展，由于DCT變換系數對人類視覺系統感知

49、的重要性不同，因此對一個88的DCT變換塊的64個DCT變換系數采用不同的量化精度，保證盡能夠多的包含特定的DCT空間頻率信息，又使量化精度不超越需求；低頻系數對視覺感應的重要性較高，分配的量化步長較??；高頻系數對視覺感應的重要性較低，分配量化步長較大，通常情況下DCT變換塊中大多數高頻系數量化后會變為零。MPEG-2視頻編碼和解碼MPEG-2的量化公式為：fi,j為變換系數；Fi,j為量化結果；Wi,j為量化矩陣；qp為由碼率控制器決議的量化因子。MPEG-2視頻編碼和解碼3、掃描方式:DCT變換系數量化后大多數非零系數集中于88矩陣的左上角，即低頻分量區，為使游程編碼和VLC編碼效率更高，

50、必需將其轉換為一維序列的表達方式；掃描后，非零DCT系數集中于一維陳列數組的前部，后面跟著長串的量化為0的DCT系數，為后續編碼發明條件；MPEG-2運用了兩種掃描方法：Zigzag掃描和交替掃描；交替掃描是基于隔行掃描圖像的垂直相關性較逐行掃描圖像要小的特性得到的，在低比特率下具有更好的性能；MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼4、游程編碼在游程編碼中，只需非零系數被編碼，當子塊的一維序列中剩余的DCT系數全部為零時，MPEG-2定義“塊終了End Of Block, EOB標志位來指示，就可終了當前子塊編碼，從而進一步降低編碼的比特數。5、熵編碼MPEG-2視頻緊縮系統中采

51、用Huffman編碼，對不同的語法元素制定了不同的VLC碼表。MPEG-2視頻編碼和解碼6、信道緩存信道緩存是一切編解碼器都必需具有的中心部分；隨著視頻圖像統計特性的變化，編碼后的碼流碼率也是變化的，在大多數情況下傳輸帶寬是恒定的，因此需在編碼碼流進入信道前設置緩存器，以變比特率從熵編碼器讀入數據，以傳輸系統標稱的恒定比特率向外讀出，輸入信道；緩存器大小固定，假設編碼器瞬時輸出比特率明顯高于或低于傳輸系統的帶寬，能夠呵斥緩存器的上溢或下溢，需求加碼率控制器，使緩存器的寫入與讀出數據速率趨于平衡；碼率控制器的調控主要經過調整量化器的量化參數實現：將要上溢時增大量化步長以降低編碼數據速率；將要下溢

52、時減小量化步長以提高編碼數據速率；MPEG-2視頻編碼和解碼7、運動估計MPEG-2根據“幀方式和“場方式對運動估計和運動補償進展了相應的擴展；幀圖像的幀預測幀圖像的場預測場圖像的場預測雙基預測168預測對于幀圖像，合成圖像中相鄰行來自于不同場，圖像中物體運動時，垂直方向上相鄰像素間相關性會減少，MPEG-2運用新的運動估計方法，最高支持半像素精度。MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2的可分級性MPEG-2視頻編碼和解碼數據分割： 一個根本層和多個加強層根本層可經過獨立編碼、傳輸和解碼獲得根本的傳輸質量 加強層的編

53、碼和解碼依賴于基層及其之前的加強層MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2視頻編碼和解碼MPEG-2 與 MPEG-1編碼的不同點：1、MPEG1只處置逐行掃描的序列，而MPEG2的目 標時支持高分辨率的隔行掃描的序 列 BT.601 = 4CIF 2、更先進的運動估計方法幀/場預測方式 以提高隔行掃描序列的運動估計精度3、針對隔行掃描序列開發了不同的DCT方式和 掃描方法4、 MPEG2具有各種方式的可伸縮性5、MPEG2具有不同級別和層次的方法，每個方 法均可用于不同的運用。MPEG-4視頻編碼和解碼規范簡介“基于音視頻對象的通用編碼算法

54、，其目的是為多媒體信息緊縮提供一致和開放的平臺， ISO/IEC 14496 ，99年2月公布第一版草案，2000年初正式成為國際規范；目前，在Internet視頻、流媒體、無線通訊等領域中得到廣泛運用；作為開放規范，新內容和新算法不斷參與其中；可支持的比特速率低速率可低到564kb/s，高速率高達5Mb/s ；圖像格式：支持各種掃描規范和圖象格式；旨在將各種多媒體運用集成于一個完好的框架內。MPEG-4視頻編碼和解碼規范提出的背景技術開展的趨勢與運用要求的提高音視頻內容越來越多，且很多是計算機合成的；視頻信息的傳送將擴展到一切網絡，無線通訊不僅用于語音，而且將運用于數據和視頻；對音視頻信息交

55、互處置和運用的要求不斷增長；電信、計算機、影視廣播領域正逐漸交融，相互浸透；MPEG-4視頻編碼和解碼規范提出的背景MPEG-1和MPEG-2存在缺乏基于像素和像素塊的編碼，不能對圖像的內容進展查詢、編輯和選擇播放等操作，交互性較差；無法在同一場景中集成自然媒體與人造合成媒體；不支持超鏈接；不提供對低碼率運用的支持，將圖像分成固定大小的塊，在高緊縮比情況下會有很嚴重的塊效應。MPEG-4視頻編碼和解碼MPEG-4視頻編碼和解碼規范組成:由相互聯絡的16個部分組成，中心部分如下：14496-1系統：定義規范的系統編碼，主要是復合音/視頻數據的復用構造和實時運用中重放同步序列所需表示定時信息的方法

56、。編碼器端的音/視頻對象被分別編碼，與場景描畫信息和其它同步控制信息合成比特流；接納端按場景描畫信息合成場景MPEG-4視頻編碼和解碼14496-2視頻：定義視頻數據的編碼表示和重建圖像所要求的解碼過程；14496-3音頻：定義音頻數據的編碼要求；14496-6多媒體集成傳輸框架DMIF：對不同傳輸媒體提供共同的接口和效力。經過對編碼比特流進展打包，使緊縮碼流適宜于在不同的信道傳輸。MPEG-4視頻編碼和解碼MPEG-4視頻編碼和解碼規范新功能基于內容的交互性基于內容的操作與比特流編輯自然與合成數據的混合編碼加強的時間域隨機存取：可按幀或任不測形對象進展隨機存取高緊縮率提高了編碼效率：同等碼率

57、下更好的圖像質量對多個并發數據流的編碼：提供對同一場景的有效多視角編碼、多伴音聲道編碼及有效視聽同步，足夠察看視點下可有效描畫三維自然景物靈敏多樣的存取抗誤碼特性：多種抗誤碼技術基于內容的可伸縮性：圖像中各個對象具有不同優先級MPEG-4視頻編碼和解碼檔次與等級針對不同的媒體內容和場景描畫定義了四類：視頻類音頻類圖形類場景描畫類不同分類在選用時是相互獨立的，與MPEG-2類似MPEG-4也采用了檔次和等級的方式，檔次就是針對特定的運用確定要采用的編碼工具，不同類的碼流句法構造不同，視頻、音頻和圖形類中支持的對象類型也各不一樣；每個檔次包括一個或多個等級，用以限制計算復雜度。MPEG-4視頻編碼

58、和解碼中心的視頻框架下主要包括如下6各檔次：Simple Visual Profile：提供針對矩形視頻對象的編碼功能，具有最低的復雜度，適宜于計算才干較差的挪動網絡終端設備；Advanced Simple Visual Profile：提供針對矩形視頻對象的高效編碼功能，支持交錯視頻方式，適宜對質量要求較高的挪動網絡；Simple Scalable Visual Profile：在Simple Profile根底上添加了對象的時域和空域可伸縮編碼功能，運用于提供多級效力質量，如Internet和軟件解碼；MPEG-4視頻編碼和解碼Core Visual Profile：在Simple Pro

59、file根底上添加了任不測形對象編碼和時域擴展編碼功能，適用于相對簡單的內容交互運用，如Internet多媒體運用；Main Visual Profile：在Core Profile根底上添加了Sprite對象編碼功能，適宜于交互和文娛質量廣播和DVD運用等；N-Bit Visual Profile：在Core Profile根底上添加了具有不同像素深度412bit視頻對象編碼功能，適用于監控運用；MPEG-4視頻編碼和解碼層次構造MPEG-4采用了基于對象的編碼方案。對象：一幅圖像中表征有含義的實體的一組區域；對象替代了像素，一幅圖像/視頻可以看作不能再分解的一組對象；一幅圖像可以包括一個或

60、多個視頻對象，經過紋理、外形、運動等方式來表征每一個視頻對象的時間、空間信息；基于對象的表征方法帶來了交互性；MPEG-4中所見的視音頻不再是圖像幀的概念，而是一個個視聽場景AV場景，這些不同的AV場景由不同的AV對象組成；MPEG-4視頻編碼和解碼AV對象(Audio/ Visual Objects) 是聽覺、視覺、或者視聽內容的表式單元，其根本單位是原始AV對象，可以是自然的或合成的聲音、圖像，它們又可進一步組成復合AV對象；AV對象編碼是MPEG-4的中心編碼技術。MPEG-4視頻編碼和解碼一個面向對象的電視情景Sports results: Portugal - Brazil Spor