1、第第5章章 圖像編碼與壓縮圖像編碼與壓縮n5.1 引言引言n5.2 圖像保真度準(zhǔn)則圖像保真度準(zhǔn)則n5.3 無損壓縮技術(shù)無損壓縮技術(shù)n5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n5.5 有損預(yù)測(cè)編碼有損預(yù)測(cè)編碼n5.6 圖像變換編碼基本原理圖像變換編碼基本原理n5.7 視頻圖像編碼簡(jiǎn)介視頻圖像編碼簡(jiǎn)介 第第5章章 圖像編碼與壓縮圖像編碼與壓縮n5.1 引言引言n 數(shù)字圖像數(shù)據(jù)量很大，因此為了快速傳輸，總是希望進(jìn)行合理的圖像壓縮。壓縮的理論基礎(chǔ)是信息論，是一種通過刪除冗余的或者不需要的信息來達(dá)到壓縮數(shù)據(jù)量目的的技術(shù)。雖然表示圖像需要大量的數(shù)據(jù)，但是圖像數(shù)據(jù)是高度相關(guān)的，或者說存在冗余（Redundancy）

2、信息，去掉這些冗余信息后可以有效壓縮圖像，同時(shí)又不會(huì)損害圖像的有效信息。n 數(shù)字圖像的冗余主要表現(xiàn)為以下幾種形式：空間冗余、時(shí)間冗余、視覺冗余、信息熵冗余、結(jié)構(gòu)冗余和知識(shí)冗余。n1.空間冗余空間冗余 圖像內(nèi)部相鄰像素之間存在較強(qiáng)的相關(guān)性所造成的冗余。也稱為像素相關(guān)冗余。 場(chǎng)景中總有一些物體，圖像中就有一些目標(biāo)，同一目標(biāo)的像素之間一般具有相關(guān)性。根據(jù)相關(guān)性，由某一個(gè)像素的性質(zhì)可以獲得其鄰域像素的性質(zhì)，各像素的值可以由其鄰近像素的值預(yù)測(cè)出來，每個(gè)獨(dú)立的像素所攜帶的信息相對(duì)較少。圖像中存在與像素間相關(guān)性直接聯(lián)系的數(shù)據(jù)冗余，即為像素相關(guān)冗余，也稱為空間冗余或幾何冗余。第第5章章 圖像編碼與壓縮圖像編碼

3、與壓縮n2.時(shí)間冗余時(shí)間冗余 視頻圖像序列中的不同幀之間的相關(guān)性所造成的冗余。n3.視覺冗余視覺冗余 是指人眼不能感知或不敏感的那部分圖像信息。人的眼睛對(duì)圖像細(xì)節(jié)和顏色的辨認(rèn)受到人的視覺特性的限制，人類最多能分辨 種顏色，而彩色圖像用24表示，即 種顏色，這種數(shù)據(jù)冗余稱為視覺冗余。162242第第5章章 圖像編碼與壓縮圖像編碼與壓縮n4.信息熵冗余信息熵冗余 也稱編碼冗余，如果圖像中平均每個(gè)像素使用的比特?cái)?shù)大于該圖像的信息熵，則圖像中存在冗余，稱為信息熵冗余。 為表達(dá)圖像數(shù)據(jù)需要使用一系列符號(hào)，如字母、數(shù)字等，用這些符號(hào)根據(jù)一定的規(guī)則來表達(dá)圖像就是對(duì)圖像進(jìn)行編碼。在這里對(duì)每個(gè)信息或事件所附的符

4、號(hào)序列稱為碼字，而每個(gè)碼字里的符號(hào)個(gè)數(shù)稱為碼字的長(zhǎng)度。當(dāng)使用不同的編碼方法時(shí)，得到的碼字及其長(zhǎng)度都會(huì)不同。第第5章章 圖像編碼與壓縮圖像編碼與壓縮n5.結(jié)構(gòu)冗余結(jié)構(gòu)冗余 是指圖像中存在很強(qiáng)的紋理結(jié)構(gòu)或自相似性。n6.知識(shí)冗余知識(shí)冗余 是指在有些圖像中還包含與某些先驗(yàn)知識(shí)有關(guān)的信息。 數(shù)字壓縮技術(shù)利用了數(shù)據(jù)固有的冗余性和不相干性，將一個(gè)大的圖像數(shù)據(jù)文件轉(zhuǎn)換成較小的文件。經(jīng)過壓縮的文件可以在以后需要的時(shí)候以某種方式將原文件恢復(fù)出來，兩個(gè)文件的大小之比即為壓縮比。壓縮比反映了圖像文件的壓縮程度。第第5章章 圖像編碼與壓縮圖像編碼與壓縮n 有些圖像文件數(shù)據(jù)無損壓縮的算法刪除的僅僅是冗余的信息，因此可以

5、在解壓縮時(shí)精確地恢復(fù)圖像。有損壓縮算法刪除了不相干的信息，因此只能對(duì)原有的圖像進(jìn)行近似地重構(gòu)，而不能精確的復(fù)原。有損壓縮的算法可以達(dá)到較高的壓縮比。對(duì)于多數(shù)圖像來說，為了得到更高的壓縮比，保真度的輕微損失是可以接受的。但是，有些圖像是不允許進(jìn)行有損壓縮的。第第5章章 圖像編碼與壓縮圖像編碼與壓縮n 對(duì)圖像文件進(jìn)行壓縮和解壓縮都是需要時(shí)間的。圖像文件在系統(tǒng)與系統(tǒng)之間或用戶與用戶之間進(jìn)行交換時(shí)，這個(gè)時(shí)間是不容忽略的。所以要根據(jù)具體情況選擇進(jìn)行有損壓縮和無損壓縮，以及在速度和壓縮比之間、保真度之間進(jìn)行折衷。第第5章章 圖像編碼與壓縮圖像編碼與壓縮5.2 圖像保真度準(zhǔn)則圖像保真度準(zhǔn)則n 圖像編碼結(jié)果減

6、少了數(shù)據(jù)量，提高了存儲(chǔ)和傳輸?shù)乃俣取?shí)際應(yīng)用時(shí)需要將編碼結(jié)果解碼，恢復(fù)成圖像的形式才能使用。根據(jù)解碼圖像對(duì)原始圖像的保真程度，圖像壓縮的方法可以分為兩大類：信息保存型和信息損失型。n 信息保存型在圖像的壓縮和解壓縮的過程中沒有信息損失，得到的解碼圖像與原始圖像完全相同。信息損失型可以取得很高的壓縮比。但是不能通過解碼恢復(fù)原圖像。需要一種測(cè)度描述解碼圖像對(duì)于原始圖像的偏離程度，這些測(cè)度一般稱為保真度準(zhǔn)則。 5.2 圖像保真度準(zhǔn)則圖像保真度準(zhǔn)則n1. 客觀保真度準(zhǔn)則客觀保真度準(zhǔn)則n 1)均方根誤差n 常用的準(zhǔn)則是輸入圖像和輸出圖像的均方根誤差。令f(x,y)表示輸入圖像， 表示對(duì)輸入圖像壓縮編碼和

7、解碼后的近似圖像，則和之間的誤差可以表示為n n ),(yxf),(),(),(yxfyxfyxe 5.2 圖像保真度準(zhǔn)則圖像保真度準(zhǔn)則n設(shè)圖像的大小為 ，則 和 之間的均方根誤差為NM ),(yxf),(yxf2/110102),(),(1MxNyrmsyxfyxfMNe5.2 圖像保真度準(zhǔn)則圖像保真度準(zhǔn)則n2. 主觀保真度準(zhǔn)則主觀保真度準(zhǔn)則 5.3 無損壓縮技術(shù)無損壓縮技術(shù)n 無損壓縮算法可以分為兩大類：基于字典的技術(shù)和基于統(tǒng)計(jì)的方法。基于字典的技術(shù)生成的文件包含的是定長(zhǎng)碼，每個(gè)碼字代表原文件中數(shù)據(jù)的一個(gè)特定的序列。基于統(tǒng)計(jì)的方法通過用較短代碼代表頻繁出現(xiàn)的字符，用較長(zhǎng)的代碼代表不常出現(xiàn)的

8、字符，從而實(shí)現(xiàn)圖像數(shù)據(jù)文件的壓縮。 5.3.1 基于字典的技術(shù)基于字典的技術(shù)1.行程編碼行程編碼 最簡(jiǎn)單的基于字典的壓縮技術(shù)是行程編碼（Run Length Encoding，RLE），是一種熵編碼。對(duì)于某些圖像的一些區(qū)域，它們是由相同的灰度或顏色的相鄰像素組成的。在一個(gè)逐行存儲(chǔ)的圖像中，具有相同灰度值的一些像素組成序列，稱為一個(gè)行程。可以只存一個(gè)代表那個(gè)灰度值的碼，后面是行程的長(zhǎng)度，而不需要將同樣的灰度值存儲(chǔ)很多次，這就是行程編碼。它對(duì)有單一顏色背景下物體的圖像可以達(dá)到很高的壓縮比，但對(duì)其它類型的圖像壓縮比就很低。 n 行程編碼比較適合于二值圖像的編碼，一般用于量化后出現(xiàn)大量零系數(shù)連續(xù)的場(chǎng)合

9、，用行程來表示連零碼。如果圖像是由很多塊顏色或灰度相同的大面積區(qū)域組成的，那么采用行程編碼可以達(dá)到很高的壓縮比。如果圖像中的像素中的數(shù)據(jù)非常分散，則行程編碼不但不能壓縮數(shù)據(jù)，反而會(huì)增加圖像文件的大小。為了達(dá)到較好的壓縮效果，在進(jìn)行圖像編碼時(shí)不單獨(dú)采用行程編碼，而是和其他編碼方法綜合使用。 5.3.1 基于字典的技術(shù)基于字典的技術(shù)n例1 某一圖像的第i行為（180，180，180，）共10000個(gè)數(shù)據(jù),模仿RLE編碼可以簡(jiǎn)單寫成 (180,10000)。n例2 某一圖像的第i行為（ai1，ai2，ai3,aij）,其中j=10000，如果仍然采用RLE編碼，則寫成（ai1，ai2，1，ai3，1

10、，aij，1）共有20000個(gè)數(shù)據(jù),文件被加倍是顯而易見的。5.3.1 基于字典的技術(shù)基于字典的技術(shù)n2. LZW編碼編碼 LZ編碼是由Lemple和Ziv最早提出的無損壓縮技術(shù)。它由Welch加以充實(shí)而形成了廣泛應(yīng)用的有專利保護(hù)的LZW算法。同RLE類似，它也是對(duì)字符串編碼從而實(shí)現(xiàn)數(shù)據(jù)壓縮。然而，與RLE不同的是，它在對(duì)文件進(jìn)行編碼的同時(shí)，生成特定字符序列的表以及它們對(duì)應(yīng)的代碼 5.3.1 基于字典的技術(shù)基于字典的技術(shù)n LZW編碼的基本思想：在編碼過程中，將所遇到的字符串建立一個(gè)字符串表，表中的每個(gè)字符串都對(duì)應(yīng)一個(gè)索引，編碼時(shí)用該字符串在字串表中的索引來代替原始的數(shù)據(jù)串。例如，一幅8位的灰

11、度圖像，可以采用12位來表示每個(gè)字符串的索引，前256個(gè)索引用于對(duì)應(yīng)可能出現(xiàn)的256種灰度，由此可建立一個(gè)初始的字符串表，而剩余的3840個(gè)索引就可分配給在壓縮過程中出現(xiàn)的新字符串，這樣就生成了一個(gè)完整的字符串表，壓縮數(shù)據(jù)就可以只保存它在字符串表中的索引，從而達(dá)到壓縮數(shù)據(jù)的目的。 5.3.1 基于字典的技術(shù)基于字典的技術(shù) 5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)n1.哈夫曼編碼哈夫曼編碼n 哈夫曼編碼（Huffman Coding）是圖像壓縮中最重要的編碼方式之一，它是1952年由哈夫曼提出的無損的統(tǒng)計(jì)編碼方法。是一種非等長(zhǎng)最佳編碼方法。用變長(zhǎng)的碼來使冗余量達(dá)到最小。編碼器的輸出碼字是字長(zhǎng)不等的編

12、碼，按編碼輸入信息符號(hào)出現(xiàn)的統(tǒng)計(jì)概率不同，給輸出碼字分配以不同的字長(zhǎng)。在編碼輸入中，對(duì)于那些出現(xiàn)概率大的信息符號(hào)編以較短的字長(zhǎng)的碼，而對(duì)于那些出現(xiàn)概率小的信息符號(hào)用較長(zhǎng)的字長(zhǎng)的編碼。其編碼結(jié)構(gòu)實(shí)際上是一個(gè)二叉樹，使常出現(xiàn)的字符用較短的碼代表，不常出現(xiàn)的字符用較長(zhǎng)的碼代表。 n 觀察符號(hào)序列，發(fā)現(xiàn)s0,s1,s2這三個(gè)符號(hào)出現(xiàn)的頻率比較大，其他符號(hào)出現(xiàn)的頻率比較小，如果采用一種編碼方案使得s0,s1,s2的碼字短。其他符號(hào)的碼字長(zhǎng)，這樣就能夠減少符號(hào)序列占用的位數(shù)。5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)n設(shè)s0=01,s1=11,s2=101,s3=000,s4=0010,s5=0001,s6=0

13、011,s7=100n那么符號(hào)序列變成n01 11 100 01 11 0011 101 101 0000 0010 0001 01 01 11 共39bit5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)n 盡管s4,s5,s6的碼字由原來的3位變成4位變長(zhǎng)了，但是使用頻繁的幾個(gè)碼字s0,s1變短了，使得整個(gè)序列的編碼縮短，實(shí)現(xiàn)了數(shù)據(jù)的壓縮。編碼必須保證不能出現(xiàn)一個(gè)碼字和另一個(gè)碼字的前幾位相同的情況，例如:如果的碼字為01，的碼字為011，那么當(dāng)序列中出現(xiàn)011時(shí)，便無法判斷是的碼字后面跟了個(gè)1，還是完整的一個(gè)的碼字。按照哈夫曼編碼算法就可以保證編碼正確，如圖5.1所示為哈夫曼編碼樹示意圖。5.3.2

14、統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)nHuffman編碼算法步驟：（1）統(tǒng)計(jì)出每個(gè)符號(hào)出現(xiàn)的頻率，s0-s7出現(xiàn)的頻率分別為4/14，3/14，2/14，1/14，1/14，1/14，1/14，1/14；5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)（2）從左到右將上述頻率按從小到大的順序排列；（3）每次選出最小的兩個(gè)值，作為二叉樹的兩個(gè)葉子的節(jié)點(diǎn)，將它們的和作為其根節(jié)點(diǎn)。之后，這兩個(gè)葉子節(jié)點(diǎn)不再參與比較，新的根節(jié)點(diǎn)參與比較；（4）重復(fù)步驟3，直到最后得到和為1的根節(jié)點(diǎn)；（5）將形成的二叉樹的左節(jié)點(diǎn)標(biāo)0，右節(jié)點(diǎn)標(biāo)1。把從最上面的根節(jié)點(diǎn)到最下面的葉子n節(jié)點(diǎn)途中遇到的0，1序列串起來，就得到了的編碼。Huffman編碼

15、Huffman編碼n 產(chǎn)生Huffman編碼需要對(duì)原始數(shù)據(jù)掃描兩遍。第一遍掃描要精確地統(tǒng)計(jì)出原始數(shù)據(jù)中每個(gè)值出現(xiàn)的頻率，第二遍是建立Huffman樹并進(jìn)行編碼。由于需要建立二叉樹并遍歷二叉樹生成編碼，因此Huffman編碼數(shù)據(jù)壓縮和還原速度都較慢。但是哈夫曼編碼簡(jiǎn)單有效，因而得到了廣泛的應(yīng)用。n2香農(nóng)編碼（shannon coding）n 香農(nóng)編碼的過程與哈夫曼編碼有些相似。其編碼步驟簡(jiǎn)述如下。n(1)圖像灰度級(jí)按概率遞減順序排序；n(2)將分成兩組，每組的概率和相同或相似。對(duì)第一組分配代碼“0”，第二組分配代碼“1”；n(3)執(zhí)行步驟（2）后，若每組還是由兩個(gè)或兩個(gè)以上的灰度級(jí)組成，就重復(fù)上

16、述步驟，直到每組只有一個(gè)灰度級(jí)。n至此，可獲得表5.2所示的香農(nóng)編碼，由表5.2可計(jì)算出香農(nóng)編碼的平均碼字長(zhǎng)度。 5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù) 5.3.2 統(tǒng)計(jì)編碼技術(shù)統(tǒng)計(jì)編碼技術(shù)n 表5.2香農(nóng)編碼與哈夫曼編碼5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 預(yù)測(cè)編碼的基本思想是通過僅對(duì)每個(gè)像素中提取的新信息編碼，來消除像素之間的冗余。這里一個(gè)像素的新信息定義為該像素的當(dāng)前或現(xiàn)實(shí)值與它預(yù)測(cè)值的差值。n 一個(gè)無損預(yù)測(cè)編碼系統(tǒng)主要由一個(gè)編碼器和一個(gè)解碼器組成，它們各有一個(gè)相同的預(yù)測(cè)器，如圖5.2所示。5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼圖5.2 無損預(yù)測(cè)編碼系統(tǒng) 5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 當(dāng)輸入

17、圖像的像素序列逐個(gè)進(jìn)入編碼器時(shí)，預(yù)測(cè)器根據(jù)若干個(gè)過去的輸入產(chǎn)生對(duì)當(dāng)前輸入像素的預(yù)測(cè)值，也稱為估計(jì)值。將這個(gè)預(yù)測(cè)值進(jìn)行整數(shù)舍入，得到預(yù)測(cè)器的輸出值，則由此產(chǎn)生的預(yù)測(cè)誤差表示為kkkffe 5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 預(yù)測(cè)誤差可以用符號(hào)編碼器，借助變長(zhǎng)碼進(jìn)行編碼用以產(chǎn)生壓縮圖像數(shù)據(jù)流的下一個(gè)元素。利用解碼器，根據(jù)接收的變長(zhǎng)碼字重建預(yù)測(cè)誤差，則解壓縮圖像的像素序列表示為kkkfef5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 利用預(yù)測(cè)器，可以將對(duì)原始圖像序列的編碼轉(zhuǎn)換成對(duì)預(yù)測(cè)誤差的編碼。由于在預(yù)測(cè)比較時(shí)，預(yù)測(cè)誤差的動(dòng)態(tài)范圍會(huì)遠(yuǎn)小于原始圖像序列的動(dòng)態(tài)范圍，所以對(duì)預(yù)測(cè)誤差的編碼所需的比特?cái)?shù)會(huì)大大減少，這是

18、預(yù)測(cè)編碼可以獲得數(shù)據(jù)壓縮結(jié)果的原因。n 在多數(shù)情況下，可以通過將個(gè)先前的像素進(jìn)行線性組合得到預(yù)測(cè)值。 5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 將m個(gè)先前的像素進(jìn)行線性組合得到預(yù)測(cè)值。n式中，m稱為線性預(yù)測(cè)器的階，R是舍入函數(shù)，ai是預(yù)測(cè)系數(shù)。下標(biāo)n為圖像序列的空間坐標(biāo)，在一維線性預(yù)測(cè)編碼中，設(shè)掃描沿行進(jìn)行，式（5.5）可以表示為inmiinfaRf1 5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n 一維線性預(yù)測(cè)僅是當(dāng)前行掃描到的先前像素的函數(shù)。在二維線性預(yù)測(cè)編碼中，預(yù)測(cè)是對(duì)圖像從左向右，從上向下進(jìn)行掃描時(shí)所掃描到的先前像素的函數(shù)。在三維線性預(yù)測(cè)編碼中，預(yù)測(cè)基于上述像素和前一幀的像素。預(yù)測(cè)誤差的概率密度函數(shù)一般

19、用零均值不相關(guān)拉普拉斯概率密度函數(shù)表示為),(),(1yixfaRyxfmiin 5.4 無損預(yù)測(cè)編碼無損預(yù)測(cè)編碼n式中， 是e的標(biāo)準(zhǔn)差。eeeeep2exp21)(e 5.5 有損預(yù)測(cè)編碼有損預(yù)測(cè)編碼n 有損預(yù)測(cè)編碼系統(tǒng)與無損預(yù)測(cè)編碼系統(tǒng)相比，主要增加了量化器。量化器的作用是將預(yù)測(cè)誤差映射到有限個(gè)輸出 中， 決定了有損預(yù)測(cè)編碼中的壓縮量和失真量。有損預(yù)測(cè)編碼系統(tǒng)組成如圖5.3所示。ke ke 5.5 有損預(yù)測(cè)編碼有損預(yù)測(cè)編碼 圖 5.3 有損預(yù)測(cè)編碼系統(tǒng) 5.5 有損預(yù)測(cè)編碼有損預(yù)測(cè)編碼n 解碼器的輸出表示為n式中， 為過去預(yù)測(cè)值， 為量化誤差函數(shù)， 為解碼器的輸出。如圖5.3所示的閉環(huán)結(jié)構(gòu)

20、可以防止在解碼器的輸出端產(chǎn)生誤差。kkkfefkfke kf5.6 圖像變換編碼基本原理圖像變換編碼基本原理n 圖像的變換編碼是利用某種變換將空間域里描述的圖像 ，變換為變換域中描述的 。對(duì)變換域中 編碼壓縮，比對(duì)空間域壓縮更為有效。因?yàn)樵陬l域中相關(guān)性明顯下降，能量主要集中于少數(shù)低頻分量系數(shù)上。通常采用正交變換。例如傅里葉變換、沃爾什變換、離散余弦變換等。以傅里葉變換為例，變換具有能量集中于少數(shù)低頻系數(shù)、各系數(shù)不相關(guān)、高頻分量衰減很快且能量較小等性質(zhì)。這些性質(zhì)都可以用于圖像數(shù)據(jù)壓縮。),(yxf),(vuF),(vuF5.6 圖像變換編碼基本原理圖像變換編碼基本原理n 變換編碼就是對(duì)數(shù)字圖像經(jīng)

21、過正交變換的系數(shù)矩陣進(jìn)行量化編碼。圖5.4所示為變換編解碼系統(tǒng)的組成框圖。系統(tǒng)由五部分組成，圖像輸入與變換、系數(shù)量化編碼、信道傳輸、解碼和逆變換。在變換階段，將原始圖像劃分成若干子塊，對(duì)每個(gè)子塊進(jìn)行某種正交變換。通過變換，降低或消除相鄰像素之間或相鄰掃描行之間的相關(guān)性，提供用于編碼壓縮的變換系數(shù)矩陣。編碼過程實(shí)現(xiàn)圖像信息的壓縮。在變換域中，圖像信號(hào)的絕大部分能量集中在低頻分量部分，編碼中如果略去那些能量很小的高頻分量，或者給這些高頻分量分配較小的合適的比特?cái)?shù)，就可以明顯減少圖像傳輸或存儲(chǔ)的數(shù)據(jù)量。 5.6 圖像變換編碼基本原理圖像變換編碼基本原理 5.4 正交變換及編解碼框圖5.7 視頻圖像編

22、碼簡(jiǎn)介視頻圖像編碼簡(jiǎn)介n 隨著計(jì)算機(jī)網(wǎng)絡(luò)及通信技術(shù)的迅速發(fā)展，圖像通信受到該領(lǐng)域科技工作者的廣泛關(guān)注。國(guó)際標(biāo)準(zhǔn)化組織(ISO)、國(guó)際電工委員會(huì)(IEC)和國(guó)際電信聯(lián)盟(ITU)下屬的國(guó)際電報(bào)電話咨詢委員會(huì)(CCITT)等國(guó)際組織積極致力于圖像處理的標(biāo)準(zhǔn)化工作。特別是圖像編碼，涉及到多媒體、數(shù)字電視、可視電話、會(huì)議電視等圖像傳輸方面的廣泛應(yīng)用，為此制定的國(guó)際標(biāo)準(zhǔn)極大地推動(dòng)了圖像編碼技術(shù)的發(fā)展與應(yīng)用。這些圖像編碼的國(guó)際標(biāo)準(zhǔn)有：JPEG、MPEG、H.26x等標(biāo)準(zhǔn)。 5.7.1 JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 1986年，ISO和CCITT成立了“聯(lián)合圖片專家組”（Joint Photographic Expe

23、rt Group），主要任務(wù)是研究靜止圖像壓縮算法的國(guó)際標(biāo)準(zhǔn)。1987年用Y：U：V=4：2：2，每像素16比特，寬度為4：3的電視圖像進(jìn)行了測(cè)試，選擇出三個(gè)方案進(jìn)行評(píng)選，其中的DCT方案得分最高，它制定的以自適應(yīng)離散余弦變換編碼（ADCT）為基礎(chǔ)的“連續(xù)色調(diào)靜止圖像壓縮編碼” JPEG標(biāo)準(zhǔn)于1991年3月正式提出。 5.7.1 JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n JPEG標(biāo)準(zhǔn)根據(jù)不同的應(yīng)用場(chǎng)合對(duì)圖像的壓縮要求提出了幾種不同的編、解碼方法，主要分為基本系統(tǒng)、擴(kuò)展系統(tǒng)和信息保持型系統(tǒng)。所有符合JPEG標(biāo)準(zhǔn)的編碼器都必須支持基本系統(tǒng)，而其他系統(tǒng)則作為不同應(yīng)用目的的選擇項(xiàng)。n基本系統(tǒng)提供順序建立方式的高效有失真編碼

24、，輸入圖像的精度為8比特/像素。圖5.5所示為JPEG標(biāo)準(zhǔn)基本系統(tǒng)的編碼器結(jié)構(gòu)圖，圖中，量化用Q表示，IQ表示反量化。編碼器對(duì)彩色圖像采用分量編碼。 5.7.1 JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 圖5.5 JPEG基本系統(tǒng)編碼器結(jié)構(gòu)圖JPEG基本系統(tǒng)組成模塊基本系統(tǒng)組成模塊 5.7.1 JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n （1）將整個(gè)圖像分為不重疊的 像素子塊，共有Y、U、V三幅數(shù)字圖像，Y表示圖像的亮度，即明暗程度，UV代表圖像色彩度。n （2）對(duì)各個(gè)子塊進(jìn)行DCT變換，n （3）對(duì)所有的系數(shù)進(jìn)行線性量化。量化的過程是對(duì)系數(shù)值的量化間距劃分后的簡(jiǎn)單的取整運(yùn)算，量化步長(zhǎng)取決于一個(gè)視覺閾值矩陣，它隨系數(shù)的位置而改變，并且對(duì)Y

25、和UV分量也不相同。利用這些閾值，在編碼率小于1比特/像素的條件下依然可以獲得非常好的圖像質(zhì)量。當(dāng)把量化步長(zhǎng)乘以一個(gè)公共因數(shù)后，一般可以調(diào)整比特?cái)?shù)，由此可以實(shí)現(xiàn)自適應(yīng)編碼。88 5.7.1 JPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n（4） 對(duì)DCT量化系數(shù)進(jìn)行熵編碼，進(jìn)一步壓縮碼率。可以采用算數(shù)編碼或Huffman編碼（可變字長(zhǎng)編碼VLC）。對(duì)于當(dāng)前子塊的DC系數(shù)與上一塊的DC系數(shù)之差值進(jìn)行VLC編碼壓縮數(shù)據(jù)，由于DC分量是子塊的平均值，相鄰子塊間的相關(guān)性很強(qiáng)，同時(shí)，視覺上要求各子塊的平均灰度無明顯的跳躍，因此對(duì)DC的差值作無失真的熵編碼是合適的。對(duì)于AC系數(shù)不為零，采用Z字形方式（Zig-zig）進(jìn)行一維掃描，然后

26、將非零系數(shù)前面的0的游程長(zhǎng)度（個(gè)數(shù)）與該系數(shù)值一起作為統(tǒng)計(jì)事件進(jìn)行VLC編碼。在基本系統(tǒng)中共推薦了兩組Huffman碼表，一組用于亮度信號(hào)Y，另一組用于色差信號(hào)U、V，每一組表又包括兩張表，一個(gè)用于DC分量，一個(gè)用于AC分量。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 1987年，ISO和CCITT成立了“活動(dòng)圖像專家組”（Moving Picture Expert Group），任務(wù)是制定用于數(shù)字存儲(chǔ)媒介中活動(dòng)圖像及伴音的標(biāo)碼標(biāo)準(zhǔn)。1991年11月提出了1.5Mb/s的編碼方案。1992年通過了ISO11172號(hào)建議，即MPEG標(biāo)準(zhǔn)。MPEG標(biāo)準(zhǔn)主要由視頻、音頻和系統(tǒng)三個(gè)部分組成，是一個(gè)完整的多媒體壓

27、縮編碼方案。 MPEG標(biāo)準(zhǔn)闡明了編解碼過程，嚴(yán)格規(guī)定了編碼后產(chǎn)生的數(shù)據(jù)流的句法結(jié)構(gòu)，但是并沒有規(guī)定編解碼的算法。5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n1MPEG-1標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-1標(biāo)準(zhǔn)為1.5Mbit/s數(shù)字存儲(chǔ)媒體上的活動(dòng)圖像及其伴音的編碼。標(biāo)準(zhǔn)主要包括：系統(tǒng)、視頻、音頻、一致性、參考軟件等五部分，這五部分的簡(jiǎn)單描述如下。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n1MPEG-1標(biāo)準(zhǔn)標(biāo)準(zhǔn)n第一部分：MPEG-1系統(tǒng)，主要描述如何將符合該標(biāo)準(zhǔn)的視頻和音頻的一路或多路數(shù)據(jù)流與定時(shí)信息相結(jié)合，形成單一的復(fù)合流。n第二部分：MPEG-1視頻，描述視頻編碼方法，以便存儲(chǔ)壓縮的數(shù)字視頻。n第三部分：MPEG-1音頻

28、，描述高質(zhì)量的音頻的編碼表示和高質(zhì)量音頻信號(hào)的解碼方法。n第四部分：一致性，描述測(cè)試一個(gè)編碼碼流是否符合MPEG-1碼流的方法。n第五部分：參考軟件。5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-1的目的是滿足各種存儲(chǔ)媒體對(duì)壓縮視頻的統(tǒng)一格式的需要，可用于625線和525線電視系統(tǒng)，對(duì)傳輸速率1.5Mbit/s的存儲(chǔ)媒體提供連續(xù)的、活動(dòng)圖像編碼表示，如VCD、光盤及計(jì)算機(jī)磁盤存儲(chǔ)等。下面僅介紹視頻和系統(tǒng)部分。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 1）編碼圖像格式n MPEG-1處理對(duì)象是逐行掃描的圖像，對(duì)于隔行掃描的圖像源，必須在編碼前先轉(zhuǎn)換為非隔行格式。輸入的視頻信號(hào)必須是數(shù)字化的一個(gè)亮度信號(hào)和兩個(gè)

29、色差信號(hào)（Y，Cb ，Cr），經(jīng)過預(yù)處理和格式轉(zhuǎn)換選擇一個(gè)合適的窗口、分辨率和輸入格式，要求色差信號(hào)和亮度信號(hào)在垂直和水平方向按2：1進(jìn)行抽樣。MPEG-1編碼技術(shù)的選擇是基于高質(zhì)量的連續(xù)活動(dòng)圖像、高壓縮比以及對(duì)編碼比特流的隨機(jī)操作需求之間的平衡。為此定義了四種編碼幀：I幀、P幀、B幀和D幀。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)nI幀：采用幀內(nèi)編碼方法，無需參考其它幀，是獨(dú)立壓縮的，給出編碼序列的解碼的起始操作點(diǎn)，滿足隨機(jī)操作的要求，但是僅能獲得中等的壓縮比。nP幀：采用預(yù)測(cè)編碼的方法，利用過去的I幀和P幀進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)，可以得到更有效的編碼。nB幀：采用雙向預(yù)測(cè)方法，能夠提供最大限度的壓縮。它需

30、要用過去和將來的參考幀I幀或P幀進(jìn)行運(yùn)動(dòng)補(bǔ)償，但是B幀本身不能用作為預(yù)測(cè)參考幀。nD幀：僅含有DCT的直流分量。在D幀組成的序列中不含其它類型的圖。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2）編解碼n MPEG-1沒有規(guī)定編碼過程，僅規(guī)定了比特流的語法和語義，以及解碼器中的信號(hào)處理。在有B幀時(shí)，要有兩個(gè)幀存儲(chǔ)器分別存儲(chǔ)過去和將來的兩個(gè)參考幀，以便進(jìn)行雙向運(yùn)動(dòng)補(bǔ)償。編碼器設(shè)計(jì)必須在圖像質(zhì)量、編碼速率以及編碼效率之間進(jìn)行綜合考慮，選擇合適的編碼工作模式和控制參數(shù)。在一些具體模塊的實(shí)現(xiàn)上，標(biāo)準(zhǔn)開放，例如運(yùn)動(dòng)矢量的估計(jì)算法、圖像的刷新機(jī)制、編碼控制等可以根據(jù)情況由設(shè)計(jì)者自行選用。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)

31、準(zhǔn)n 編碼時(shí)輸入的視頻信號(hào)的每一幅圖像都包括一個(gè)亮度分量和兩個(gè)色差分量，編碼器必須首先為每幀選擇其類型。如果用到B幀，則編碼時(shí)必須對(duì)圖像的順序先進(jìn)行調(diào)整，因?yàn)锽幀在預(yù)測(cè)時(shí)要利用它過去的I幀和P幀作為參考幀。編碼時(shí)的基本單元是宏塊，它包括六個(gè) 的子塊，其中四個(gè)是亮度塊，剩下的一個(gè)是色差信號(hào)Cr，另一個(gè)是色差信號(hào)Cb。宏塊是運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)的基本單元、最小的量化步長(zhǎng)選擇單元以及編碼控制單元。對(duì)于每個(gè)宏塊，要決定它的編碼模式，然后進(jìn)行相應(yīng)的處理。子塊則是DCT、量化以及“Z”字形掃描和VLC編碼輸出的基本單元。88 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 解碼是編碼的逆操作，由于無需運(yùn)動(dòng)估計(jì)，因此比編碼簡(jiǎn)單。只

32、要根據(jù)接收到的碼流的語義進(jìn)行相應(yīng)的處理即可。當(dāng)一幅圖像所有的宏塊都處理完畢，則整個(gè)圖像被重建。如果編碼序列包括B幀，則解碼后還應(yīng)按顯示順序重新排序后才能進(jìn)行顯示。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 3）編碼視頻流的結(jié)構(gòu)n MPEG-1編碼視頻比特流的構(gòu)成共分為六層，最高層為序列層，下面依次為圖像組層、圖像層、宏塊條層、宏塊層和最低的塊層。由若干相連的宏塊可以組成宏塊條層，并且設(shè)置同步標(biāo)志，便于在解碼端實(shí)現(xiàn)重同步；由若干圖像幀可以組成圖像組層，形成便于隨機(jī)存取的單元；由若干圖像組可組成視頻序列，便于形成特定的視頻節(jié)目。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 圖像組是視頻隨機(jī)存取單元，長(zhǎng)度隨意，可以包含一

33、個(gè)或多個(gè)I幀。編碼器可根據(jù)需要選擇圖像組的長(zhǎng)度以及I、P、B幀出現(xiàn)的頻率和位置。在要求能隨機(jī)播放、快進(jìn)、快倒等應(yīng)用場(chǎng)合，可以使用較短的圖像組。MPEG-1可以在兩個(gè)參考幀I幀和P幀之間安排任意幅B幀。插入的B幀越多，編碼效率越高，但編碼器所需要的存儲(chǔ)器也越多，處理的實(shí)時(shí)性也越差。對(duì)于大多數(shù)景物而言，在參考幀之間插入兩個(gè)B幀比較適宜。一般每秒鐘使用兩次I幀，即在每15幀中安排一次I幀。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n2MPEG-2標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-2標(biāo)準(zhǔn)是MPEG于1995年推出的第二個(gè)國(guó)際標(biāo)準(zhǔn)，標(biāo)準(zhǔn)號(hào)是ISO/IEC 13818，題目是通用的活動(dòng)圖像及其伴音的編碼。它主要包括：系統(tǒng)、視頻、

34、音頻、一致性、參考軟件、數(shù)字存儲(chǔ)媒體的命令與控制（DSM-CC）、高級(jí)音頻編碼、10bit視頻編碼、實(shí)時(shí)接口等9個(gè)部分。 5.7.2 MPEG標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 視頻部分和ITU-T的H.262標(biāo)準(zhǔn)等同，作為一個(gè)通用的編碼標(biāo)準(zhǔn)，它的應(yīng)用范圍更廣，既包括標(biāo)準(zhǔn)數(shù)字電視、高清晰度電視，也包括MPEG-1的工作范圍。MPEG-1成為MPEG-2的一個(gè)子集，即MPEG-2的解碼器可以對(duì)MPEG-1碼流進(jìn)行編碼。MPEG-2的視頻編碼方案與MPEG-1相類似，在編碼比特流的分層次組織上也有類似的地方。根據(jù)應(yīng)用的不同，MPEG-2的碼率范圍為1.5100Mbit/s，一般情況下，只有碼率超過4Mbit/s的MPEG

35、-2視頻質(zhì)量才能明顯優(yōu)于MPEG-1。MPEG-2在區(qū)別不同應(yīng)用的編碼參數(shù)上使用了所謂Profile和Level。國(guó)內(nèi)的技術(shù)翻譯上將其稱為檔次和級(jí)別，或稱為型和級(jí)。表5.3列出了MPEG-2的型和級(jí)。2MPEG-2標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 1）基于場(chǎng)或基于幀的DCTn 為了更好地適應(yīng)隔行掃描視頻信號(hào)的特點(diǎn)，在DCT和運(yùn)動(dòng)估計(jì)算法中對(duì)幀和場(chǎng)進(jìn)行了不同的處理。MPEG-2在把宏塊數(shù)據(jù)分割為塊的時(shí)候，可以選擇按幀分割或按場(chǎng)分割，相應(yīng)地就可以在幀或場(chǎng)的模式下進(jìn)行DCT編碼，以便在不同的情況下適當(dāng)?shù)貙?duì)子塊的空間冗余度加以利用，從而得到最佳的壓縮效果。當(dāng)序列是逐行時(shí)，或者圖像是場(chǎng)方式時(shí)，采用的分割方式與MPEG-1相同

36、；但對(duì)于隔行掃描的幀圖像，既可以采用上述按幀的分割方式，也可以采用按場(chǎng)的隔行分割方式。選擇的標(biāo)準(zhǔn)的依據(jù)是幀的行間相關(guān)系數(shù)和場(chǎng)的行間相關(guān)系數(shù)的大小。一般而言，對(duì)于靜止或緩變圖像和區(qū)域宜采用按幀的DCT編碼；反之，對(duì)于大的運(yùn)動(dòng)區(qū)域，則宜采用按場(chǎng)的DCT編碼。2MPEG-2標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-2規(guī)定了四種圖像的運(yùn)動(dòng)預(yù)測(cè)方式和補(bǔ)償方式，即基于幀的預(yù)測(cè)模式、基于場(chǎng)的預(yù)測(cè)模式、168的運(yùn)動(dòng)補(bǔ)償以及雙場(chǎng)（DualPrime）預(yù)測(cè)模式。在具體使用時(shí)，必須考慮編碼是針對(duì)幀格式圖像還是場(chǎng)格式圖像。2MPEG-2標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2)編碼的可分級(jí)性n 為了擴(kuò)大應(yīng)用范圍和增強(qiáng)對(duì)各種信道的適應(yīng)性，MPEG-2引入了三種編碼

37、的可分級(jí)性、即空間可分級(jí)性、時(shí)間可分級(jí)性以及信噪比（SNR）可分級(jí)性。可分級(jí)編碼的特點(diǎn)是整個(gè)碼流被分為基本碼流和增強(qiáng)碼流兩部分，基本碼流可以提供一般質(zhì)量的重建圖像，但如果解碼器“疊加”上增強(qiáng)部分的碼流，就可以將圖像質(zhì)量提高很多。可分級(jí)編碼的優(yōu)點(diǎn)是同時(shí)提供不同的編碼服務(wù)水平，例如可以在一個(gè)公共的信道實(shí)現(xiàn)HDTV（High Definition Television，高清晰度電視）和SDTV的同播，以供不同水平的接收機(jī)使用，但代價(jià)是要增加一定的額外碼字。此外，MPEG-2還允許空間分級(jí)、時(shí)間分級(jí)以及SNR分級(jí)等以各種方式結(jié)合，形成多層次的分級(jí)擴(kuò)展。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-4是1999年

38、12月通過的一個(gè)適應(yīng)各種多媒體應(yīng)用的“視聽對(duì)象的編碼”標(biāo)準(zhǔn)，國(guó)際標(biāo)號(hào)是ISO/IEC14496。它主要包括：系統(tǒng)、視覺信息、音頻、一致性、參考軟件、多媒體傳送集成框架、優(yōu)化軟件、IP中的一致性、參考硬件描述等9個(gè)部分。n 與MPEG-1、MPEG-2不同，MPEG-4不僅僅著眼于定義不同碼流下具體的壓縮編碼標(biāo)準(zhǔn)，而是更多地強(qiáng)調(diào)多媒體通信的靈活性和交互性。一方面MPEG-4要求有高效的壓縮編碼方法，另一方面MPEG-4要求有獨(dú)立于網(wǎng)絡(luò)的基于視頻、音頻對(duì)象的交互性。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 1）場(chǎng)景描述n 在目前的音頻和視頻應(yīng)用中，圖像是矩形像素的序列，音頻是聲波強(qiáng)弱的數(shù)字表示。在MPEG-4中任

39、何一個(gè)場(chǎng)景被理解為由若干視音頻對(duì)象組成。MPEG-4能夠提供多種工具，把一組對(duì)象組合為一個(gè)場(chǎng)景。此時(shí)所必需的組合信息就構(gòu)成了場(chǎng)景描述（Scene Description）信息，并且可以將他們編碼，與各種視音頻（AV）對(duì)象一起傳輸。場(chǎng)景描述信息具體定義了所有視音頻對(duì)象在場(chǎng)景中的組織和同步參數(shù)。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2）可視信息的編碼n MPEG-4同時(shí)支持自然和合成可視信息（如圖形、計(jì)算機(jī)動(dòng)畫等）的編碼。對(duì)于自然視頻的編碼，MPEG-4仍然采用了預(yù)測(cè)、變換同時(shí)使用的混合編碼的框架。在和H.263兼容的基礎(chǔ)上還提供一些高層次的編碼方法，例如基于內(nèi)容的編碼，允許對(duì)任意形狀視頻對(duì)象進(jìn)行編碼。n M

40、PEG-4標(biāo)準(zhǔn)為可視視頻編碼提供了一個(gè)包含多種工具和多種算法的工具集，供用戶選擇，對(duì)各種應(yīng)用提供不同的解決方法，以下是其中的幾例。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n（1）自然與綜合圖像的混合編碼；n（2）各種隱式2D網(wǎng)格的高效率壓縮；n（3）各種圖像和視頻的信息內(nèi)容基（content-based） n 編碼；n（4）各種紋理、圖像和視頻的信息內(nèi)容基的可分級(jí)編n 碼；n（5）空間域的、時(shí)間域的和質(zhì)量的可分級(jí)性編碼；n（6）在誤碼多發(fā)環(huán)境中的誤碼健壯性（robustness）和n 復(fù)原能力。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-4可視信息的編碼部分包括了許多內(nèi)容，其工具集可以不斷地?cái)U(kuò)充進(jìn)新的編碼工具，甚至用戶

41、自己的編碼方法也可以放入工具集，因此標(biāo)準(zhǔn)可隨時(shí)趕上技術(shù)的發(fā)展而保持長(zhǎng)時(shí)間有效。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n3）MPEG-4數(shù)據(jù)結(jié)構(gòu)n 在MPEG-4中，采用發(fā)送多媒體綜合框架（DMIF：Delivery Multimedia Intergration Framework）的結(jié)構(gòu)，它極大地方便了多媒體的各種應(yīng)用，且獨(dú)立于具體的通信網(wǎng)絡(luò)。對(duì)于用戶而言，DMIF是一個(gè)靈活的應(yīng)用接口。MPEG-4的應(yīng)用可以從DMIF申請(qǐng)到自己所需要的“服務(wù)質(zhì)量”，如對(duì)帶寬、時(shí)延的要求等。3MPEG-4標(biāo)準(zhǔn)標(biāo)準(zhǔn)n MPEG-4的數(shù)據(jù)流主要分為兩個(gè)部分，與傳輸有關(guān)的下層及與媒體有關(guān)的上層。以發(fā)送數(shù)據(jù)過程為例，各種媒體的基本數(shù)

42、碼流通過基本碼流接口進(jìn)入接入單元層，在該層進(jìn)行分組打包處理，然后通過碼流復(fù)用接口進(jìn)入靈活復(fù)用層（Flex Multip Lexing）。靈活復(fù)用層提供一種復(fù)用工具，將上層來的多路碼流進(jìn)行匯合。復(fù)用后的數(shù)據(jù)再經(jīng)過靈活復(fù)用接口送到傳輸復(fù)用層，最后送到一個(gè)具體的外部通信網(wǎng)絡(luò)，如ATM（Asynchronous Transfer Mode，異步傳輸模式）網(wǎng)或PSTN（Public Switched Telephone Network，公共交換電話網(wǎng)）網(wǎng)。 5.7.3 H.261標(biāo)準(zhǔn)標(biāo)準(zhǔn) n1. 編碼方案的提出編碼方案的提出n 為適應(yīng)可視電話和會(huì)議電視的需要，1984年國(guó)際電報(bào)電話咨詢委員會(huì)（CCITT

43、）的第15研究組，對(duì)于可視電話的編碼問題，提出了一個(gè)H.120標(biāo)準(zhǔn)，針對(duì)625行/幀，50場(chǎng)/秒，在PCM一次群上傳輸圖像信號(hào)，在此基礎(chǔ)上，1988年提出了一個(gè)傳輸速率為5級(jí)的標(biāo)準(zhǔn)， 。在綜合業(yè)務(wù)數(shù)字網(wǎng)ISDN（Integrated Service Digital NeTwork）中稱為H0 通道。1990年通過H.261建議“ 視聽業(yè)務(wù)的視頻編解碼器”，其中p=130，覆蓋了整個(gè)窄帶ISDN的基群信道速率。當(dāng)H.261用于可視電話時(shí)，p=2速率只有128kb/s，當(dāng)H.261標(biāo)準(zhǔn)用于會(huì)議電視時(shí)，建議p6，速率384kbit/s，最高可達(dá)2048kbit/s。5 , 4 , 3 , 2 , 1

44、,/384PskbitPskbitP/64 5.7.3 H.261標(biāo)準(zhǔn)標(biāo)準(zhǔn)n H.261 的編碼方案，其中p=130，對(duì)應(yīng)的比特率為 。首次采用了 塊的DCT變換去除空間相關(guān)性，采用幀間運(yùn)動(dòng)補(bǔ)償預(yù)測(cè)方法去除時(shí)間相關(guān)性的混合編碼模式。這個(gè)編碼標(biāo)準(zhǔn)初步解決了靜止圖像、可視電話、會(huì)議電視、多媒體視頻的壓縮編碼的需要。從采用的技術(shù)來看，采用了最基本的編碼技術(shù)，通過組合應(yīng)用，達(dá)到了預(yù)期的編碼效果。這些編碼方法都屬于混合編碼的范疇。H.261標(biāo)準(zhǔn)規(guī)定了視頻輸入信號(hào)的數(shù)據(jù)格式、編碼輸出碼流的層次結(jié)構(gòu)以及開放的編碼控制與實(shí)現(xiàn)策略等技術(shù)。skbitP/64skbit /192064885.7.3 H.261標(biāo)準(zhǔn)

45、標(biāo)準(zhǔn)n2. H.261的圖像格式的圖像格式n 圖像的縱橫像素?cái)?shù)是圖像的基本格式。為使現(xiàn)行的各種電視制式方便地轉(zhuǎn)換為電視會(huì)議和可視電話的圖像形式，即同時(shí)適用PAL制（25幀/秒，625行/幀）和NISC制（30幀/秒，525行/幀）模擬電視標(biāo)準(zhǔn)。確保符合H.261標(biāo)準(zhǔn)的編解碼設(shè)備能在不同電視制式的國(guó)家使用和互通，H.261標(biāo)準(zhǔn)采用一種通用的公共中間格式，即CIF(Common Intermediate Format) 格式或通用的CIF中間格式。即對(duì)于更低比特率的應(yīng)用，H.261標(biāo)準(zhǔn)采用了只有CIF圖像的更小圖像QCIF(Quarter Common Intermediate Format)格式

46、。主要參數(shù)如表5.4所示。 5.7.3 H.261標(biāo)準(zhǔn)標(biāo)準(zhǔn)5.7.3 H.261標(biāo)準(zhǔn)標(biāo)準(zhǔn)n3. 圖像信號(hào)的編解碼圖像信號(hào)的編解碼n 圖像信號(hào)的輸入、輸出指的是CIF或QCIF格式的數(shù)字信號(hào)，如果是NTSC、PAL或SECAM信號(hào)應(yīng)先分解成R、G、B信號(hào)，經(jīng)模數(shù)轉(zhuǎn)換再變換為Y、U、V亮度及色度信號(hào)，然后再轉(zhuǎn)換為CIF或QCIF格式和幀頻30Hz的信號(hào)，經(jīng)幀存緩沖后進(jìn)入輸入端。輸出仍然是CIF或QCIF格式、幀頻30Hz信號(hào)，經(jīng)相反的變換，還原成視頻復(fù)合信號(hào)。輸出的比特流可以進(jìn)入ISDN網(wǎng)或其它信道。 H.261信源編碼方框圖信源編碼方框圖 H.261信源編碼方框圖信源編碼方框圖n 圖示信源編碼方

47、框圖，信源編碼器的作用主要是數(shù)據(jù)壓縮，采用DCT變換后把系數(shù)量化，之后輸入到圖像復(fù)用編碼器。圖像復(fù)用編碼器的功能是把每幀圖像數(shù)據(jù)編排四個(gè)層次的數(shù)據(jù)結(jié)構(gòu)，同時(shí)對(duì)交流DCT系數(shù)進(jìn)行可變長(zhǎng)度編碼（VLC），對(duì)直流DCT系數(shù)進(jìn)行固定長(zhǎng)度編碼（FLC），編碼位流送入傳輸緩沖器。傳輸緩沖器的存儲(chǔ)量是按比特率加上固定余量后確定的。由于圖像內(nèi)容變更使傳輸比特率變更，可以在緩沖器中得到反映。由此傳給編碼控制方框，由編碼控制器控制信源編碼中量化器的步長(zhǎng)，同時(shí)將步長(zhǎng)輔助數(shù)據(jù)送到圖像復(fù)用編碼中的相應(yīng)層次，以供解碼用。這樣就可以自動(dòng)控制比特率的高低。以便適應(yīng)圖像變更的內(nèi)容，充分發(fā)揮既定的比特率的傳輸能力。 5.7.3

48、H.261標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 在H.261標(biāo)準(zhǔn)的編解碼過程中，還要用到傳輸編碼器。其主要功能是插入BCH正性糾錯(cuò)碼，以便傳輸終端的解碼器能檢測(cè)和糾正錯(cuò)誤碼字。H.261中規(guī)定要用BCH糾錯(cuò)碼，在解碼中可任選。另外傳輸碼中還要插入同步碼，以便解碼器正確解碼。n編碼控制器，除控制量化步長(zhǎng)外，還控制編碼模式，即控制編碼應(yīng)是幀間編碼還是幀內(nèi)編碼。這一操作在信源編碼中進(jìn)行。外部控制有如下兩個(gè)功能。n （1）CIF和QCIF格式的選擇；n （2）允許每二幀圖像之間有0到3幀圖像不傳。這主要是因?yàn)榭梢曤娫拡D像的幀間相關(guān)性很強(qiáng)，不傳的圖像可以由已經(jīng)傳的圖像計(jì)算得到，這種方式屬于幀間編碼。 DCT變換變換n 由于DCT

49、變換核構(gòu)成的基向量與圖像內(nèi)容有關(guān)，且變換核是可以分離的，故可通過兩個(gè)一維DCT變換得到二維DCT變換。即先對(duì)圖像的每一行進(jìn)行一維DCT變換，再對(duì)每一列進(jìn)行一維DCT變換。而二維離散IDCT也可以通過兩次一維IDCT得到。DCT具有快速算法，它使得DCT運(yùn)算的復(fù)雜度大大降低，從而減少了編解碼器的編解碼時(shí)間延遲。對(duì)圖像塊進(jìn)行DCT變換后，得到變換域的數(shù)據(jù)塊，然后再對(duì)這些數(shù)據(jù)塊進(jìn)行編碼。 DCT變換變換n【例5.4】 對(duì)圖像數(shù)據(jù)塊進(jìn)行DCT編碼n原始圖像如圖所示。在其中取出一個(gè) 的子塊，對(duì)其進(jìn)行二維DCT后，得到的變換域系數(shù)矩陣。88 DCT變換變換n灰度圖像素矩陣灰度圖像素矩陣n 229 211

50、229 226 230 202 205 209n 240 232 216 210 205 213 204 209n 218 231 230 224 189 139 208 203n 229 221 220 231 186 81 98 217n 234 233 233 239 181 86 77 201n 247 245 237 249 183 84 80 169n 202 224 255 175 84 92 80 129n 159 187 123 56 46 75 84 88 DCT變換變換n DCT變換域系數(shù)矩陣n 1453.11 253.95 51.04 -140.58 70.25 -25

51、.42 1.05 -1.71 n 246.26 -119.44 -40.78 48.80 21.07 19.60 -16.13 18.74 n-77.86 -58.15 28.09 85.50 -108.14 16.51 10.78 0.66 n 93.27 43.38 -52.39 -22.01 51.32 -6.22 22.32 -5.98 n-72.50 -14.31 13.89 7.21 28.75 -25.47 0.20 3.20 n 10.10 17.33 -14.53 -43.06 2.428 15.07 10.92 10.17 n -0.49 -11.42 -5.47 10.6

52、4 10.70 6.18 -34.84 13.51 n 5.83 -5.60 -2.61 -16.39 -28.95 15.96 3.40 5.37 DCT變換變換n 對(duì)灰度圖像進(jìn)行二維DCT后，得到變換域系數(shù)矩陣，從系數(shù)矩陣數(shù)據(jù)可以看出，DCT變換系數(shù)分布非常不均勻，能量主要集中在左上角，這是圖像塊的直流和低頻交流分量，代表了圖像的概貌。而變換矩陣的右下角大部分系數(shù)較小，經(jīng)過數(shù)據(jù)處理可以接近0，這是圖像的高頻分量，代表了圖像的細(xì)節(jié)。與原始圖像矩陣相比，DCT系數(shù)之間的相關(guān)性已經(jīng)大大降低。DCT變換變換nDCT變換編碼的主要優(yōu)點(diǎn)變換編碼的主要優(yōu)點(diǎn)n（1）DCT變換的變換核不隨輸入變化，但是對(duì)于

53、大多數(shù)圖像而言，其去相關(guān)性接近于最佳的K-L變換，DCT變換后能夠有效地降低原始數(shù)據(jù)間的相關(guān)性。n（2）DCT變換所得系數(shù)的值大部分在0附近，并且用特定的掃描方法獲得0游程。這使得離散余弦變換編碼壓縮倍數(shù)較高，質(zhì)量較好。n（3）DCT變換利用快速算法，而且僅在實(shí)數(shù)域內(nèi)計(jì)算，沒有復(fù)數(shù)運(yùn)算，計(jì)算簡(jiǎn)單，有利于處理的實(shí)時(shí)性。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n H.263標(biāo)準(zhǔn)制定于1995年，是國(guó)際電信聯(lián)盟針對(duì)64kbit/s以下的低比特率視頻應(yīng)用而制定的標(biāo)準(zhǔn)。基本算法在H.261的基礎(chǔ)上進(jìn)行了改進(jìn)。因此具有更好的編碼性能。在比特率低于64kbit/s時(shí)，H.263可以獲得34db的質(zhì)量改善。H.263

54、支持更多的圖像格式、更有效的圖像預(yù)測(cè)、效率更高的三維可變長(zhǎng)編碼代替二維可變長(zhǎng)編碼，增加了四個(gè)可選模式。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n1. 數(shù)據(jù)組織與系統(tǒng)框架數(shù)據(jù)組織與系統(tǒng)框架n H.263系統(tǒng)支持五種圖像格式，參數(shù)如表5.5所示，所有的解碼器必須支持Sub-QCIF和QCIF格式，所有的編碼器必須支持Sub-QCIF和QCIF格式中的一種，其他格式由用戶自行決定。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n H.263仍然采用圖像層P、塊組層GOB、宏塊層MB和塊層B四個(gè)層次的數(shù)據(jù)結(jié)構(gòu)，但是與H.261不同的是，在H.263中，每個(gè)GOB包含的MB數(shù)目是不同的。H.263規(guī)定，一行中的所有像素只能屬

55、于一個(gè)GOB，因此對(duì)于不同的格式。一個(gè)GOB所包含的MB是不同的，對(duì)應(yīng)的行數(shù)也不同。表5.6給出了H.263的分層結(jié)構(gòu)示意圖。H.263的QCIF分層結(jié)構(gòu)示意圖如圖5.12所示。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn) 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn) 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n H.263仍然采用圖像層P、塊組層GOB、宏塊層MB和塊層B四個(gè)層次的數(shù)據(jù)結(jié)構(gòu)，但是與H.261不同的是，在H.263中，每個(gè)GOB包含的MB數(shù)目是不同的。H.263規(guī)定，一行中的所有像素只能屬于一個(gè)GOB，因此對(duì)于不同的格式。一個(gè)GOB所包含的MB是不同的，對(duì)應(yīng)的行數(shù)也不同。表5.6給出了H.263的分層結(jié)構(gòu)示意圖。H

56、.263的QCIF分層結(jié)構(gòu)示意圖如圖5.12所示。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn) 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2. 運(yùn)動(dòng)預(yù)測(cè)n 1）1/2像素精度運(yùn)動(dòng)矢量預(yù)測(cè)n H.263采用1/2像素預(yù)測(cè)。在全像素精度預(yù)測(cè)后再執(zhí)行1/2像素精度的搜索。運(yùn)動(dòng)矢量范圍為-16，15.5。半（1/2）像素位置的灰度值由線性插值得到，它們的位置示意圖如圖5.13所示。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn) 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n線性插值的表示為 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2）運(yùn)動(dòng)矢量的差分編碼n 在H.263中，對(duì)運(yùn)動(dòng)矢量采用預(yù)測(cè)編碼。預(yù)測(cè)編碼采用與當(dāng)前宏塊相鄰的三個(gè)宏塊的運(yùn)動(dòng)矢量的均值作為預(yù)測(cè)

57、值。當(dāng)相鄰宏塊不在當(dāng)前塊組時(shí)，如果只有一個(gè)相鄰宏塊在塊組外，則令該宏塊運(yùn)動(dòng)矢量為零計(jì)算預(yù)測(cè)值；如果有兩個(gè)宏塊在塊組外，則直接取剩下的宏塊的運(yùn)動(dòng)矢量作為預(yù)測(cè)值。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 3. 可選模式n 除缺省模式外，H.263還給出四種可選模式，無限制運(yùn)動(dòng)矢量模式、基于語法的算術(shù)編碼模式、高級(jí)預(yù)測(cè)模式和PB圖像模式供用戶選擇使用。n 1）無限制運(yùn)動(dòng)矢量模式n運(yùn)動(dòng)矢量可以指向圖像外，范圍擴(kuò)展到-31.5，31.3。在攝像機(jī)運(yùn)動(dòng)或圖像沿邊緣運(yùn)動(dòng)時(shí)，采用無限制運(yùn)動(dòng)矢量模式可以提高編效率。圖像外的像素值是由圖像邊界像素值填充得到的。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 2）基于語法的算術(shù)編碼模

58、式n 基于語法的算術(shù)編碼模式代替了缺省模式中的三維可變長(zhǎng)編碼。在相同圖像質(zhì)量下，采用這種編碼模式可以降低5%左右的比特率。在可變長(zhǎng)編碼中，任何一個(gè)符號(hào)均占用整數(shù)比特，從而導(dǎo)致了壓縮效率的下降，而基于語法的算術(shù)編碼模式?jīng)]有這個(gè)問題。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 3）高級(jí)預(yù)測(cè)模式n 在H.263標(biāo)準(zhǔn)中，高級(jí)預(yù)測(cè)模式是一個(gè)很重要的選項(xiàng)。在這種預(yù)測(cè)模式中需要考慮以下兩方面內(nèi)容：一是對(duì)P幀的亮度分量采用交疊塊運(yùn)動(dòng)補(bǔ)償方法，即某一子塊的運(yùn)動(dòng)補(bǔ)償由本塊和周圍塊的運(yùn)動(dòng)矢量共同決定；二是對(duì)某些宏塊使用四個(gè)運(yùn)動(dòng)矢量，每個(gè)子塊都有一個(gè)運(yùn)動(dòng)矢量，用四個(gè)運(yùn)動(dòng)矢量取代原來宏塊的一個(gè)運(yùn)動(dòng)矢量。 5.7.4 H.263

59、標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 4）PB圖像模式n PB圖像模式引入了一種新的幀，即PB幀。一個(gè)PB幀由一個(gè)P幀和一個(gè)B幀組成一起編碼。其中P幀是在缺省模式中采用的幀間編碼的幀，P幀由前面已經(jīng)編碼的P幀或I幀來預(yù)測(cè)。而B幀在時(shí)間上處于前一P幀或I幀和當(dāng)前P幀之間，由二者進(jìn)行雙向預(yù)測(cè)，這種方式的關(guān)系如圖5.14所示。 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn) 5.7.4 H.263標(biāo)準(zhǔn)標(biāo)準(zhǔn)n 根據(jù)編碼方法B幀的質(zhì)量不影響后續(xù)幀的編碼，因此采用粗編碼，可以提高一倍幀率。PB模式在場(chǎng)景快速運(yùn)動(dòng)或復(fù)雜運(yùn)動(dòng)時(shí)效果不佳，它適用于場(chǎng)景做簡(jiǎn)單和緩慢運(yùn)動(dòng)的場(chǎng)合。 5.7.5 H.264標(biāo)準(zhǔn)標(biāo)準(zhǔn)n H.264視頻壓縮算法與MPEG-4相比，壓

60、縮比可提高近30%。H.264是DPCM和變換編碼的混合編碼模式。在技術(shù)上，采用統(tǒng)一的VLC符號(hào)編碼，高精度、多模式的位移估計(jì)，基于塊的整數(shù)變換、分層的編碼語法等措施使得H.264的算法具有很高的編碼效率，在相同的重建圖像質(zhì)量下，比H.263節(jié)約50%左右的碼率，更適合窄帶傳輸。加強(qiáng)了對(duì)各種信道的適應(yīng)能力，采用了“網(wǎng)絡(luò)友好的”的結(jié)構(gòu)和語法，有利于對(duì)誤碼和丟包的處理；應(yīng)用目標(biāo)范圍較寬，以滿足不同速率及不同傳輸和存儲(chǔ)場(chǎng)合的需求；它的基本系統(tǒng)是開放的，使用無需版權(quán)。為了對(duì)各種視頻壓縮標(biāo)準(zhǔn)進(jìn)行比較，表5.7總結(jié)了視頻壓縮標(biāo)準(zhǔn)發(fā)展歷程。 5.7.5 H.264標(biāo)準(zhǔn)標(biāo)準(zhǔn)n1. 幾項(xiàng)基本技術(shù)幾項(xiàng)基本技術(shù)n