1、1多媒體技術簡介多媒體技術簡介第三、四講2主要內容主要內容多媒體數據的獲取技術數字化技術編碼技術壓縮技術多媒體技術標準存儲格式。31 多媒體數據的獲取技術多媒體數據的獲取技術l計算機本身可以創建的媒體：文本、圖形、動畫和MIDI音樂l從外部輸入到計算機內的媒體：圖像、音頻和視頻l圖像、音頻和視頻這三種媒體需要數字化，才能讓計算機處理。42 數字化技術數字化技術l數字化：將模擬信號變成數字信號的過程l采樣：把連續時間或者連續空間分布轉化為離散值的過程，必須遵循奈奎斯特定理l量化：把連續的采樣值轉化為離散值的過程，分為線性量化和非線性量化l編碼：把量化值表示成數字形式的過程l音頻數字化、圖像數字化

2、、視頻數字化。53 編碼技術編碼技術l編碼模型l壓縮編碼分類l統計編碼：哈夫曼（哈夫曼（HuffmanHuffman）編碼、香農）編碼、香農- -費諾編碼、費諾編碼、算術編碼、游程編碼（算術編碼、游程編碼（RLCRLC）和）和LZWLZW編碼編碼( (第二類編碼第二類編碼) )l預測編碼l變換編碼l分形編碼l矢量化編碼l子帶編碼。64 壓縮技術壓縮技術l編碼壓縮的必要性與可能性編碼壓縮的必要性與可能性l多媒體數據存在著大量的冗余多媒體數據存在著大量的冗余:空間冗余、時空間冗余、時間冗余、結構冗余、知識冗余、視覺冗余、圖間冗余、結構冗余、知識冗余、視覺冗余、圖像區域的相同性冗余和紋理的統計冗余像

3、區域的相同性冗余和紋理的統計冗余l文本壓縮技術文本壓縮技術l圖像壓縮技術圖像壓縮技術l音頻壓縮技術音頻壓縮技術l視頻壓縮技術。視頻壓縮技術。75 多媒體技術標準多媒體技術標準l多媒體壓縮標準l音頻壓縮標準l圖像壓縮標準l視頻壓縮標準l多媒體表示標準l同步多媒體集成語言lMHEG標準l多媒體元數據標準。86 存儲格式存儲格式l文本存儲格式：.doc、.rtf、.pdfl圖像存儲格式l音頻存儲格式: .WAVWAV、.MP3.MP3、.MID.MID、其它格式其它格式l視頻存儲格式。9音頻音頻幅幅值值t一個周期一個周期+空氣壓強空氣壓強0聲音包含三個要素：音調、音強和音色。聲音包含三個要素：音調、

4、音強和音色。基頻與音調：一個聲源每秒鐘可產生成百上千個波，通常把每秒鐘波峰所產基頻與音調：一個聲源每秒鐘可產生成百上千個波，通常把每秒鐘波峰所產生的數目稱之為信號的頻率，單位用赫茲生的數目稱之為信號的頻率，單位用赫茲(Hz)或千赫茲或千赫茲(kHz)表示表示諧波與音色：諧波與音色：no稱為基波稱為基波o的的n次諧波分量次諧波分量(n就是高次諧波的方次，就是高次諧波的方次，no就是基波就是基波o的的n次諧波次諧波)，也稱為泛音。音色是由混入基音的泛音所決，也稱為泛音。音色是由混入基音的泛音所決定的定的幅度與音強：信號的幅度是從信號的基線到當前波峰的距離。幅度決定了信幅度與音強：信號的幅度是從信號

5、的基線到當前波峰的距離。幅度決定了信號音量的強弱程度。幅度越大，聲音越強。號音量的強弱程度。幅度越大，聲音越強。10音頻數字化音頻數字化l連續的音頻波形可通過麥克風等輸入設備轉化為連續的電信號，要使計算機能夠處理和傳輸音頻信號，必須經過模/數轉換過程l采樣。對聲音波形的采樣就是按采樣的頻率間隔、不斷地獲取幅度的量值，使連續的聲音波形轉變為離散的數字量l量化。將信號范圍分割成固定數量。11圖像數字化圖像數字化l采樣（Sampling）是對圖像空間坐標的離散化，它決定了圖像的空間分辨率，就是用一個網格(如右圖所示)把待處理的圖像覆蓋 ，把每一小格上模擬圖像的各個亮度取平均值，作為該小方格中點的值

6、l把采樣后所得的各像素灰度值從模擬量到離散量的轉換稱為圖像灰度的量化。12編碼壓縮的必要性與可能性編碼壓縮的必要性與可能性l眾所周知，多媒體量化所需數據量大。音頻、眾所周知，多媒體量化所需數據量大。音頻、圖像和視頻的龐大數據對計算機的處理速度、圖像和視頻的龐大數據對計算機的處理速度、存儲容量都提出過高的要求。因此必須進行數存儲容量都提出過高的要求。因此必須進行數據量壓縮據量壓縮l從傳送的角度來看，在信道帶寬、通信鏈路容從傳送的角度來看，在信道帶寬、通信鏈路容量一定的前提下，采用編碼壓縮技術，減少傳量一定的前提下，采用編碼壓縮技術，減少傳輸數據量，是提高通信速度的重要手段。因此，輸數據量，是提高

7、通信速度的重要手段。因此，更要求數據量壓縮。更要求數據量壓縮。13多媒體數據存在著大量的冗余多媒體數據存在著大量的冗余l眾所周知，視頻由一幀一幀的圖像組成，眾所周知，視頻由一幀一幀的圖像組成，而圖像的各像素之間，無論是在行方向而圖像的各像素之間，無論是在行方向還是在列方向，都存在著一定的相關性，還是在列方向，都存在著一定的相關性，即冗余度。應用某種編碼方法提取或減即冗余度。應用某種編碼方法提取或減少這些冗余度，便可以達到壓縮數據的少這些冗余度，便可以達到壓縮數據的目的。目的。14圖形圖形l圖形不直接描述數據的每一點，而是描述產生這些點的過程與方法，在計算機圖形學和數字圖像處理中，圖像是位圖的概

8、念，基本元素是像素；圖形則是向量圖的概念，基本元素是圖元，即圖形指令。15圖像圖像16編碼模型編碼模型(圖像圖像)一個壓縮系統包括兩個不同的結構塊：一個編碼器和一個解碼器一個壓縮系統包括兩個不同的結構塊：一個編碼器和一個解碼器從原理來看主要分為三個階段，第一階段將輸入數據轉換為可以減少輸入從原理來看主要分為三個階段，第一階段將輸入數據轉換為可以減少輸入圖像中像素間冗余的數據的集合。第二階段設法去除原圖象信號的相關性，圖像中像素間冗余的數據的集合。第二階段設法去除原圖象信號的相關性，例如對電視信號就可以去掉幀內各種相關，還可以去除幀間相關。這樣有例如對電視信號就可以去掉幀內各種相關，還可以去除幀

9、間相關。這樣有利于編碼壓縮。第三階段就是找一種更近于熵，又利于計算機處理的編碼利于編碼壓縮。第三階段就是找一種更近于熵，又利于計算機處理的編碼方式。方式。17壓縮編碼分類壓縮編碼分類18統計編碼統計編碼l統計編碼屬無損編碼，它是根據消息出現概率統計編碼屬無損編碼，它是根據消息出現概率的分布特性而進行的壓縮編碼。統計編碼又可的分布特性而進行的壓縮編碼。統計編碼又可分為定長碼和變長碼，常分為如下幾類：分為定長碼和變長碼，常分為如下幾類：l哈夫曼（哈夫曼（HuffmanHuffman）編碼）編碼l香農香農- -費諾編碼費諾編碼l算術編碼算術編碼l游程編碼（游程編碼（RLCRLC）lLZWLZW編碼。

10、編碼。19預測編碼預測編碼l預測編碼是根據離散信號之間存在著一定的相關性，預測編碼是根據離散信號之間存在著一定的相關性，利用前面的一個或多個信號對下一信號進行預測，然利用前面的一個或多個信號對下一信號進行預測，然后對實際值和預測值的差后對實際值和預測值的差( (預測誤差預測誤差) )進行編碼進行編碼l預測編碼中典型的壓縮方法有脈沖編碼調制預測編碼中典型的壓縮方法有脈沖編碼調制(PCM, (PCM, Pulse Code Modulation)Pulse Code Modulation)、差分脈沖編碼調制、差分脈沖編碼調制(DPCM(DPCM，Differential Pulse Code Mo

11、dulation)Differential Pulse Code Modulation)、自適應差、自適應差分脈沖編碼調制分脈沖編碼調制(ADPCM(ADPCM，Adaptive Differential Adaptive Differential Pulse Code Modulation)Pulse Code Modulation)等等l預測編碼可分為無損預測編碼和有損預測編碼。預測編碼可分為無損預測編碼和有損預測編碼。20變換編碼變換編碼l變換編碼的原理如右圖所示。從圖中看出，變換編碼的原理如右圖所示。從圖中看出，存儲或傳輸都是在變換域中進行的，即傳存儲或傳輸都是在變換域中進行的，即傳輸

12、或存儲都不是空域圖像而是變換域系數，輸或存儲都不是空域圖像而是變換域系數，分一般正交變換和小波變換。分一般正交變換和小波變換。21分形編碼分形編碼l分形編碼與分形幾何相關。所謂分形幾何就是研究無限復雜分形編碼與分形幾何相關。所謂分形幾何就是研究無限復雜但具有一定意義下的自相似圖形和結構的幾何學。分形編碼但具有一定意義下的自相似圖形和結構的幾何學。分形編碼正是利用分形幾何中自相似的原理來實現數據壓縮的。首先正是利用分形幾何中自相似的原理來實現數據壓縮的。首先對圖像進行分塊，然后再去尋找各塊之間的相似性，這里相對圖像進行分塊，然后再去尋找各塊之間的相似性，這里相似性的描述主要是依靠仿射變換來確定的

13、，一旦找到了每塊似性的描述主要是依靠仿射變換來確定的，一旦找到了每塊的仿射變換，就保存下這個仿射變換的系數，由于每塊的數的仿射變換，就保存下這個仿射變換的系數，由于每塊的數據量遠大于仿射變換的系數，因而圖像得以大幅度地壓縮據量遠大于仿射變換的系數，因而圖像得以大幅度地壓縮 l分形圖像編碼和解碼不夠成熟，產生的壓縮比不夠高。壓縮分形圖像編碼和解碼不夠成熟，產生的壓縮比不夠高。壓縮效果還不十分理想，在當前圖像壓縮編碼中還不能占據主導效果還不十分理想，在當前圖像壓縮編碼中還不能占據主導地位。地位。22子帶編碼子帶編碼l由于人眼對不同頻域段的敏感程度不同，圖像由于人眼對不同頻域段的敏感程度不同，圖像信

14、號可以劃分為不同的頻域段。子帶編碼的基信號可以劃分為不同的頻域段。子帶編碼的基本思想是利用一濾波器組，將采樣將輸入信號本思想是利用一濾波器組，將采樣將輸入信號分解為高頻分量和低頻分量，然后分別對高頻分解為高頻分量和低頻分量，然后分別對高頻和低頻分量進行量化和編碼。解碼時，高頻分和低頻分量進行量化和編碼。解碼時，高頻分量和低頻分量經過插值和共軛濾波器而合成原量和低頻分量經過插值和共軛濾波器而合成原信號。信號。23矢量化編碼矢量化編碼l矢量量化編碼利用相鄰圖像數據間的高度相關矢量量化編碼利用相鄰圖像數據間的高度相關性，將輸入圖像數據序列分組，每一組由性，將輸入圖像數據序列分組，每一組由m m個個數

15、據構成一個數據構成一個M M維矢量，一起進行編碼，即一維矢量，一起進行編碼，即一次量化多個點。根據香農失真率理論，對于無次量化多個點。根據香農失真率理論，對于無記憶信源，矢量量化編碼總是優于標量量化編記憶信源，矢量量化編碼總是優于標量量化編碼，矢量量化編碼是有損編碼。碼，矢量量化編碼是有損編碼。24文本壓縮技術文本壓縮技術l文本壓縮必須是無損壓縮l哈夫曼（哈夫曼（HuffmanHuffman）編碼）編碼l詞典編碼詞典編碼lLZ77LZ77lLZWLZW。25圖像壓縮技術圖像壓縮技術l典型的圖像壓縮系統主要由三部分組成：變換部分、量化部分和編碼部分26音頻壓縮技術音頻壓縮技術l音頻信息編碼技術主

16、要可分為三類音頻信息編碼技術主要可分為三類波形編碼：這種方法主要基于語音波形預測，它力圖使重建的語音波波形編碼：這種方法主要基于語音波形預測，它力圖使重建的語音波形保持原有的波形狀態。常用的波形編碼技術有增量調制形保持原有的波形狀態。常用的波形編碼技術有增量調制(DM)(DM)、自適、自適應差分脈沖編碼調制應差分脈沖編碼調制(ADPCM)(ADPCM)、子帶編碼、子帶編碼(SBC)(SBC)和矢量量化編碼和矢量量化編碼(VQ)(VQ)等等等等參數編碼：參數編碼的方法是將音頻信號以某種模型表示，再抽出合參數編碼：參數編碼的方法是將音頻信號以某種模型表示，再抽出合適的模型參數和參考激勵信號進行編碼

17、；聲音重放時，再根據這些參適的模型參數和參考激勵信號進行編碼；聲音重放時，再根據這些參數重建即可。顯然參數編碼壓縮比很高，但計算量大。它主要用于在數重建即可。顯然參數編碼壓縮比很高，但計算量大。它主要用于在窄帶信道上提供窄帶信道上提供4.8kb/s4.8kb/s以下的低速語音通信和一些對延時要求較寬以下的低速語音通信和一些對延時要求較寬的應用場合（如衛星通信等）。最常用的參數編碼法為線性預測的應用場合（如衛星通信等）。最常用的參數編碼法為線性預測（LPCLPC）編碼）編碼混合編碼：是指同時使用兩種或兩種以上的編碼方法進行編碼的過程。混合編碼：是指同時使用兩種或兩種以上的編碼方法進行編碼的過程。

18、由于每種編碼方法都有自己的優勢和不足，若是用兩種或兩種以上的由于每種編碼方法都有自己的優勢和不足，若是用兩種或兩種以上的編碼方法進行編碼，可以優勢互補，克服各自的不足，從而達到高效編碼方法進行編碼，可以優勢互補，克服各自的不足，從而達到高效數據壓縮的目的。數據壓縮的目的。27視頻壓縮技術視頻壓縮技術l視頻壓縮技術兩個要點：l在空間上，圖像數據采用JPEG壓縮算法l在時間上，圖像數據采用移動補償算法l三種圖像lI圖像 利用圖像自身的相關性壓縮, 提供壓縮數據流中的隨機存取的點，采用基于ADCT的編碼技術，壓縮后，每個像素為1b-2blP圖像 用最近的前一個I圖像(或P圖像)預測編碼得到(前向預測

19、)lB圖像 B圖像在預測時, 既可使用了前一個圖像作參照, 也可使用下一個圖像做參照或同時使用前后兩個圖像作為參照圖像(雙向預測)。28空間冗余l這是靜態圖像存在的最主要的一種這是靜態圖像存在的最主要的一種數據冗余。一幅圖像記錄了畫面上數據冗余。一幅圖像記錄了畫面上可見景物的顏色。同一景物表面上可見景物的顏色。同一景物表面上各采樣點的顏色之間往往存在著空各采樣點的顏色之間往往存在著空間連貫性，從而產生了空間冗余。間連貫性，從而產生了空間冗余。29時間冗余l在視頻的相鄰幀間，往往包含相同的背景和移在視頻的相鄰幀間，往往包含相同的背景和移動物體，因此，后一幀數據與前一幀數據有許動物體，因此，后一幀

20、數據與前一幀數據有許多共同的地方，即在時間上存在大量的冗余。多共同的地方，即在時間上存在大量的冗余。30結構冗余l在有些圖像的紋理區，圖像的像素值存在著明在有些圖像的紋理區，圖像的像素值存在著明顯的分布模式。例如，方格狀的地板圖案等。顯的分布模式。例如，方格狀的地板圖案等。我們稱這種冗余為結構冗余。我們稱這種冗余為結構冗余。31知識冗余l有些圖像的理解與某些知識有相當大的相關性。有些圖像的理解與某些知識有相當大的相關性。例如，人臉的圖像有固定的結構。這類規律性例如，人臉的圖像有固定的結構。這類規律性的結構可由先驗知識和背景知識得到，我們稱的結構可由先驗知識和背景知識得到，我們稱此類冗余為知識冗

21、余。此類冗余為知識冗余。32視覺冗余l事實表明，人類的視覺系統對圖像場的敏感性事實表明，人類的視覺系統對圖像場的敏感性是非均勻的和非線性的。然而，在記錄原始圖是非均勻的和非線性的。然而，在記錄原始圖像數據時，通常假定視覺系統是線性的和均勻像數據時，通常假定視覺系統是線性的和均勻的，對視覺敏感和不敏感的部分同等對待，從的，對視覺敏感和不敏感的部分同等對待，從而產生了比理想編碼更多的數據，這就是視覺而產生了比理想編碼更多的數據，這就是視覺冗余。冗余。33圖像區域的相同性冗余l是指在圖像中的兩個或多個區域所對應的所有是指在圖像中的兩個或多個區域所對應的所有像素值相同或相近，從而產生的數據重復性存像素

22、值相同或相近，從而產生的數據重復性存儲，這就是圖像區域的相似性冗余。儲，這就是圖像區域的相似性冗余。34紋理的統計冗余l有些圖像紋理盡管不嚴格服從某有些圖像紋理盡管不嚴格服從某分布規律，分布規律，但是它在統計的意義上服從該規律。利用這種但是它在統計的意義上服從該規律。利用這種性質也可以減少表示圖像的數據量，所以我們性質也可以減少表示圖像的數據量，所以我們稱之為紋理的統計冗余。稱之為紋理的統計冗余。35哈夫曼（Huffman）編碼l其編碼思想與其編碼思想與Shannon-Fano編碼方法基本一致，編碼方法基本一致，但構造二叉樹的方法則相反，不是自上而下，而是但構造二叉樹的方法則相反，不是自上而下

23、，而是自下而上、從樹葉到樹根生成二叉樹。具體編碼過自下而上、從樹葉到樹根生成二叉樹。具體編碼過程如下：程如下：l將信源符號按概率遞減順序排列；將信源符號按概率遞減順序排列；l把兩個最小的概率加起來，作為新符號的概率；把兩個最小的概率加起來，作為新符號的概率；l重復步驟（重復步驟（1）和（）和（2），直到概率達到），直到概率達到“1”為止；為止；l在每次合并消息時，將被合并的消息賦于在每次合并消息時，將被合并的消息賦于“1”和和“0”或或“0”和和“l”；l尋找從每一信源符號到概率為尋找從每一信源符號到概率為“1”處的路徑，記錄下路徑處的路徑，記錄下路徑上的上的“l”和和“0”；1.對每一符號寫

24、出從碼樹的根到終結點的對每一符號寫出從碼樹的根到終結點的“l”、“0”序列。序列。36香農-費諾編碼簡稱為簡稱為S-F編碼，是一種變長編碼，其基本思想編碼，是一種變長編碼，其基本思想是按信源符號出現的概率大小進行排序，出現概是按信源符號出現的概率大小進行排序，出現概率大的分配短碼，反之則分配長碼。具體編碼過率大的分配短碼，反之則分配長碼。具體編碼過程如下：程如下： l信源符號按概率遞減順序排列。信源符號按概率遞減順序排列。l把符號序列分成上下兩部分，使上下兩部分的概率和相把符號序列分成上下兩部分，使上下兩部分的概率和相等或接近相等。等或接近相等。l對上部分子序列編碼為對上部分子序列編碼為“0”

25、，相當于左子樹，對下部分，相當于左子樹，對下部分子序列編碼為子序列編碼為“1”，相當于右子樹，相當于右子樹l重復上述步驟，直到每個子序列只包含一個符號為止。重復上述步驟，直到每個子序列只包含一個符號為止。 37算術編碼 算術編碼也是一種信息熵編碼方法，它用算術編碼也是一種信息熵編碼方法，它用0到到1之間的一個實數對輸入的信息進行編碼。用到之間的一個實數對輸入的信息進行編碼。用到兩個基本的參數，一是信源符號的概率，二是兩個基本的參數，一是信源符號的概率，二是信源符號對應和編碼區間。一般的信源符號集信源符號對應和編碼區間。一般的信源符號集x可表示為：可表示為：38游程編碼（RLC）l行程編碼（行程

26、編碼（RLE）通過統計信源符號中的重復個數，）通過統計信源符號中的重復個數，并以并以格式來編碼。適用于壓格式來編碼。適用于壓縮包含大量重復信息的信源。其基本思想是：按行存縮包含大量重復信息的信源。其基本思想是：按行存儲一個顏色值和相同色值的像素個數，如下圖。儲一個顏色值和相同色值的像素個數，如下圖。(a) 圖像示例（168像素）0 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 1 1 1 1 1 1 1 1 1 1 1 0 0 00 0 1 0 0 0 0 0 0 0 0 0 0 0 0 00 0 1 0 0 0 0 0 0 0 0 0 0 0 0 00 0 1 0 0 0

27、 0 0 0 0 0 0 0 0 0 00 0 1 1 1 1 1 1 1 1 1 1 1 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 00 0 0 0 0 0 0 0 0 0 0 0 0 0 0 0(b) 示例圖像的像素值（168像素） 16 0 02 0 11 01 03 0 02 0 01 01 13 0 02 0 01 01 13 0 02 0 01 01 13 0 02 0 11 01 03 0 16 0 16 0(c) RLE編碼39LZW編碼l詞典編碼主要是利用編碼數據本身存在字符串重復特性來實詞典編碼主要是利用編碼數據本身存在字符串重復特性來實現數據壓

28、縮的。算法的核心就是如何動態地形成詞典，以及現數據壓縮的。算法的核心就是如何動態地形成詞典，以及如何選擇輸出格式以減小冗余。詞典編碼又可分為兩類：如何選擇輸出格式以減小冗余。詞典編碼又可分為兩類：l第一類詞典編碼的思想第一類詞典編碼的思想是：查找正在壓縮的字符序列是否在是：查找正在壓縮的字符序列是否在以前輸入的數據中出現過，然后用已經出現過的字符串替代以前輸入的數據中出現過，然后用已經出現過的字符串替代重復的部分，并將指向重復字符串的指針作為輸出編碼。重復的部分，并將指向重復字符串的指針作為輸出編碼。指針P指向了重復字符串“abc”，所以，當再次出現相同字符串時，則輸出指針P。40第二類詞典編

29、碼l第二類詞典編碼的思想第二類詞典編碼的思想是：從輸入的數據中創是：從輸入的數據中創建一個由短語組成的建一個由短語組成的“編碼詞典編碼詞典”，編碼數據，編碼數據過程中當遇到已經在詞典中出現的過程中當遇到已經在詞典中出現的“短語短語”時，時，編碼器就輸出這個詞典中短語的編碼器就輸出這個詞典中短語的“索引號索引號”，而不是短語本身，如下圖而不是短語本身，如下圖:41WAV文件格式lWAVWAV是是Microsoft WindowsMicrosoft Windows提供的音頻格式。這提供的音頻格式。這個格式是目前通用音頻格式，它通常用來保存個格式是目前通用音頻格式，它通常用來保存一些沒有壓縮的音頻。

30、目前所有的音頻播放軟一些沒有壓縮的音頻。目前所有的音頻播放軟件和編輯軟件都支持這一格式。件和編輯軟件都支持這一格式。lWAVWAV文件由三部分組成：文件頭文件由三部分組成：文件頭( (標明是標明是WAVWAV文文件、文件結構和數據的總字節數件、文件結構和數據的總字節數) )、數字化參、數字化參數數( (如采樣頻率、聲道數、編碼算法等如采樣頻率、聲道數、編碼算法等) )，最后，最后是實際波形數據。一般來說，聲音質量與其是實際波形數據。一般來說，聲音質量與其WAVWAV格式的文件大小成正比。格式的文件大小成正比。42MP3文件格式uMP3MP3是第一個實用的有損音頻壓縮編碼技術。在是第一個實用的有損音頻壓縮編碼技術。在MP3MP3出現之前，一般的音頻編碼即使以有損方式出現之前，一般的音頻編碼即使以有損方式進行壓縮，能達到進行壓縮，能達到4:14:1的壓縮比例已經非常不錯的壓縮比例已經非常不錯了。但是，了。但是，MP3MP3可以實現可以實現12:112:1的壓縮比例。的壓縮比例。u衡量衡量MP3MP3文件的壓縮比例通常使用比特率來表示。文件的壓縮比例通常使用比特率來