1、多媒體技術(shù)期末復(fù)習(xí)提要第一章多媒體技術(shù)概論復(fù)習(xí)內(nèi)容：1、 多媒體、多媒體技術(shù)、多媒體系統(tǒng)媒體在計(jì)算機(jī)領(lǐng)域通常有兩種含義：一是指存儲(chǔ)信息的實(shí)體，如磁盤、光盤、磁帶、半導(dǎo)體存儲(chǔ)器等；二是指傳遞信息的載體，如數(shù)字、文字、聲音、圖形和圖像等。可見多媒體技術(shù)中的媒體是指后者。國際電話電報(bào)咨詢委員會(huì)CCITT（Consultative Committee on International Telephone and Telegraph，國際電信聯(lián)盟ITU的一個(gè)分會(huì)）把媒體分成5類： (1)感覺媒體（Perception Medium）：指直接作用于人的感覺器官，使人產(chǎn)生直接感覺的媒體。如引起聽覺反應(yīng)的聲音

2、，引起視覺反應(yīng)的圖像等。 (2)表示媒體（representation Medium）：指傳輸感覺媒體的中介媒體，即用于數(shù)據(jù)交換的編碼。如圖像編碼（JPEG、MPEG等）、文本編碼（ASCII碼、GB2312等）和聲音編碼等。 (3)表現(xiàn)媒體（Presentation Medium）：指進(jìn)行信息輸入和輸出的媒體。如鍵盤、鼠標(biāo)、掃描儀、話筒、攝像機(jī)等為輸入媒體；顯示器、打印機(jī)、喇叭等為輸出媒體。 (4)存儲(chǔ)媒體（Storage Medium）：指用于存儲(chǔ)表示媒體的物理介質(zhì)。如硬盤、軟盤、磁盤、光盤、ROM及RAM等。 (5)傳輸媒體（Transmission Medium）：指傳輸表示媒體的物理

3、介質(zhì)。如電纜、光纜等。文本、聲音、圖形、圖像和動(dòng)畫等是信息的載體，其中兩個(gè)或多于兩個(gè)的組合構(gòu)成了多媒體。多媒體的英文單詞是Multimedia，它由media和multi兩部分組成。一般理解為多種媒體的綜合。ITU對(duì)多媒體含義的描述是： 使用計(jì)算機(jī)交互式綜合技術(shù)和數(shù)字通信網(wǎng)技術(shù)處理多種表示媒體-文本、圖形、圖像和聲音，使多種信息建立邏輯連接，集成為一個(gè)交互系統(tǒng)。多媒體系統(tǒng)是指利用計(jì)算機(jī)技術(shù)和數(shù)字通訊網(wǎng)技術(shù)來處理和控制多媒體信息的系統(tǒng)，如：CAI課件、視頻/音頻演示系統(tǒng)等。2、 促進(jìn)多媒體技術(shù)發(fā)展的關(guān)鍵技術(shù)（1） 多媒體存儲(chǔ)與管理技術(shù)（2） 多媒體的標(biāo)準(zhǔn)化技術(shù) （3） 多媒體數(shù)據(jù)庫（4） 數(shù)據(jù)壓

4、縮與編碼 （5） 多媒體通信 （6） 多媒體系統(tǒng)集成技術(shù)3、 多媒體技術(shù)的特性主要有：集成性、實(shí)時(shí)性、交互性、高質(zhì)量4、 多媒體系統(tǒng)的組成多媒體系統(tǒng)的基本構(gòu)成主要有：計(jì)算機(jī)硬件、多媒體計(jì)算機(jī)所配置的硬件（如壓縮、解壓縮專用芯片）、多媒體I/O控制及接口、多媒體的核心系統(tǒng)、多媒體創(chuàng)作系統(tǒng)和多媒體應(yīng)用系統(tǒng)。5、多媒體的技術(shù)研究與應(yīng)用開發(fā) 多媒體涉及的技術(shù)范圍很廣，技術(shù)很新、研究內(nèi)容很深，是多種學(xué)科和多種技術(shù)交叉的領(lǐng)域。目前，多媒體技術(shù)的研究和應(yīng)用開發(fā)主要在下列幾個(gè)方面：(1) 多媒體數(shù)據(jù)的表示技術(shù)(2) 多媒體創(chuàng)作和編輯工具(3) 多媒體數(shù)據(jù)的存儲(chǔ)技術(shù)(4) 多媒體的應(yīng)用開發(fā)第二章 音頻信號(hào)及其處

5、理1、 聲音信號(hào)的物理特征 聲音信號(hào)主要的物理特征有：頻率、振幅、響度、音調(diào)、音色、和諧、不和諧等。頻率：信號(hào)的頻率是指信號(hào)每秒種變化的次數(shù)，波形中兩個(gè)連續(xù)波峰（或波谷）之間的距離稱為周期T，一秒鐘內(nèi)所出現(xiàn)的周期數(shù)目即為頻率，頻率的單位為赫茲（Hz）。頻率能反映出聲音的聲調(diào)，我們所聽到的聲音如果細(xì)尖表示頻率高，聲音粗低表示頻率低。聲音按照頻率分為三種類型：次聲、可聽聲、超聲。低于20Hz的聲音為次聲，或稱為亞音信號(hào)(subsonic)；可聽聲的聲音頻率范圍為2020000 Hz；高于20000 Hz的聲音為超聲，或稱超聲波(ultrasonic)信號(hào)。多媒體計(jì)算機(jī)中處理的聲音主要指可聽聲。一般

6、情況下人說話的話音信號(hào)的頻率范圍在3003000 Hz，稱為話音(speech)信號(hào)，在這種頻率范圍里感知的聲音幅度大約在0120 dB之間。振幅：聲音信號(hào)的另一個(gè)基本參數(shù)是振幅，它表示聲音信號(hào)的強(qiáng)弱。聲音信號(hào)的強(qiáng)度相差很大，從可以聽見的最弱聲到最強(qiáng)聲，其強(qiáng)度相差1萬億倍。聲音的強(qiáng)弱采用分貝作為量綱，區(qū)別兩個(gè)強(qiáng)度I和I0的分貝數(shù)（dB）是：聲音分貝數(shù) = 10*log(I/ I0 )在心理上，聲音有兩個(gè)最重要的量綱，即響度和音調(diào)，其他還有音色、和諧、不和諧等。由聲音的物理特性得知，聲音的振幅增加，聲音的響度也增加；頻率增高，音調(diào)則增高。幅度與響度之間的關(guān)系是非線性的，幅度加倍不等于響度加倍；頻

7、率與響度、音調(diào)之間也有關(guān)系，頻率的變化既影響響度也影響音調(diào)；它們的關(guān)系起決于它們出現(xiàn)的情景，即使是最簡單的物理量綱也要受神經(jīng)系統(tǒng)的綜合分析。例如，一個(gè)樂隊(duì)創(chuàng)造出豐富多彩的聽覺感受，一個(gè)精彩的報(bào)告給人們留下深刻的印象，而一些機(jī)器轟鳴聲和飛機(jī)的噪音使人煩躁不安。這些平時(shí)聽到的聲音感覺好壞不時(shí)響度和音調(diào)參數(shù)所能表達(dá)的，而是聲音心理學(xué)研究的問題。聲音的響度起決于幅度和頻率兩個(gè)因素，如果頻率不變，幅度高比幅度低的聲音信號(hào)要響些，如果幅度不變，甚高頻和甚低頻的聲音似乎比中頻聲音要柔弱的多。音頻的定義以及分類，聲音的三要素：l 音頻的頻率范圍在20Hz到20kHz之間。l 音頻這種聽覺媒體主要分為波形聲音、

8、語音和音樂。l 聲音的三要素指音調(diào)、音強(qiáng)和音色。2、模擬信號(hào)和數(shù)字信號(hào)我們把在時(shí)間和幅度上都是連續(xù)的信號(hào)稱為模擬信號(hào)。在某些特定的時(shí)刻對(duì)這種模擬信號(hào)進(jìn)行測量叫做采樣(sampling)，由這些特定時(shí)刻采樣得到的信號(hào)稱為離散時(shí)間信號(hào)。采樣得到的幅值是無窮多個(gè)實(shí)數(shù)值中的一個(gè)，因此幅度還是連續(xù)的。如果把信號(hào)幅度取值的數(shù)目加以限定，這種由有限個(gè)數(shù)值組成的信號(hào)就稱為離散幅度信號(hào)。我們把時(shí)間和幅度都用離散的數(shù)字表示的信號(hào)就稱為數(shù)字信號(hào)。音頻信號(hào)的數(shù)字化處理過程：（1）選擇采樣頻率，進(jìn)行采樣；（2）選擇分辨率，進(jìn)行量化；（3）形成聲音文件。數(shù)字化實(shí)際上就是采樣和量化。如前所述，連續(xù)時(shí)間的離散化通過采樣來實(shí)現(xiàn)

9、，就是每隔相等的一小段時(shí)間采樣一次，這種采樣稱為均勻采樣(uniform sampling)；連續(xù)幅度的離散化通過量化(quantization)來實(shí)現(xiàn)，就是把信號(hào)的強(qiáng)度劃分成一小段一小段，如果幅度的劃分是等間隔的，就稱為線性量化，否則就稱為非線性量化。3、采樣定理采樣頻率的高低是根據(jù)奈奎斯特理論(Nyquist theory)和聲音信號(hào)本身的最高頻率決定的。奈奎斯特理論指出，采樣頻率不應(yīng)低于聲音信號(hào)最高頻率的兩倍，這樣就能把以數(shù)字表達(dá)的聲音還原成原來的聲音，這叫做無損數(shù)字化(lossless digitization)。采樣定律用公式表示為fs >= 2f 或者 Ts <= T/

10、2其中f為被采樣信號(hào)的最高頻率。如果不遵循采樣定理，則必然造成誤差，通常稱為混疊效應(yīng)。為了更好地防止混疊效應(yīng)，一是對(duì)信號(hào)進(jìn)行濾波，濾除高頻成分，使信號(hào)的最高頻率限制在fmax之內(nèi)。其二是嚴(yán)格依據(jù)定理，以22fmax的頻率進(jìn)行采樣。4采樣精度、采樣位數(shù)、聲道數(shù)采樣數(shù)據(jù)位數(shù)（Sampling Data）也稱量化精度，是指每個(gè)采樣點(diǎn)在A/D轉(zhuǎn)換后所表示的數(shù)據(jù)范圍。常用的采樣數(shù)據(jù)位數(shù)有：8bit，14bit，16bit。樣本大小是用每個(gè)聲音樣本的位數(shù)bit/s(即bps)表示的，它反映度量聲音波形幅度的精度。樣本位數(shù)的大小影響到聲音的質(zhì)量，位數(shù)越多，聲音的質(zhì)量越高，而需要的存儲(chǔ)空間也越多；位數(shù)越少，聲

11、音的質(zhì)量越低，需要的存儲(chǔ)空間越少。一個(gè)聲音文件的數(shù)據(jù)量可由下列公式推導(dǎo)出來： （采樣頻率*采樣數(shù)據(jù)位數(shù)*聲道數(shù)）/8 = 字節(jié)數(shù)/秒（B/s）如果對(duì)每個(gè)取樣的幅度值用R位二進(jìn)制編碼（R比特）表示，就得到數(shù)字信號(hào)的傳輸速率或比特率I，I=fs*R(bit/s 或 b/s)當(dāng)信號(hào)帶寬給定從而fs已知且不變時(shí)，傳輸速率就簡單地由采樣位數(shù)R來確定。在有關(guān)編碼的文獻(xiàn)及書本中，比特率（或數(shù)碼率、碼率、速率、數(shù)據(jù)率）用來表示I和R，具體指哪一個(gè)從其量綱即可以確定，不會(huì)混淆。一般傳輸時(shí)多用I，存儲(chǔ)時(shí)多用R。5常見的音頻信號(hào)常見的音頻信號(hào)主要有：電話音頻信號(hào)、調(diào)頻調(diào)幅無線電廣播音頻信號(hào)和高保真的立體聲音頻信號(hào)。

12、由于其用途不同，這些音頻信號(hào)的帶寬也各不相同，而且在音響設(shè)備中，通常以帶寬來衡量聲音的質(zhì)量。圖2-05表示了這4種常見音頻信號(hào)的帶寬。數(shù)字激光唱盤（CD）FM無線電廣播AM無線電廣播電 話10 20 50 200 3400 7k15k 20k圖2-05音頻信號(hào)的帶寬6質(zhì)量的評(píng)價(jià)聲音質(zhì)量的評(píng)價(jià)是一個(gè)很困難的問題，目前還在繼續(xù)研究的課題。前面介紹了用聲音信號(hào)的帶寬來衡量聲音的質(zhì)量，等級(jí)由高到低依次是DAT，CD，F(xiàn)M，AM和數(shù)字電話。此外，聲音質(zhì)量的度量還有兩種基本的方法：一種是客觀質(zhì)量度量，另一種是主觀質(zhì)量度量。評(píng)價(jià)語音質(zhì)量時(shí)，有時(shí)同時(shí)采取兩種方法評(píng)估，有時(shí)以主觀質(zhì)量度量為主。聲音客觀質(zhì)量的度量

13、主要用信噪比(signal to niose ratio，SNR)，峰值信噪比（PSNR）等。7音頻信號(hào)的標(biāo)準(zhǔn)和規(guī)范表2-04數(shù)字電話的編碼標(biāo)準(zhǔn)組 織ISOCCITTGSMCTIANSA標(biāo) 準(zhǔn)G.711G.721G.728GSMGIA制定時(shí)間19921972198419921983198919891982傳輸率Kb/s1286432161384.82.4編碼算法PCMADPCMLD-CELPRPE-LTVSELPCELPLPC質(zhì) 量5.04.34.14.03.73.83.22.5使用場合CD長途電話網(wǎng)絡(luò)移動(dòng)通信保密電話CCITT：國際電報(bào)電話咨詢委員會(huì)，GSM：歐洲移動(dòng)通信專家組，CTIA：美

14、國移動(dòng)通信標(biāo)準(zhǔn)，NSA：美國國家安全局。8、 音頻文件大小的計(jì)算文件的字節(jié)數(shù)/每秒=采樣頻率（Hz）´采樣位數(shù)（位）´聲道數(shù)/89、常見的聲音文件格式，如：.WAV、.VOC、.MIDI文件10、 MIDI的含義、MIDI與數(shù)字化聲音的比較MIDI是樂器數(shù)字接口的英文縮寫，泛指數(shù)字音樂的國際標(biāo)準(zhǔn)，它是音樂與計(jì)算機(jī)結(jié)合的產(chǎn)物。MIDI信息實(shí)際上是樂譜的數(shù)字描述，這里樂譜完全由音符序列、定時(shí)以及被稱為合成音色的樂器定義組成。當(dāng)一組MIDI消息通過音樂合成器芯片演奏時(shí)，合成器就會(huì)解釋這些符號(hào)并產(chǎn)生音樂。選擇MIDI還是數(shù)字化聲音，要考慮計(jì)算機(jī)處理數(shù)字文件的能力，對(duì)回放硬件的控制能

15、力以及是否有語言對(duì)話的需要等方面因素。產(chǎn)生MIDI樂音的方法很多，現(xiàn)在用得較多的方法有兩種：一種是(frequency modulation，F(xiàn)M)合成法，另一種是樂音樣本合成法，也稱為波形表(Wavetable)合成法。11、波形聲音與MIDI音樂的比較MIDI消息實(shí)際上就是樂譜的數(shù)字表示。與波形聲音相比，MIDI數(shù)據(jù)不是聲音而是指令，因此它的數(shù)據(jù)量要比波形聲音少得多。如30分鐘的立體聲高品質(zhì)音樂，用波形文件無壓縮錄制，約需300MB的存儲(chǔ)空間；而同樣的MIDI數(shù)據(jù)，則只需200KB，兩者相差1500倍之多。另外，對(duì)MIDI的編輯很靈活，可以自由地改變曲調(diào)、音色等屬性，波形聲音就很難做到這一

16、點(diǎn)。波形聲音與設(shè)備無關(guān)，MIDI數(shù)據(jù)是與設(shè)備有關(guān)的，即MIDI音樂文件所產(chǎn)生的聲音與用來回放的特定的MIDI設(shè)備有關(guān)。總的來說，數(shù)字化聲音最重要的優(yōu)點(diǎn)是重放質(zhì)量的一致性、可靠性比較好，可自始至終保證質(zhì)量，而MIDI在這一點(diǎn)上則比較差。12、數(shù)據(jù)壓縮基礎(chǔ)信源信宿信源編碼信源解碼信道編碼信道解碼調(diào) 制傳輸通道解 調(diào)信 源 編 碼信 道 解 碼信道噪 聲圖2-2-1統(tǒng)一的數(shù)字傳輸系統(tǒng)模型圖中信源編碼和信源解碼即為本課程所要研究的內(nèi)容，統(tǒng)稱為信源解碼；而信道編碼和信道解碼統(tǒng)稱為信道編碼。信源解碼：主要解決有效性問題。通過對(duì)信源的壓縮、擾亂、加密等一系列處理，力求用最少的數(shù)碼傳遞最大的信息量，使信號(hào)更適

17、宜傳輸。信道編碼：主要解決可靠性問題。即盡量使處理過的信號(hào)在傳輸過程中不出錯(cuò)或少出錯(cuò)，即使出了錯(cuò)也要能自動(dòng)檢錯(cuò)和盡量糾錯(cuò)。如果信道編碼的糾錯(cuò)能力足以保證對(duì)數(shù)字序列的無誤差解碼，則圖2-2-1中的信道編碼、解碼器（簡寫為Codec，即Coder+Decoder），調(diào)制、解調(diào)器（簡寫為Modem，即Modulator + Demodulator），以及實(shí)際的物理傳輸通道（模擬信道），有時(shí)集中成一個(gè)理想的方框，叫作無噪聲數(shù)字信道，如圖2-2-1中的虛線右邊部分。而模擬信道加上Modem構(gòu)成的方框，即為一個(gè)實(shí)際的數(shù)字信道。因此，從信息論角度看，信源編碼編碼的一個(gè)最主要的目的，就是要解決數(shù)據(jù)的壓縮問題，

18、它構(gòu)成了數(shù)據(jù)壓縮的理論基礎(chǔ)。13、數(shù)據(jù)壓縮及其必要性數(shù)據(jù)壓縮，就是以最少的數(shù)碼表示信源所發(fā)的信號(hào)，減少容納給定消息集合或數(shù)據(jù)采樣集合的信號(hào)空間。所謂信號(hào)空間即被壓縮的對(duì)象是指：1、 物理空間，如硬盤、磁盤、磁帶等數(shù)據(jù)存儲(chǔ)介質(zhì)；2、 時(shí)間空間，如傳輸給定消息集合所需要的時(shí)間；3、 電磁頻譜區(qū)域，如為傳輸給定消息集合所要求的帶寬等。而數(shù)據(jù)壓縮的好處就在于：1、 較快地傳輸各種信源（降低信道占有費(fèi)用）-時(shí)間域的壓縮；2、 在現(xiàn)有通信干線上開通更多的并行業(yè)務(wù)（如電視、傳真、可視電話等）-頻率域的壓縮；3、 降低發(fā)射機(jī)功率-能量域的壓縮；4、 緊縮數(shù)據(jù)存儲(chǔ)量（降低存儲(chǔ)費(fèi)用）-空間域的壓縮。14、數(shù)據(jù)壓縮

19、技術(shù)的分類比較一致的分類方法，是將數(shù)據(jù)壓縮分為在某種程度上可逆的與實(shí)際上不可逆的兩類，這樣更能說明它們的本質(zhì)區(qū)別。1、 可逆壓縮也叫作無失真編碼、無噪聲編碼（Noiseless Coding）、冗余度壓減（Redundancy reduction）、熵編碼（Entropy Coding）、數(shù)據(jù)緊縮（Data compaction）、信息保持編碼（Lossless，bit-preserving）,等等。2、 不可逆壓縮又稱有失真（Lossy）編碼，信息論中叫熵壓縮（Entropy Compression）.15、 實(shí)用的數(shù)據(jù)壓縮數(shù)據(jù)壓縮冗余度壓縮熵壓縮統(tǒng)計(jì)編碼霍夫曼編碼游程編碼二進(jìn)制編碼LZW編

20、碼其它量 化特征提取零記憶量化均勻量化馬克斯量化壓擴(kuò)量化序列量化預(yù)測編碼分組量化直接映射變換編碼分析-合成增量調(diào)制線性預(yù)測非線性預(yù)測自適應(yīng)預(yù)測運(yùn)動(dòng)補(bǔ)償預(yù)測矢量量化神經(jīng)網(wǎng)絡(luò)方塊截尾KLTDCTDFTHAAR非正交編碼第三章 語音編碼技術(shù)1、 數(shù)據(jù)壓縮技術(shù)的三個(gè)重要指標(biāo) 這三個(gè)指標(biāo)是：壓縮前后所需的信息存儲(chǔ)量之比；壓縮算法；恢復(fù)效果。2、音頻信號(hào)的編碼方式大致分為三大類：（1） 波形編碼，如PCM、APC、SDC、ATC（2） 音源編譯碼器（分析合成方法），如LPC（3） 混合編碼方法2、 話音信號(hào)壓縮的主要依據(jù)音頻冗余主要表現(xiàn)為時(shí)域冗余度、頻域冗余度。 一、時(shí)域信息冗余度l 幅度非均勻分布l 樣

21、本間的相關(guān)性l 周期之間的相關(guān)性l 基音之間的相關(guān)性l 靜止系數(shù)（話音間隙）l 長時(shí)自相關(guān)函數(shù)  二、頻域信息冗余度l 非均勻的長時(shí)功率譜密度l 語音特有的短時(shí)功率譜密度三、人的聽覺感知機(jī)理l 人的聽覺具有掩蓋效應(yīng)l 人耳對(duì)不同頻率聲音的敏感程度不同，對(duì)低頻率比較敏感l(wèi) 人耳對(duì)對(duì)語音信號(hào)的相位變化不敏感4、常見的語音編碼技術(shù)有：常見的音頻數(shù)據(jù)壓縮方法無損壓縮有損壓縮哈夫曼編碼算術(shù)編碼行程編碼波形編碼音源編碼混合編碼PCMDM、ADMDPCM、ADPCM子帶編碼失量編碼LPCMPE、RPE、CELP、MP-LPC5、 PCM由采樣和量化兩部分組成，量化有好幾種方法，但可歸納成兩類：一類

22、稱為均勻量化，另一類稱為非均勻量化（律壓擴(kuò)(companding)算法，另一種稱為A律壓擴(kuò)算法。）。采用的量化方法不同，量化后的數(shù)據(jù)量也就不同。因此，可以說量化也是一種壓縮數(shù)據(jù)的方法。、DM、ADM、DPCM、ADPCM6、 DM增量調(diào)制也稱調(diào)制(delta modulation，DM)，它是一種預(yù)測編碼技術(shù)，是PCM編碼的一種變形。PCM是對(duì)每個(gè)采樣信號(hào)的整個(gè)幅度進(jìn)行量化編碼，因此它具有對(duì)任意波形進(jìn)行編碼的能力；DM是對(duì)實(shí)際的采樣信號(hào)與預(yù)測的采樣信號(hào)之差的極性進(jìn)行編碼，將極性變成“0”和“1”這兩種可能的取值之一。由于DM編碼只須用1位對(duì)話音信號(hào)進(jìn)行編碼，所以DM編碼系統(tǒng)又稱為“1位系統(tǒng)”。

23、 DM存在“斜率過載”(slope overload)和粒狀噪聲(granular noise)。7、自適應(yīng)增量調(diào)制(ADM) 為了對(duì)DM中出現(xiàn)的“斜率過載”和“粒狀噪聲”問題進(jìn)行改進(jìn)，從而提出了自適應(yīng)增量調(diào)制(ADM) 。使增量調(diào)制器的量化階能自適應(yīng)，也就是根據(jù)輸入信號(hào)斜率的變化自動(dòng)調(diào)整量化階的大小，在檢測到斜率過載時(shí)開始增大量化階，而在輸入信號(hào)的斜率減小時(shí)降低量化階。8、自適應(yīng)脈沖編碼調(diào)制(adaptive pulse code modulation，APCM)是根據(jù)輸入信號(hào)幅度大小來改變量化階大小的一種波形編碼技術(shù)。這種自適應(yīng)可以是瞬時(shí)自適應(yīng)，即量化階的大小每隔幾個(gè)樣本就改變，也可以是音

24、節(jié)自適應(yīng)，即量化階的大小在較長時(shí)間周期里發(fā)生變化。改變量化階大小的方法有兩種：一種稱為前向自適應(yīng)(forward adaptation)，另一種稱為后向自適應(yīng)(backward adaptation)。9、差分脈沖編碼調(diào)制DPCM(differential pulse code modulation)是利用樣本與樣本之間存在的信息冗余度來進(jìn)行編碼的一種數(shù)據(jù)壓縮技術(shù)。差分脈沖編碼調(diào)制的思想是，根據(jù)過去的樣本去估算(estimate)下一個(gè)樣本信號(hào)的幅度大小，這個(gè)值稱為預(yù)測值，然后對(duì)實(shí)際信號(hào)值與預(yù)測值之差進(jìn)行量化編碼，從而就減少了表示每個(gè)樣本信號(hào)的位數(shù)。它與脈沖編碼調(diào)制(PCM)不同的是，PCM是

25、直接對(duì)采樣信號(hào)進(jìn)行量化編碼，而DPCM是對(duì)實(shí)際信號(hào)值與預(yù)測值之差進(jìn)行量化編碼，存儲(chǔ)或者傳送的是差值而不是幅度絕對(duì)值，這就降低了傳送或存儲(chǔ)的數(shù)據(jù)量。此外，它還能適應(yīng)大范圍變化的輸入信號(hào)。10、ADPCM是利用樣本與樣本之間的高度相關(guān)性和量化階自適應(yīng)來壓縮數(shù)據(jù)的一種波形編碼技術(shù)，CCITT為此制定了G.721推薦標(biāo)準(zhǔn)，這個(gè)標(biāo)準(zhǔn)叫做32 kb/s自適應(yīng)差分脈沖編碼調(diào)制32 kb/s Adaptive Differential Pulse Code Modulation7。CCITT推薦的G.721 ADPCM標(biāo)準(zhǔn)是一個(gè)代碼轉(zhuǎn)換系統(tǒng)。它使用ADPCM轉(zhuǎn)換技術(shù)，實(shí)現(xiàn)64 kb/s A律或律PCM速率和3

26、2 kb/s速率之間的相互轉(zhuǎn)換。11、 重點(diǎn)了解DPCM系統(tǒng)原理圖中各個(gè)信號(hào)的含義，及主要處理的過程描述。第四章 視 頻 信 號(hào) 處 理1、 圖像的屬性主要包括：分辨率、像素深度、圖像深度、真/偽彩色、圖像的表示法和種類等。其中分辨率又包括：顯示分辨率和圖像分辨率。2、 位圖圖像、矢量圖形的概念；矢量圖與位圖比較位圖圖像（Bit-Map Image）是指在空間和亮度上已經(jīng)離散化的圖像。通常把一幅位圖圖像考慮為一個(gè)矩陣，矩陣中的一個(gè)元素（像素）對(duì)應(yīng)圖像的一個(gè)點(diǎn)，相應(yīng)的值表示該點(diǎn)的灰度或顏色等級(jí)。矢量圖形（Vector-Based Image）是用一個(gè)指令集合來描述的。這些指令用來描述圖中線條的形

27、狀、位置、顏色等各種屬性和參數(shù)。矢量圖與位圖比較，主要看空間和性能兩方面，一般說來，要看圖像的復(fù)雜程度，簡單的圖使用矢量圖描述好一些，復(fù)雜的圖使用位圖好一些。3、 計(jì)算機(jī)中常用的顏色模型主要有紅綠藍(lán)（RGB）和色調(diào)-飽和度-亮度(hue-saturation-lightness，HSL)顏色模型。在HSL模型中，H定義顏色的波長，稱為色調(diào)；S定義顏色的強(qiáng)度(intensity)，表示顏色的深淺程度，稱為飽和度；L定義摻入的白光量，稱為亮度。4、 稱為CMY模型由青色(Cyan)、品紅(Magenta)和黃色(Yellow)三基色組成，通常寫成CMY。用這種方法產(chǎn)生的顏色之所以稱為相減色。5、

28、目前采用的彩色空間變換有三種：YIQ, YUV和YCrCb。每一種彩色空間都產(chǎn)生一種亮度分量信號(hào)和兩種色度分量信號(hào)，而每一種變換使用的參數(shù)都是為了適應(yīng)某種類型的顯示設(shè)備。其中，YIQ適用于NTSC彩色電視制式，YUV適用于PAL和SECAM彩色電視制式，而YCrCb適用于計(jì)算機(jī)用的顯示器。6、 YUV表示法的重要性是它的亮度信號(hào)(Y)和色度信號(hào)(U、V)是相互獨(dú)立的，也就是Y信號(hào)分量構(gòu)成的黑白灰度圖與用U、V信號(hào)構(gòu)成的另外兩幅單色圖是相互獨(dú)立的。由于Y、U、V是獨(dú)立的，所以可以對(duì)這些單色圖分別進(jìn)行編碼。此外，黑白電視能接收彩色電視信號(hào)也就是利用了YUV分量之間的獨(dú)立性。YUV表示法的另一個(gè)優(yōu)點(diǎn)

29、是可以利用人眼的特性來降低數(shù)字彩色圖像所需要的存儲(chǔ)容量。7、 目前世界上現(xiàn)行的彩色電視制式有三種：NTSC制、PAL制和SECAM制。這里不包括高清晰度彩色電視HDTV (High-Definition television)。8、 在彩色電視中，用Y、C1, C2彩色表示法分別表示亮度信號(hào)和兩個(gè)色差信號(hào)，C1，C2的含義與具體的應(yīng)用有關(guān)。在NTSC彩色電視制中，C1，C2分別表示I、Q兩個(gè)色差信號(hào)；在PAL彩色電視制中，C1，C2分別表示U、V兩個(gè)色差信號(hào)；在CCIR 601數(shù)字電視標(biāo)準(zhǔn)中，C1，C2分別表示Cr，Cb兩個(gè)色差信號(hào)。所謂色差是指基色信號(hào)中的三個(gè)分量信號(hào)(即R、G、B)與亮度信

30、號(hào)之差。在彩色電視中，使用Y、C1，C2有兩個(gè)重要優(yōu)點(diǎn)：Y和C1，C2是獨(dú)立的，因此彩色電視和黑白電視可以同時(shí)使用，Y分量可由黑白電視接收機(jī)直接使用而不需做任何進(jìn)一步的處理；可以利用人的視覺特性來節(jié)省信號(hào)的帶寬和功率，通過選擇合適的顏色模型，可以使C1，C2的帶寬明顯低于Y的帶寬，而又不明顯影響重顯彩色圖像的觀看。因此，為了滿足兼容性的要求，彩色電視系統(tǒng)選擇了一個(gè)亮度信號(hào)和兩個(gè)色差信號(hào)，而不直接選擇三個(gè)基色信號(hào)進(jìn)行發(fā)送和接收。9、 彩色電視信號(hào)的類型主要有：復(fù)合電視信號(hào)、分量電視信號(hào)、S-Video信號(hào)。10、對(duì)色差信號(hào)使用的采樣頻率比對(duì)亮度信號(hào)使用的采樣頻率低，這種采樣就稱為圖像子采樣(su

31、bsampling)。 這種壓縮方法的基本根據(jù)是人的視覺系統(tǒng)所具有的兩條特性， 一、是人眼對(duì)色度信號(hào)的敏感程度比對(duì)亮度信號(hào)的敏感程度低，利用這個(gè)特性可以把圖像中表達(dá)顏色的信號(hào)去掉一些而使人不察覺； 二、是人眼對(duì)圖像細(xì)節(jié)的分辨能力有一定的限度，利用這個(gè)特性可以把圖像中的高頻信號(hào)去掉而使人不易察覺。10、 了解行程編碼的主要概念，熟悉掌握LZW編碼的編、譯碼過程。11、變化編碼的基本概念：變換編碼就是對(duì)圖象進(jìn)行某種正交變換,并對(duì)變換后的數(shù)據(jù)進(jìn)行編碼,從而達(dá)到壓縮數(shù)據(jù)的目的. 常見的正交變換有:傅立葉變換、哈爾變換、斜變換、正弦變換、余弦變換、K-L變換、小波變換等。從理論上講， K-L變換效果最佳

32、，但由于其只有求出輸入數(shù)據(jù)的相關(guān)矩陣和本征矢量，才能進(jìn)行K-L變換，且沒有快速算法，實(shí)現(xiàn)復(fù)雜，因此，很少使用。 正交變換的具有如下特性：Ø 熵保持Ø 能量保持Ø 去相關(guān)Ø 能量重新分布與集中11、 詳細(xì)了解JPEG編碼和譯碼的主要步驟、及各個(gè)步驟的作用和理論依據(jù)。12、 DC和AC系數(shù)各有何特點(diǎn)，分別采用什么方法對(duì)它們進(jìn)行數(shù)據(jù)壓縮。13、 按照J(rèn)PEG中的要求，對(duì)DC和AC系數(shù)進(jìn)行實(shí)際的編碼。14、 掌握Huffman編碼過程。Huffman編碼體現(xiàn)了統(tǒng)計(jì)編碼的思想。它對(duì)于出現(xiàn)頻率大的符號(hào)用較少的位數(shù)來表示，而對(duì)于出現(xiàn)頻率小的符號(hào)用較多的位數(shù)來表示。其編

33、碼效率主要取決于需編碼的符號(hào)出現(xiàn)的概率分布，越集中則壓縮比越高。第五章 動(dòng)態(tài)圖像的處理1、 動(dòng)態(tài)圖像的特點(diǎn)：（1） 數(shù)據(jù)量大（2） 幀與幀之間存在大量的時(shí)間冗余信息（3） 幀內(nèi)存在大量的空間冗余信息2、動(dòng)態(tài)圖像的數(shù)據(jù)壓縮技術(shù)（1） 幀內(nèi)有變換編碼、預(yù)測編碼、熵編碼等（2） 幀間主要采用：幀間預(yù)測編碼和運(yùn)動(dòng)補(bǔ)償3、 幀間差值的統(tǒng)計(jì)特性表明：一般動(dòng)態(tài)圖像的幀間差值比較小，這種統(tǒng)計(jì)特性是幀間壓縮編碼的基本依據(jù)4、 運(yùn)動(dòng)補(bǔ)償預(yù)測（Motion Compensation，簡寫)技術(shù)通常由以下幾個(gè)方面組成：l 首先把圖像分割為靜止的和運(yùn)動(dòng)的兩個(gè)部分，假設(shè)運(yùn)動(dòng)物體僅作平移。n 估計(jì)物體的位移值。n 用位移估值（即運(yùn)動(dòng)矢量motion vector)進(jìn)行運(yùn)動(dòng)補(bǔ)償預(yù)測n 預(yù)測信息編碼。5、 熟悉運(yùn)動(dòng)補(bǔ)償預(yù)測技術(shù)的基本原理，能解釋其運(yùn)動(dòng)補(bǔ)償預(yù)測編碼的系統(tǒng)框圖。量化器運(yùn)動(dòng)補(bǔ)