1、第7章 多媒體技術基礎 多媒體概述 多媒體數據的壓縮與編碼 多媒體信息處理2007年四川大學計算機基礎教學實驗中心7.1 多媒體概述 7.1.1 多媒體的基本概念 7.1.2 多媒體系統的組成 7.1.3 多媒體技術的應用 2大學計算機基礎（第7章） 多媒體技術是以數字技術為基礎，將通信技術、廣播技術和計算機技術融于一體，能夠對文字、圖形、圖像、聲音、視頻等多媒體信息進行存儲、傳送和處理的綜合性技術。在人類信息科學技術史上，它是繼活字印刷術、無線電-電視機技術、計算機技術之后的又一次新的技術革命。3大學計算機基礎（第7章）1. 媒體（Medium）（P197）兩種含義 7.1.1 基本概念2.

2、 多媒體（Multimedia ）（P197） 多媒體是指信息表示媒體的多樣化，如數字、文字、圖形圖像、動畫、聲音、視頻。 存儲信息的載體：如磁盤、光盤等 信息的載體：數字、文字、圖像、聲音等 多媒體技術中的媒體指后者。4大學計算機基礎（第7章）7.1.1 多媒體的基本概念3. 多媒體技術（P197） 利用計算機綜合處理多媒體信息的技術。多媒體技術的具體任務是把多種媒體信息通過計算機進行數字化采集、存儲、壓縮與解壓縮、編輯、復制和傳輸等加工處理，再以單獨或合成的形式表現出來。它包括數字化信息處理技術、音頻和視頻技術、計算機軟件和硬件技術、人工智能和模式識別技術、通信和網絡技術等。 多媒體技術具

3、有4方面的顯著特性： 多樣性、集成性、交互性、實時性。掌握掌握5大學計算機基礎（第7章）7.1.1 多媒體的基本概念4. 超文本、超媒體和流媒體（P198） 1）超文本 超文本是一種信息管理技術，可將信息自然地相連接，建立穿越文檔的大量信息路徑，注釋已有的文本。超文本系統是通過指示器連接非線性的基本信息單元。 2）超媒體 人們通常認為“多媒體+超文本”的綜合技術，就是超媒體。超媒體系統包括超文本系統的非線性信息鏈和多媒體系統中的連續和離散媒體。 3）流媒體 流媒體傳輸技術是一種基于時間的連續實時傳輸技術，關鍵在于實現網絡數據傳輸和客戶端播放的并行。6大學計算機基礎（第7章） 多媒體計算機的層次

4、結構 1. 多媒體計算機的系統結構（P198） 7.1.2 多媒體系統的組成7大學計算機基礎（第7章） 7.1.2 多媒體系統的組成2. 多媒體計算機硬件系統（P199） 多媒體計算機硬件系統基本配置是：功能強大的CPU和內存儲器；高分辨率的圖像處理及其顯示設備；高保真處理音頻的聲卡和設備；存放海量多媒體數據的存儲設備以及其他輸入、輸出設備 。 多媒體計算機硬件結構 8大學計算機基礎（第7章）多媒體計算機硬件結構連接示意圖 7.1.2 多媒體系統的組成9大學計算機基礎（第7章） 7.1.2 多媒體系統的組成多媒體硬件系統中的主要技術指標1）CPU2）多媒體接口卡 ：聲卡、視頻采集卡、圖形加速卡

5、和IECEl394卡 聲卡是多媒體技術中最基本的組成部分，是實現聲波/數字信號相互轉換的硬件。通過 A/D（模/數）轉換、D/A（數/模）轉換、編輯與合成處理、MIDI接口等設備進行聲音的加工與處理。 視頻采集卡一般是安裝在計算機擴展槽上，它能匯集多種視頻源的信息，對被捕捉和采集的畫面進行數字化、凍結、存儲、輸出及其他處理操作，如編輯、修整、裁剪、按比例繪制、像素顯示調整、縮放功能等。 圖形加速卡是工作在CPU和顯示器之間，實現控制計算機圖形的輸出。 IEEEl394卡作為一種數據傳輸的開放式技術標準，應用在眾多領域，包括數碼攝像機、高速外接硬盤、打印機和掃描儀等多種設備上 3）信息獲取設備：

6、掃描儀、數碼照相機、數碼攝像機（DV）、觸摸屏4）常用多媒體設備:CD 、DVD 10大學計算機基礎（第7章）3. 多媒體計算機軟件系統（P204） 7.1.2 多媒體系統的組成 多媒體計算機軟件系統按功能可分為系統軟件和應用軟件。系統軟件是指管理、監控 和維護多媒體計算機資源（包括硬件和軟件）的軟件；應用軟件是指系統軟件以外的其他軟 件，它是具體應用領域的程序。多媒體軟件系統多媒體應用軟件多媒體系統軟件多媒體驅動軟件多媒體操作系統多媒體工具軟件多媒體數據處理軟件多媒體創作軟件多媒體數據庫系統程序設計語言多媒體硬件開發工具或函數多媒體編輯軟件11大學計算機基礎（第7章） 7.1.3 多媒體技術

7、的應用 1. 教育與培訓 教育領域是應用多媒體技術最早、發展最快和受益面最廣的領域。2. 電子出版物 電子出版物與傳統的紙介質出版物相比，電子出版物不僅能夠儲存文字、圖形和圖像，而且能夠儲存聲音和動態畫面，從而增加了人們的學習興趣，提高了學習效率。 3. 多媒體網絡 Inlernet的興起與發展，在很大程度上對多媒體技術的進一步發展起到了促進作用。目前，多媒體網絡應用已經取得了許多新進展，主要表現在以下幾個方面：互聯網直播 、視頻點播、視頻會議 、遠程教育。4. 多媒體技術的研究和應用開發 多媒體數據的表示技術,包括文字、聲音、圖形、圖像、動畫、影視等媒體在計算機中的表示方法。應用涉及到多媒體

8、創作和編輯工具、多媒體數據的存儲技術、多媒體數據的存儲技術、多媒體的應用開發（多媒體CD-ROM節目（title）制作、多媒體數據庫、環球超媒體信息系統（Web）、多目標廣播技術（Multicasting）、影視點播（Video On Demand，VOD）、電視會議（Video Conferencing）、遠程教育系統、多媒體信息的檢索等技術的）5. 多媒體的關鍵技術 多媒體信息處理的關鍵技術主要有6個方面：數字化技術、數據壓縮、編碼技術、數據存儲技術、同步技術、網絡技術。掌握12大學計算機基礎（第7章）7.2 多媒體數據壓縮與編碼 7.2.1 數據壓縮的必要性 7.2.2 數據壓縮的可能性

9、7.2.3 數據壓縮與編碼技術 13大學計算機基礎（第7章） 7.2.1 數據壓縮的必要性 多媒體計算機采用數字化方式對聲音、文本、圖形、圖像和視頻等媒體信息進行表示和處理。 1）文本 人們對事件的描述需要大量的文本資料進行展示，而每個文本字符的存放需要一定的存儲空間。計算方法見教程P2072）圖像 圖像數字化是指將一幅真實圖轉變成計算機能夠接受的數字形式，主要涉及到對圖像的采樣、量化和編碼等方面的處理。 圖像文件的數據量與組成圖像的像素數量和顏色深度有關.計算方法見教程P2073）音頻 人類在正常說話時的音頻一般在20Hz-4kHz范圍。按奈奎斯特（Nyquist）采樣理論“采樣頻率不應低于

10、聲音最高頻率的兩倍，這樣就能把以數字表達聲音還原成原來的聲音，這叫無損數字化”。計算方法見教程P207 4）視頻 在數字化后，如果不壓縮視頻信息，數據量=幀速率每幅圖像的數據量。14大學計算機基礎（第7章） 7.2.1 數據壓縮的必要性 從上一幻燈片可以看出，數字化多媒體的數據量如此巨大，加之信息種類多，實時性高，給數據的存儲、傳輸以及加工均帶來了巨大的壓力，不僅要求計算機有更高的數據處理和數據傳輸能力和巨大的存儲空間，還要求通信信道有更高的帶寬。為了解決存儲、處理和傳輸多媒體數據的問題，除了提高計算機本身的性能以及通信信道的帶寬外，更重要的是對多媒體數據進行有效的壓縮，去掉數據中的冗余信息。

11、15大學計算機基礎（第7章） 7.2.2 數據壓縮的可能性 冗余是指信息存在的各種屬性中的多余度。多媒體數據，尤其是圖像、音頻和視頻，數字化表示后存在著大量的重復數據。數據冗余類型 ： 1）空間冗余 一幅圖像內的任何一個場景都是由若干像素點構成的，一幅圖像中或連續運動的圖像之間都有可能存在著大量的色彩或亮度相同、相近的像素塊。這些相關性的數字化圖像中表現為數據的空間冗余。 2） 時間冗余 以時間為基礎的媒體數據中經常存在的一種數據冗余。 3）視覺和聽覺冗余 人的視覺和聽覺系統由于生理特性的限制，對某些媒體信息無法感知，這種現象稱為視覺、聽覺的冗余。 4）知識冗余 由圖像的記錄方式與人對圖像的知

12、識之間的差異所產生的冗余稱為知識冗余。16大學計算機基礎（第7章） 媒體技術發展中主要解決的問題就是大量減少數據量。通過數據壓縮手段把信息數據量降下，以壓縮形式存儲和傳輸，既節約了存儲空間，又提高了傳輸效率。 壓縮處理一般是由兩個過程組成：一是編碼過程，即將原始數據經過編碼進行壓縮，以便存儲與傳輸；二是解碼過程，此過程對編碼數據進行解碼，還原為可以使用的數據。因此，數據壓縮方法也稱為編碼方法。 7.2.3 數據壓縮與編碼技術17大學計算機基礎（第7章） 按照壓縮方法是否產生失真分類, 數據壓縮可分為兩種類型：一種叫做無損壓縮，另一種叫做有損壓縮。 什么是無損壓縮P210 什么是有損壓縮P210

13、1）圖形文件的壓縮標準JPEG JPEG是一個適用范圍很廣的靜態圖像數據壓縮標準，既可用于灰度圖像又可用于彩色圖像。 JPEG文件格式是為了提供一種存儲深度位（像素）的有效方法，使用了有損壓縮算法，犧牲了一部分的圖像數據來達到較高的壓縮率。 1. 數據壓縮的方法（P210）2. 數據壓縮的標準（P211） 7.2.3 數據壓縮與編碼技術掌握掌握18大學計算機基礎（第7章）2）數字視頻壓縮標準 數字視頻壓縮標準（Motion Picture Experts Group，MPEG）是關于運動圖像在不同速率的傳輸介質上傳輸的一系列壓縮標準，以.MPG為文件名。3）MPEG壓縮原理 動態圖像是由一系列

14、靜態圖像構成的，每一幅靜態圖像稱為一幀。所以對靜態圖像的壓縮方法同樣適用于動態圖像。若使用JPEG的壓縮算法來壓縮每一幅靜態圖像但動態視頻圖像的數據量相當巨大，JEPG能達到的壓縮比仍不能滿足需要，一個直觀的想法是用JPEG的方式記錄某一幀，如第1幀。在隨后的幀中，僅僅記錄該幀和前一幀不同的地方，相同的則不再記錄。 7.2.3 數據壓縮與編碼技術19大學計算機基礎（第7章） 7.2.3 數據壓縮與編碼技術3. 文件的壓縮與解壓（P212） 文件壓縮和解壓縮軟件是一類用于磁盤管理的軟件，在使用計算機的過程中經常需要對計算機中的一些大文件或不經常用到的文件進行打包壓縮，再保存。這樣既可保證文件不易

15、損壞，又為硬盤騰出了不少的使用空間。常用壓縮的軟件有：WinZip、WinRAR、CAB、PKZIP等。WinRAR 是32位 Windows 版本的 RAR 壓縮軟件，該軟件提供了一個創建，管理和控制壓縮包的平臺。例：用WinRAR的壓縮與解壓，單擊WinRAR的界面中點擊“添加”按鈕，可實現“壓縮”的操作；點擊“釋放到”可實現“解壓”的操作，操作非常方便。20大學計算機基礎（第7章）7.3 多媒體信息的處理 7.3.1 音頻信息的處理 7.3.2 圖像信息處理 7.3.3 音頻信息表示21大學計算機基礎（第7章） 7.3.1 音頻信息的處理 1. 音頻信息的獲?。≒214）1）“錄音機”

16、應用程序 2）剝離視頻中的聲音 3）下載網上的聲音文件 4） 編輯軟件 音頻信息的處理方法大致可分為兩種：一種是數字音頻方式，另一種是分析合成的方式。22大學計算機基礎（第7章）掌握 7.3.1 音頻信息的處理 2. 主流音頻文件格式 （P214）1） WAV波形音頻文件 WAV是Microsoft Windows提供的音頻格式，其文件后綴名為.WAV。這種格式已經成通用音頻格式。 2） MP3文件 MP3是第一個實用的有損音頻壓縮編碼。 MP3文件的壓縮比例通常使用比特率（bps）來表示。代表每1s的音頻可以用多少個二進制比特來表示。通常比特率越高，壓縮文件就越大，但音樂中獲得保留的成分就越

17、多，音質就越好。由于比特率與文件大小及音質的這種關系，所以又出現了可變比特率（variant bitrate，vbr）方式編碼的MP3，這種編碼方式的特點是可以根據編碼的內容動態地選擇合適的比特率，這樣編碼的結果是在保證了音質的同時又照顧了文件的大小。23大學計算機基礎（第7章）錄音按鈕 ：當使用者準備就緒，單擊“錄音”按鈕，然后開始說話、播放音樂或者向麥克風中輸入其他聲音，即開始錄音。播放按鈕：打開聲音文件后，單擊此按鈕，開始播放聲音信息。停止按鈕：在錄音或播放時需暫停，點擊此按鈕。若繼續播放，則點擊播放按鈕，文件不會從頭開始，而是從剛才暫停位置開始。 至尾按鈕：單擊時，“播放位置”滑標跳到

18、文件的結束處。至尾按鈕：單擊時，“播放位置”滑標回到文件的開始處。每次當使用者打開錄音機時，界面都處于錄音狀態，單擊錄音鍵即開始錄音，當錄音世界或編輯完成后，單擊“文件”保存”，windows會彈出一個“另存為”對話框，使用者根據內容取名存儲信息。 7.3.1 音頻信息的處理 2. 聲音文件的錄制與編輯 （P215） windows操作系統的平臺中提供了可直接對聲音文件進行編輯/播放的錄音機軟件。在使用windows錄音機前，應確定麥克風已正常接入與設置，處于正常工作狀態，點擊“開始” “程序” “附件” “娛樂” “錄音機”，出現下圖所示的操作界面。24大學計算機基礎（第7章） 7.3.2

19、圖像信息的處理 在計算機技術中，圖形與圖像是一對既有聯系又有區別的概念。它們都是一副圖，但圖的產生、處理和存儲方式不同。1. 圖像數據的獲?。≒216） 1）抓圖 屏幕圖像的抓取可以使用鍵盤上的“Print Screen”鍵就可以將屏幕抓取 2）網上獲取 從瀏覽網頁的時候下載一些有用的圖片。 3）圖像的采集 圖像的采集有很多種方法，可以用數碼相機拍攝數字圖像，可以使用掃描儀從印刷品和照片上獲取圖像等。 4）素材光盤 5）素材原創 25大學計算機基礎（第7章）掌握2. 主流圖像文件格式 （P217） 7.3.2 圖像信息的處理 1） BMP（bitmap）位圖文件 BMP文件后綴名以BMP結尾，

20、 BMP文件后綴名以BMP結尾，是微軟公司為其Windows環境設置的標準圖像格式，在Windows系統中提供了一系列支持BMP圖像處理的API函數。 2） GIF（graphics interchange format）圖形交換格式 GIF是一種常用的跨平臺的位圖文件格式，存儲的是8位圖像文件，最多為256色，常用于網絡傳輸。GIF最初為CompuServe公司所創。GIF文件通常帶有.gif的后綴名，GIF采用無損壓縮存儲，在不影響圖像質量的情況下，可以生成很小的文件。3） JPEG（Joint Photographic Experts Group） JPEG 圖像文件是目前使用的最廣泛、

21、最熱門的靜態圖像文件，JPEG 圖像文件采用的是有損壓縮，由于它采用了高效的DCT 變換、哈夫曼編碼等技術，實現高壓縮比，仍然保留的圖像高質量。26大學計算機基礎（第7章）暈映（Vignettss）效果是指圖像具有柔軟漸變的邊緣效果。使用Photoshop制作暈映效果非常容易，用橢圓選取工具選擇圖像中的一個區域，利用邊緣羽化和填充顏色，則可實現暈映效果如下圖所示。 (a) 羽化處理前的效果 (b) 羽化處理后的效果 7.3.2 圖像信息的處理 3. 圖像信息編輯處理的應用軟件 （P218） Photoshop是目前PC機上公認的最好的通用平面美術設計軟件，它是功能完善，性能穩定圖像編輯處理的軟

22、件。Photoshop 的操作界面：Photoshop 的界面主要由標題欄、菜單欄、工具箱、選項欄、控制面板和狀態欄組成，如圖所示。27大學計算機基礎（第7章）RGB顏色模型 7.3.3 視頻信息的處理 模擬視頻圖像處理需要使用專門的視頻設備進行，計算機無能為力。要想使用計算機對視頻信息進行處理，必須將模擬視頻圖像數字化。 1）國際照明委員會(CIE) 規定以700nm(紅)、546.1nm(綠)、435.8nm (藍)三個色光為三基色。又稱為物理三基色。2）自然界的所有顏色都可以通過這三基色按不同比例混合而成。28大學計算機基礎（第7章） 7.3.3 視頻信息的處理 1. 視頻頻信息的獲取（

23、P218） 1）數字化視頻的保存 數字視頻數據量巨大，通常采用特定的算法對數據進行壓縮，根據壓縮算法的不同，保存數字視頻信息的文件格式也不同。通常根據用途將視頻文件可以分成兩大類：影像視頻文件和流式視頻文件。2）視頻文件的采集方法 直接采集： 使用數碼攝像頭（需要連接計算機）或數碼攝像機直接錄制采集視頻。 間接采集： 將傳統的錄像帶通過視頻壓縮卡制成MPEG格式的數字文件。從已有的資源庫、電子書籍、課件及錄像片、VCD、DVD片中通過工具軟件把VCD光盤上的DAT格式文件轉換成標準的MPEG格式等，或網上找到視頻文件。29大學計算機基礎（第7章） 7.3.3 視頻信息的處理 用采集卡采集視頻素

24、材方法： 安裝好采集卡并連接好線路后，啟動采集軟件，設置好相關參數后，按下錄像機或影蝶機，進行瀏覽發現要采集的內容后，點擊“記錄”按鈕開始采集，記錄完畢后，把采集到的信息保存為AVI格式即可。 從瀏覽網頁的時候下載一些有用的圖片。 流媒體的采集： 流媒體文件不能直接在互聯網上保存下載，需要借助相關工具軟件。30大學計算機基礎（第7章） 7.3.3 視頻信息的處理 2. 視頻的主流格式文件 （P220） 1）影像視頻文件（1）AVI格式文件 AVI格式文件的擴展名是.AVI，是Microsoft公司開發的一種數字音頻與視頻文件格式，該格式文件是一種不需要專門硬件支持就能實現音頻與視頻壓縮處理、播

25、放和存儲的文件。（2）MOV格式文件 MOV格式文件的擴展名是mov，是Apple公司在QuickTime for Windows視頻應用程序中，使用的視頻文件?？梢院铣梢曨l、音頻、動畫和靜止圖像等多種素材。該文件數據量大，需要壓縮。（3）MPG格式文件 MPG格式文件的擴展名是.MPG，是按照MPEG標準壓縮的全屏視頻標準文件。（4）DAT格式文件 DAT格式文件的擴展名是.DAT，是VCD專用的格式文件，文件結構與MPG文件格式基本相同。31大學計算機基礎（第7章） 7.3.3 視頻信息的處理 2）流式視頻文件格式 （1）RealMedia格式文件 Real Networks公司開發的流式視頻文件格式，它包括RA （RealA