1、第1章 多媒體技術(shù)概述 多媒體技術(shù)基礎(chǔ)及應(yīng)用（第2版） 劉立新、劉真編著第1章 本章主要內(nèi)容1.1.1 基本概念1. 多媒體技術(shù)(Multimedia) 多媒體技術(shù)就是計(jì)算機(jī)綜合處理多種媒體信息，如文本、圖形、圖像、動(dòng)畫、聲音和視頻等，使多種媒體建立連接，集成為一個(gè)具有交互性系統(tǒng)的技術(shù)。2. 計(jì)算機(jī)輔助教學(xué)(CAI) CAI全稱計(jì)算機(jī)輔助教學(xué)(Computer Assisted Instruction)，是指利用計(jì)算機(jī)幫助教師進(jìn)行教學(xué)或指計(jì)算機(jī)在教育領(lǐng)域的廣泛應(yīng)用，包括在教學(xué)、研究和管理中以各種方式使用計(jì)算機(jī)。3. 多媒體CAI課件 多媒體CAI課件是一種教學(xué)系統(tǒng)，它的主要功能是教學(xué)功能，所以

2、包括課件中的教學(xué)內(nèi)容及其呈現(xiàn)，教學(xué)過程及其控制應(yīng)有教學(xué)目標(biāo)。1.1.2 常見媒體元素1.1.2 常見媒體元素 文本分為非格式化文本文件非格式化文本文件和格式化文本文件格式化文本文件。 非格式化文本文件：只有文本信息沒有其他任何有關(guān)格式信息的文件，又稱為純文本文件或ASCII碼文件。如“.TXT ”文件。 格式化文本文件：帶有各種文本排版信息等格式信息的文本文件。如“.DOC ”文件。 反映字符的有字體(Font)、字形(Style) 、字號(Size)以及位置(Align)。1.1.2 常見媒體元素 圖形（Graphic）一般指用計(jì)算機(jī)繪制軟件制作的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表

3、等。 圖形的格式是一組描述點(diǎn)、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合。 在圖形文件中只記錄生成圖的算法和圖上的某些特征點(diǎn)，因此也稱矢量圖矢量圖。用相應(yīng)的軟件生成的圖形文件，圖形的記錄格式從其擴(kuò)展名中就能判斷出來。如：CAD的擴(kuò)展名為:dwg; 3d MAX的擴(kuò)展名為: 3ds;桌面出版軟件擴(kuò)展名為：wmf；Falsh動(dòng)畫軟件擴(kuò)展名為:fls; illustrator擴(kuò)展名為：AI。1.1.2 常見媒體元素 圖像（Image）是指由影像輸入設(shè)備捕捉的實(shí)際場景畫面，或以數(shù)字化形式存儲的任意畫面，更接近于實(shí)際。 靜止的圖像是一個(gè)矩陣，陣列中的數(shù)字用來描述構(gòu)成圖像的各個(gè)點(diǎn)（稱為像素點(diǎn) p

4、ixel ）的強(qiáng)度與顏色等信息。 這類圖像文件一般由像素點(diǎn)像素點(diǎn)組成。如有位圖文件（ bmp ），數(shù)碼像機(jī)的JPG（JPEG），圖像編輯軟件生成：psd、PCX、Gif、Tiff等各種流行的圖像格式。一般數(shù)據(jù)量都較大。 1.1.2 常見媒體元素圖像處理時(shí)要考慮三個(gè)因素：n屏幕分辨率：顯示器屏幕上的水平與垂直方向的像素個(gè)數(shù)。n圖像分辨率：數(shù)字化圖像的大小，即該圖像的水平與垂直方向的像素個(gè)數(shù)。n圖像深度（也稱圖像灰度、顏色深度）數(shù)字位圖圖像中每個(gè)像素上用于表示顏色的二進(jìn)制數(shù)字位數(shù)。n 顯示深度：表示顯示器上每個(gè)點(diǎn)用于顯示顏色的二進(jìn)制數(shù)字位數(shù)。 若顯示器的顯示深度小于數(shù)字圖像的深度，就會(huì)使數(shù)字圖像顏

5、色的顯示失真。1.1.2 常見媒體元素1.1.2 常見媒體元素?cái)?shù)字音頻（Audio）可分為波形聲音、語音和音樂。n波形聲音實(shí)際上已經(jīng)包含了所有的聲音形式，它可以將任何聲音都進(jìn)行采樣量化，相應(yīng)的文件格式是WAV 文件或VOC文件。n 語音也是一種波形，所以和波形聲音的文件格式相同。n 音樂是符號化了的聲音，樂譜可轉(zhuǎn)變?yōu)榉柮襟w形式。對應(yīng)的文件格式是MID 或CMF 文件。 1.1.2 常見媒體元素 計(jì)算機(jī)音頻技術(shù)根據(jù)人的聽覺器官的特點(diǎn)，對音頻信號加工后，包括聲音的采集、數(shù)字化、壓縮/解壓縮以及聲音的播放。 影響數(shù)字聲音波形的質(zhì)量主要因素有：采樣頻率、量化位數(shù)和聲道數(shù)。n采樣頻率（sampling

6、 rate）是將模擬聲音波形轉(zhuǎn)換為數(shù)字時(shí)，每秒鐘所抽取聲波幅度樣本的次數(shù)，單位是Hz（赫茲）、KHz。n量化位數(shù)（也稱量化級）是每個(gè)采樣點(diǎn)能夠表示的數(shù)據(jù)范圍，經(jīng)常采用的有8位、16位。例如，8 位量化級表示每個(gè)采樣點(diǎn)表示28=256 個(gè)不同量化值，而16 位量化級則表示216=65536 個(gè)不同的量化值。1.1.2 常見媒體元素n聲道數(shù)為記錄聲音時(shí)，如果每次生成一個(gè)聲道數(shù)據(jù)，稱為單聲道；每次生成兩個(gè)聲波數(shù)據(jù)，稱為立體聲（雙聲道）。 目前高檔音響可制作出48聲道、64聲道高保真節(jié)目。數(shù)字音頻的存儲量： 可用以下公式估算聲音數(shù)字化后每秒所需的存儲量（未經(jīng)壓縮的）。 存儲量 = 采樣頻率量化位數(shù)8

7、使用雙聲道，存儲量再增加一倍。 動(dòng)畫是活動(dòng)的畫面，實(shí)質(zhì)是一幅幅靜態(tài)圖像的連續(xù)播放。動(dòng)畫的連續(xù)播放是指時(shí)間和圖像內(nèi)容上上的連續(xù)播放。 計(jì)算機(jī)設(shè)計(jì)動(dòng)畫有兩種：一種是幀動(dòng)畫，一種是造型動(dòng)畫。n幀動(dòng)畫是由一幅幅位圖組成的連續(xù)的畫面，就如電影膠片或電視視頻畫面一樣要分別設(shè)計(jì)每屏顯示的畫面。n 造型動(dòng)畫是對每一個(gè)運(yùn)動(dòng)的物體分別進(jìn)行設(shè)計(jì)，賦予每個(gè)動(dòng)元一些特征，然后用這些動(dòng)元構(gòu)成完整的幀畫面。動(dòng)元的表演和行為是由制作表組成的腳本來控制。存儲動(dòng)畫的文件格式有FLC、MOV等。1.1.2 常見媒體元素 視頻是由一幅幅單獨(dú)的畫面序列（幀frame）組成 ，這些畫面以一定的速率（fps）連續(xù)地投射在屏幕上，使觀察者具

8、有圖像連續(xù)運(yùn)動(dòng)的感覺。視頻文件的存儲格式有AVI、MPG、MOV等。 全世界三大模擬電視技術(shù)標(biāo)準(zhǔn)主要有NTSC制、PAL制和SECAM制以及兩種高清數(shù)字電視DVB、HDTV 。 NTSC 制標(biāo)準(zhǔn)由美國1953年制定。為30fps，每幀525行，隔行掃描，寬高比4:3, 掃描頻率60Hz。北美、日本采用。 PAL 制標(biāo)準(zhǔn)由西德1962年制定，為25fps，每幀625行。隔行掃描，寬高比4:3, 掃描頻率60Hz。中國和西歐大部份采用。 SECAM制標(biāo)準(zhǔn)由法國1965年制定。與PAL制不同是對彩色信號的處理方式不同。法國和非洲采用。 數(shù)字電視技術(shù)標(biāo)準(zhǔn)有DVB、HDTV，視頻傳輸信號可達(dá)192010

9、80i，寬高16:9, 每幀掃描1000幀以上。音頻上歐洲和日本音頻采用 MPG2，美國采用AC3。 大量使用數(shù)字壓縮技術(shù)編碼和解碼。1.1.2 常見媒體元素1.1.3 媒體類型1.2 多媒體技術(shù)的關(guān)鍵技術(shù)1.2 多媒體的關(guān)鍵技術(shù) 圖像、動(dòng)畫、視頻和音頻等數(shù)字化后數(shù)據(jù)量是非常大的。n一幅640X480分辨率的真彩色圖像，數(shù)據(jù)量約為7.37Mbit幀；n視頻(運(yùn)動(dòng)圖像)，要以每秒30幀的速度播放，則視頻信號的傳輸速度為221.2Mbits, 那么一張650MB的CD-ROM光盤，只能播出約23秒鐘節(jié)目。 數(shù)字化處理的關(guān)鍵技術(shù)問題數(shù)據(jù)壓縮數(shù)據(jù)壓縮 選用合適的數(shù)據(jù)壓縮技術(shù)，有可能將字符數(shù)據(jù)量壓縮到原

10、來的1/2左右，語音數(shù)據(jù)量壓縮到原來的1/2-1/10，圖像數(shù)據(jù)量壓縮到原來的1/2-1/60。 如今已有壓縮編碼/解壓縮編碼的國際標(biāo)準(zhǔn)JPEG(靜態(tài)圖片) 和MPEG-II、III（視頻壓縮技術(shù)） 。1.2.1 多媒體數(shù)據(jù)壓縮技術(shù)多媒體數(shù)據(jù)壓縮技術(shù)1.2.2 多媒體網(wǎng)絡(luò)通信技術(shù)多媒體網(wǎng)絡(luò)通信技術(shù) 多媒體網(wǎng)絡(luò)通信技術(shù)是多媒體計(jì)算機(jī)技術(shù)、通信技術(shù)（有線和無線網(wǎng)絡(luò)）結(jié)合的產(chǎn)物，它將計(jì)算機(jī)的交互性、通信的分布性和廣播電視的真實(shí)性融為一體。 多媒體系統(tǒng)通過通信網(wǎng)絡(luò)傳送文本、圖形、圖像、動(dòng)畫、音頻和視頻等信息。 不同的媒體元素對通信網(wǎng)絡(luò)要求不同，如:語音和視頻有較強(qiáng)的實(shí)時(shí)性要求，多媒體通信的發(fā)展要求有適

11、合于傳輸多媒體信息的通信網(wǎng)。 WWW系統(tǒng)是在因特網(wǎng)上的全球性分布式信息系統(tǒng)，它使用超文本和超媒體技術(shù)管理多媒體信息 。 1.2.3 多媒體存儲技術(shù)多媒體存儲技術(shù) 多媒體存儲技術(shù)主要是指發(fā)展最快光存儲技術(shù)。 利用數(shù)據(jù)壓縮技術(shù)，在一張CD-ROM光盤650MB上能夠存取74分鐘全運(yùn)動(dòng)的視頻圖像或者十幾個(gè)小時(shí)的語言信息或數(shù)千幅靜止圖像。 一張CD-R DVD 4.7GB光盤。 SONY公司的Blu-ray藍(lán)光HD DVD光盤單面單層25GB, 雙面雙層50GB。與此同時(shí)，華納、東芝公司放棄了HD DVD格式技術(shù)。全世界統(tǒng)一技術(shù)采用SONY公司的藍(lán)光HD DVD技術(shù)標(biāo)準(zhǔn)。 大多數(shù)具有多媒體處理能力的計(jì)

12、算機(jī)采用專用的音頻和視頻數(shù)字處理芯片（DSP） 。DSP一種是固定功能的芯片；另一種是可編程的數(shù)字信號處理器（DSP）芯片。產(chǎn)品有了一定的標(biāo)準(zhǔn)化。1.2.5 多媒體輸入與輸出技術(shù)多媒體輸入與輸出技術(shù)多媒體輸入/輸出技術(shù)：n 媒體變換技術(shù)：是指改變媒體的表現(xiàn)形式。如視頻卡、音頻卡（聲卡）都屬媒體變換設(shè)備。n 媒體識別技術(shù)：是對信息進(jìn)行一對一的映像過程。 例如，語音識別技術(shù)和觸摸屏技術(shù)等。n 媒體理解技術(shù)：是對信息進(jìn)行更進(jìn)一步的分析處理和理解信息內(nèi)容。如自然語言理解、圖像理解、模式識別等技術(shù)。n 媒體綜合技術(shù)：是把低維信息表示映像成高維的模式空間的過程。例如，語音合成器就可以把語音的內(nèi)部表示綜合為

13、聲音輸出。 1.2.6 多媒體系統(tǒng)軟件技術(shù)多媒體系統(tǒng)軟件技術(shù)超文本語言（HyperText Maker Language ）是一種新穎的文本信息管理技術(shù)，它提供的方法是建立各種媒體信息之間的網(wǎng)狀鏈接結(jié)構(gòu)，這種結(jié)構(gòu)由節(jié)點(diǎn)組成。 對超文本進(jìn)行管理使用的系統(tǒng)稱為超文本系統(tǒng)。也即瀏覽器，或稱為導(dǎo)航圖。 若超文本中的節(jié)點(diǎn)的數(shù)據(jù)不僅可以是文本，還可以是圖像、動(dòng)畫、音頻、視頻，則稱為超媒體。1.3.1 多媒體個(gè)人計(jì)算機(jī)MPC系統(tǒng)簡介 多媒體計(jì)算機(jī)是指能夠綜合處理多種媒體信息的計(jì)算機(jī)。MPC = PCCD-ROM聲卡顯示卡多媒體操作系統(tǒng)（最好用獨(dú)立的聲卡和顯卡） MPC 配置特點(diǎn)： (1) 一個(gè)功能強(qiáng)大，速度

14、快的CPU； (2) 大容量的存儲器空間； (3) 高分辨率顯示接口與設(shè)備； (4) 可處理音響的接口與設(shè)備； (5) 可處理圖像的接口與設(shè)備； (6) 可存放大量數(shù)據(jù)的配置等。1.3.1 多媒體個(gè)人計(jì)算機(jī)MPC系統(tǒng)簡介 獨(dú)立的聲卡獨(dú)立的顯卡多媒體應(yīng)用軟件第八層軟件系統(tǒng)多媒體創(chuàng)作軟件第七層多媒體數(shù)據(jù)處理軟件第六層多媒體操作系統(tǒng)第五層多媒體驅(qū)動(dòng)軟件第四層多媒體輸入/輸出控制卡及接口第三層硬件系統(tǒng)多媒體計(jì)算機(jī)硬件第二層多媒體外圍設(shè)備第一層多媒體計(jì)算機(jī)系統(tǒng)組成結(jié)構(gòu)1.3.2 多媒體計(jì)算機(jī)系統(tǒng)硬件組成結(jié)構(gòu)1.3.2 多媒體計(jì)算機(jī)系統(tǒng)硬件組成結(jié)構(gòu) 聲卡由聲源獲取聲音，并進(jìn)行模擬/數(shù)字轉(zhuǎn)換或壓縮，而后存入

15、計(jì)算機(jī)中進(jìn)行處理。聲卡還可以把經(jīng)過計(jì)算機(jī)處理的數(shù)字化聲音通過解壓縮、數(shù)字/模擬轉(zhuǎn)換后，送到輸出設(shè)備進(jìn)行播放或錄制。 視頻卡采集來自輸入設(shè)備的視頻信號，并完成由模擬量到數(shù)字量的轉(zhuǎn)換、壓縮，以數(shù)字化形式存入計(jì)算機(jī)中，數(shù)字視頻可在計(jì)算機(jī)中進(jìn)行播放。1.3.2 多媒體計(jì)算機(jī)系統(tǒng)硬件組成結(jié)構(gòu)多媒體軟件系統(tǒng)包括： 多媒體系統(tǒng)軟件：多媒體驅(qū)動(dòng)軟件和多媒體操作系統(tǒng) ； 多媒體支持軟件(開發(fā)工具)：多媒體數(shù)據(jù)處理軟件和多媒體 創(chuàng)作軟件；多媒體應(yīng)用系統(tǒng) 1.3.2 在多媒體計(jì)算機(jī)系統(tǒng)中應(yīng)用的軟件n多媒體素材制作軟件文本編輯 圖形與圖像處理 音頻編輯 視頻編緝 動(dòng)畫編輯n 多媒體著作工具 Authorware Di

16、rectorn 多媒體軟件編程技術(shù)1.3.2 在多媒體計(jì)算機(jī)系統(tǒng)中應(yīng)用的軟件1.3.3 MPC對系統(tǒng)工作環(huán)境的要求和發(fā)展趨勢硬件系統(tǒng)的要求：在配置MPC時(shí)應(yīng)該具備大容量的硬盤；具有快速數(shù)據(jù)處理和傳輸能力的CPU和PCI總線； 建立更大的高速緩存區(qū)以提高微機(jī)的運(yùn)行速度，內(nèi)存一般在1GB以上；高分辨率的圖形、圖像顯示。圖形顯示卡要有高的分辨率和存儲容量；高質(zhì)量的聲卡和音響設(shè)備。為了聲音的采集和回放具有較好的音質(zhì)，應(yīng)該采用具有44.1kHz采樣頻率和16位或32位采樣位數(shù)的聲卡。軟件系統(tǒng)的要求 ：(1)多媒體操作系統(tǒng)實(shí)時(shí)任務(wù)調(diào)度、多媒體數(shù)據(jù)轉(zhuǎn)換和同步控制機(jī)制多媒體設(shè)備的驅(qū)動(dòng)和控制圖形和聲像功能的用戶

17、接口。(2)多媒體數(shù)據(jù)庫及其管理系統(tǒng)多媒體數(shù)據(jù)的特點(diǎn)面向?qū)ο髷?shù)據(jù)庫的研究多媒體數(shù)據(jù)庫的數(shù)據(jù)模型多媒體數(shù)據(jù)庫檢索與查詢1.3.3 MPC對系統(tǒng)工作環(huán)境的要求和發(fā)展趨勢1.3.4 多媒體計(jì)算機(jī)常用存儲設(shè)備1激光存儲器光盤存儲技術(shù) 包括存儲容量、數(shù)據(jù)傳輸率(倍速)、平均存取時(shí)間、接口標(biāo)準(zhǔn)等。 按照光盤系統(tǒng)的讀寫能力，分為三類：只讀型、一次寫入型、可重寫型。只讀型(CD-ROM) CD-ROM光盤的內(nèi)容是在制作光盤時(shí)寫入的，用戶可CD-ROM讀取信息，而不能往盤上寫信息一次寫光盤系統(tǒng)(CD-WROM)一次寫多次讀光盤系統(tǒng)中的光盤，只讀光盤。可重寫型(Rewriteable或Erasable)可重寫型光

18、盤像磁盤一樣具有可擦寫性。2活動(dòng)存儲器大容量活動(dòng)存儲設(shè)備按性能分為3類:移動(dòng)硬盤、可寫光盤及閃盤類。 NoImage1.3.4 多媒體計(jì)算機(jī)常用存儲設(shè)備3新型存儲模式n NAS(Network Attached Storage)稱為網(wǎng)絡(luò)附加存儲，被定義為特殊的專用數(shù)據(jù)存儲服務(wù)器。NAS可用于任何網(wǎng)絡(luò)環(huán)境中，主要特點(diǎn)是：獨(dú)立于操作平臺，各種類型文件共享，主服務(wù)器和客戶端可非常方便地從NAS上讀取任意格式的數(shù)據(jù)。n SAN(Storage Area Network)存儲局域網(wǎng)，是以數(shù)據(jù)存儲為中心，采用可伸縮的網(wǎng)絡(luò)拓?fù)浣Y(jié)構(gòu)，通過高速率的光通道直接連接，提供SAN內(nèi)結(jié)點(diǎn)間的多路數(shù)據(jù)交換。數(shù)據(jù)存儲管理集

19、中且在相對獨(dú)立的存儲局域網(wǎng)內(nèi)。最終，SAN將實(shí)現(xiàn)在多種操作系統(tǒng)下最大限度的數(shù)據(jù)共享和數(shù)據(jù)優(yōu)化管理，以及系統(tǒng)的無縫擴(kuò)充。1.3.4 數(shù)字壓縮存儲技術(shù)標(biāo)準(zhǔn) MPEG-1標(biāo)準(zhǔn)：MPEG-1誕生于1991年，主要是為了適應(yīng)在數(shù)字存儲媒體如CD-ROM上有效地存取廣播視頻信號而制定的標(biāo)準(zhǔn)。CDROM驅(qū)動(dòng)器的數(shù)據(jù)傳輸率不會(huì)低于150KB/s1.2Mb/s（單倍速），而容量不會(huì)低于650MB，MPEG1算法就是針對這個(gè)速率開發(fā)的。 MPEG-1標(biāo)準(zhǔn)的壓縮比可高達(dá)1:200。 其播放質(zhì)量可以達(dá)到家用錄像機(jī)的水平。 MPEG-2標(biāo)準(zhǔn)：MPEG-2標(biāo)準(zhǔn)誕生于1993年。MPEG-2能使圖像能恢復(fù)到廣播級質(zhì)量，高清

20、晰視頻光盤DVD就是采用的這種標(biāo)準(zhǔn)。DVD存儲的信息量為4.7GB、8.5GB、9.4GB甚至是50GB。1.3.4 數(shù)字壓縮存儲技術(shù)標(biāo)準(zhǔn)1.3.5 多媒體技術(shù)的應(yīng)用多媒體技術(shù)的應(yīng)用 多媒體技術(shù)已在商業(yè)、教育培訓(xùn)、電視會(huì)議、聲像演示等方面得到了充分應(yīng)用。NoImage1、多媒體通信網(wǎng)絡(luò)環(huán)境的研究和建立將使多媒體從單機(jī)單點(diǎn)向分布、協(xié)同多媒體環(huán)境發(fā)展，在世界范圍內(nèi)建立一個(gè)可全球自由交互的通信網(wǎng)。 對該網(wǎng)絡(luò)及其設(shè)備的研究和網(wǎng)上分布應(yīng)用與信息服務(wù)研究將是熱點(diǎn)。2、利用圖像理解、語音識別、全文檢索等技術(shù)，研究多媒體基于內(nèi)容的處理、開發(fā)能進(jìn)行基于內(nèi)容的處理系統(tǒng)是多媒體信息管理的重要方向。3、多媒體標(biāo)準(zhǔn)仍是

21、研究的重點(diǎn)：各類標(biāo)準(zhǔn)的研究將有利于產(chǎn)品規(guī)范化，應(yīng)用更方便。它是實(shí)現(xiàn)多媒體信息交換和大規(guī)模產(chǎn)業(yè)化的關(guān)鍵所在。1.3.6 多媒體技術(shù)的發(fā)展方向多媒體技術(shù)的發(fā)展方向4、多媒體技術(shù)與相鄰技術(shù)相結(jié)合，提供了完善的人機(jī)交互環(huán)境。多媒體仿真智能多媒體等新技術(shù)層出不窮，擴(kuò)大了原有技術(shù)領(lǐng)域的內(nèi)涵，并創(chuàng)造新的概念。5、多媒體技術(shù)與外圍技術(shù)構(gòu)造的虛擬現(xiàn)實(shí)研究仍在繼續(xù)進(jìn)展。多媒體虛擬現(xiàn)實(shí)與可視化技術(shù)需要相互補(bǔ)充，并與語音、圖像識別、智能接口等技術(shù)相結(jié)合，建立高層次虛擬現(xiàn)實(shí)系統(tǒng)。1.3.6 多媒體技術(shù)的發(fā)展方向多媒體技術(shù)的發(fā)展方向多媒體CAI課件制作 1.2 多媒體CAI課件開發(fā)環(huán)境 多媒體CAI課件設(shè)計(jì)原則 多媒體CAI課件制作流程1.2.1 多媒體CAI課件開發(fā)環(huán)境1. 硬件環(huán)境 多媒體CAI課件制作的硬件設(shè)備主要包括多媒體計(jì)算機(jī)、掃描儀、數(shù)碼相機(jī)、數(shù)碼攝像機(jī)、U盤等設(shè)備。2. 軟件環(huán)境 多媒體開發(fā)工具