多媒體技術與開發第1章多媒體技術概論前言多媒體技術是世紀之交的計算機科學技術領域的熱點技術之一，它的迅速發展改變了人們的生活方式，并給人類社會帶來了巨大影響。多媒體計算機技術及應用始于20世紀80年代。90年代以來信息技術迅速發展，高清晰度電視、高保真音響、高速計算機網絡和高性能的計算技術融為一體，使多媒體技術又大大地前進了一步。本課程主要介紹多媒體技術的基本概念和多媒體系統的開發的基本方法，對多媒體信息的表示做了較詳細地介紹，盡量減少對過深的理論的探討，側重于實用。2第1章多媒體技術概論主要內容第1章多媒體技術概論第2章音頻信息的表示與存儲第3章視覺信息的表示與存儲第4章視頻信息的表示與存儲第5章多媒體數據的壓縮第6章多媒體開發軟件3第1章多媒體技術概論第1章多媒體技術概論

多媒體技術是20世紀80年代發展起來的一門綜合技術，現已成為信息技術領域發展最快、最活躍的技術，是新一代電子技術發展和競爭的焦點。多媒體技術融計算機、聲音、文本、圖像、動畫、視頻和通信等多種功能于一體，借助日益普及的高速信息網，可實現計算機的全球聯網和信息資源共享，被廣泛應用在咨詢服務、圖書、教育、通信、軍事、金融、醫療等諸多行業，并正潛移默化地改變著我們生活的面貌。4第1章多媒體技術概論目錄1.1多媒體技術的發展1.2多媒體的基本概念1.3多媒體系統的組成1.4多媒體技術發展的關鍵技術1.5多媒體技術的應用領域5第1章多媒體技術概論1.1多媒體技術的發展1.1.1啟蒙發展階段1.1.2初期應用和標準化1.1.3多媒體技術的發展方向6第1章多媒體技術概論1.1.1啟蒙發展階段

1.Apple公司推出的Macintosh機

2.Commodore公司研制的多媒體計算機系統Amiga3.Philips/Sony推出的交互式緊湊光盤系統CD-I4.RCA公司的交互式數字視頻系統DVI的出現和普及7第1章多媒體技術概論1.Apple公司推出的Macintosh機1984年，美國Apple公司推出了代表多媒體技術的Macintosh機，首先引入了位圖的概念對圖形進行處理；1987年引入了HyperCard(超級卡)，它是以卡片為節點的超級文本系統，使Macintosh機成為能處理多種信息媒體的計算機。采用HyperCard的Apple計算機8第1章多媒體技術概論2.多媒體計算機系統Amiga1985，美國Commodore公司研制了世界上最早的多媒體計算機系統Amiga，采用用于圖形、音頻和視頻處理的三個專用芯片，同時還提供了一個具有菜單、多窗口、圖標等功能的多任務Amiga操作系統?；贛otorola68000處理器的Amiga系統9第1章多媒體技術概論3.交互式緊湊光盤系統1986年4月，Philips/Sony聯合推出了交互式緊湊光盤系統CD-I，同時還公布了CD-ROM的文件格式。該系統把各種多媒體信息以數字化的形式存放在650M的CD-ROM上，用戶可以播放光盤中的內容。10第1章多媒體技術概論4.交互式數字視頻系統DVI1987年，美國RCA(美國無線電公司)公司推出了交互式數字視頻系統DVI(DigitalVideoInteractive)。它以計算機技術為基礎，用光盤來存儲和檢索圖文聲像和其他數據。RCA后來把DVI技術賣給了通用電氣公司(IBM)，后者又把這一技術賣給了Intel公司。1989年初，Intel公司把DVI技術開發成為一種可以普及的商品。11第1章多媒體技術概論1989年3月，由Intel公司和IBM公司聯合將DVI技術發展成新一代多媒體開發平臺ActionMedia750，該平臺的硬件系統由音頻板、視頻板和多功能板組成，軟件是基于DOS的音頻視頻支持系統(AVSS)。1991年，又推出了改進的ActionMedia750Ⅱ，軟件采用基于Windows的音頻視頻內核(AVK)，大大提高了系統的擴展性、移植性和處理能力。4.交互式數字視頻系統DVI12第1章多媒體技術概論1.1.2初期應用和標準化1990年，由微軟、菲利普等14家廠商組成的多媒體市場協會應運而生，并建立了多媒體個人計算機標準MPC1.0。1992年，圖像專家組提出了MPEG-1標準。1992年，Microsoft公司推出了真正的多媒體操作系統Windows3.1。1993年，多媒體微機市場委員會發布了新的多媒體計算機的性能標準MPC2.0。13第1章多媒體技術概論1.1.2初期應用和標準化1993年，IBM公布了針對臺式系統用戶在OS/2上運行的32位多媒體軟件包。1995年，多媒體微機市場委員會發布了新的多媒體微機的性能標準MPC3.0。后來出現了更高的操作系統版本，具有的多媒體功能也越來越強大，多媒體個人計算機成為PC機的主流，標志著PC機已經進入了多媒體時代。14第1章多媒體技術概論要求MPC1標準MPC2標準MPC3標準CPU386SX/16MHz486SX/25MHzPentium/75MHzRAM2M4M8M硬盤30MB160MB540MBCDROM150KB/s300KB/s600KB/s聲卡8位16位16位以上，支持MIDI顯卡640×480,16色640×480,64k色600×800,16M色MPEG-1沒有要求沒有要求具有MPEG-1播放；可進行直接幀存取，16位/像素，352×240分辨率，30幀/秒(或25幀/秒)播放視頻，視音頻同步，不丟幀。操作系統Windows3.XWindows3.XWindows3.X/95第1章多媒體技術概論1.1.3多媒體技術的發展方向多媒體通信網絡環境的研究和建立，將使多媒體從單機單點向分布、協同多媒體環境發展，在世界范圍內建立一個可全球自由交互的通信網。利用圖像理解、語音識別、全文檢索等技術，研究多媒體基于內容的處理，開發能進行基于內容處理的系統是多媒體信息管理的重要方向。多媒體標準仍是研究的重點。多媒體技術與相鄰技術的結合，提供完善的人機交互環境。多媒體技術與外圍技術構造的虛擬現實研究仍在繼續進展。16第1章多媒體技術概論1.2多媒體的基本概念1.2.1媒體與多媒體1.2.2多媒體技術1.2.3多媒體計算機1.2.4多媒體系統17第1章多媒體技術概論1.2.1媒體與多媒體－媒體的含義媒體（medium）在計算機領域有兩種含義：即媒質和媒介。媒質：存儲信息的實體，如磁盤、光盤、磁帶、半導體存儲器等。媒介：表示信息的載體，如數字、文字、聲音、圖形和圖像等。多媒體技術中的媒體主要指表示信息的載體。18第1章多媒體技術概論

按國際電信聯盟電信標準局ITU-T的定義，媒體可分為以下五種類型：感覺媒體表示媒體顯示媒體存儲媒體傳輸媒體1.2.1媒體與多媒體－媒體的分類19第1章多媒體技術概論感覺媒體：能直接作用于人的感官，使人產生感覺的媒體，主要分為視覺媒體(文字、景象)、聽覺媒體(音樂、各種聲音)、觸覺媒體(溫度、力)、味覺媒體(滋味)、嗅覺媒體(氣味)等。表示媒體：為了加工、處理感覺媒體而人為研究、構造出來的媒體，指信息的表示和表現形式。如語音編碼、文本編碼、運動和靜止圖像編碼等。1.2.1媒體與多媒體－媒體的分類20第1章多媒體技術概論顯示媒體：用來輸入和輸出信息的物理設備。輸入顯示媒體：鍵盤、鼠標、話筒等。輸出顯示媒體：顯示器、打印機、音箱等。存儲媒體：用于存放數字化形式的表示媒體的載體，主要是指與計算機相關的外部存儲設備，如硬盤、光盤、膠卷等。傳輸媒體：用于傳輸表示媒體的物理傳輸介質，如電話線、雙絞線、光纖等。1.2.1媒體與多媒體－媒體的分類21第1章多媒體技術概論

一般情況下所說的媒體形式是指表示媒體，即信息的表示和表現形式，像文字，圖形，動畫等。感覺媒體輸入設備CPU輸出設備感覺媒體表示媒體存儲媒體顯示媒體顯示媒體傳輸媒體各種媒體之間的關系1.2.1媒體與多媒體－媒體的分類22第1章多媒體技術概論“多媒體”一詞譯自英文“Multimedia”即“Multiple”和”Media”的合成，核心詞是媒體，是融合兩種或兩種以上表示媒體的人機交互式信息交流和傳播媒體，一般理解為多種媒體信息的綜合。多媒體的實質是將自然形式存在的各種媒體數字化，然后利用計算機對這些數字信息進行加工或處理，以一種友好的方式提供給用戶使用。1.2.1媒體與多媒體－多媒體的含義23第1章多媒體技術概論1.2.2多媒體技術－概念將文本、音頻、圖形、圖像、動畫和視頻等多媒體信息通過計算機進行數字化采集、編輯、存儲、傳輸、處理和再現等，使多種媒體信息建立邏輯連接，集成為一個具有交互性的系統。簡而言之，多媒體技術就是利用計算機綜合處理圖、文、聲、像等信息的技術。24第1章多媒體技術概論多樣性、集成性、交互性、實時性多樣性是指計算機處理信息的多樣化或多維化，改變計算機信息處理的單一模式，提供了如輸入、輸出、傳輸、存儲和處理的手段、方法等，交互使用信息的手段十分靈活。信息媒體由單媒體處理發展到多媒體處理，不僅是數量上的變化，更是一種質的飛躍，是信息技術走向深入、高級的變革性轉變。1.2.2多媒體技術－特點25第1章多媒體技術概論集成性是指多媒體信息的集成和處理這些媒體的設備的集成。多媒體信息的集成是指將多種不同的媒體信息有機的進行同步組合，使之成為一個完整的多媒體信息系統；設備的集成包括硬件和軟件兩個方面。多媒體技術的集成一方面意味著多種單一技術到了比較成熟的地步；另一方面意味著各種單一技術的獨自發展已很難滿足現實應用的需要。因此多媒體技術的集成性反映了應用的強烈要求。1.2.2多媒體技術－特點26第1章多媒體技術概論交互性是指用戶可以與計算機的多種信息媒體進行交互操作，從而為用戶提供更加有效地控制和使用信息的手段，增強對信息的注意力和理解力。多媒體信息在人機交互中的巨大潛力主要來自于它能提高人對信息表現形式的選擇和控制能力，同時也能提高信息表現形式與人的邏輯和創造能力結合的程度。1.2.2多媒體技術－特點27第1章多媒體技術概論實時性是指多媒體系統與時間的密切相關性，反映了應用對多媒體系統的要求，如視頻會議系統、實況信息的傳輸等，要求多媒體技術必須具有嚴格的時序要求和很高的速度要求。實時性是傳統的多媒體技術向更高層次的多媒體技術發展過程中的新的特性和問題。實時性程度的不同，對系統的設計要求也不同。網絡環境較單機對實時性的要求較高，而實況時間的要求更高。1.2.2多媒體技術－特點28第1章多媒體技術概論1.2.3多媒體計算機多媒體計算機(MPC)一般是指能夠綜合處理文本、音頻、圖形、圖像、動畫和視頻等多種媒體的計算機，它是集圖文聲像于一體并具有多媒體功能的計算機。從MPC標準來看，多媒體計算機應具有以下特征：光盤驅動器；聲卡和音箱；顯卡；多媒體系統軟件和應用軟件。29第1章多媒體技術概論1.2.4多媒體系統多媒體系統是指能夠對文本、音頻、圖形、圖像、動畫、視頻等多媒體信息進行邏輯互連、獲取、編輯、存儲和演播等功能的一個計算機系統。由于多媒體系統能靈活調度和使用多種媒體信息，使之與硬件協調的工作，因此，多媒體系統是一種軟件和硬件相結合的復雜系統。30第1章多媒體技術概論1.3多媒體系統的分類與組成1.3.1多媒體系統的分類1.3.2多媒體系統的層次結構31第1章多媒體技術概論1.3.1多媒體系統的分類基于功能的分類開發系統、演示系統、培訓系統、家庭系統基于應用的分類多媒體信息咨詢系統多媒體管理系統多媒體輔助教育系統多媒體通信系統多媒體娛樂系統32第1章多媒體技術概論1.3.2多媒體系統的層次結構多媒體計算機系統的層次結構如圖所示：多媒體硬件系統多媒體驅動程序多媒體操作系統多媒體開發工具多媒體應用軟件最底層最頂層33第1章多媒體技術概論多媒體硬件系統除了一般計算機的硬件外，還有各種媒體控制板卡及其輸入輸出設備，其中包括多媒體實時壓縮和解壓縮卡。計算機：MPC、圖形工作站1.3.2層次結構－硬件系統34第1章多媒體技術概論1.3.2層次結構－硬件系統

多媒體板卡：顯示卡、音頻卡、視頻卡多媒體外部設備麥克風揚聲器顯示器投影機35第1章多媒體技術概論1.3.2層次結構－多媒體驅動程序多媒體驅動程序直接用來控制和管理多媒體硬件。它完成設備的初始化、各種設備操作以及設備的關閉等。驅動程序一般常駐內存，每個多媒體硬件都需要一個相應的驅動程序。36第1章多媒體技術概論多媒體操作系統必須具備對多媒體數據和多媒體設備的管理和控制功能，具有綜合使用各種媒體的能力，能靈活地調度多種媒體數據并能進行相應的傳輸和處理，且使各種媒體硬件協調工作。包括專用的和通用的多媒體操作系統。專用多媒體操作系統：AmigaDOS系統、CD-I系統等。通用多媒體操作系統：Macintosh系統操作系統、Windows系列操作系統等。1.3.2層次結構－多媒體操作系統37第1章多媒體技術概論多媒體開發工具主要是指用于開發多媒體應用的工具軟件，包括多媒體素材制作工具、多媒體著作工具和多媒體編程語言。多媒體素材制作工具(Word、Cooledit、FlashMX、Photoshop等)多媒體著作工具(PowerPoint、FrontPage、Authorware等)多媒體編程語言(VB、VC++、Delphi等)。1.3.2層次結構－多媒體開發工具38第1章多媒體技術概論1.3.2層次結構－多媒體應用軟件多媒體應用軟件直接面向用戶，是為滿足用戶的各種需求服務的。應用系統要求有較強的多媒體交互功能，良好的人機界面。例如，教學軟件、培訓軟件、電子圖書等39第1章多媒體技術概論1.4多媒體技術發展的關鍵技術1.4.1多媒體數據壓縮/解壓縮技術1.4.2數字化多媒體信息存儲技術1.4.3多媒體數據庫技術1.4.4超文本與超媒體技術1.4.5多媒體網絡與通信技術1.4.6虛擬現實技術40第1章多媒體技術概論1.4.1多媒體數據壓縮/解壓縮技術圖像、動畫、視頻和音頻等數字化后數據量是非常大的，因此有必要對多媒體信息進行壓縮，去除其中的冗余信息。選用合適的數據壓縮技術可將字符數據壓縮到原來的1/2左右，語音數據壓縮到原來的1/2-1/10，圖像數據壓縮到原來的1/2-1/60。如今已有壓縮編碼的國際標準JPEG

和MPEG。41第1章多媒體技術概論1.4.2數字化多媒體信息存儲技術數字化的多媒體信息經過壓縮后仍有大量的數據，比如動態視頻圖像，若采用現有的算法壓縮后，存儲一小時的影視節目大約需要500M的空間，因此存儲技術也是多媒體技術發展和應用的關鍵技術之一。目前，在大容量、高速度、低價格的存儲器沒有出現之前，只讀光盤是較理想的多媒體存儲介質。目前有以下幾類新的存儲技術：藍光盤：數據存儲量約為27GB超級光盤技術：采用更多的進制表示信息全息光盤技術：儲存容量高達1TB(1000GB)熒光多層存儲技術：存儲容量可達140GB42第1章多媒體技術概論1.4.3多媒體數據庫技術多媒體信息是結構型的，致使傳統的關系數據庫已不適用于多媒體的信息管理，多媒體數據庫系統應具有以下幾個特點：要有相關的存儲介質。描述性的捜索方法：多媒體數據的查詢應基于一個描述性的、面向對象查詢格式。例如，查找“一張戴紅圍巾的女孩的照片”。獨立于設備和格式的界面：設備無關性和格式無關性允許使用新的存儲技術，而不改變現在的多媒體數據庫應用系統。特殊視圖和數據的同步訪問：在多媒體數據庫中，同一多媒體數據能被幾個應用程序通過不同的查詢訪問到，因此，必須實現穩定的訪問共享。43第1章多媒體技術概論1.4.4超文本與超媒體技術超文本這個詞在英語詞典上并不存在，是美國人泰得·納爾遜于1965年杜撰的。后來成了非線性信息管理技術的專用詞匯。超文本是一種文本信息管理技術，它提供的方法是建立各種文本信息之間的網狀鏈接結構，這種結構由節點組成。對超文本進行管理使用的系統稱為超文本系統，也稱為瀏覽器或導航圖。WWW是近幾年來最有影響的超文本系統。44第1章多媒體技術概論超媒體是超文本技術與管理和協調多媒體信息技術的結合，它是一組與時間、形式和媒體有關的動作定義。它與超文本的最大區別是表達性和交互性，即表達更準確，信息更豐富，交互更友好自然。簡單地說：超媒體=超文本＋多媒體超媒體雖然是超文本加多媒體，但絕對不是簡單的疊加，它既要處理超文本和多媒體設計問題，又要解決二者結合帶來的新問題。1.4.4超文本與超媒體技術45第1章多媒體技術概論1.4.5多媒體網絡與通信技術多媒體通信技術包含語音壓縮、圖像壓縮及多媒體的混合傳輸技術，將電話、電視和計算機三者融為一體，集電話的雙向溝通能力、有線電視的高載荷影像傳輸能力和電子計算機強大的信息處理功能于一體，并通過信息壓縮編碼技術，確保了多媒體信息在高速信息公路上的雙向或多向傳輸。46第1章多媒體技術概論1.4.6虛擬現實技術虛擬現實(VirtualReality)是利用計算機軟硬件技術、傳感技術、仿真技術、人工智能及心理學等技術通過計算機生成一個逼真的視覺、聽覺、觸覺及嗅覺等的虛擬世界，它強調了人與虛擬環境之間的交互性，或兩者之間的相互作用，反映在虛擬環境的各種感官刺激信號以及人對虛擬環境做出的各種反應動作上。47第1章多媒體技術概論虛擬現實技術主要是依靠一些特殊的輸入輸出設備來實現的。頭戴式顯示器數據手套的每一個指頭上都裝有一個傳感器1.4.6虛擬現實技術48第1章多媒體技術概論虛擬現實系統的關鍵特性：多感知性：虛擬現實系統應提供包括視覺、聽覺、觸覺、力覺和味覺等感知能力。臨場性：又稱存在感，是用戶在虛擬環境中產生的身臨其境、難以分辨真假的感覺。交互性：指用戶對虛擬環境中對象的可操作程度和由環境反饋的自然程度。自主性：指虛擬環境中對象的自主程度。1.4.6虛擬現實技術49第1章多媒體技術概論1.5多媒體技術的應用領域1.5.1教育與培訓1.5.2出版與圖書1.5.3商業與咨詢1.5.4網絡與通信