1、媒體技術的應用現狀與發展趨勢          冼俊峰 趙小俠 鐘玉琢  摘要多媒體技術是當今信息技術領域發展最快、最活躍的技術，本文通過對多媒體技術的應用現狀和發展趨勢的分析，使我們展望到，隨著日益普及的高速信息網，它正被廣泛應用在咨詢服務、圖書、教育、通信、軍事、金融、醫療等諸多行業。  關鍵詞多媒體技術應用現狀發展趨勢 中圖分類號G434文獻標識碼A文章編號1008-7656(2002)03-0016-06  多媒體技術是當今信息技術領域發展最快、最活躍的技術，是新一代電子技術發展和競爭的焦點。多媒體技術融計

2、算機、聲音、文本、圖像、動畫、視頻和通信等多種功能于一體，借助日益普及的高速信息網，可實現計算機的全球聯網和信息資源共享，因此被廣泛應用在咨詢服務、圖書、教育、通信、軍事、金融、醫療等諸多行業，并正潛移默化地改變著我們生活的面貌。1、多媒體技術涉及的內容多媒體技術是使用計算機交互式綜合技術和數字通信網絡技術處理多種表示媒體-文本、圖形、圖像、視頻和聲音，使多種信息建立邏輯連接，集成為一個交互式系統。它主要涉及如下幾個部分：11多媒體數據壓縮，圖像處理：它包括HCI與交互介面設計、多模態轉換、壓縮與編碼和虛擬現實等。1.2音頻信息處理：它包括音樂合成、特定人與非特定人的語音識別、文字-語音的相互

3、轉換等。1.3多媒體數據庫和基于內容檢索：它包括多媒體數據庫和基于多媒體數據庫的檢索等。1.4多媒體著作工具：它包括多媒體同步、超媒體和超文本等。1.5多媒體通信與分布式多媒體：它包括CSCW、會議系統、VOD和系統設計等。1.6多媒體應用：CAI與遠程教學、GIS與數字地球、多媒體遠程監控等。2、多媒體技術的應用現狀多媒體技術的開發和應用，使人類社會工作和生活的方方面面都沐浴著它所帶來的陽光，新技術所帶來的新感覺、新體驗是以往任何時候都無法想象的。2.1多媒體數據壓縮，圖像處理的應用多媒體計算機技術是面向三維圖形、環繞立體聲和彩色全屏幕運動畫面的處理技術。而數字計算機面臨的是數值、文字、語言

4、、音樂、圖形、動畫、圖像、視頻等多種媒體的問題，它承載著由模擬量轉化成數字量信息的吞吐、存儲和傳輸。數字化了的視頻和音頻信號的數量之大是非常驚人的，它給存儲器的存儲容量、通信干線的信道傳輸率以及計算機的速度都增加了極大的壓力，解決這一問題，單純用擴大存儲器容量、增加通信干線的傳輸率的辦法是不現實的。數據壓縮技術為圖像、視頻和音頻信號的壓縮，文件存儲和分布式利用，提高通信干線的傳輸效率等應用提供了一個行之有效的方法，同時使計算機實時處理音頻、視頻信息，以保證播放出高質量的視頻、音頻節目成為可能。國際標準化協會，國際電子學委員會，國際電信協會等國際組織，于二十世紀90年代領導制定了三個重要的有關視

5、頻圖像壓縮編碼的國際標準，JPEG標準；H261標準；MPEG標準。2.1.1JPEG它是國際上彩色、灰度、靜止圖像的第一個國際標準，它不僅適于靜態圖像的壓縮，電視圖像序列的幀內圖像的壓縮編碼，也常采用JPEG壓縮標準。2.1.2H261它是視頻圖像壓縮編碼國際標準，主要用于視頻電話和電視會議，可以以較好的質量來傳輸更復雜的圖像。2.1.3MPEGMPEG視頻壓縮技術是針對運動圖像的數據壓縮技術。目前又分為MPEGI、MPEG、MPEGIV、MPEG7和MPEG21。MPEGI最初用于數字存儲上活動圖像及伴音的編碼，數碼率為15Mbits，圖像采用SIF格式，兩路立體聲伴音的質量接近CD音質，

6、到現在，MPEGI壓縮技術的應用已經相當成熟，廣泛地應用在VCD制作，圖像監控領域。MPEG是MPEGI的擴充、豐富和完善。MPEGII的視頻數據速率為4-5MitS，能提供720×480(NTSC)或720×576(PAL)分辨率的廣播級質量的視像，適用于包括寬屏幕和高清晰度電視(HDTV)在內的高質量電視和廣播。隨著網絡、有線無線通信系統的迅猛發展，交互式計算機和交互性電視技術的普遍應用，以及視頻、音頻數據綜合服務等應用的發展趨勢，對計算機多媒體數據壓縮編碼、解碼技術及其遵循的標準提出更多更高的要求，有許多要求MPEGI和MPEG標準是難以支持的，因此MPEG應運而生，

7、它正是為解決這些高需求而推出的。根據MPEG開發的不同的壓縮編碼，我們可以分為如下幾類：  基于內容的多媒體數據訪問工具：應用于從在線的程序庫和傳送信息的數據庫中進行基于內容的信息檢索。  基于內容的處理和比特流編輯：應用于交互式家庭購物、影視的制作和編輯、數字特技。  混合自然和人工數據編碼：應用于動畫和音響的自然組合，在游戲節目中觀眾可以移動和傳送覆蓋在要查看的視頻之上的圖形，從不同的觀察點描繪圖形和聲音。  改進的時間隨機訪問：應用于音像數據的遠程終端隨機訪問。  改進的編碼效率：應用于低帶寬信道上的有效音像數據存儲和傳送。 

8、多重并行數據流的編碼：多媒體表演，如虛擬現實游戲，3維動畫，訓練和飛行模擬，多媒體演示和教育。如今，越來越多的聲像信息以數字形式存儲和傳輸，這為人們更靈活地使用這些信息提供了可能性。但隨之而來的問題是，隨著網絡上信息爆炸性的增長，獲取到我們感興趣的信息的難度卻越來越大。傳統的基于關鍵字或文件名的檢索方法顯然不適于數據量龐大、又不具有天然結構特征的聲像數據，因此近些年來多媒體研究的一個熱點是聲像數據的基于內容的檢索，例如"從這段新聞片中找出有首相、總統的鏡頭"這種形式的檢索。實現這種基于內容檢索的一個關鍵性的步驟是要定義一種描述聲像信息內容的格式，而這與聲像信息的存儲形式(編

9、碼)又是密切相關的。國際標準化組織運動圖像專家組注意到了這方面的需求和潛在的應用市場，在推出影響極大的MPEG-1、MPEG2之后，尚未完成MPEG4的最后定稿，便開始著手制定專門支持多媒體信息基于內容檢索的編碼方案：MPEG7。MPEG7作為MPEG家族中的一個新成員，正式名稱叫做"多媒體內容描述接口"，它將為各種類型的多媒體信息規定一種標準化的描述，這種描述與多媒體信息的內容本身一起，支持用戶對其感興趣的各種"資料"的快速、有效地檢索。以下一些應用領域將從MPEG7標準的制定中獲益：  數字化圖書館(圖像分類目錄，音樂字典，) 

10、多媒體目錄服務  廣播式媒體選擇(收音機頻道，電視頻道，)  多媒體編輯(個人電子新聞服務，媒體著作)還有一些潛在的應用領域：  教育  旅游信息  娛樂(例如尋找游戲、卡拉OK節目)  購物(例如尋找你喜歡的衣服)MPEG21的范圍可以描述成是一個決定性(關鍵)技術的集成，這些技術可以通過訪問全球網絡和設備實現對多媒體資源的透明和增強的使用。其功能包括：內容創建、內容產品、內容發布、內容消耗和使用、內容表示、知識產權管理和保護、內容識別與描述、財政管理、用戶的隱私權、終端和網絡資源抽取、事件報告等。2.2音頻信息處理的應用在多媒體技

11、術中，存儲聲音信息的文件格式主要有：WAV文件、VOC文件、MIDI文件、AIF文件、SON文件及RMI文件等。2.2.1音頻信息錄制編輯把音樂和語音加到多媒體應用中，是我們研究音頻處理技術的目的，下面是我們常用的音頻信息錄制編輯軟件。WaveEdit工具的REC命令；SoundBlaster卡的VEdit2軟件；MicrosoftSoundSystem卡的QuickRecorder軟件；Cooledit軟件；WaveEdit工具；CreativeWaveStudio。2.2.2語音識別語音的識別長久以來一直是人們的美好夢想，讓計算機聽懂人說話是發展人機語音通信和新一代智能計算機的主要目標。隨

12、著計算機的普及、越來越多的人在使用計算機，如何給不熟悉計算機的人提供一個友好的人機交互手段，是人們感興趣的問題，而語音識別技術就是其中最自然的一種交流手段。自從20世紀80年代中期以來，新技術的不斷出現使語音識別有了實質性的進展。特別是隱馬爾可夫模型(HMM)的研究和廣泛應用，推動了語音識別的迅速發展，陸續出現了許多基于HMM模型的語音識別軟什系統。當前，語音識別領域的研究正方興未艾。在這方面的新算法、新思想和新的應用系統不斷涌現。同時，語音識別領域也正處在一個非常關鍵的時期，世界各國的研究人員正在向語音識別的最高層次應用-非特定人、大詞匯量、連續語音的聽寫機系統的研究和實用化系統進行沖刺，可

13、以樂觀地說，人們所期望的語音識別技術實用化的夢想很快就會變成現實。2.2.3文語轉換目前，世界上已研制出漢、英、日、法、德等語種的文語轉換系統，并在許多領域得到了廣泛應用。DECTalk文語轉換系統：這是DEC公司在MIT的KLATT教授研制的語音合成器的基礎上開發的語音生成系統，用于英語文語轉換。ATTBell文語轉換系統：這是美國ATT貝爾實驗室研制的文語轉換系統，它最初用于英語的文語轉換，現在正擴展到其它語種。Sonic文語轉換系統：這是清華大學計算機系基于波形編輯的漢語文語轉換系統。該系統利用漢語詞庫進行分詞，并且根據語音學研究的成果建立了語音規則，對漢語中的某些常見語音現象進行了處理

14、。系統采用PSOLA算法修改超音段語音特征，提高了言語輸出的質量。2.3多媒體數據庫和基于內容檢索的應用多媒體信息檢索技術的應用使多媒體信息檢索系統、多媒體數據庫，可視信息系統、多媒體信息自動獲取和索引系統等應用逐漸變為現實。基于內容的圖像檢索、文本檢索系統己成為近年來多媒體信息檢索領域中最為活躍的研究課題，基于內容的圖像檢索是根據其可視特征，包括顏色、紋理、形狀、位置、運動、大小等，從圖像庫中檢索出與查詢描述的圖像內容相似的圖像，利用圖像可視特征索引，可以大大提高圖像系統的檢索能力。隨著多媒體技術的迅速普及，Web上將大量出現多媒體信息，例如，在遙感、醫療、安全、商業等部門中每天都不斷產生大

15、量的圖像信息。這些信息的有效組織管理和檢索中都依賴基于圖像內容的檢索。目前，這方面的研究已引起了廣泛的重視，并已有一些提供圖像檢索功能的多媒體檢索系統軟件問世。例如，由IBM公司開發的QBIC是最有代表性的系統，它通過友好的圖形界面為用戶提供了顏色、紋理、草圖、形狀等多種檢索方法；美國加州大學伯克利分校與加州水資源部合作進行了Chabot計劃，以便對水資源部的大量圖像提供基于內容的有效檢索手段。此外還有麻省理工學院的Photobook，可以利用Face，Shape，Texture，Photobook分別對人臉圖像、工具和紋理進行基于內容的檢索，在Virage系統中又進一步發展了將多種檢索特征相

16、融合的手段。澳大利亞的NewSouthWales大學已開發了NUTTAB系統，用于食品成份數據庫的檢索。清華大學計算機系結合國家863高技術研究發展項目"Web上基于內容的圖像檢索"的研究，于1997年研制了一個Intemet上的靜態圖像的基于內容檢索的原型系統。該項目的研究目標是開發能在InternetIntranet環境下，通過友好的人機界面，以顏色、紋理等圖像特征或樣本圖像檢索圖像的方法和工具。  2.4多媒體著作工具的應用多媒體創作工具是電子出版物、多媒體應用系統的軟件開發工具，它提供組織和編輯電子出版物和多媒體應用系統各種成分所需要的重要框架，包括圖形、

17、動畫、聲音和視頻的剪輯。制作工具的用途是建立具有交互式的用戶界面，在屏幕上演示電子出版物及制作好的多媒體應用系統以及將各種多媒體成分集成為一個完整而有內在聯系的系統。多媒體著作創作工具可以分成：基于時間的創作工具；基于圖符(Icon)或流線(Line)創作工具；基于卡片(Card)和頁面(Page)的創作工具；以傳統程序語言為基礎的創作工具。它們的代表軟件是Action、Autherware、IconAuther、ToolBook、Hypercard、北大方正開發的方正奧斯和清華大學開發的Ark創作系統。在多媒體著作創作中，還必須借助一些用于文本、音視頻及圖像處理軟件系統。對于不同的媒體素材，

18、采用的軟件也不同。用多媒體創作工具可以制作各種電子出版物及各種教材、參考書、導游和地圖、醫藥衛生、商業手冊及游戲娛樂節目，主要包括多媒體應用系統；演示系統或信息查詢系統；培訓和教育系統；娛樂、視頻動畫及廣告；專用多媒體應用系統；領導決策輔助系統；飯店信息查詢系統；導游系統；歌舞廳點歌結算系統；商店導購系統；生產商業實時監測系統以及證券交易實時查詢系統等。2.5多媒體通信及分布式多媒體技術的應用人類社會逐漸進入信息化時代，社會分工越來越細，人際交往越來越頻繁，群體性、交互性、分布性和協同性將成為人們生活方式和勞動方式的基本特征，其間大多數工作都需要群體的努力才能完成。但在現實生活中影響和阻礙上述

19、工作方式的因素太多，如打電話時對方卻不在。即使電話交流也只能通過聲音，而很難看見一些重要的圖紙資料，要面對面的交流討論，又需要費時的長途旅行和昂貴的差旅費用，這種方式造成了效率低、費時長、開銷大的缺點。今天，隨著多媒體計算機技術和通信技術的發展，兩者相結合形成的多媒體通信和分布式多媒體信息系統較好地解決上述問題。多媒體通信和分布式多媒體技術涉及：計算機支持的協同工作(CSCW)、視頻會議、視頻點播(VOD)等。2.5.1計算機支持的協同工作系統：CSCW系統具有非常廣泛的應用領域，它可以應用到遠程醫療診斷系統、遠程教育系統、遠程協同編著系統、遠程協同設計制造系統以及軍事應用中的指揮和協同訓練系

20、統等。2.5.2多媒體會議系統：它是一種實時的分布式多媒體軟件應用的實例，它參與實時音頻和視頻這種現場感的連續媒體，可以點對點通信，也可以多點對多點的通信，而且還充分利用其它媒體信息，如圖形標注、靜態圖像、文本等計算數據信息進行交流，對數字化的視頻、音頻及文本、數據等多媒體進行實時傳輸，利用計算機系統提供的良好的交互功能和管理功能，實現人與人之間的"面對面"的虛擬會議環境，它集計算機交互性、通信的分布性已及電視的真實性為一體，具有明顯的優越性，是一種快速高效、日益增長、廣泛應用的新的通信業務。2.5.3VOD(VideoOnDamend)和交互電視(ITV)系統：它是根據用

21、戶要求播放節目的視頻點播系統，具有提供給單個用戶對大范圍的影片、視頻節目、游戲、信息等進行幾乎同時訪問的能力。對于用戶而言，只需配備響應的多媒體電腦終端或者一臺電視機和機頂盒，一個視頻點播遙控器，"想看什么就看什么，想什么時候看就什么時候看"，用戶和被訪問的資料之間高度的交互性使它區別于傳統的視頻節目的接收方式。它是多媒體數據壓縮解壓技術，綜合了計算機技術、通信技術和電視技術的一門綜個技術。在這些VOD應用技術的支持和推動下，網絡在線視頻、在線音樂、網上直播為主要項目的網上休閑娛樂、新聞傳播等服務得到了迅猛發展，各大電視臺、廣播媒體和娛樂業公司紛紛推出其網上節目，雖然目前由

22、于網絡帶寬的限制，視頻傳輸的效果還遠不能達到人們所預期的滿意程度，還是受到了越來越多的用戶的青睞。VOD和交互電視(ITV)系統的應用，在某種意義上講是視頻信息技術領域的一場革命，具有巨大的潛在市場，具體應用在電影點播、遠程購物、游戲、卡拉OK服務、點播新聞、遠程教學、家庭銀行服務等方面。2.6其他多媒體應用軟件的應用現狀  2.6.1CAI及遠程教育系統根據一定的教學目標，在計算機上編制一系列的程序，設計和控制學習者的學習過程，使學習者通過使用該程序，完成學習任務，這一系列計算機程序稱為教育多媒體軟件或稱為CAI(ComputerAssistlnstruction計算機輔助教學)。

23、網絡遠程教育模式依靠現代通信技術及多媒體技術的發展，大幅度地提高了教育傳播的范圍和時效，使教育傳播不受時間、地點、國界和氣候的影響。CAI的應用，使學生真正打破了明顯的校園界限，改變了傳統的"課堂教學"的概念，突破時空的限制，接受到來自不同國家、教師的指導，可獲得除文本以外更豐富、直觀的多媒體教學信息，共享教學資源，它可以按學習者的思維方式來組織教學內容，也可以由學習者自行控制和檢測，使傳統的教學由單向轉向雙向，實現了遠程教學中師生之間、學生與學生之間的雙向交流。2.6.2地理信息系統(GIS)地理信息系統(GIS)獲取、處理、操作、應用地理空間信息，主要應用在測繪、資源環

24、境的領域。與語音圖像處理技術比較，地理信息系統技術的成熟相對較晚，軟件應用的專業程度相對也較高，隨著計算機技術的發展，地理信息技術逐步形成為一門新興產業。除了大型GIS平臺之外，設施管理、土地管理、城市規劃、地籍測量的專業應用多媒體技術也層出不窮。2.6.3多媒體監控技術圖像處理、聲音處理、檢索查詢等多媒體技術綜合應用到實時報警系統中，改善了原有的模擬報警系統，使監控系統更廣泛地應用到工業生產、交通安全、銀行保安、酒店管理等領域中。它能夠及時發現異常情況，迅速報警，同時將報警信息存儲到數據庫中以備查詢，并交互地綜合圖、文、聲、動畫多種媒體信息，使報警的表現形式更為生動、直觀，人機界面更為友好。

25、3多媒體技術的發展趨勢總的來看，多媒體技術正向二個方而發展：一是網絡化發展趨勢，與寬帶網絡通信等技術相互結合，使多媒體技術進入科研設計、企業管理、辦公自動化、遠程教育、遠程醫療、檢索咨詢，文化娛樂、自動測控等領域；二是多媒體終端的部件化、智能化和嵌入化，提高計算機系統本身的多媒體性能，開發智能化家電。3.1多媒體技術的網絡化發展趨勢技術的創新和發展將使諸如服務器、路由器、轉換器等網絡設備的性能越來越高，包括用戶端CPU、內存、圖形卡等在內的硬件能力空前擴展，人們將受益于無限的計算和充裕的帶寬，它使網絡應用者改變以往被動地接受處理信息的狀態，并以更加積極主動的姿態去參與眼前的網絡虛擬世界。多媒體

26、技術的發展使多媒體計算機將形成更完善的計算機支撐的協同工作環境，消除了空間距離的障礙，也消除了時間距離的障礙，為人類提供更完善的信息服務。交互的、動態的多媒體技術能夠在網絡環境創建出更加生動逼真的二維與三維場景，人們還可以借助攝像等設備，把辦公室和娛樂工具集合在終端多媒體計算器上，可在世界任一角落與千里之外的同行在實時視頻會議上進行市場討論、產品設計，欣賞高質量的圖像畫面。新一代用戶界面(UI)與智能人工(IntelligentAgent)等網絡化、人性化、個性化的多媒體軟件的應用還可使不同國籍、不同文化背景和不同文化程度的人們通過"人機對話"，消除他們之間的隔閡，自由地溝

27、通與了解。世界正邁進數字化、網絡化、全球一體化的信息時代。信息技術將滲透著人類社會的方方面面，其中網絡技術和多媒體技術是促進信息社會全面實現的關鍵技術。MPEG曾成功地發起并制定了MPEG1、MPEG2標準，現在MPEG組織也已完成了MPEG4標準的1、2、3、4版本的標準，2001年9月完成MPEG7標準的制定工作，同時在2001年12月完成MPEG21的制定工作。多媒體交互技術的發展，使多媒體技術在模式識別、全息圖像、自然語言理解(語音識別與合成)和新的傳感技術(手寫輸入、數據手套、電子氣味合成器)等基礎上，利用人的多種感覺通道和動作通道(如語音、書寫、表情、姿勢、視線、動作和嗅覺等)，通

28、過數據手套和跟蹤手語信息，提取特定人的面部特征，合成面部動作和表情，以并行和非精確方式與計算機系統進行交互。可以提高人機交互的自然性和高效性，實現以三維的逼真輸出為標志的虛擬現實。藍齒技術的開發應用，使多媒體網絡技術無線電。數字信息家電，個人區域網絡，無線寬帶局域網，新一代無線、互聯網通信協議與標準，對等網絡與新一代互聯網絡的多媒體軟件開發，綜合原有的各種多媒體業務，將會使計算機無線網絡異軍突起，牽起網絡時代的新浪潮，使得計算無所不在，各種信息隨手可得。3.2多媒體終端的部件化、智能化和嵌入化發展趨勢目前多媒體計算機硬件體系結構，多媒體計算機的視頻音頻接口軟件不斷改進，尤其是采用了硬件體系結構

29、設計和軟件、算法相結合的方案，使多媒體計算機的性能指標進一步提高，但要滿足多媒體網絡化環境的要求，還需對軟件作進一步的開發和研究，使多媒體終端設備具有更高的部件化和智能化，對多媒體終端增加如文字的識別和輸入、漢語語音的識別和輸入、自然語言理解和機器翻譯、圖形的識別和理解、機器人視覺和計算機視覺等智能。過去CPU芯片設計較多地考慮計算功能，主要用于數學運算及數值處理，隨著多媒體技術和網絡通訊技術的發展，需要CPU芯片本身其具有更高的綜合處理聲、文、圖信息及通訊的功能，因此我們可以將媒體信息實時處理和壓縮編碼算法作到CPU芯片中。從目前的發展趨勢看可以把這種芯片分成兩類：一類是以多媒體和通訊功能為主。融合CPU芯片原有的計算功能，它的設計目標是用在多媒體