多媒體技術與虛擬現(xiàn)實,武漢大學劉英,1,課程簡介,本課程講解音頻信息、圖像信息、視頻信息的獲取和制作方法及相關軟件工具的使用。以及虛擬現(xiàn)實技術的基本概念。,內容：多媒體技術簡介，數(shù)字音頻處理及其工具，數(shù)字圖像處理及其軟件，動畫及其處理軟件，視頻及其處理軟件，虛擬現(xiàn)實技術簡介等。,2,課程簡介,多媒體是一門綜合技術，它涉及到許多概念。并且涉及的技術范圍廣和新，研究的內容深，是多種學科和多種技術的交叉。多媒體的展示工具以及多媒體的編輯制作工具也很多。一個工具的使用就可以作為一門課來講授。本課程的定位是讓大家對多媒體整體有稍多一些的了解，通過本課程的學習，了解、認識多媒體技術和虛擬現(xiàn)實技術，初步掌握多媒體的制作方法。,3,課程簡介,上課時間:3-15周周312-14節(jié)課上課地點:105403QQ群：116927424(劉英課群)電話-mail：yingliu,參考書：圖書館有關的書籍參考資料：互聯(lián)網(wǎng),大家對課程有什么建議和意見可以通過以上方式提出。,4,課程簡介,考核:創(chuàng)作一個多媒體作品。,5,多媒體技術基礎,第1章,6,1.1多媒體的基本概念,“多媒體”一詞是“多”和”媒體”的合成。其核心詞是媒體。,1.1.1多媒體的定義,7,1、什么是媒體?,1.1.1多媒體的定義,8,媒質：存儲信息的實體，如磁盤、光盤、磁帶、半導體存儲器等。媒介：傳遞信息的載體，如數(shù)字、文字、聲音、圖形和圖像等。,媒體（medium）在計算機領域有兩種含義：即媒質和媒介。,1.1.1多媒體的定義,9,感覺媒體,表示媒體,顯示媒體,存儲媒體,傳輸媒體,1.1.1多媒體的定義,根據(jù)國際電報電話咨詢委員會（CCITT）的定義，通常概念的“媒體”有下列五大類：,10,感覺媒體(Perceptionmedium)：指能直接作用于人們的感覺器官，從而能使人產生直接感覺的媒體。如多種多樣的語言美妙的音樂、自然界中動聽的聲音吸引人的圖像、有趣的動畫等。,1.1.1多媒體的定義,11,表示媒體(Representationmedium)：是指為讓傳送能更有效、更安全而研究出來的媒體。借助于此種媒體，便能更有效地存儲感覺媒體，或者將感覺媒體從一個地方傳送到遙遠的另一個地方。如電報碼、條形碼和語言編碼等。,1.1.1多媒體的定義,12,顯示媒體(Presentationmedium）：指的是用于通信中使電信號和感覺媒體之間產生轉換用的媒體，相當于媒體的嘴巴和表情。顯示媒體能把人們很陌生的電信號轉換為我們能明白意思的信號。,1.1.1多媒體的定義,13,存儲媒體(Storagemedium)：指的是用于存放信息的媒體，相當于存放媒體的基地，可以存放各種媒體。如磁盤、光盤、磁帶等。,1.1.1多媒體的定義,14,傳輸媒體(Transmissionmedium)：指的是用于傳輸信息的媒體。媒體的傳輸，媒體的交換、媒體的共享都要由它來提供道路。如電話線、光纖等。,1.1.1多媒體的定義,15,根據(jù)與時間的關系對媒體的分類：靜態(tài)媒體：信息的再現(xiàn)與時間無關，如文本、圖形、圖像等等。連續(xù)媒體：具有隱含的時間關系，其播放速度將影響所含信息的再現(xiàn)。如聲音、動畫、視頻等。,1.1.1多媒體的定義,16,2、媒體分類視覺媒體類,視覺,靜止信息,圖像,圖形,文字,符號,抽象化,抽象化,動態(tài)信息,圖像,圖形,動態(tài)影像視頻,真實感三維動畫,二維動畫,三維動畫,語言文字,1.1.1多媒體的定義,17,聽覺媒體分類觸覺媒體分類其他感覺媒體,其它（嗅覺、味覺等）,1.1.1多媒體的定義,18,1、多媒體技術的定義：利用計算機綜合處理多種媒體信息：文本、圖形、圖像、音頻和視頻，使多種信息建立邏輯連接，集成為一個系統(tǒng)并具有交互性。,1.1.2多媒體技術及其特性,19,(1)信息載體的多樣性,1.1.2多媒體技術及其特性,2、多媒體技術的主要特性：,20,(2)交互性,1.1.2多媒體技術及其特性,21,(3)集成性,1+12,硬件：高速并行CPU、大容量存儲設備、輸入輸出、網(wǎng)絡等,軟件：多媒體操作系統(tǒng)、管理系統(tǒng)、創(chuàng)作工具、應用軟件等,1.1.2多媒體技術及其特性,多種媒體信息有機組織，綜合表達一個完整信息。,多種技術的集合。,22,多：多媒體表現(xiàn)：文本、聲音、視頻多學科交匯：物理/人體工程/生物多領域應用：教學、娛樂各方面媒：人-計算機-世界體：綜合集成一體化信息碼流一體化設備控制一體化交互控制一體化,1.1.2多媒體技術及其特性,23,媒體元素是指多媒體應用中可顯示給用戶的媒體組成。,1.1.3多媒體中的媒體元素及特征,音頻,動畫,視頻,文本,圖形,圖像,24,文本分為非格式化文本文件和格式化文本文件。非格式化文本文件：只有文本信息沒有其他任何有關格式信息的文件，又稱為純文本文件。如“.TXT”文件。格式化文本文件：帶有各種文本排版信息等格式信息的文本文件。如“.DOC”文件。,1、文本,25,圖形(Graphic)一般指用計算機繪制的畫面，如直線、圓、圓弧、矩形、任意曲線和圖表等。圖形的格式是一組描述點、線、面等幾何圖形的大小、形狀及其位置、維數(shù)的指令集合。在圖形文件中只記錄生成圖的算法和圖上的某些特征點，因此也稱矢量圖。,2、圖形,26,用于產生和編輯矢量圖形的程序通常稱為“draw”程序。常用的矢量圖形文件有：“.3DS”(用于3D造型)、“.DXF”(用于CAD)“.WMF”(用于桌面出版)等。由于圖形只保存算法和特征點，因此占用的存儲空間很小。但顯示時需經過重新計算，因而顯示速度相對慢些。,2、圖形,27,圖像(Image)是指由輸入設備捕捉的實際場景畫面，或以數(shù)字化形式存儲的任意畫面。靜止的圖像是一個矩陣，陣列中的各項數(shù)字用來描述構成圖像的各個點(稱為像素點pixel)的強度與顏色等信息。這種圖像也稱為位圖(bit-mappedpicture)。,3、圖像,28,用于生成和編輯位圖圖像的軟件通常稱為“paint”程序。圖像文件在計算機中的存儲格式有多種，如BMP、PCX、TIF、TGA、GIF、JPG等，一般數(shù)據(jù)量都較大。,3、圖像,29,數(shù)字音頻(Audio)可分為波形聲音、語音和音樂。,4、音頻,30,動畫是活動的畫面，實質是一幅幅靜態(tài)圖像的連續(xù)播放。動畫的連續(xù)播放既指時間上的連續(xù)，也指圖像內容上的連續(xù)。計算機設計動畫有兩種：一種是幀動畫，一種是造型動畫。,5、動畫,31,視頻是由一幅幅單獨的畫面序列(幀frame)組成。這些畫面以一定的速率(fps)連續(xù)地投射在屏幕上，使觀察者具有圖像連續(xù)運動的感覺。視頻文件的存儲格式有AVI、MPG、MOV等。,6、視頻,32,1.1.4多媒體技術的主要研究內容,多媒體信息壓縮技術,多媒體信息存儲技術,多媒體信息的展現(xiàn)與交互技術,多媒體數(shù)據(jù)庫管理技術,多媒體通信與分布處理技術,虛擬現(xiàn)實技術,多媒體智能技術,33,1.2多媒體技術的發(fā)展與應用,在計算機發(fā)展的初期，計算機承載信息的媒體只能是數(shù)值。以后人類開發(fā)出了高級程序設計語言，開始用文字作為信息的載體，人們可以用文字來編寫源程序。從80年代開始，人們致力于研究將聲音、圖形和圖像作為新的信息媒體輸入輸出計算機中，這將使計算機的應用更為直觀、容易。,34,1.2.1多媒體技術的發(fā)展,多媒體計算機是一個不斷發(fā)展、不斷完善的系統(tǒng)。多媒體技術最早起源于20世紀80年代中期。,1984年Apple公司首次使用bitmap概念對圖像進行描述。,1985年，世界上第一個多媒體計算機系統(tǒng)Amiga推出。,35,1991年，在第六屆國際多媒體和CD-ROM大會上宣布了擴展結構系統(tǒng)標準CD-ROM/XA，經過幾年的發(fā)展，CD-ROM技術日趨完善和成熟。而整機價格的下降，為多媒體技術的實用化提供了可靠的保證。1992年，正式公布MPEG-1數(shù)字電視標準，它是由運動圖像專家組（MovingPictureExpertGroup）開發(fā)制定的。MPEG系列的其他標準還有MPEG-2、MPEG-4、MPEG-7和現(xiàn)正在制定的MPEG-21。,1.2.1多媒體技術的發(fā)展,36,教育與訓練商業(yè)展示與信息咨詢影視娛樂醫(yī)療旅游多媒體電子出版物辦公自動化工業(yè)多媒體通信與Internet虛擬現(xiàn)實,1.2.2多媒體技術的應用,37,多媒體通信的應用數(shù)字圖書館多媒體遠程會議視頻點播與多媒體點播網(wǎng)絡游戲遠程教育遠程醫(yī)療遠程協(xié)同工作電子商務,網(wǎng)絡游戲,視頻會議,遠程教育,數(shù)字圖書館,電子商務,多媒體通信,1.2.2多媒體技術的應用,38,1.3多媒體個人計算機MPC,MPC是MultimediaPersonalComputer的縮寫。另外，MPC也代表多媒體個人計算機的工業(yè)標準。從嚴格意義上講，所謂多媒體個人計算機，是指符合MPC標準的具有多媒體功能的個人計算機。MPC機并不是一種全新的個人計算機，它是在一般個人計算機的基礎上，通過擴充使用視頻、音頻、圖形處理軟硬件來實現(xiàn)高質量的圖形、立體聲和視頻處理能力。,39,1.3多媒體個人計算機MPC,MPC標準規(guī)定多媒體計算機包括5個基本組成部件：PC、只讀光盤驅動器(CD-ROM)、聲卡、Windows、音箱或耳機。,40,1.3多媒體個人計算機MPC,MPC的一般配置,41,1.3.1多媒體硬件系統(tǒng),音頻設備:負責采集、加工、處理波表、MIDI等多種形式的音頻素材。需要的硬件有錄放音設備、MIDI合成器、高性能的聲卡、音箱、話筒、耳機等。,聲卡,麥克風,MIDI設備接口,耳機,音箱,42,1.3.1多媒體硬件系統(tǒng),圖像設備:負責采集、加工、處理各種格式的圖像素材。需要的硬件有掃描儀、數(shù)碼相機、數(shù)字化儀、打印機。,數(shù)碼相機,平面掃描儀,手寫板,43,1.3.1多媒體硬件系統(tǒng),視頻設備:負責采集、編輯計算機動畫、視頻素材。需要的硬件設備有視頻播放機、視頻采集卡、視頻編輯卡、動態(tài)壓縮卡、數(shù)字錄像機、數(shù)字攝像機、投影儀等。,視頻采集卡,攝像機,投影儀,44,1.3.1多媒體硬件系統(tǒng),存儲部分：多媒體信息及其應用系統(tǒng)數(shù)據(jù)量很大，將它們長期保存在硬盤中是不現(xiàn)實的，而且多媒體軟件的發(fā)行也需要一種高容量、移動方便的存儲介質，那就是光盤。讀取光盤中的信息需用光盤驅動器，在光盤上記錄信息需要光盤刻錄機。,45,1.3.1多媒體硬件系統(tǒng),常見的激光存儲器種類：,CD-ROM只讀式光盤存儲器CD-R一次寫光盤存儲器可擦寫光盤存儲器PD相變式可重復擦寫光盤驅動器DVD,PD光盤,MO(磁光型),CDR/CDRW,DVD,46,1.3.2多媒體軟件系統(tǒng),系統(tǒng)軟件,多媒體設備驅動程序,多媒體操作系統(tǒng),多媒體素材制作軟件,多媒體平臺軟件,音頻處理軟件,平面圖像制作軟件,活動圖像制作軟件,應用軟件,應用軟件,工具軟件,47,多媒體操作系統(tǒng)是多媒體軟件的核心。它負責多媒體環(huán)境下多任務的調度、保證音頻、視頻同步控制以及信息處理的實時性，提供多媒體信息的各種基本操作和管理；具有對設備的相對獨立性與可擴展性。,1、多媒體操作系統(tǒng),48,素材的