1、2021-5-121 e=mc2 a=x+y+z 燕山大學信息科學與工程學院計算機科學與技術系 唐 勇 email: t 2021-5-122 參考文獻：有用嗎？ 多媒體技術及應用多媒體技術及應用.(美) tay vaughan著.清華大學出版社. 2008 多媒體技術多媒體技術.第第2版版.吳玲達.電子工業出版社. 2007 多媒體計算機與虛擬現實技術多媒體計算機與虛擬現實技術.鐘玉琢.清華大學出版社. 2009 多媒體多媒體技術基礎及應用技術基礎及應用.第第3版版 .鐘玉琢.清華大學出版社. 2012 多媒體技術基礎多媒體技術基礎.黃榮懷，陳莉，李松.高等教育出版社. 2008【美】 je

2、rry.gibson.多媒體數字壓縮原理與標準.電子工業出版社.2000 2021-5-123 參考文獻： 虛擬現實系統.張茂軍. 科學出版社.2001 虛擬現實基礎及實用算法.石教英. 科學出版社.2002 虛擬現實技術虛擬現實技術.申蔚, 曾文琪.清華大學出版社. 2009 靈境技術的理論.現實及應用.汪成為. 清華大學出版社.1996.9 虛擬現實技術虛擬現實技術.(美) grigore c. burdea, (法) philippe coiffet著. 電子工業出版社. 2005 虛擬現實技術與藝術虛擬現實技術與藝術.李勛祥.武漢工業大學出版社. 2007 2021-5-124 fir

3、st of all 1.介紹背景 2.課程的層次(偏理論) 3.課程的重要性和實用性 4.如何學好該課程 5.對該課程的設想(教學形式 手段 交互方式) 6.我的認識 課程安排（一） n人員：2個老師，8個碩士 n內容：6個專題 n特點：經典、深入、新穎、前沿、科普 n要求：全體出席，缺席2次取消考試資格 n希望：收獲、自信、狂想、享受 n實惠：建立專業自信心、發掘興趣本源 2021-5-125 課程安排（二）我的內容 n多媒體技術基礎（序，媒體元素，壓縮） n多媒體硬件（時代性、透過硬件看科技） n多媒體軟件（實用性、每一個都是技能） n時間的故事（數學之美、生活的抽象） 2021-5-12

4、6 課程安排（三）今天的內容 n序（觀念，透視身邊的世界） n媒體元素（審視我們如何感受世界，轉換） n壓縮（假設我們也生活在那個時代） n時間的故事（奇妙無比） 2021-5-127 2021-5-128 多媒體技術的基本概念 多媒體技術的發展歷程 多媒體技術的研究內容 第一節 多媒體的基本概念 1 媒體與多媒體 媒體（感覺,表示,顯示,存儲,傳輸）； 多媒體技術的定義；多媒體的技術組成：計算機、電視、廣播 通信、印刷、心理學、行為科學 2 多媒體的關鍵特性 信息載體的多樣性、交互性、集成性 第一章第一章 概概 論論 2021-5-129 第二節 多媒體技術的產生和發展 （科學技術的發展來源

5、于人性的原始欲望，生產力的時代性） 1 多媒體是技術和應用發展的必然 2 多媒體改善了人類信息的交流：在計算機描繪的世界中找尋現實 世界的感受 3 多媒體縮短了人類傳遞信息的路徑：讓神話和夢想成為現實，接 近人類的想象世界 第一章第一章 概概 論論 2021-5-1210 第三節 多媒體技術研究的主要內容 （多媒體技術、多媒體系統；分類技巧） 1 多媒體技術的基礎 媒體的性質和相應的處理方法；數據壓縮技術 （媒體的基本特性、媒體數據壓縮編碼基本方法2章） 2 多媒體軟硬件平臺 （多媒體硬件環境、多媒體軟件基礎2章） 3 多媒體操作系統技術 （媒體的時間關系、多媒體操作系統2章） 第一章第一章

6、概概 論論 2021-5-1211 4 多媒體信息管理技術 （超媒體與web系統、多媒體數據庫與基于 內容檢索2章） 5 多媒體通信與分布應用技術 （多媒體通信與網絡、分布式多媒體 應用系統2章） 學習的歷程、規劃知識樹的歷程、認識世界和自己的歷程學習的歷程、規劃知識樹的歷程、認識世界和自己的歷程 是一段充滿苦和樂、喜與憂的歷程是一段充滿苦和樂、喜與憂的歷程 祝大家體會到學習的快樂祝大家體會到學習的快樂 第一章第一章 概概 論論 2021-5-1212 第一節 媒體的之類和特點 1 常見的媒體元素 文本（text) 、圖形（graphic）、圖象（image）、 視頻（video）、音頻（au

7、dio）、動畫（animation） 含義，基本內容，基本概念，主要技術，技術參數 2 媒體的種類 視覺類媒體、聽覺類媒體、觸覺類媒體 3 媒體的性質和特點 四種性質：格式、表達方式和程度、相互轉換、相互關系 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1213 n重新審視人類信息獲取機能 n試圖用抽象的方法揭示信息感知模型 n構劃出多媒體技術的生理和理論基礎 2021-5-1214 空間性質：表現空間、空間結構（關系）；視覺空間、聽覺空間、 觸覺空間（獲取和再現） 時間性質：表現時間、時間結構（關系）；周期、非周期；同步、 實時 媒體的語義：二進制位流 、抽象層次不同語義的重點

8、不同 媒體結合的影響：被理解程度（視覺83、聽覺11、觸覺3、 其余4）；記憶駐留效果（談話 2小時后70，72小時后10； 觀看 2小時后72，72小時后20；視聽并舉 2小時后85，72小 時后65）感覺相乘效應 隱喻（metaphor）:與多媒體系統交互的概念模型（心智模型）隱 喻技術虛擬現實空間。 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1215 第2節 聽覺媒體技術 心理學、數字化和符號化、三維處理 1 聲音心理學 聲音的量綱：波：頻率、振幅、相位 聲強：分貝兩個波峰幅度a和b之比 db=20log109(a/b) 聲音與參照聲之間的差指就是它的分貝數 0db=2.

9、83x10-4 dyn(達因)/cm2 痛苦限為100120db 心理上（響度、音調） 他們和強度與頻率的關系（3點） 見表2。1 聽覺曲線、掩蔽、臨界頻帶、相位、自然聲音的識辨現象、聽覺 空間、聽覺的頻譜特性、聲音的心理模擬 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1216 2 音頻的數字化和符號化 音頻信號的處理3點：人機、機人、人機人 兩個方向：采樣和處理（壓縮、符號化）；再現 奈奎斯特采樣定理：只要采樣頻率高于信號中最高頻率的2倍， 就可以從采樣中完全恢復原始信號的波形。 20hz20khz 11.025khz 22.05khz 44.1khz pcm(pulse c

10、ode modulation,脈沖編碼調制） 聲音的數據量（采樣頻率x量化精度x聲道數）/8(byte/s) 數字音頻文件格式表2。2 聲音的符號化 midi(musical instrument digital interface) 適合的情況 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1217 3 音頻媒體的三維化處理 三維虛擬聲音空間(three dimensional virtual acoustic,3dva) 達 到的5個目標 3dva的基本理論 hrtf方法（雙耳相關函數法）（head-related transfer function, 與頭部有關的轉移函數）

11、nasa ames 研究中心音響實驗室 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1218 第三節 視覺媒體技術 1 視覺心理學 心理特征：心理變量和物理變量的關系表2。3 視覺特性：亮度、時間特性、彩色、注視點和視野范圍 2 模擬視頻原理 寬高比 4：3 16：9 制式：pal ntsc secam 彩色空間：rgb yuv yiq 3 視覺媒體數字化 位圖圖象與數字視頻 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1219 圖形 與圖象的關系 符號與文字 數字視覺媒體文件格式表2。4 4 視覺媒體的三維立體顯示 立體顯示原理 視差（零視差、正視差、負視差、發散

12、視差） 立體圖象的產生（旋轉法、投影變換法）、顯示（2種方法：交 替顯示、分別顯示） 第二章第二章 媒體與媒體技術媒體與媒體技術 2021-5-1220 第四節 觸覺媒體技術 1 概述 環境媒體 位置跟蹤、力量反饋 2 簡單指點設備與技術（任務5項、指點設備） 3 位置跟蹤（手指動作測量和數字化、空間位置跟蹤） 超聲波發射器、六自由度 4 力反饋（例子）、觸覺反饋（數據手套）、熱覺反饋 逼真和危險 第二章第二章 媒體與媒體技術媒體與媒體技術 本章思考本章思考，terribly funny itu-t的g3、g4 jpeg: 無損預測編碼算法、基于dct的有損編碼算法（6步）、基 于dct的增強

13、系統（2種累進操作方式）、基于dct的分層操作方式 （編碼過程5步） jpeg2000:6部分主要內容、算法（離散余弦變換算法dct、離散小 波變換算法dwt）、特點（高壓縮率、無損壓縮、漸進傳輸、感興 趣區域壓縮、色彩模式、圖像處理簡單） 第三章第三章 多媒體數據壓縮多媒體數據壓縮 2021-5-1230 3 視頻壓縮標準 mpeg-1 mpeg-2 mpeg-4 mpeg-7 mpeg-21； h.261 h.263；運動jpeg mpeg-1: 目標、內容、壓縮技術（基于16x16子塊的運動補償，減 少幀序列的時域冗余、基于dct的壓縮技術減少空間冗余） 內碼幀（i） 預測幀（p）插補幀

14、（b）d幀及其編碼 時間冗余量的減少：運動補償預測法、運動補償插補法 空域冗余量的減少：變換編碼技術、矢量量化技術 mpeg的分層結構和位流 6個層次（塊層、宏塊層、宏塊片層、圖 像層、圖像組層、圖像序列層） 基本要求 第三章第三章 多媒體數據壓縮多媒體數據壓縮 2021-5-1231 mpeg-2： 目標、內容（mpeg-2系統（5項基本功能）、 mpeg-2 視頻（多需求、特色（框架和級別、壓縮編碼的數據結構、比特流的 語義規則）層次要求 mpeg-4：以內容為中心的描述方法，視頻對象vo(video object),音 頻對象ao(audio object) 內容要求 基于內容的視頻編碼

15、（3步）, 基于vop的編碼（形狀編碼、運動估 計和運動補償、紋理編碼、分級擴展編碼） mpeg-7：內容描述接口的編碼方案（描述原則、多媒體特征類型、 視覺數據的描述、聽覺數據的描述）網絡要求 mpeg-21：將標準集成起來支持和諧的技術以管理多媒體商務 欲望要求 第三章第三章 多媒體數據壓縮多媒體數據壓縮 2021-5-1232 光存儲 音頻接口 視頻接口 多媒體i/o設備 多媒體計算機 透過硬件看科學、 技術的發展 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1233 第一節 光存儲設備 20多年了，光學、微電子技術、光電子技術及材料科學的發展 光學存儲技術 優點：存儲容量

16、大、工作穩定、密度高、壽命長、介質可換、便 于攜帶、價格低廉 系統組成：光盤驅動器、光盤盤片 工作過程： 1 光存儲的類型：只讀型、一次寫、可重寫型（各自的含義） 2 光存儲系統的技術指標：尺寸（12英寸、 4.72英寸、 14.12英寸、 5.25英寸、 3.5英寸、容量（格式化容量、用戶容量）、 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1234 n試圖在知識的海洋中找到一條航線，通向大 家興趣的頂點 n硬件產業的游戲規則 n我國工業基礎的差距 n體會各種科學分支是多么的親近 2021-5-1235 平均存取時間 平均尋道時間 平均等待時間、數據傳輸率（數據傳 輸率、同步傳

17、輸率 異步傳輸率 dma傳輸率、突發傳輸率、持續傳輸 率）、誤碼率、平均無故障時間 3 光存儲格式標準和類型 （數據格式、編碼方法、物理尺寸、cd技 術） 如表4.1 4 cd-rom光存儲系統：盤片物理層次（漆膜保護層、反射鋁層、聚 碳酸酯基層）；驅動器構造（光頭、聚焦伺服、道跟蹤伺服、clv伺 服、efm解調、錯誤檢測和校正處理） 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1236 5 cd-r光存儲系統：1991.11 philips(compact disc recordable)、一次 寫多次讀的可刻錄光盤系統 盤片物理層次（漆膜保護層、反射金層、 染料記錄層、聚碳酸

18、酯基層）；刻錄和讀取原理（激光照射產生熱量 將有機染料燒熔并使其變成光痕） 6 磁光（mo)存儲系統： 盤片物理層次（氮化硅保護層、鋁合金反射 層、記錄層鐵鈷合金、樹脂基層）；刻錄和讀取原理（300度居里點） 7 相變（pd)光存儲系統：相變式可重復檫寫光盤驅動器（phase change rewritable optical disk drive,pd) 最引人注意，松下電氣產業 1995最早 被cd-rw和dvd-ram沖擊 盤片物理層次（電介質層、 相變記錄層、冷卻層、保護層、樹脂基層）；刻錄和讀取原理（600 度 400度 晶體和非晶體兩種狀態） cd-rw 第四章第四章 多媒體硬件環

19、境多媒體硬件環境 2021-5-1237 8 dvd光存儲系統：利用mpeg2的壓縮技術來儲存影像 規格及他們 的功能介紹（dvd-rom dvd-video dvd-audio dvd-r dvd-ram)、 盤片物理結構（單面單層、單面雙層、雙面單層、雙面雙層） 9 光盤庫系統 圖4.4 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1238 第二節 音頻接口 1 音頻卡的工作原理(3種媒體：數字化聲音（wave),合成音樂 （midi),cd音頻） 錄制和播放：7項技術指標p88 編輯與合成：聲音特效（倒播、增加回音、靜噪、淡入和淡出、往 返放音、交換聲道、聲音移位） mid

20、i接口與音樂合成 文語轉換和語音識別 游戲接口 cd-rom驅動器接口 支持全雙工功能：同時錄音和放音 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1239 音頻卡的體系結構 組成部件：midi輸入/輸出電路，midi合成器芯片，多輸入混合電 路，模數轉換器，壓縮芯片，語音合成器，語音識別電路輸出電路 體系結構如圖4.5 數字化聲音處理工作原理（圖4.6) fm合成器工作原理（圖4.8) 多聲源混音的工作原理（圖4.7) 同時參看windows的mixer 2.音樂合成和midi接口規范 音樂合成與midi：midi的實質、合成方法、性能參數 midi術語 midi接口 midi

21、技術規范 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1240 3 語音合成：概述、合成方法（3種2個策略）、語音基元數據庫的構 建（2個問題）、韻律模擬（待解決的問題） 4 語音識別：語音識別系統的分類（4個分類方法）、最終目標（4個 要求）、研究的難點（4方面）、應用領域 人機交互的最高境界（人類的夢想）自然語言理解 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1241 第三節 視頻接口 視頻采集、播放和顯示設備的功能 1 視頻圖像顯示 顯示系統技術：vga混合、可伸縮的vga混合、雙緩沖vga混合/ 伸縮、使用數字信號處理器（dsp） 視頻顯示技術標準：共4代

22、（mda philips的 trimedia; chromatic research的mpact media engine 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1247 intel的mmx技術：multi media extension(多媒體擴展）；4個新特 性（新的數據類型、擴充的飽和型運算方式、擴充的57條新指令、與 ia結構的全兼容性） 2 多媒體總線 pci（peripheral component interconnect)總線：6大特點； agp(accelerated graphics port)總線：三維圖形技術的發展必然 3 多媒體個人計算機（mpc)

23、 mpc規范：1 2 3版的最低功能要求 表4.5 mpc的性能：圖像處理能力、聲音的處理能力、midi樂器數字接 口、動畫處理能力、多媒體數據的存儲、mpc之間的信息傳遞 第四章第四章 多媒體硬件環境多媒體硬件環境 2021-5-1248 知識點： 多媒體軟件的系統層次 多媒體素材制作軟件 多媒體節目著作工具 多媒體程序設計基礎 多媒體應用設計 第五章第五章 多媒體軟件基礎多媒體軟件基礎 2021-5-1249 第一節 多媒體軟件的層次 5類4層：驅動軟件、多媒體操作系統、多媒體數據準備軟件、多媒 體編輯創作軟件、多媒體應用軟件 各類軟件的作用和分工：對象的概念（交融、多態） 第五章第五章

24、多媒體軟件基礎多媒體軟件基礎 2021-5-1250 第二節 多媒體素材制作軟件 1 文本編輯和錄入軟件 2 圖形與圖像編輯與處理軟件 3 音頻編輯與處理軟件 4 視頻編輯 5 動畫編輯 了解制作的要點和各類軟件應具備的一般功能 了解目前流行的一些素材制作軟件 第五章第五章 多媒體軟件基礎多媒體軟件基礎 2021-5-1251 第三節 多媒體著作工具 目的：讓普通的工作人員能夠高效率地制作適合不同專業地多媒體 應用系統 1 概述 幾個概念：創作環境、創作系統、創作工具、集成工具 多媒體著作工具的標準：8個功能和特性：p151 多媒體創作模式： 8種 圖5.14 類型：2種分類方法11種類型 2

25、 authorware 3 director 4 toolbook 第五章第五章 多媒體軟件基礎多媒體軟件基礎 2021-5-1252 第四節 多媒體程序設計基礎 1 媒體控制接口（media control interface, mci)：在控制音頻、視頻 外圍設備方面，提供了與設備無關的應用程序 mci編程接口：命令字符串和命令消息 mci命令集：表5.1 mci設備：類型（表5.2）、設備名（win.ini)、打開mci設備 客戶/服務器思想 2 多媒體api函數 api函數調用規則：聲明、使用值和參數傳遞 多媒體的api函數 波形聲音函數 表5.4 第五章第五章 多媒體軟件基礎多媒體軟

26、件基礎 2021-5-1253 第五節 多媒體應用設計 1 多媒體應用分類：6類 2 多媒體應用設計過程 選題 腳本設計 創意設計 人機界面設計：10大設計原則 多媒體應用（節目）是一部交互式電影，需要各類人員的參與 第五章第五章 多媒體軟件基礎多媒體軟件基礎 2021-5-1254 第一節 多媒體同步的基本概念 1 基本概念 組織時基的、非時基的多種媒體序列通過傳輸、合成達到 某種表現效果，稱為多媒體同步或合成；時間同步、空間同步。 2 同步的種類：應用同步、合成同步、現場同步、系統同步 3 同步的分層服務模型 圖6.2 媒體層、流層、對象層、描述層 再次體會規范的含義，理解數學的魅力-人類

27、最偉大的語言 第六章第六章 多媒體的時間表示與同步多媒體的時間表示與同步 2021-5-1255 第二節 時間模型 1 時間依賴的定義 表6.1 2 時間的概念模型：13種兩個區間在時間上所具有的相互關系；圖6.4 描述7種基本的關系：before,start,meets,overlap,during,finishes,equals； 前6種都有逆關系； 第六章第六章 多媒體的時間表示與同步多媒體的時間表示與同步 2021-5-1256 第三節 時間的規范與表示 1 時間規范的目的：為了向在創建時和合成時所要求同步的數據 對象提供一種時間關系表達的手段 2 相對時間規范與絕對時間規范 時態瞬時

28、（temporal instants） 時態區間（temporal intervals)：層次化方法；參考點方法 并行和順序關系：用串行和并行表示時間關系；非周期性區 間的轉換 第六章第六章 多媒體的時間表示與同步多媒體的時間表示與同步 2021-5-1257 第四節 多媒體同步的表示方法 基于語言、基于流圖；最有意義的要求是能夠具有表示并發 及實時表現計時的能力 1 基于圖形的表示法： 時間現、流圖、petri網（ocpn）、時間 層次法 注意圖6.11ocpn與時間關系的對應；圖的理解 2 基于腳本的表示法 幾個概念：表現、演員、角色、活動、場景 腳本的同步關系（場景運算、場景表達式） 腳

29、本語言的表示：事件、情節、場、實現方法 腳本編程語言：必須有明確的時間語義的定義 3 交互和同步 第六章第六章 多媒體的時間表示與同步多媒體的時間表示與同步 2021-5-1258 第五節 時間同步與系統支持 1 概述 2 系統支持的有關問題 時間表示的數據結構 數據壓縮的影響 同步的系統支持 同步異常 第六章第六章 多媒體的時間表示與同步多媒體的時間表示與同步 2021-5-1259 第一節 概述 1 面臨的問題 2 主要原因 4大原因 第七章第七章 多媒體操作系統多媒體操作系統 2021-5-1260 第二節 操作系統的問題 1 基本概念（略） 2 多媒體的引入與os的限制 實時服務與時間

30、要求 中斷等待 優先權倒置管理 周期性活動 時限和恢復管理 服務質量（qos）管理和許可控制 第七章第七章 多媒體操作系統多媒體操作系統 2021-5-1261 第三節 操作系統對連續媒體的支持 1 體系結構的支持 圖7.1 2 資源管理的支持 基于qos的資源控制 實時調度 基于qos的內存管理 基于時間的i/o管理 3 程序設計的支持 實時線程 時限管理 實時同步 第七章第七章 多媒體操作系統多媒體操作系統 2021-5-1262 4 實時進程間通信（ipc) 消息排隊 優先權交出 優先權繼承 消息分發 第七章第七章 多媒體操作系統多媒體操作系統 2021-5-1263 第四節 支持連續媒

31、體的文件系統 問題的實質：4點 1 單流情況 讀取函數、消耗函數與緩沖函數 圖7.2 最早起始時間 最少緩沖器 2 多流情況 3 介質調度 傳統磁盤調度算法 最早時限優先法（earliest deadline first,edf） scan-edf算法 分組移動調度算法（grouped sweeping scheduling,gss） 第七章第七章 多媒體操作系統多媒體操作系統 2021-5-1264 第一節 超媒體系統的組成 1 超媒體的概念和發展歷史 超文本和超媒體的概念： 為了適應人類思維的習慣，研究信 息的表現手段；文本結構的變革；媒體的多樣性產生了超媒體。 簡史：v.bush 193

32、9 as we may think memex; douglas engelbart 1959 on line system; ted nelson 1960s hypertext; 1980s 著名的系統、國際性會議；1990s 信息高速公路 2 超媒體的組成要素：節點（媒體類節點、動作和操作節點、組 織型節點、推理型節點）；鏈（基本結構鏈（基本鏈、交叉索 引鏈、節點內注釋鏈）、組織鏈和推理鏈（索引鏈、執行鏈、 推理鏈）、其他鏈（自動連接、類型鏈）、熱標（字、區、元、 點、屬性）、宏節點 第八章第八章 超媒體與超媒體與webweb系統系統 2021-5-1265 3 超媒體系統的dexter

33、模型：3層（存儲層 storage layer、運行層 run-time layer、元素內部層within-component layer)；2個接口 （錨定接口anchoring、表現規范presentation specification) 4 超媒體系統的組成：3個子系統（作者、讀者、支持） 了解各個子系統的功能要求：與寫書和讀書聯系起來學習和 理解。 第八章第八章 超媒體與超媒體與webweb系統系統 2021-5-1266 第二節 web超媒體系統 1 分布式超媒體系統www：超文本抽象機（html和http）； 3層結構（表現層、超文本抽象機器層、超文本信息庫層）；統 一資源定位

34、url(universe resourse locator)的作用 2 www中的超媒體協議與標記語言：sgml大家庭：html （固定的標記）、xml（可自由定義的標記） 了解sgml、http、html、xml 3 www的缺陷和未來：存在問題（5個）、局限性（5個）、人 們的工作（hyper-g) 第八章第八章 超媒體與超媒體與webweb系統系統 2021-5-1267 第三節 智能超媒體系統 1 概念：關鍵是能否提供智能計算 expertext 2 expertext的節點和鏈：對象節點、規則節點；鏈要有計算和推 理能力（is-a鏈、has-a鏈、藴含鏈） 3 智能超媒體的推理模型：

35、語義網模型、流控模型 第八章第八章 超媒體與超媒體與webweb系統系統 2021-5-1268 第一節 多媒體數據管理的問題 1 概述：真實世界、計算機世界、映射、表示方法；面向對象數 據庫、基于內容檢索技術、超媒體技術；另一種管理信息的方 法（數據庫） 2 多媒體數據管理的問題：多媒體帶來的問題（8大問題）；請 大家思考一下：你怎么來解決這些問題。 3 有哪些多媒體數據：字符、文本、聲音、圖形、圖像、視頻 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索 2021-5-1269 第二節 多媒體數據庫體系結構 1 結構形式：聯邦型、集中統一型、客戶/服務型、超媒體型 2 多

36、媒體數據庫的層次結構：傳統的（物理模式、概念模式、外 部模式），尋找三層模式的感覺；多媒體數據庫的層次劃分， 三方面的工作：從最低層增加對多媒體數據的控制與支持、在 最高層支持多媒體的綜合表現和用戶查詢描述、在中間增加對 多媒體數據的關聯和超鏈的處理；四層結構：媒體支持、存取 與存儲數據模型、概念數據模型、多媒體用戶接口 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索 2021-5-1270 第三節 多媒體數據模型 數據模型的3大基本要素：數據對象類型的集合、操作的集合、 通用完整型規則的集合 1 nf2數據模型： nf2（non first normal form)非第一

37、范式，允 許表中有表，理解他們的實現方法；原因是充分利用關系型數 據庫的已有成果；該方法的局限性。 2 面向對象的數據模型：關于對象的一些基本概念（對象、屬性、 方法、消息、對象類、類層次、繼承性）；幾種常用的語義關 聯（聚集關聯（aggregation association,a關聯）、概括關聯 （generalization association,g關聯）、相互作用關聯 （interaction association,i關聯）、示例關聯（instance association)、has-method和has-rule關聯 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容

38、檢索 2021-5-1271 運算體系：定義、查詢、操縱（引入類和對象后的變化）；3 種運算在類和對象上的新的含義 面向對象多媒體數據模型的特點：共10條；重點從封裝、繼 承、對象類和實例、復合對象等幾方面考慮 3 其他數據模型：超媒體數據模型（網、有向圖）、文獻模型 （樹）、專有媒體數據模型（針對特定領域） 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索 2021-5-1272 第四節 基于內容檢索系統的結構和方法 這是一個新興的領域，大家可以在這里施展才華 1 多媒體與媒體語義：數據、信息、信息表示方法；抽象（引入 語義）；基于內容檢索（content based re

39、trieval）的主要研究 內容：如何使系統直接從各種媒體中獲取信息線索，并將線索 用于數據庫中的檢索操作，幫助用戶從數據庫中檢索出合適的 多媒體信息對象，也是能縮小人和計算機之間鴻溝的一個領域 2 基于內容檢索系統的一般結構： 圖9.10、圖9.11；插入子系 統、特征提取子系統、數據庫、查詢子系統 3 基于內容檢索的過程和指標：圖9.12；初始檢索說明、相似性 匹配、特征調整、重新檢索；分割；主要指標：查全率、查準 率 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索 2021-5-1273 4 特征匹配的過程及方法：模糊值（模糊集、隸屬函數）；特征 值分類和計算；特征調整；相似特征偏差；相似度及最終求值 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索 2021-5-1274 第五節 圖像內容分析及檢索方法 1 基于顏色直方圖檢索：顏色直方圖原理及性質（4個性質）； 檢索方法（qbe方法：指明顏色組成、指明一幅圖像、指明圖 像中的一個子圖）；顏色直方圖的相似性匹配 2 圖像輪廓和紋理特征檢索：基于骨架和輪廓的檢索、基于紋理 的檢索 第九章第九章 多媒體數據庫與基于內容檢索多媒體數據庫與基于內容檢索