2010年3月26日星期五1

參考書

1《多媒體技術及其應用》

——鐘玉琢、沈洪等編著機械工業出版社

2《多媒體技術基礎及應用》

——鐘玉琢、冼偉鈴等編清華大學出版社

3《多媒體技術原理及應用》

—馬華東編著清華大學出版社

4《多媒體技術實驗教程》

一萬華明等編著科學出版社

2010年3月26日星期五2

:三5工

課程簡介

多媒體計算機技術是當今計算機產業發展的新

領域。本課程從設計、開發和應用的角度綜合講述

了多媒體計算機的基本原理和關鍵技術。主要內容

有：多媒體計算機定義、分類、現狀及發展趨勢；

視頻和音頻信號的獲取、處理及輸出；多媒體數據

壓縮編碼的基本算法及現行的編碼國際標準；多媒

體計算機硬件及軟件系統結構；最后介紹了三個多

媒體應用領域及其核心技術：多媒體數據庫及基于

內容檢索技術、多媒體創作工具及同步技術、多媒

體通訊和分布式多媒體系統。它包括：視頻會議、

多媒體交互式電視技術及計算機支持的協同工作

(CSCW)系統。

2010年3月26日星期五3

學習目標

早期的計算機只能處理數字與文字，現在多媒體計算

機能夠綜合處理聲、文、圖及視頻信息，并具有集成性

和交互性，因此，它促進了通訊、娛樂和計算機的融合,

從而形成新一代的產品，為人類的生活和工作提供全新

的信息服務，它是計算機產業重要的發展趨勢。通過本

課的學習，使同學了解多媒體計算機發展趨勢，掌握多

媒體計算機的基礎理論知識、熟悉多媒體計算機的應用

領域。

2010年3月26日星期五

課程目錄

★第一章多媒體計算機技術概述

★第二章音頻信息處理

★第三章視頻信息獲取、處理和顯示技術

★第多媒體數據壓縮技術

★第五章多媒體計算機硬件及軟件系統結構

★第六章超文本和超媒體

★第七章多媒體數據庫與基于內容檢索

★第八章多媒體著作工具與同步方法

★第九章多媒體通信和分布式多媒體系統

2010年3月26日星期五5

第一章多媒體計算機技術概述

本章重點介紹：

1）多媒體計算機的定義

2）多媒體計算機的分類

3）多媒體計算機的關鍵技術

2010年3月26日星期五6

第一章內容

1.1多媒體計算機的定義和關鍵技術

1.2多媒體技術促進了通訊、娛樂和計算機技術的融合

1.3多媒體計算機技術的應用和發展

2010年3月26日星期五7

1.1多媒體計算機的定義和關鍵技術

本節重點：

1）多媒體計算機的定義

2）多媒體計算機的分類

3）多媒體計算機的關鍵技術

2010年3月26日星期五8

學習指導

1.1.1多媒體計算機的定義分類和關鍵技術（重點介紹）

1.L2多媒體使計算機技術發展的必然趨勢

1.1.3在多媒體計算機發展史上卓有成效的公司和系統

2010年3月26日星期五9

LL1多媒體計算機的定義和關鍵技術

?何謂多媒體?

媒體(Medium)在計算機領域有兩種含義：

1)用以存儲信息的實體，如磁帶、磁盤、光盤和

半導體存儲器等

2)信息的載體，如數字、文字、聲音、圖形和圖

像，多媒體技術中的媒體是指后者

2010年3月26日星期五10

1多媒體計算機技術的定義

多媒體計算機技術的二戈：

計算機綜合處理多種媒體信息，文

本圖形、圖像、音頻和視頻，使多種信

息建立邏輯連接，集成為一個系統并具

有交互性。

多媒體計算機技術的三個主要特性

2010年3月26日星期五11

交互性

多媒體的是指用戶可以與

計算機的多種信息媒體進行交互操作

從而為用戶提供了更加有效地控制和

使用信息的手段。

2010年3月26日星期五13

集成性

是指以計算機為中心綜合處

理多種信息媒體，它包括信息媒體的集

成和處理這些媒體的設備的集成。

______________包括信息的多通道

統一獲取、多媒體信息的統一組織和存

儲、多媒體信息表現合成等方面。

包括硬件和軟件

兩個方面O

2010年3月26日星期五14

2多媒體計算機的分類

從開發、生產廠商以及應用的角度出發可以分成

兩大類：

電視計算機(Teleputer)

家電制造廠商研制的電視計算機，是把CPU放到家電中,

通過編程控制管理電視機、音響，有人稱它為“靈巧”

電視---SmartTV

計算機電視(Compuvision)

計算機制造廠商研制的計算機電視，采用微處理器作為

CPU,其它設備還有VGA卡、CD-ROM、音響設備以及擴

展的多窗口系統，有人說它的發展方向是TV-Killer

2010年3月26日星期五15

維納斯——生產家電的“機頂盒”

維納斯計劃：

上網功能

傻瓜計算機

數字家電網絡控制平臺

（清華大學計算機系人機交互與媒體集成研究

所）

聯網功能

傻瓜計算機功能

接收數字電視

控制所有家電

2010年3月26日星期五16

藍牙(bluetooth)在數字化信息家電中的應用低

功率短距離的、無線連接技術的別稱。

藍牙技術的特點包括:

1、采用跳頻技術，數據包短，抗信號衰減能力強;

2、采用快速跳頻和前向糾錯方案以保證鏈路穩定,

減少同頻干擾和遠距離傳輸時的隨機噪聲影響；

3、使用2.4GHzISM頻段，無須申請許可證；

4、可同時支持數據、音頻、視頻信號；

5、采用FM調制方式，降低設備的復雜性。

隨著計算機和網絡通信技術的發展，計算機數字化

技術、現代通信技術、已融合到信息家電中，使之智能

化并具有網絡信息終端的功能。

2010年3月26日星期五17

促進多媒體技術發展的關鍵技術是：

?(l)CD-ROM解決了多媒體信息的存儲問題；

?(2)高速計算機網絡可以傳送多媒體信息；

?(3)高速位處理技術、專用集成電路技術和亞微米集成

電路技術的發展，為多媒體技術提供了高速處理的硬

件環境；

?(4)多媒體壓縮技術、人機交互技術和分布式處理技術

的出現促進了多媒體系統的產生與發展。

2010年3月26日星期五18

3多媒體計算機的關鍵技術

-視頻音頻信號獲取技術;

-多媒體數據壓縮編碼和解碼技術;

-視頻音頻數據的實時處理技術;

-視頻音頻數據的輸出技術

2010年3月26日星期五19

-視頻音頻信號獲取技術

過去計算機只能處理數和文字，現在要綜合

處理聲、文、圖。多媒體計算機要解決的第一個關鍵

技術視頻音頻信號獲取問題。只有將視頻音頻信號獲

取到計算機中，才能談到綜合處理。可以自己設計聲

音和視頻信號獲取器，也可以使用聲霸卡、視頻卡等

解決視頻音頻信號的獲取問題。

2010年3月26日星期五20

■多媒體數據壓縮編碼和解碼技術

過去計算機企圖綜合處理聲、文、

圖，但是不可以原因在于：文件數據量

過大

2010年3月26日星期五21

以一幅彩色靜態圖像(RGB)為例:

設分辨率為512x512

每一種顏色用8bit表示

即R用8bit256級別表示

G用8bit256級別表示

B用8bit256級別表示

則一幅彩色靜態圖像的數據盤為

512x512x3x8bit

2010年3月26日星期五22

NTSC制式30幀/秒

以PAL制25幀/秒為例.視頻每秒件的數據量

512x512x3x8x25=180Mbps

22

PhaseAlternatingLineNationalTelevisionSystemsCommittee

PAL制式（逐行倒相制式）NTSC制式，全國電視系統委員會制式

2010年3月26日星期五23

過去計算機的總線為ISA

ISA總線的傳輸率為150KB/S

變成bit為150x8=1.2Mbps

把180Mbps的視頻流經過傳輸率為

150KB/S的ISA總線送到計算機的硬盤

幾乎是不可能的。

差不多要壓縮近似200倍

2010年3月26日星期五24

視頻壓縮標準很多，比如VCD的標準是MPEG

-1（一種壓縮比率較大的活動圖象和聲音

的壓縮標準），DVD的標準是MPEG-2

現在VCD的標準MPEGT的定傳輸率為

1.5Mbps

通過壓縮可以把視頻流傳輸到計算機并且

存儲。

如何壓縮數據?

幀內壓縮

幀間壓縮

2010年3月26日星期五25

幀內壓縮

圖——Bitmap——存儲器——順色相同的塊——幀內壓縮

26

幀間壓縮

不變化的只傳送一次.傳送一個運動矢量

2010年3月26日星期五

■AC-3是美國杜比實驗室開發的數字多聲道音響標準的

代號，正式名稱是“DoblyDigital（杜比數碼）”，即

現在的DVD影碟所采納的數字多聲道音響規格。前置左

右，后置左右，中置和低音6個聲道經壓縮處理后，存

儲在DVD影碟上。在播放影像時，不論以雙聲道還是完

整的六聲道輸出聲音，也必須把存儲在DVD影碟上的資

料解碼。

?杜比AC-3提供的環繞聲系統由5個全頻域聲道和1個超

低音聲道組成，被稱為5.1聲道。5個聲道包括左前、中

央、右前、左后、右后。低音聲道主要提供一些額外的

低音信息，使一些場景，如爆炸、撞擊等聲音效果更好。

6個聲道的信息在制作和還原過程中全部數字化，信息

損失很少，全頻段的細節十分豐富。

■AC-3解碼器是解壓用的設備。而這里所指的設備，可

以是DVD的一部分，一部外置的功放機，也可以是DVD解

碼軟件中的一部分

2010年3月26日星期五28

■視頻音頻的實時處理技術

實時處理----Realtime

2010年3月26日星期五29

電視信號的掃描光柵掃描一行的時間為64微秒

其中正程為52.2微秒

逆程為11.8微秒

如果分辨率為512x512則處理每個象素的時間近似為0.1

微秒

實時的概念是:

512x512處理一個象素的時間為0.1微秒

256x256處理一個象素的時間為0.2微秒

2010年3月26日星期五30

-11121

-22

-11-1-1-1

Sobel算子

抽取某圖像的邊緣

利用sobel算子對每一個點作相應的運算，每

次9^*點

實時：蚩求在0.1微秒內做9個加法和9個乘法

運算，將運算結果放到中間的點上

解決的方法

DSP——數字信號處理器

LUT(LookUpTable)查找表

2010年3月26日星期五31

-視頻音頻的輸出技術

過去計算機處理數和文字，現在要綜合處理聲、

文、圖。就要解決視頻音頻的輸出問題

輸出視頻：視頻會議畫中畫電視

音頻：環繞立體聲DolbyAC-3

2010年3月26日星期五32

1.1小節總結

--

.-I

驀定義：綜合處理聲文圖信息，集成性和交互性。

得分類：電視計算機和計算機電視

關鍵技術:

視頻音頻信號獲取技術;

多媒體數據壓縮技術和解碼技術;

視頻音頻數據的實時處理技術；

視頻音頻數據的輸出技術

2010年3月26日星期五33

第一章內容

1.1多媒體計算機的定義和關鍵技術

1.2多媒體技術促進了通訊、娛樂和計算機技

術的融合

1.3多媒體計算機技術的應用和發展

2010年3月26日星期五34

1.2多媒體技術促進了通訊、娛樂和計算機的融合

所謂通信、娛樂和計算機的融合,

即把消費類電子產品：電話、電視、圖文

傳真機、音響、錄像機與計算機融為一體,

由計算機完成視頻音頻信號的采集，壓縮

和解壓縮，實時處理視頻和音頻及其特技、

視頻的多窗口顯示及音頻的立體聲輸出，

從而形成新一代的產品，為人類的生活和

工作提供全新的信息服務

2010年3月26日星期五35

0餐1.2多媒體技術促進了通訊、娛樂和計算機

:看的融合

8W1.2.1多媒體技術是解決常削電機數字化

即■及高清晰度電視(HDTV)切實可行的方案

遴L2.2用多媒體技術制作VCD及影視音響卡

拉0K機

1.2.3個人數字助理(PDA)個人信息通訊

中心(PIC)

2010年3月26日星期五36

1.2.1多媒體技術是解決常規電視數字化

及高清晰度電視(HDTV)切實可行的方案

-HDTV(HighDefinitionTelevision)

-常規電視數字化

-交互式電視(ITV)

-影視節目制作

2010年3月26日星期五37

-HDTV

-常規電視數字化

-交互式電視（ITV）

-影視節目制作

HDTV特點與常規電視的同播問題

采用多媒體計算機技術制造HDTV,它可以

支持任意分辨率的輸出，輸入輸出分辨率可以

獨立，輸出分辨率可以任意變化，可以用任意

窗口尺寸輸出。與此同時，它可能賦予HDTV很

多新的功能，如圖形功能，視頻音頻特技以及

交互式功能。

2010年3月26日星期五38

HDTV特點:

1、采用國際標準的壓縮編碼算法MPEG-2

2、采用打包數據結構

3、采用雙層傳輸技術

采用國際標準的壓縮編碼算法MPEG-

II,這意味著它能以MPEG,JPEG壓縮編

碼算法為基礎的多媒體計算機兼容，并

與其互連通訊

2010年3月26日星期五39

HDTV特點:

1、采用國際標準的壓縮編碼算法MPEG-2

2、采用打包數據結構

3、采用雙層傳輸技術

采用打包數據結構，當電視信號在視頻通道傳

輸時，圖像和聲音數據分成不同分量，在大多數

情況下，這些分量要遵循大小和次序的限制。

HDTV將圖像和聲音信息以及用于多媒體服務的附

加數據以包的方式傳送，這些數據包能夠動態分

配，使HDTV能與計算機、多媒體娛樂、教育系統

及錄像機通訊，打開了將電視機、計算機和通訊

融為一體，通向更靈活服務領域的大門。

2010年3月26日星期五40

HDTV特點:

1、采用國際標準的壓縮編碼算法MPEG-2

2、采用打包數據結構

3、采用雙層傳輸技術

采用雙層傳輸技術，雙層傳輸技

術保證HDTV的可靠性和抗干擾性。它

將信息分開傳送，最重要的數據放到

具有高優先級的載波上傳輸，其它數

據則放到具有標準優先級的載波上傳

輸。

2010年3月26日星期五41

-HDTV

-常規電視數字化

-交互式電視（ITV）

-影視節目制作

常規電視數字化技術及交互式電視技術（包

括點播電視技術VOD）都是當前世界上的熱點課

題，最佳地解決辦法是采用數字式視頻，數字式

音頻及MPEG壓縮編碼算法，以便于數據傳輸、存

貯及計算機控制和管理

如何解決常規電視和高清晰度電視同播

（Simulcast）問題，它就像彩色電視采用YUV方

案和黑白電視兼容同等重要。

2010年3月26日星期五42

國際標準MPEG-2,采用了分層的編碼體系

(HierarchicCoding),提供了較好的可擴充性

(Scalability)及互操作能力

(InteroperabiIity)o既解決了常規電視數字化,

也滿足了HDTV.

為了實現分層編碼，MPEG-2提供了四種工具:

1.空間可擴展性(SpatialScalabiIity)

2.時間可擴充性(TemporalScalabiIity)

3.信噪比可擴充性(SNRScalability)

4.數據分塊(DataPartitioning)

為了支持靈活的性能價格比，MPEG-2還提供了框架

(Profile)與等級(Level)的概念，給出了豐富的

編碼方法，靈活的操作模式以適合不同場合的需要。

2010年3月26日星期五43

-HDTV

-常規電視數字化

-交互式電視（ITV）

-影視節目制作

交互式電視技術（ITV）:

1.節目間交互

2.節目內交互

2010年3月26日星期五44

最常用的是節目間的交互，即VOD系統點播系統,

VOD系統又可以分成和(NearVOD)

如機頂盒。

在真VOD中，針對比如1000個人的點擊，在發射端

視頻服務器就要發出1000個視頻流。在準VOD中，針對

某些節目在黃金時段點播比較集中的特點，比如將90

分鐘的節目分成9個視頻流，10鐘一個，這樣針對比如

1000個人，用9個視頻流就可以滿足要求了，等待時間

不會超過10分鐘，在這段時間可以放一些廣告和節目

預告等，而不需要1000個視頻流，視頻流是很貴的，

一個視頻服務器一個視頻流在美國的售價大體是400美

元。所以說最常用的是節目間的交互，應用最廣的是

準VOD系統。

2010年3月26日星期五45

典型的VOD系統主要由下述四部分組成

(1)視頻服務器

(2)編碼器/路由器

(3)用戶請求計算機和記賬計算機

(4)機頂盒

2010年3月26日星期五46

節目內的交互

用得比較少，主要是交互式影院

等

2010年3月26日星期五48

-HDTV

-常規電視數字化

-交互式電視（ITV）

-影視節目制作

多媒體計算機技術在常規電視和

高清晰度電視，影視節目制作中

的應用分成兩個層次：

（1）影視畫面的制作

（2）影視的后期制作（非線性編

2010年3月26日星期五49

1.2.1多媒體技術是解決常規電

視數字化及高清晰度電視(HDTV)

切實可行的方案

1.2.2用多媒體技術制作VCD及

影視音響卡拉0K機

1.2.3個人數字助理(PDA)個

人信息通訊中心(PIC)

2010年3月26日星期五50

1.2.2用多媒體技術制作V-CD、DVD及影視

音響卡拉OK機

多媒體數據壓縮和解壓縮技術是多媒

體計算機系統中的關鍵技術，全世界很多

半導體廠商都在積極開發、生產、銷售圖

像壓縮和解壓縮芯片

2010年3月26日星期五51

美國C-Cube公司從1989年成立以來，已投資數

千萬美元，先后開發生產了CL-550、CL-560、CL-

460,它們是JPEG靜態圖象壓縮和解壓縮處理器以

及MPEGT解碼器，同時還提供板級產品及開發系統。

經過幾年努力宣傳和推銷，雖然連續幾年在Comdex

博覽會上深受觀眾的歡迎和青睞，但該公司的產品

在對媒體計算機的領域中的銷量欠佳，為了打開芯

片的市場銷路，該公司的董事長決定把芯片用到V-

CD的播放機中。

V-CD是JVC、Philips、Matsushita以及Sony聯

合制定以數字、電視視盤技術標準，它于1993年問

世。我國安徽合肥萬燕公司（與美國和韓國合資）

在世界上首先利用MPEG國際標準和CD光盤技術，研

制了全功能影視音響卡拉0K機CDK-320

2010年3月26日星期五52

視頻播放系統主要有下述3種產品

LMPEG播發卡

2.V-CD播放機

3.DVD播放機

2010年3月26日星期五53

2010年3月26日星期五54

2010年3月26日星期五55

特技式播放麥克風

基于ES-3309芯片的DVD系統框圖

2010年3月26日星期五56

1.2.1多媒體技術是解決常規電視數

字化及高清晰度電視(HDTV)切實可

行的方案

1.2.2用多媒體技術制作VCD及影視

音響卡拉0K機

1.2.3個人數字助理(PDA)個人信

息通訊中心(PIC)

2010年3月26日星期五57

1.2.3個人信息通訊中心（PIC）

PersonaIInformation

CommunicationCenter

Pic也有人稱它為

PAC-PersonalActivityCentre

PDA-PersonalDigitalAssistant

2010年3月26日星期五58

1992年，Apple公司首先推出了世界上

第一個NewtonPDA（個人數字助理），

Motorola、AT&T、IBM、菲利浦、松下、

卡西歐及東芝等世界著名廠商相繼推出

了各具特色的PDA產品。除了美國、西

歐和日本外，臺灣和韓國的廠商也加入

了PDA市場的角逐

PDA的市場代表產品就是掌上電腦，如

商務通等。

2010年3月26日星期五59

中文PDA系統結構——一個例子

我國為了開發具有中國特色的PDA產品，其結構如圖:

圖In中文PDA系統結構圖

31

2060

WAP手機（WirelessAppIication

Protocol,無線應用由議）也是一個

未來無線Internet的主要接入設備。

PDA和WAP手機讓我們看到了移動產品

走向無線互聯的趨勢，也讓我們看到

了計算機和通訊產品融合的端倪。

2010年3月26日星期五61

第一章內容

a

1.1多媒體計算機的定義和關鍵技術

1.2多媒體技術促進了通訊、娛樂和計算機技術

的融合

1.3多媒體計算機技術的應用和發展

2010年3月26日星期五62

1.3多媒體計算機技術的應用和發展

計算機制造廠商研制多媒體計算機,

可以作為可視電話、視頻會議系統終端、

卡拉0K機，電視機，錄像機，VCD機等。

論述內容:

-多媒體數據庫和基于內容的檢索

-多媒體通訊

-多媒體創作工具

2010年3月26日星期五63

1.3多媒體計算機技術的應用和發展

1.3.1多媒體技術的應用

1.3.2多媒體技術的發展方向

2010年3月26日星期五64

t.3.1多媒體技術的應用

就目前而言，多媒體技術已在商業

教育培訓、電視會議、聲像演示等方面

得到了充分應用。

在教育與培訓方面的應用

在通信方面的應用

在其他方面的應用

2010年3月26日星期五65

在教育與培訓方面的應用

多媒體技術使教材不僅有文字、靜

態圖像，還具有動態圖像和語音等。使教

育的表現形式多樣化，可以進行交互式

遠程教學。

利用多媒體計算機的文本、圖形、

視頻、音頻和其交互式的特點，可以編制

出計算機輔助教學(Computer

AssistedInstruction)軟件，即課件。

D

2010年3月26日星期五66

在通信方面的應用

多媒體技術在通信方面的應用主要有:

可視電話

視頻會議

信息點播(InformationDemand)

計算機協同工作CSCW

(ComputerSupported

CooperativeWork)

2010年3月26日星期五67

信息點播有桌上多媒體通信系統和

交互電視ITV。

計算機協同工作CSCW是指在計算機

支持的環境中，一個群體協同工作以完

成一項共同的任務。

計算機的交互性，通信的分布性和

多媒體的現實性相結合，將構成繼電報

電話、傳真之后的第四代通信手段。

2010年3月26日星期五68

在其他萬面的應用

多媒體技術給帶來了巨大的

影響，其中近隼來出現的電子圖書和電

子報刊就是應用多媒體技術的產物。

利用多媒體技術可為

服務，如旅游、郵電、交通、商業、金

融、賓館等。

多媒體技術還將改變未來的

,多媒體技術在家庭中的應用將使人

們在家中上班成為現實。

2010年3月26日星期五69

1.3.2，媒體妓術的發展方向

前，多媒體主要從以下幾個方向發展:

多媒體通信網絡環境的研究和建立

將使多媒體從單機單點向分布、協同多

媒體環境發展，在世界范圍內建立一個

可全球自由交互的通信網。

對該網絡及其設備的研究和網上分

布應用與信息服務研究將是熱點。

2010年3月26日星期五

利用圖像理解、語音識別、全文檢

索等技術，研究多媒體基于內容的處理、

開發能進行基于內容的處理系統是多媒

體信息管理的重要方向。

匚多媒體標準仍是研究的重點：各類

標準的研究將有利于產品規范化，應用

更方便。它是實現多媒體信息交換和大

規模產業化的關鍵所在。

2010年3月26日星期五71

.多媒體技術與相鄰技術相結合，提

供了完善的人機交互環境。多媒體仿真

智能多媒體等新技術層出不窮，擴大了

原有技術領域的內涵，并創造新的概念。

D多媒體技術與外圍技術構造的虛擬

現實研究仍在繼續進展。多媒體虛擬現

實與可視化技術需要相互補充，并與語

音、圖像識別、智能接口等技術相結合,

建立高層次虛擬現實系統。

2010年3月26日星期五72

1.3.1多媒體數據庫

1.3.2多媒體通訊

1.3.3多媒體創作工具及同步技術

1.3.4多媒體計算機的發展趨勢

2010年3月26日星期五74

1.3.1多媒體數據庫

多媒體數據庫

、

葉

書

機

計

明

館

設

輔

助

博

物

等

等

計

館

2010年3月26日星期五

內容

一、多媒體數據庫的研究途徑

二、研究開發多媒體數據庫要解決的關鍵

三、多媒體數據庫基于內容的檢索

2010年3月26日星期五76

一、多媒體數據庫的研究途徑

目前多媒體數據庫的研究主要有以下三條途徑：

1.在現有商用數據庫管理系統的基礎上增加接口，以

滿足多媒體應用的需要；

2.建立基于一種或幾種應用的專用多媒體信息管理系

統；

3.從數據模型入手，研究全新的通用多媒體數據庫管

理系統。

第一種途徑實用，但是效率很低；

第二種途徑易于實現，但缺乏通用性，而且可擴展

性差；

第三種途徑是研究和發展的主流，但是具有相當的

難度。

2010年3月26日星期五77

二、研究開發多媒體數據庫要解決的關鍵技術

a多媒體數據模型

b數據的壓縮和解壓縮

c多媒體數據的存貯管理和存取方法

d多媒體信息的再現及良好的用戶界面

e分布式技術

2010年3月26日星期五78

a多媒體數據模型

多媒體數據模型主要采用關系數據模型的

擴充和采用面向對象的設計方法。由于用傳

統的關系模型難以描述多媒體信息和定義對

多媒體數據對象的操作，目前在關系模型擴

充方面除了引入抽象數據類型外，較多的采

用語義模型的方法。

關系模型主要描述數據的結構，而語義模型

則主要表達數據的語義，語義模型的層次高

于關系模型，后者可以作為前者的基礎。

2010年3月26日星期五79

b數據的壓縮和解壓縮

由于多媒體數據，如聲音、圖像

及視頻等數據量大，存貯和傳輸需要

很大的空間和時間，因此必須考慮對

數據進行壓縮編碼。

壓縮方法要考慮到復雜性，實現

速度及壓縮質量等問題。

2010年3月26日星期五80

C多媒體數據的存貯管理和存取方法

目前常用的有：分頁管理、B+樹和

Hash方法等。

在多媒體數據庫中還要引入:

?基于內容的檢索方法、

?矢量空間模型信息索引檢索技術、

?超位檢索技術

?智能索引技術等。

2010年3月26日星期五81

d多媒體信息的再現及良好的用戶界面

在多媒體數據庫中應提供對聲音、圖

像、圖形和動態視頻的各種編輯和變換功

能。

2010年3月26日星期五82

e分布式技術

多媒體數據通信對網絡帶寬有較高的要

求，需要相應的高速網絡，此外還要解決數

據集成、異構多媒體數據語言查詢、調度和

共享等問題。

2010年3月26日星期五83

三、多媒體數據庫基于內容的檢索

系統組成

1目標標識

2特征提取

3數據庫

4查詢接口

5檢索引擎

6索弓I/過濾器

2010年3月26日星期五84

基于內容的檢索處理過程

1提交查詢要求

2相似性匹配

3返回候選結果

4特征調整

2010年3月26日星期五85

一個圖象檢索實例一基于內容的檢索

清華大學計算機科學與技術系結合國家863高技術

研究發展項目“Web上基于內容的圖像檢索”的研究，于

1997年研制了一個Internet上的靜態圖像的基于內容檢

索的原型系統

系統的實現了七種特征的圖象檢索，即

?主顏色、

?紋理、

?色調直方圖、

?輪廓、

■顏色分布、

■彩色直方圖

2010年y由題2期五86

?主顏色(DominatingColor)

主顏色就是圖片中占較大比重的顏色。在圖像處

理中，主顏色的提取過程是：將圖像的各點顏色值

(一般是RGB值)量化到16*16*16的區間內，然后對

圖像的點聚類。如果某聚類顏色的像素點占圖像全部

像素的20%以上，就認為該聚類中心顏色是該圖的主

顏色。所以，一幅圖片的主顏色可能不止一種。

IfCUCtfirfirrH

2010年3月26日星期五87

oo

oc

用

踴

嘲

m

9

z

nle:

>

o

3

z

?紋理（Texture）

紋理特征適用于墻紙、布匹等具有簡單、重

復性的圖案的檢索。對紋理而言，如果用戶沒有

一定的美術基礎，很難直接用繪畫的方式提交數

據，因此采用了預定義的模板的方式，用戶可以

在特征輸入區中瀏覽選擇。

?顏色分布(ColorDistribution)

顏色分布是另外一個檢索效果較好的特征。

它同時表示了圖像中顏色的值與位置屬性，比較

直觀，在查詢界面上以用戶直接畫圖的方式提交

數據

輪廓（Sketch）

在圖像庫中有很多圖片的內容難以用顏色、位置、

紋理來描述。比如想查詢“畫面分為上下兩部分〃的圖

像，用前面提到的特征無法方便地描述，可以用

Sketch特征來描述畫面中的各個部分的相對位置關系

2010年3月26日星期五92

'(ivznio

0

2010年3月26日星期五

1.3.1多媒體數據庫

1.3.2多媒體通訊

1.3.3多媒體創作工具及同步

技術

1.3.4多媒體計算機的發展趨

勢

2010年3月26日星期五94

1.3.2多媒體通訊

現代化社會人的工作方式的特點是具

有群體性、交互性、分布性及協作性。

傳統的電訊業務電話，傳真等通信方式

已不能適應社會的需要，為了提供更具有

人性化的交流環境，把通信手段從語音為

主轉向視頻為主是一個很自然的要求。

2010年3月26日星期五95

一、多媒體通訊分類

1一類是對稱的全雙工的多媒體通信，

如分布式多媒體信息系統、視頻會議系

統及計算機支持的協同工作系統;

2一類是(信息量)非對稱全雙工的多

媒體通信系統，如交互式電視系統

(ITV)、點播電視、遠程教育系統、

遠程醫療診斷系統及遠程圖書館。

2010年3月26日星期五96

二、多媒體通訊的關鍵技術

1多媒體數據壓縮（越小越好）

2高速數據通信問題（帶寬越寬越好）

2010年3月26日星期五97

一個視頻會議系統的例子

視頻會議系統要解決的問題

1多媒體終端的設計

2MUC多點控制單元

3QOS服務質量

4安全保密

5視頻會議系統的標準

2010年3月26日星期五98

三、視頻會議系統

分類：

1點對點視頻會議系統

2多點視頻會議系統

2010年3月26日星期五99

2010年3月26日星期五100

H.261H.221

視翩輸入摘出一視糖編解碼多路

復用/

G.711(722.728)解復用

訐頻輸入箱出一音頻編解碼一鋌遲

T.120

用戶應用數據ISDN

網

H.230.H.242.H.243網絡

接口

系統控制一*控制待儀SRP/LAPM處理-MCU

圖8.2H.320標準系統框圖

2010年3月26日星期五101

H.261.H.263H.222

視翩輸入輸出視頻編加碼數據

打

包

解

G.7n.G?722.G.723c728包

音穩輸入輸出音頻編解碼延遲

T.120

局域

網絡

接口

2010年3月26日星期五102

H.263H.223

圖8.5H.324標準系統植圖

2010年3月26日星期五103

1.3.1多媒體數據庫

1.3.2多媒體通訊

1.3.3多媒體創作工具及同步技術

1.3.4多媒體計算機的發展趨勢

2010年3月26日星期五10