1、多媒體技術與圖像處理Multimedia Image Processing 參考書n多媒體技術基礎（第三版）n多媒體技術基礎（第二版）林福宗清華大學出版社2002年n多媒體技術基礎與應用（網絡版）林福宗清華大學出版社2000年教材多媒體技術基礎及應用 （第二版） 鄂大偉 編著 高等教育出版社，2003 http:/ 參考書n多媒體計算機技術基礎及應用鐘玉琢、蔡蓮紅、李樹青、史元春高等教育出版社面向21世紀課程教材1999年參考書n多媒體系統設計Prabhat K.Andleigh & Kiran Thakrar徐光佑、史元春電子工業出版社1998年參考書n多媒體技術：計算、通信及應用Ralf

2、Steinmetz, Klara Nahrstedt清華大學出版社什么是多媒體？什么是多媒體？9Video日環食專題第一家獨播劇晚婚魔獸世界-巫妖王之怒姚明科比爆粗口回應阿凡達花絮搶先MJThis is it鐵齒銅牙紀曉嵐第四部首播愛上琉璃苣女孩首播獨家首播花木蘭倔強的蘿卜首播海地地震專題第一家央視Nobody酷6星客廳山寨新聞火星新聞10多媒體世界多媒體世界Search EngineSearch EngineImage SharingImage SharingVideo SharingVideo SharingSocial NetworkSocial NetworkNewsNewsIMIM0

3、.1B onlineMicroblogMicroblogE-commerceE-commerce1112To Summarize:To Summarize:多媒體的定義n多媒體多媒體（multimedia）是兩種或者兩種以上感覺媒體(聲音、圖像、圖形、視頻、動畫、文字、數據、文件等)的組合。n廣義廣義: 是指多種信息媒體的表現和傳播形式。n狹義狹義: 用計算機及其它設備交互處理多媒體信息的方法和手段，或指在計算機中處理多種媒體的一系列技術。n一 多媒體技術概述n二 音頻處理技術n三 文本處理技術n三 圖像處理技術n四 視頻處理技術n五 多媒體搜索技術一 多媒體技術概述n提綱多媒體的基本概念多媒

4、體技術的發展與趨勢多媒體技術的應用多媒體數據的特性與表現形式多媒體技術的研究內容多媒體計算機系統1.1多媒體技術的基本概念n媒體是一種信息的表現形式信息的實際載體：紙、磁盤、光盤、錄像帶和錄音帶等。信息的邏輯載體：文字、圖像、圖形、視頻、 音頻等。1.1多媒體技術的基本概念n按國際電信聯盟(ITU)標準的定義，媒體分為五類感覺媒體表示媒體顯示媒體存儲媒體傳輸媒體感覺媒體(Perception)n感覺媒體直接作用于人的感官，使人直接產生感覺，幫助人們感知周圍的世界。文字、聲音文字、聲音圖像、視頻圖像、視頻甜、酸、苦、辣甜、酸、苦、辣疼、冷、熱疼、冷、熱 、甜、甜？表示媒體(Representat

5、ion)n表示媒體，為了有效的加工、處理和傳輸感覺媒體而人為研究和構造出來的媒體。文字、聲音文字、聲音圖像、視頻圖像、視頻甜、酸、苦、辣甜、酸、苦、辣疼、冷、熱、疼、冷、熱、 甜甜？表示媒體(Representation)n文本ASCII碼、漢字國標編碼GB、Unicoden圖形GKS圖形編碼、CEPT或CAPTAIN標準n音頻PCM、MP3、RA、WMAn圖像JPEG、GIF、TIF、BMP編碼n視頻MPEG、H.26X顯示媒體(Display)n感覺媒體和用于通信的電信號之間轉換用的一類媒體，可分為輸入顯示媒體和輸出顯示媒體。顯示媒體(Display)存儲媒體(Storage)n用于存放數

6、字化的表示媒體的存儲介質如硬盤、磁帶、如硬盤、磁帶、CD-ROM、DVD等等 傳輸媒體(Transmission)n能夠將表示媒體從一處傳遞到另一處的物理傳輸介質，如同軸電纜、雙絞線、光纖等。n根據與時間的關系可以將媒體劃分為靜態媒體靜態媒體：信息的再現與時間無關，如文本、圖形、圖像等等連續媒體連續媒體：具有隱含的時間關系，其播放速度將影響所含信息的再現。如聲音、動畫、視頻等。連續媒體的引入給傳統的計算機系統、通信系統和分布式應用系統提出了更高的要求。媒體另外一種分類方法計算機與媒體之間的關系CPUOutputDeviceStorageInputDevice表示媒體存儲媒體顯示媒體顯示媒體感覺

7、媒體感覺媒體表示媒體傳輸媒體多媒體的定義n狹義多媒體的概念包含幾層含義：媒體的表示形式處理多種媒體的硬件設備存儲信息的實體多媒體技術n利用計算機技術將多種媒體綜合一體的技術，使之建立起邏輯連接，并對它們獲取、壓縮編碼、編輯、加工處理、存儲和展示。n多媒體技術多媒體技術就是把聲音、文字、圖像、視頻等多就是把聲音、文字、圖像、視頻等多種媒體和計算機集成在一起的技術。種媒體和計算機集成在一起的技術。n學科交叉：數字化信息處理技術、音頻處理技術、圖像和視頻處理技術、計算機軟件和硬件技術、人工智能和模式識別技術、通信和網絡技術等。多媒體的關鍵特性n多樣化多樣化 ：文字、數字、聲音、圖像、圖形、視頻等。n

8、集成性集成性：多種信息媒體的集成和處理這些媒體的設備的集成。n交互性交互性：人的活動（activity）本身能作為一種媒體介入到信息轉變為知識的過程。被動主動n數字化數字化：多媒體信息是以數字的形式而不是以模擬信號的形式存儲和傳輸的。1.2多媒體技術的發展與趨勢計算機計算機0，1通通 信信大眾傳媒大眾傳媒文文 本本圖像圖形圖像圖形聲音聲音視頻視頻MPC郵郵 政政電電 報報電電 話話數字網數字網ISDN信息高速信息高速報報 紙紙廣廣 播播電電 影影電電 視視HDTVITV多媒體時代多媒體時代1.2多媒體技術的發展與趨勢n歷史上的多媒體系統1984年美國Apple公司的Macintosh，位圖概念

9、（Bitmap），圖符用戶接口，1987年Hyper Card1985年美國Commodore公司推出世界上第一臺多媒體計算機系統 Amiga系統 1986年Philips/Sony推出交互式緊湊光盤系統CD-I1987年RCA公司推出交互式數字視頻系統DVI到20世紀的90年代，MPC、JPEG、MPEG和H.26X標準等1.2多媒體技術的發展與趨勢n當前發展多媒體信息存儲：CD/DVD、下一代高清DVD、大容量硬盤 數據壓縮技術網絡技術提供多媒體信息的共享與遠程傳輸數字音視頻處理算法、硬件與系統多功能圖像采集和處理系統，高分辨率或超高分辨率圖像合成與顯示系統新一代人機接口: 觸摸屏、三維鼠

10、標、三維掃描儀、立體顯示頭盔、數據手套、無線鼠標自然語言理解、語音合成與識別技術具有多媒體處理指令的CPU高速發展1.2多媒體技術的發展與趨勢1.2多媒體技術的發展與趨勢n未來的主要發展趨勢分布式、網絡化、協同工作的多媒體系統。分布式、網絡化、協同工作的多媒體系統。n尤其是在因特網上的可視電話、點播電視、電子商務、遠程教學和醫療等方面迅速發展。以用戶為中心，發展交互多媒體和智能多媒體技術與設備。以用戶為中心，發展交互多媒體和智能多媒體技術與設備。n使人用日常的感知和表達技能，與計算機進行自然的交互，讓計算機主動感知用戶的交互意圖，這包括了多通道人機交互技術，情感識別技術、生物識別技術和無障礙的

11、虛擬現實技術等。三電（電信、電腦、電器）通過多媒體數字化技術，相互滲透融合。三電（電信、電腦、電器）通過多媒體數字化技術，相互滲透融合。n 信息智能家電、移動辦公等。1.2多媒體技術的發展與趨勢n三電合一 三網合一電腦電腦 因特網 Web TV, Web Phone, Meeting, Business, Education, Diagnosis, .電信電信 通信網 有線電話網, 移動電話網, 衛星通信, 光纜通信, 可視電話電視電視 有線電視網 點播電視, 交互式電視,圖文電視 數字電視, HDTV1.3多媒體技術的應用n娛樂n教育與培訓n多媒體辦公系統n多媒體通信系統n工業領域與科學計算

12、領域n醫療影像與診斷n咨詢服務、多媒體設計、廣告宣傳、創意媒體n電子出版n影視特效、動漫2021-10-2238CHEN Junzhou圖像處理Why Digital Image Processing?2021-10-2239CHEN Junzhou2021-10-2240CHEN JunzhouMultiple Camera System412021-10-22CHEN JunzhouImages and Videos are Everywhere .2021-10-2242CHEN JunzhouVideo is image sequence2021-10-2243CHEN Junzhou

13、If We Want If We Want 2021-10-2245CHEN JunzhouPhotoshop2021-10-2246CHEN JunzhouAfter Effect472021-10-22CHEN JunzhouIf You Want2021-10-2248CHEN JunzhouFish Drive the Car2021-10-2249CHEN JunzhouFlappy Bird Robot2021-10-2250CHEN JunzhouPhoto!Simulated color pencils!Simulated oil painting!source: Feng X

14、iao, EE368 class project, spring 2000. Image Processing Examples !Special Effects!2021-10-2251CHEN JunzhouImage Processing Examples !Pseudocolor enhancement for security screening!Source: Gonzalez+Woods, Fig. 6.24!2021-10-2252CHEN Junzhou2021-10-2254CHEN JunzhouDraw Image2021-10-2255CHEN JunzhouImag

15、e Processing Examples !Mosaic from 33source images!Mosaic from 21 source images!source: M. Borgmann, L. Meunier, EE368 class project, spring 2000. 2021-10-2256CHEN JunzhouDrag-and-Drop PastingDrag-and-Drop Pasting.hk/leojia/all_project_webpages/ddp/drag-and-drop_pasting.htmlExa

16、mples: Artistic EffectsnArtistic effects are used to make images more visually appealing, to add special effects and to make composite images60CHEN Junzhou2021-10-22Examples: Law EnforcementnImage processing techniques are used extensively by law enforcersNumber plate recognition for speed cameras/a

17、utomated toll systemsFingerprint recognitionEnhancement of CCTV imagesImages taken from Gonzalez & Woods, Digital Image Processing (2002)Image Processing Examples !License Plate Recognition !/1103.htm!http:/ JunzhouExamples: HCInTry to make human computer interfaces mo

18、re naturalFace recognitionGesture recognitionnDoes anyone remember the user interface from “Minority Report”?nThese tasks can be extremely difficultImage Processing Examples !Face Detection !source: Henry Chang, Ulises Robles, EE368 class project, spring 2000. 2021-10-2264CHEN JunzhouFace recognitio

19、nWho is she? Vision-based biometrics“How the Afghan Girl was Identified by Her Iris Patterns” Read the story Image Processing Examples !Biometrics: Iris recognition!Source: J. Daugman, U. Cambridge!2021-10-2267CHEN JunzhouImage CompressionYoyogi Park, Tokyo, October 1999. Photo by Alan Peters.Origin

20、al image is 5244w x 4716h 1200 ppi: 127MBytes2021-10-2268CHEN JunzhouImage Compression: JPEGJPEG quality levelFile size in bytes2021-10-2269CHEN JunzhouJPEG quality levelFile size in bytesImage Compression: JPEG2021-10-2270CHEN JunzhouExamples: Industrial InspectionnHuman operators are expensive, sl

21、ow andunreliablenMake machines do thejob insteadnIndustrial vision systems are used in all kinds of industriesnCan we trust them?Images taken from Gonzalez & Woods, Digital Image Processing (2002)Examples: PCB InspectionnPrinted Circuit Board (PCB) inspectionMachine inspection is used to determine t

22、hat all components are present and that all solder joints are acceptableBoth conventional imaging and x-ray imaging are usedLogin without a passwordFingerprint scanners on many new laptops, other devicesFace recognition systems now beginning to appear more widelyhttp:/ recognition (in mobile phones)

23、nThis is becoming real: Microsoft ResearchPoint & Find, NokiaRobotics/NASAs Mars Spirit Rover/wiki/Spirit_roverApplications: RoboticsNatureRiver Cherwell, OxfordOptical character recognition (OCR)Digit recognition, AT&T labshttp:/ to convert scanned docs to

24、 textIf you have a scanner, it probably came with OCR softwareLicense plate readers/wiki/Automatic_number_plate_recognitionThe Matrix movies, ESC Entertainment, XYZRGB, NRCSpecial effects: shape capturePirates of the Carribean, Industrial Light and MagicSpecial effects: motion

25、captureSmart carsnMobileyeVision systems currently in high-end BMW, GM, Volvo models By 2010: 70% of car manufacturers.DemoSlide content courtesy of Amnon ShashuaVision-based interaction (and games)Nintendo Wii has camera-based IRtracking built in. See Lees work atCMU on clever tricks on using it to

26、create a multi-touch display! Digimask: put your face on a 3D avatar.“Game turns moviegoers into Human Joysticks”, CNETCamera tracking a crowd, based on this work.Vision in spacenVision systems (JPL) used for several tasksPanorama stitching3D terrain modelingObstacle detection, position trackingFor more, read “Computer Vision on Mars” by Matthies et al.NASAS Mars Exploration Rover Spirit captured this westward view from atop a low plateau where Spirit spent the closing months of 2007. Medical imagingImage guided surgery