1、汪日偉 天津理工大學 計算機與通信學院第一講 虛擬現實概述第二講 虛擬現實顯示技術 計算機三維圖形技術 立體圖形顯示技術 聲音、力覺顯示第三講 虛擬現實跟蹤技術 位置跟蹤器 數據手套 人體運動跟蹤第四講 人體動畫技術1. 為什么要研究虛擬現實技術2. 虛擬現實系統的構成與特點3. 主要問題與研究方向 計算科學已發展成為與理論和實踐并列的第三種科學研究方法，為解決一些傳統方法無法解決的問題提供了新途徑、新方法。 人機交互方式 計算機表達信息的形式更真實 見CG_Wrl_5_011.wrl中數據1） 產品設計與人機功效產品設計與人機功效(飛機，空間站等飛機，空間站等) 虛擬原型的設計和驗證 虛擬裝

2、配 虛擬人機工程學 機器人領域 工程的設計和規劃 波音公司完全使用虛擬現實技術設計波音 777 新型客機獲得成功 多倫多市（ Toronto ）的城市規劃與管理 城市規劃 大型工程漫游 名勝古跡虛擬旅游 數字化酒店展示系統 2） 科學計算可視化科學計算可視化3） 虛擬組裝虛擬組裝4） 仿真訓練仿真訓練5） 協同工作環境的仿真協同工作環境的仿真6） 娛樂娛樂游戲半條命2 教育虛擬校園，虛擬實驗和教學，遠程教育和特殊教育，技能培訓，建筑設計與城市規劃 娛樂 1990,battle Tech center 1991, W-Industries Ltd 浙大虛擬乒乓球 寧波新文三維：室內高爾夫運動模擬

3、器，虛擬主持人等 騰訊的3D QQ show. 藝術 文化遺產保護：北大故宮，浙大和德國合作敦煌數字化 虛擬博物館和虛擬旅游：故宮，盧浮宮 虛擬音樂：東京Waseda大學開發的musical virtual space. 虛擬演播室：1991NHK的Nano space 虛擬演員 電影：侏羅紀公園，泰坦尼克，星球大戰，動捕 中視典數字科技有限公司中視典數字科技有限公司，總部注冊于深圳高新技術園區，成立于2002年，北京分公司成立于2005年1月。是從事虛擬現實與仿真、多媒體技術、三維動畫研究與開發的專業機構，是國際領先的虛擬現實技術（virtual reality Technology）整體解

4、決方案供應商和相關服務提供商。 以清華大學工業系仿真實驗室雄厚的技術開發實力為基礎，自成立之日起就以開發和制作適合中國虛擬仿真市場的仿真系統解決方案和適于推廣的可視化軟件平臺為主要方向，立志創造中國虛擬仿真軟硬件的旗幟名牌。公司現已獨立研發了包括數據手套，虛擬環境的力反饋等系統，并成功實現了中國第一套動作捕捉系統填補了國內空白，成績豐碩，已成為用戶中國仿真界中首選的理想合作企業。 計算科學的應用與存在的問題計算科學的應用與存在的問題(續續)1. 計算科學已發展成為與理論和實踐并列的第三種科計算科學已發展成為與理論和實踐并列的第三種科學研究方法，為解決一些傳統方法無法解決的問題學研究方法，為解決

5、一些傳統方法無法解決的問題提供了新途徑、新方法。提供了新途徑、新方法。 傳統人機交互方法： 人與計算機間的交互通過鍵盤、鼠標、顯示屏等工具實現。 虛擬現實方法： 將計算科學處理對象統一看作一個計算機生成空間（虛擬空間或虛擬環境），并將操作它的人看作是這個空間的一個組成部分(man-in-the-loop)。 人與計算機空間的對象之間的交互是通過各種先進的感知技術與顯示技術（即虛擬現實技術）完成。 人可以感受到虛擬環境中的對象，虛擬環境也可以感受到人對它的各種操作（類似于人與真實世界的交互方式）。 1956年, 美國的Morton Heileg開發了一個被稱為 Sensorama(傳感景院）的摩

6、托車仿真器，具有以下功能： 三維視頻及立體聲效果， 振動風吹的感覺， 城市街道的氣味， 用戶可以坐在仿真器的座位上經歷一種開摩托車漫游美國紐約曼哈頓的感覺。固定的超聲波擴大器超聲波接收器頭盔主計算機控制器接接收收器器發發送送器器液液晶晶顯顯示示屏屏光光學學裝裝置置立立體體聲聲耳耳機機立立體體聲聲產產生生器器位位置置和和方方向向跟跟蹤蹤器器左左眼眼影影象象產產生生器器右右眼眼影影象象產產生生器器 1965年，美國的年，美國的 Ivan Sutherland 發表了一篇名為發表了一篇名為“The Ultimate Display”（終極的顯示）的文章。的文章。 1968年，年，他在哈佛大學組織開發

7、出第一個計算機圖形驅動的頭盔顯示器（Helmet-Mounted Display，即 HMD），并開），并開發發了與了與HMD相配的相配的頭部位置跟蹤系統。 這些探索過程中，人們開始形成與虛擬環境相關的以下一些概念： 人工現實（Artificial Reality） 虛擬現實（靈境）（Virtual Reality） 虛擬環境（Virtual Environment） 電腦空間（Cyberspace） 等 這些可以理解為對虛擬現實技術的不同稱呼，其中以 Virtual Reality一詞影響最廣。 VIDEOPLACE系統 VIDEOPLACE是由M.W.Krueger基于視頻的方法設計的一個

8、虛擬環境。他 認為，與計算機相比，人類的進化要緩慢得多；因此，人機接口研究應該將重點放在相對不變的人類特性上。計算機應該適應人，而不是讓人去適應計算機。在這種思想指導下，當其他早期研究者考慮穿著或戴著設備時，Krueger 將目標瞄準無障礙的環境式人工現實。 VIEW 在虛擬現實技術發展史上的地位舉足輕重。當1985年VIEW系統的雛形在美國NASA Ames 研究中心完成時，該系統以低廉的造價、讓參與者有“真實體驗”的效果引起有關專家的注目。該系統的雛形是在Michael McGreevy領導下完成的。VIEW系統有以下特點： 保持了低造價的優勢 裝備了數據手套、頭部跟蹤器等硬件設備 提供了

9、語音、手勢等交互式手段。虛擬現實虛擬現實 = virtual + reality 虛擬現實 (virtual reality，簡稱 VR ) 或稱虛擬環境 (virtual environment)，是一種逼真的視、聽、觸覺一體化的計算機生成環境，用戶可以借助必要的裝備以自然的方式與虛擬環境中的物體進行交互作用、相互影響，從而獲得親臨等同真實環境的感受和體驗。 虛擬現實的主要目的是實現自然人機交互，即實現一種逼真的視、聽、觸覺一體化的計算機生成環境。 虛擬現實的主要實現方法是借助必要的裝備，實現人與虛擬環境之間的信息轉換，最終實現人與環境之間的自然交互與作用。J.J.Gibson總結的總結的感

10、知系統系統目的應用相關系統調整姿勢適應重力及加速度維持身體平衡前庭器官定向通過部分身體運動獲得外部剌激考察或感覺各種信息所有相關感覺走動通過身體運動進入其它環境從一個位置走到另一個位置定向及調整姿勢飲食通過部分身體運動獲取或給予吸收或排除品嘗、吸收及其它身體功能行動有利于個人的行為操作、自我保護等走動及相關行為表達用于表達、表明或識別姿勢、面部或語言表達 語言表達、聆聽及面部表情語義用信號通知或表達語言表達基于信號的相關系統行為系統 行為 感知 參與者 行為系統 感知系統 外界環境 虛擬環境實物虛化人虛物實化王兆其，虛擬環境中物體運動逼真性的研究，博士學位論文，北京航空航天大學，1999.6.

11、 應用領域：維修，醫學檢查，培訓等 主要問題：虛實一致性反饋虛擬環境真實環境操作實物虛化人虛物實化實物虛化虛物實化王兆其虛擬環境中物體運動逼真性的研究博士論文，北京航空航天大學，1999.6. R. T. Azuma,A Survey of Augmented Reality, Presence: Teleoperators and Virtual Environments, 1997, 6(4):355385 一次允許多個用戶參與。 典型的系統有：mWorld, CAVE，DIVE等 主要應用：虛擬研討環境(聊天室), 虛擬社區 主要問題：保證多個用戶對虛擬環境有一致的感受 虛擬環境實物虛化

12、人虛物實化實物虛化虛物實化人王兆其虛擬環境中物體運動逼真性的研究博士論文，北京航空航天大學，1999.6. 分布于不同地理位置的多臺計算機通過網絡互聯 主要應用：軍事仿真，多用戶虛擬環境 典型系統：SIMNET ，NPSNET，STOW， DVENET 主要問題：系統的一致性(由數據分布與網絡延遲引起) 計算機 實物虛化 人 虛物實化 計算機 虛物實化 實物虛化 計算機網絡 人 分布式虛擬環境 王兆其虛擬環境中物體運動逼真性的研究博士論文，北京航空航天大學，1999.6. 真實世界與操作人員相隔兩地 主要應用：遠程手術，遠程探測等 計算機 實物虛化 人 虛物實化 計算機或機器人 虛物實化 實物

13、虛化 計算機網絡 虛擬環境 真實世界 王兆其虛擬環境中物體運動逼真性的研究博士論文，北京航空航天大學，1999.6.ImmersionImaginationInteractionI3 沉浸感(immersion): 參與者全身心地沉浸于計算機所生成的三維虛擬環境，并產生身臨其境的感覺。 交互性(interaction): 參與者可以利用各種感官功能及人類自然技能虛擬環境進行交互考察與操作。 構想性(imagination): 參與者借助VR系統給出的逼真視聽觸覺信號而產生的對虛擬空間的想象 虛物實化 如何根據虛擬環境生成人可直接感受到的真實信號（聲、光、電）。是一個顯示（輸出）問題。 實物虛化

14、 如何將真實世界中的物（特別是人）與事件（特別是人的動作）傳入虛擬環境中。是一個感知的問題。 網絡技術 如何讓多個用戶（特別是不在同一地理位置的多個用戶）參與到同一個虛擬環境中。研究如何感知真實世界中人和物的存在及相關事件的發生：電磁感知：三維定位跟蹤技術。數據手套與數據衣感知技術。視覺感知：基于計算機視覺原理感知技術。聽覺感知：基于聲音定位原理的感知技術。觸覺與力覺感知：觸覺與力覺感知技術。 多種感知信息的融合技術。 研究虛擬環境的合成顯示，包括圖像、聲音、觸覺和力覺的輸出。 立體顯示技術 聲音合成技術 觸覺與力覺合成顯示技術 研究虛擬環境的表示技術 虛擬環境的幾何空間表示技術 逼真環境建模技術(紋理技術，LOD技術) 基于物理特性的建模技術（仿真） 研究多用戶共享虛擬現實實現技術。 1) 網絡技術（帶寬，延遲問題） 2) 數據共享技術(一致性處理） 支持開