下一代人機界面的展望

——虛擬現實及其應用郭建林

下一代人機界面的展望基于智能體的虛擬現實化多通道因特網界面1、因特網2、多通道3、虛擬現實化4、基于智能體基于智能體的虛擬現實化下一代人機界面的展望1.以WIMP(窗口、圖符、菜單、鼠標)為代表的圖形用戶界面還將繼續使用，尤其是在辦公室中廣泛應用。下一代人機界面的展望下一代人機界面的展望2.最普遍的將是以因特網為中心的多種多樣人機界面。我們不僅擁有現在以瀏覽器、搜索引擎為代表的桌面網絡用戶界面，而且還將有一批適應不同帶寬（從高速視頻點播,到低速移動電話）、不同尺寸（從手表／掌上電腦，到墻壁大小）的多種多樣界面。因特網將進入我們的家庭和生活，界面也將嵌入在各種電器以至汽車導航中，普通百姓可通過語音、手寫等易用、方便的界面，實現網上購物等日常用途。下一代人機界面的展望2.最普遍的將是以因特網為中心的多種多樣下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發展和應用。以虛擬現實為代表的計算機系統的擬人化和以掌上電腦為代表的計算機的微型化和隨身化，是當前計算機的兩個重要的應用趨勢。目前以鼠標和鍵盤為代表的圖形用戶界面技術是影響它們發展的瓶頸。利用人的多種感覺通道和動作通道（如語音、手寫、表情、姿勢、視線、筆等輸入），以并行、非精確方式與計算機系統進行交互，可以提高人機交互的自然性和高效性。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發展和應用。以三維、沉浸感的逼真輸出為標志的虛擬現實技術是多媒體、多通道界面的重要應用目標。目前，語音和手寫輸入在實用化方面已有很大進展。預計，隨著模式識別、全息圖象、自然語言理解和新的傳感技術的發展，人機界面技術將進一步朝著計算機主動感受、理解人的意圖方向發展。新的多通道、多媒體人機界面是重要發展趨勢。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如果強迫人類去適應計算機，坐在桌旁操作鼠標和鍵盤，肯定會限制計算機的應用。如果用白光全息技術代替立體顯示器或立體眼鏡，用攝像跟蹤技術及自然語言理解技術來代替“手套”或“鍵盤”，那么人們會有更充分的活動自由，可以在現實環境中享受虛擬的樂趣！下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如下一代人機界面的展望傳統界面依然會有生機。因特網無處不在。各式各樣的全新界面被嵌入到我們生活的各種設備中。以用戶為中心、新的自然人機界面正將我們帶離桌面，去探索更廣闊的物理的、生活的、和數字的世界！新世紀將更加美好！

下一代人機界面的展望1。什么是虛擬現實？ 關于術語VirtualReality（VR）(J.Lanier,1989)譯為:虛擬現實、靈境、幻真...其他：VirtualEnvironment ArtificialReality(M.W.Krueger,1970s)

Cyberspace(W.Gibson,1984)1。什么是虛擬現實？ 關于術語1。什么是虛擬現實？ 是一種可以創建和體驗虛擬世界的計算機系統。而虛擬世界是全體虛擬環境或給定仿真對象的全體。虛擬環境是由計算機生成的，通過視、聽、觸覺等作用于用戶，使之產生身臨其境感覺的交互式視景仿真。用計算機技術來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發，利用自然的技能和某些設備對這一生成的虛擬世界客體進行瀏覽和交互考察。1。什么是虛擬現實？ 是一種可以創建和體驗虛擬世界的計算1。什么是虛擬現實？

1.逼真的感覺 視覺，聽覺，觸覺，嗅覺等 2.自然的交互 運動，姿勢，語言，身體跟蹤等 3.個人的視點 用戶的眼、耳、身所感到的感覺信息 4.迅速的響應 感覺信息根據視點變化和用戶輸入及時更新

1。什么是虛擬現實？ 1.逼真的感覺 視覺，聽覺，觸覺，1。什么是虛擬現實？一項綜合技術涉及 計算機圖形學、人機接口技術、圖像處理與模式識別、多傳感器技術、語音處理與音響技術、網絡技術、并行處理技術、高性能計算機系統、人工智能技術…...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要 計算機專家、人類工程學(Ergonomics)專家、心理學專家等共同開發研究。 1。什么是虛擬現實？一項綜合技術虛擬現實應有的特征（3I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現實與通常CAD系統所產生的模型是不一樣的，它不是一個靜態的世界，而是可以對使用者的輸入作出反應。虛擬現實環境可以通過控制與監視裝置影響或被使用者影響。想象（Imagination）:它的應用能解決在工程、醫學、軍事等方面的一些問題,這些應用是ＶＲ與設計者并行操作,為發揮它們的創造性而設計的,這極大地依賴于人類的想象力。虛擬現實應有的特征（3I)分布式虛擬環境（DistributedVirtualEnvironment)

利用計算機構造的一個真實世界的模擬，地理上分布的用戶可以通過網絡共享該環境，并與周圍的環境以及在相互之間進行交互。共享虛擬環境涉及到虛擬現實、分布對象、網絡、人機交互、智能代理等領域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質是一種人機交互界面

分布式虛擬環境（DistributedVirtualEn分布式虛擬環境的應用軍事訓練

SIMNET&DIS

教育與培訓

pedagogicalagentSteve;JackMOO網絡會議與遠程協作

Sony公司基于DIVE的一個系統娛樂和虛擬社區

Cybertown(使用Blaxxun）電子商務

VRcommerceofIBM分布式虛擬環境的應用分布式虛擬環境發展的原動力因特網技術的廣泛使用:

Internet已經成為娛樂、商業等的重要媒體硬件基礎：網絡帶寬的提高（寬帶網的逐漸普及），個人計算機圖形處理能力的增強軟件基礎：虛擬現實技術和網絡技術的結合日益復雜的數據使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過網絡實現人與人之間實時、形象的交流分布式虛擬環境發展的原動力基于智能體的虛擬現實化多通道因特網界面課件基于智能體的虛擬現實化多通道因特網界面課件2。歷史回顧 虛擬現實和其他技術一樣，也是在 前人大量工作的基礎上發展起來的。1。立體電影，立體聲技術2。飛行模擬器最早實際使用的仿真技術；3。“星際旅行”“宇宙飛船”的演示4。機械手、機器人危險場合進行各類“遙控操作”；5。游戲駕駛汽車、潛艇航行2。歷史回顧 虛擬現實和其他技術一樣，也是在2。歷史回顧重要事件HMD Head-MountedDisplay

1968年Sutherland三維頭盔顯示器

；Videoplace

1985年Krueger正式發表無障礙的人工現實；VIEW項目

VirtualEnvironmentWorkstation 美國宇航局Ames研究中心的虛擬環境工作站；DataGlove

VPL公司采用定位裝置Polhemus的數據手套；2。歷史回顧重要事件VPL公司采用三維定位裝置Polhemus的數據手套示意圖VPL公司采用三維定位裝置Polhemus的數據手套示意圖三維定位裝置Polhemus原理三維定位裝置Polhemus原理重要事件BOOM BinocularOmni-OrientedMonitor

美國宇航局FakespaceLab的雙筒全方位監視器；CAVE Audio-VisualExperienceAutomatic VirtualEnvironment

1992年Cruz-Neira的墻式顯示屏自動聲象虛擬環境；VRML VirtualRealityModelingLanguage

因特網上1.0及2.0版本的虛擬現實建模語言重要事件CAVE

墻式顯示屏自動聲象虛擬環境

Audio-VisualExperienceAutomaticVirtualEnvironmentCAVE

墻式顯示屏自動聲象虛擬環境

Audio-Visu3。應用應用和需求是技術發展的推動力1）軍事

美國國防部和軍方認為：虛擬現實將在武器系統性能評價、武器操縱訓練及指揮大規模軍事演習三方面發揮重大作用。他們制定了戰爭綜合演示廳計劃、防務仿真交互網絡計劃、綜合戰役橋計劃、及虛擬座艙、衛星塑造者等應用環境，并在核武器試驗及許多局部戰爭中進行了應用，不僅節省了大量的軍事費用，更重要的是提高了現代化作戰指揮方面能力。3。應用應用和需求是技術發展的推動力3。應用2）航天航空

美國宇航局是虛擬現實最早研究的單位和應用者。宇宙飛船及各類航空器是需耗費巨資的現代化工具，而進入宇宙有大量未知、危險的因素，因而模擬各種航空器可能遇到的環境，不僅可節省大量費用，而且是十分必要的。虛擬風洞就是一例。3。應用2）航天航空3。應用3）計算機輔助設計

虛擬樣機、虛擬建筑物 工業產品均需要反復構思和設計，但用戶往往仍不滿意。可否在設計早期就給用戶一個逼真的產品樣機？ 美國波音公司Butler設計了一個稱為VS-X的虛擬飛機，它可使設計人員有身臨其境觀察飛機外形、內部結構及布局的效果； 建筑設計師可在蓋樓前通過虛擬建筑物，讓用戶自己來觀察外形和內部房間部位，也便于設計師修改設計。3。應用3）計算機輔助設計3。應用4）外科手術和人體器官的模擬

外科醫生的培訓是一項投資大、時間長的工作，這是因為不能隨便讓實習醫生在病人身上動手術。可是不親自動手，又如何學會手術呢？虛擬手術臺已能部分模仿外科醫生的現場。同樣，提供模擬的人體器官，可讓學生逼真地觀察器官內部的構造和病灶，具有極高的實驗價值。3。應用4）外科手術和人體器官的模擬 外科醫生的培訓是一3。應用5）科學研究和計算的可視化

各種分子結構模型、大壩應力計算的結果、地震石油勘探數據處理等，均十分需要三維（甚至多維）圖形可視化的顯示和交互瀏覽，虛擬現實技術為科學研究探索微觀形態等提供了形象直觀的工具。3。應用5）科學研究和計算的可視化 3。應用6）遠程控制

虛擬現實可采用遙控手段，通過機械手、機器人對危險或有毒環境進行操作。3。應用6）遠程控制 3。應用7）教育、游戲與其他 這是向人們、尤其是青少年提供生動的課堂和娛樂手段的好機遇，它具有三維聲象效果、能進行交互操作的功能，因而已為商家們看好，紛紛開發低檔虛擬現實產品。如虛擬博物館，網上景點瀏覽。3。應用7）教育、游戲與其他虛擬房間虛擬房間積木世界積木世界虛擬現實的適用特點1。需要高成本制造的設備，如航天器，軍用設備。2。對人有危險的環境，如核試驗、飛行訓練。3。目前尚未出現的環境，如建筑物、天體物理虛擬現實的適用特點1。需要高成本制造的設備，如航天器，軍用設4。關鍵技術(系統框圖)1992年Bryson主計算機數據手套（傳感器）（信號源）BOOM雙筒全方位監視器4。關鍵技術(系統框圖)1992年主計算機數據手套（傳感器）4。關鍵技術1.大規模數據的場景建模技術；2.動態實時的立體視覺、聽覺等生成技術;3.三維定位、方向跟蹤、觸覺反饋等傳感技術和設備；4.符合人類認知心理的三維自然交互技術;5.三維交互軟件及系統集成技術4。關鍵技術4。關鍵技術影響（沉浸感）立體視覺因素寬視野（１８０Ｘ１５０）立體顯示彩色高分辨率頭部跟蹤4。關鍵技術影響（沉浸感）立體視覺因素4。關鍵技術視覺設備紅藍濾色眼鏡液晶開關的體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監視器（BOOM）墻式顯示屏自動聲象虛擬環境（CAVE）類型：透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影4。關鍵技術視覺設備4。關鍵技術雙眼立體視圖的生成三維場景上任一點P(x,y,z)，對于左右眼視點L、R，在投影平面z=0上的成象點Pl(xl,yl)、Pr(xr,yr)計算如下：xl=(x*k-z*d/2)/(k+z)

xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推導得：xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件實現4。關鍵技術雙眼立體視圖的生成4。關鍵技術聽覺：3D&Stereo聲源定位：強度（高頻）和時差（低頻）問題：聲音從頭里發出，隨強度差而偏左或偏右原因：與耳朵形狀有關解決：Convolvotron($15,000)耳內錄音+計算4。關鍵技術聽覺：3D&Stereo4。關鍵技術觸覺（Haptic)Haptic:機械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大小）機械臂，空氣囊，記憶金屬，小馬達，小探針。Sandpaper(Minsky,1990)將小馬達連到游戲桿；攪動4。關鍵技術觸覺（Haptic)三維操縱棍,力反饋原理圖三維操縱棍,力反饋原理圖4。關鍵技術 適當的（簡單的）觸覺和/或聽覺提示與反饋能極大地改善人機交互質量 兩個基本的性能指標:幀頻>10fps，響應時間<0.1s4。關鍵技術4。關鍵技術身體跟蹤： 位置的跟蹤（位置+方向） 及角度的度量（指關節、光纖）；眼動跟蹤位置跟蹤技術：正交電磁場 Polhemustrackers超聲波信號 Logitec.MattelPowerGlove機械連接 FakeSpaceLabs視頻信號處理 MyronKruegerLED視頻傳感 UNCatChapelHill慣性跟蹤（加速度） Spaceball4。關鍵技術身體跟蹤： 位置的跟蹤（位置+方向）DHM手勢傳感裝置原理圖DHM手勢傳感裝置原理圖PowerGlove示意圖PowerGlove示意圖三維鼠標器示意圖三維鼠標器示意圖4。關鍵技術市場上已有的產品：（硬件）液晶開關的體視眼鏡

SEGALCDGlasses, StereoGraphicsCrystalEyes, Toshiba3DScopeLCDGlasses三維頭盔顯示器（HMD）

LEEPSystemsCyberface2/3

PolhemusLaboratoriesLookingGlass RPIHMSI(Head-MountedSensoryInterface) VirtualRealityGroupHMD VirtualResearchFlightHelmet4。關鍵技術市場上已有的產品：（硬件）4。關鍵技術市場上已有的產品：（硬件）控制和接口設備:

VPLDataGlove（數據手套）

MattelPowerGlove

Global3Dcontroller(三維定位器）

Logitech3DMouseandHeadTracker（三維鼠標、頭部跟蹤器）

PolhemusIsotrak/Fastrak ISCANHead-MountedEyeImagingSystem（視線跟蹤器）

SENSibleTechnologiesPHANToM（觸覺反饋設備）4。關鍵技術市場上已有的產品：（硬件）頭盔系統頭盔系統跟蹤系統跟蹤系統三維觸覺系統交戰技能訓練者三維觸覺系統交戰技能訓練者4。關鍵技術市場上已有的產品：（系統）SGI公司 虛擬現實中心(RealityCenter) CAVE 仿真工作室(RealityStudio) Onyx2(8CPU) 仿真工作站(RealityStation) Onyx2 桌上型仿真工作站(RealityDesktop) Octane320NT工作站SGIIRISPerformer

仿真開發環境SGIOpenGLOptimizer(OpenInventor)仿真開發環境(中、低檔）SGIFahrenheit(沸點）三維圖形接口庫(forWindowsNT)MultiGen,Paradigm/Vega三維應用建模軟件4。關鍵技術市場上已有的產品：（系統）4。關鍵技術市場上已有的產品：（軟件）MultiGen,Paradigm/Vega三維應用建模軟件DimensionSuperscapeVirtualRealitiesSense8WorldToolKit(WTK)VirtusWalkThroughVREAMDivisionPROVISION100VRXStrayLightPhotoVRTheVividGroup---MandalaWIndustriesVirtuality4。關鍵技術市場上已有的產品：（軟件）原型原型5。最新進展與分類最新進展1）使用基于圖像的繪制技術（或與圖形繪制相結合），以提高圖形生成的速度；如

蘋果公司開發的QuickTimeVR。2）各種新的交互設備:雙手輸入技術；三維力反饋設備等；5。最新進展與分類最新進展5。最新進展與分類3）增強現實(AugmentedReality)也稱混合現實。它是將真實環境和虛擬現實的景象結合起來的一種技術，既可減少生成復雜環境的開銷，又便于對實際物體的操作；4）分布式虛擬現實環境。在因特網（包括高速Internet）環境下，充分利用各地資源的優勢，協同開發虛擬現實的應用，如美國大型軍用交互仿真系統NPSNET及因特網上多人游戲MUD等；5）多通道人機交互技術。即采用人體多種自然交互手段，向系統輸入，如手勢、語音、頭部或身體動作等。5。最新進展與分類3）增強現實(AugmentedRea分類

實際應用的虛擬現實系統大體可分為四類：1）桌面虛擬現實系統，也稱窗口中的VR，成本低，主要用于CAD/CAM、建筑設計等領域；2）沉浸虛擬現實系統，使用頭盔顯示器把用戶的視覺、聽覺及其他感覺封閉起來，產生一種身臨其境的錯覺；3）分布式虛擬現實系統，它建立在沉浸虛擬現實系統和分布式交互仿真(DIS-DistributedInteractionSimulation)的基礎上；4）增強現實(AugmentedReality)也稱混合現實。 也有采用其他的分類方法，在此不再贅述。分類 實際應用的虛擬現實系統大體可分為四類：虛擬現實和多媒體、

多通道人機界面的關系虛擬現實和多媒體、

多通道人機界面的關系多通道與虛擬現實的主要區別兩者研究的目的不同

虛擬現實依靠三維立體視覺、頭盔式顯示器、身體跟蹤和立體音響等技術來模擬現實世界，旨在使用戶獲得一種沉浸式的多種感知通道的靈境體驗。VR中計算機生成的視聽幻想（Audio-VisualIllusion）涉足人腦固有的感覺-效應通道的協調機制。多通道與虛擬現實的主要區別兩者研究的目的不同多通道與虛擬現實的主要區別

多通道研究則力求詳盡地探索人體感知和控制行為中的各種并行和協作特性，它允許用戶利用多個交互通道以并行、非精確方式與計算機系統進行交互，旨在提高人機交互的自然性和高效性。

從交互行為的研究上來說，VR的研究與多通道研究之間存在交集，但它更側重于應用系統。多通道與虛擬現實的主要區別 多通道研究則力求詳盡地探索人體

下一代人機界面的展望

——虛擬現實及其應用郭建林

下一代人機界面的展望基于智能體的虛擬現實化多通道因特網界面1、因特網2、多通道3、虛擬現實化4、基于智能體基于智能體的虛擬現實化下一代人機界面的展望1.以WIMP(窗口、圖符、菜單、鼠標)為代表的圖形用戶界面還將繼續使用，尤其是在辦公室中廣泛應用。下一代人機界面的展望下一代人機界面的展望2.最普遍的將是以因特網為中心的多種多樣人機界面。我們不僅擁有現在以瀏覽器、搜索引擎為代表的桌面網絡用戶界面，而且還將有一批適應不同帶寬（從高速視頻點播,到低速移動電話）、不同尺寸（從手表／掌上電腦，到墻壁大小）的多種多樣界面。因特網將進入我們的家庭和生活，界面也將嵌入在各種電器以至汽車導航中，普通百姓可通過語音、手寫等易用、方便的界面，實現網上購物等日常用途。下一代人機界面的展望2.最普遍的將是以因特網為中心的多種多樣下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發展和應用。以虛擬現實為代表的計算機系統的擬人化和以掌上電腦為代表的計算機的微型化和隨身化，是當前計算機的兩個重要的應用趨勢。目前以鼠標和鍵盤為代表的圖形用戶界面技術是影響它們發展的瓶頸。利用人的多種感覺通道和動作通道（如語音、手寫、表情、姿勢、視線、筆等輸入），以并行、非精確方式與計算機系統進行交互，可以提高人機交互的自然性和高效性。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用戶界面將快速發展和應用。以三維、沉浸感的逼真輸出為標志的虛擬現實技術是多媒體、多通道界面的重要應用目標。目前，語音和手寫輸入在實用化方面已有很大進展。預計，隨著模式識別、全息圖象、自然語言理解和新的傳感技術的發展，人機界面技術將進一步朝著計算機主動感受、理解人的意圖方向發展。新的多通道、多媒體人機界面是重要發展趨勢。下一代人機界面的展望3.多通道、多媒體的自然、高效、智能化用下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如果強迫人類去適應計算機，坐在桌旁操作鼠標和鍵盤，肯定會限制計算機的應用。如果用白光全息技術代替立體顯示器或立體眼鏡，用攝像跟蹤技術及自然語言理解技術來代替“手套”或“鍵盤”，那么人們會有更充分的活動自由，可以在現實環境中享受虛擬的樂趣！下一代人機界面的展望4.無障礙的人機界面將進一步受到重視。如下一代人機界面的展望傳統界面依然會有生機。因特網無處不在。各式各樣的全新界面被嵌入到我們生活的各種設備中。以用戶為中心、新的自然人機界面正將我們帶離桌面，去探索更廣闊的物理的、生活的、和數字的世界！新世紀將更加美好！

下一代人機界面的展望1。什么是虛擬現實？ 關于術語VirtualReality（VR）(J.Lanier,1989)譯為:虛擬現實、靈境、幻真...其他：VirtualEnvironment ArtificialReality(M.W.Krueger,1970s)

Cyberspace(W.Gibson,1984)1。什么是虛擬現實？ 關于術語1。什么是虛擬現實？ 是一種可以創建和體驗虛擬世界的計算機系統。而虛擬世界是全體虛擬環境或給定仿真對象的全體。虛擬環境是由計算機生成的，通過視、聽、觸覺等作用于用戶，使之產生身臨其境感覺的交互式視景仿真。用計算機技術來生成一個逼真的三維視覺、聽覺、觸覺或嗅覺等感覺世界，讓用戶可以從自己的視點出發，利用自然的技能和某些設備對這一生成的虛擬世界客體進行瀏覽和交互考察。1。什么是虛擬現實？ 是一種可以創建和體驗虛擬世界的計算1。什么是虛擬現實？

1.逼真的感覺 視覺，聽覺，觸覺，嗅覺等 2.自然的交互 運動，姿勢，語言，身體跟蹤等 3.個人的視點 用戶的眼、耳、身所感到的感覺信息 4.迅速的響應 感覺信息根據視點變化和用戶輸入及時更新

1。什么是虛擬現實？ 1.逼真的感覺 視覺，聽覺，觸覺，1。什么是虛擬現實？一項綜合技術涉及 計算機圖形學、人機接口技術、圖像處理與模式識別、多傳感器技術、語音處理與音響技術、網絡技術、并行處理技術、高性能計算機系統、人工智能技術…...核心：2M(MPP,MultiMedia),2O(OpenSystem,Object-oriented)需要 計算機專家、人類工程學(Ergonomics)專家、心理學專家等共同開發研究。 1。什么是虛擬現實？一項綜合技術虛擬現實應有的特征（3I)沉浸感（Immersion）:能給人們以真實世界的感覺，讓人感覺全方位地沉浸在這個虛幻的世界中。交互性（Interaction）:虛擬現實與通常CAD系統所產生的模型是不一樣的，它不是一個靜態的世界，而是可以對使用者的輸入作出反應。虛擬現實環境可以通過控制與監視裝置影響或被使用者影響。想象（Imagination）:它的應用能解決在工程、醫學、軍事等方面的一些問題,這些應用是ＶＲ與設計者并行操作,為發揮它們的創造性而設計的,這極大地依賴于人類的想象力。虛擬現實應有的特征（3I)分布式虛擬環境（DistributedVirtualEnvironment)

利用計算機構造的一個真實世界的模擬，地理上分布的用戶可以通過網絡共享該環境，并與周圍的環境以及在相互之間進行交互。共享虛擬環境涉及到虛擬現實、分布對象、網絡、人機交互、智能代理等領域。其他同義詞包括:NetworkedVE(VR),SharedVE(VR),Multi-UserVE,etc.其實質是一種人機交互界面

分布式虛擬環境（DistributedVirtualEn分布式虛擬環境的應用軍事訓練

SIMNET&DIS

教育與培訓

pedagogicalagentSteve;JackMOO網絡會議與遠程協作

Sony公司基于DIVE的一個系統娛樂和虛擬社區

Cybertown(使用Blaxxun）電子商務

VRcommerceofIBM分布式虛擬環境的應用分布式虛擬環境發展的原動力因特網技術的廣泛使用:

Internet已經成為娛樂、商業等的重要媒體硬件基礎：網絡帶寬的提高（寬帶網的逐漸普及），個人計算機圖形處理能力的增強軟件基礎：虛擬現實技術和網絡技術的結合日益復雜的數據使得原來的界面不能滿足需要，人們希望更加直觀的表達信息，使用更加自然的方式進行人機交互以及通過網絡實現人與人之間實時、形象的交流分布式虛擬環境發展的原動力基于智能體的虛擬現實化多通道因特網界面課件基于智能體的虛擬現實化多通道因特網界面課件2。歷史回顧 虛擬現實和其他技術一樣，也是在 前人大量工作的基礎上發展起來的。1。立體電影，立體聲技術2。飛行模擬器最早實際使用的仿真技術；3。“星際旅行”“宇宙飛船”的演示4。機械手、機器人危險場合進行各類“遙控操作”；5。游戲駕駛汽車、潛艇航行2。歷史回顧 虛擬現實和其他技術一樣，也是在2。歷史回顧重要事件HMD Head-MountedDisplay

1968年Sutherland三維頭盔顯示器

；Videoplace

1985年Krueger正式發表無障礙的人工現實；VIEW項目

VirtualEnvironmentWorkstation 美國宇航局Ames研究中心的虛擬環境工作站；DataGlove

VPL公司采用定位裝置Polhemus的數據手套；2。歷史回顧重要事件VPL公司采用三維定位裝置Polhemus的數據手套示意圖VPL公司采用三維定位裝置Polhemus的數據手套示意圖三維定位裝置Polhemus原理三維定位裝置Polhemus原理重要事件BOOM BinocularOmni-OrientedMonitor

美國宇航局FakespaceLab的雙筒全方位監視器；CAVE Audio-VisualExperienceAutomatic VirtualEnvironment

1992年Cruz-Neira的墻式顯示屏自動聲象虛擬環境；VRML VirtualRealityModelingLanguage

因特網上1.0及2.0版本的虛擬現實建模語言重要事件CAVE

墻式顯示屏自動聲象虛擬環境

Audio-VisualExperienceAutomaticVirtualEnvironmentCAVE

墻式顯示屏自動聲象虛擬環境

Audio-Visu3。應用應用和需求是技術發展的推動力1）軍事

美國國防部和軍方認為：虛擬現實將在武器系統性能評價、武器操縱訓練及指揮大規模軍事演習三方面發揮重大作用。他們制定了戰爭綜合演示廳計劃、防務仿真交互網絡計劃、綜合戰役橋計劃、及虛擬座艙、衛星塑造者等應用環境，并在核武器試驗及許多局部戰爭中進行了應用，不僅節省了大量的軍事費用，更重要的是提高了現代化作戰指揮方面能力。3。應用應用和需求是技術發展的推動力3。應用2）航天航空

美國宇航局是虛擬現實最早研究的單位和應用者。宇宙飛船及各類航空器是需耗費巨資的現代化工具，而進入宇宙有大量未知、危險的因素，因而模擬各種航空器可能遇到的環境，不僅可節省大量費用，而且是十分必要的。虛擬風洞就是一例。3。應用2）航天航空3。應用3）計算機輔助設計

虛擬樣機、虛擬建筑物 工業產品均需要反復構思和設計，但用戶往往仍不滿意。可否在設計早期就給用戶一個逼真的產品樣機？ 美國波音公司Butler設計了一個稱為VS-X的虛擬飛機，它可使設計人員有身臨其境觀察飛機外形、內部結構及布局的效果； 建筑設計師可在蓋樓前通過虛擬建筑物，讓用戶自己來觀察外形和內部房間部位，也便于設計師修改設計。3。應用3）計算機輔助設計3。應用4）外科手術和人體器官的模擬

外科醫生的培訓是一項投資大、時間長的工作，這是因為不能隨便讓實習醫生在病人身上動手術。可是不親自動手，又如何學會手術呢？虛擬手術臺已能部分模仿外科醫生的現場。同樣，提供模擬的人體器官，可讓學生逼真地觀察器官內部的構造和病灶，具有極高的實驗價值。3。應用4）外科手術和人體器官的模擬 外科醫生的培訓是一3。應用5）科學研究和計算的可視化

各種分子結構模型、大壩應力計算的結果、地震石油勘探數據處理等，均十分需要三維（甚至多維）圖形可視化的顯示和交互瀏覽，虛擬現實技術為科學研究探索微觀形態等提供了形象直觀的工具。3。應用5）科學研究和計算的可視化 3。應用6）遠程控制

虛擬現實可采用遙控手段，通過機械手、機器人對危險或有毒環境進行操作。3。應用6）遠程控制 3。應用7）教育、游戲與其他 這是向人們、尤其是青少年提供生動的課堂和娛樂手段的好機遇，它具有三維聲象效果、能進行交互操作的功能，因而已為商家們看好，紛紛開發低檔虛擬現實產品。如虛擬博物館，網上景點瀏覽。3。應用7）教育、游戲與其他虛擬房間虛擬房間積木世界積木世界虛擬現實的適用特點1。需要高成本制造的設備，如航天器，軍用設備。2。對人有危險的環境，如核試驗、飛行訓練。3。目前尚未出現的環境，如建筑物、天體物理虛擬現實的適用特點1。需要高成本制造的設備，如航天器，軍用設4。關鍵技術(系統框圖)1992年Bryson主計算機數據手套（傳感器）（信號源）BOOM雙筒全方位監視器4。關鍵技術(系統框圖)1992年主計算機數據手套（傳感器）4。關鍵技術1.大規模數據的場景建模技術；2.動態實時的立體視覺、聽覺等生成技術;3.三維定位、方向跟蹤、觸覺反饋等傳感技術和設備；4.符合人類認知心理的三維自然交互技術;5.三維交互軟件及系統集成技術4。關鍵技術4。關鍵技術影響（沉浸感）立體視覺因素寬視野（１８０Ｘ１５０）立體顯示彩色高分辨率頭部跟蹤4。關鍵技術影響（沉浸感）立體視覺因素4。關鍵技術視覺設備紅藍濾色眼鏡液晶開關的體視眼鏡三維頭盔顯示器（HMD）雙筒全方位監視器（BOOM）墻式顯示屏自動聲象虛擬環境（CAVE）類型：透明/不透明；佩戴/不佩戴；液晶/CRT/LED/投影4。關鍵技術視覺設備4。關鍵技術雙眼立體視圖的生成三維場景上任一點P(x,y,z)，對于左右眼視點L、R，在投影平面z=0上的成象點Pl(xl,yl)、Pr(xr,yr)計算如下：xl=(x*k-z*d/2)/(k+z)

xr=(x*k+z*d/2)/(k+z)yl=yr=y*k/(k+z)可推導得：xl=(x+d/2)/(1+z/k)-d/2xr=(x-d/2)/(1+z/k)+d/2可用硬件實現4。關鍵技術雙眼立體視圖的生成4。關鍵技術聽覺：3D&Stereo聲源定位：強度（高頻）和時差（低頻）問題：聲音從頭里發出，隨強度差而偏左或偏右原因：與耳朵形狀有關解決：Convolvotron($15,000)耳內錄音+計算4。關鍵技術聽覺：3D&Stereo4。關鍵技術觸覺（Haptic)Haptic:機械感受器（壓力與紋理）與本體感受器(proprioceptor)（重量、形狀、大小）機械臂，空氣囊，記憶金屬，小馬達，小探針。Sandpaper(Minsky,1990)將小馬達連到游戲桿；攪動4。關鍵技術觸覺（Haptic)三維操縱棍,力反饋原理圖三維操縱棍,力反饋原理圖4。關鍵技術 適當的（簡單的）觸覺和/或聽覺提示與反饋能極大地改善人機交互質量 兩個基本的性能指標:幀頻>10fps，響應時間<0.1s4。關鍵技術4。關鍵技術身體跟蹤： 位置的跟蹤（位置+方向） 及角度的度量（指關節、光纖）；眼動跟蹤位置跟蹤技術：正交電磁場 Polhemustrackers超聲波信號 Logitec.MattelPowerGlove機械連接 FakeSpaceLabs視頻信號處理 MyronKruegerLED視頻傳感 UNCatChapelHill慣性跟蹤（加速度） Spaceball4。關鍵技術身體跟蹤： 位置的跟蹤（位置+方向）DHM手勢傳感裝置原理圖DHM手勢傳感裝置原理圖PowerGlove示意圖PowerGlove示意圖三維鼠標器示意圖三維鼠標器示意圖4。關鍵技術市場上已有的產品：（硬件）液晶開關的體視眼鏡

SEGALCDGlasses, StereoGraphicsCrystalEyes, Toshiba3DScopeLCDGlasses三維頭盔顯示器（HMD）

LEEPSystemsCyberface2/3

PolhemusLaboratoriesLookingGlass RPIHMSI(Head-MountedSensoryInterface) VirtualRealityGroupHMD VirtualResearchFlightHelmet4。關鍵技術市場上已有的產品：（硬件）4。關鍵技術市場上已有的產品：（硬件）控制和接口設備:

VPLDataGlove（數據手套）

MattelPowerGlove

Global3Dcontroller(三維定位器）

Logitech3DMouseandHeadTracker（三維鼠標、頭部跟蹤器）

PolhemusIsotrak/Fastrak ISCANHead-MountedEyeImagingSystem（視線跟蹤器）

SENSibleTechnologiesPHANToM（觸覺反饋設備）4。關鍵技術市