虛擬現實技術導論第1章概論本講大綱1.1基本概念及發展簡史1.2虛擬現實的關聯概念1.3典型特征1.4虛擬現實系統1.5虛擬現實系統的構建過程1.6習題1.1基本概念及發展簡史虛擬現實(VR)——三元世界的界面真實世界虛擬世界

人虛擬現實是人與虛擬世界及真實世界的相互作用虛擬現實就是采用以計算機技術為核心的現代高技術生成逼真的視、聽、觸覺一體化的一定范圍的三維虛擬環境，用戶可以借助必要的裝備以自然的方式與虛擬環境中的物體進行交互作用、相互影響，從而獲得親臨等同真實環境的感受和體驗。基本概念虛擬現實技術充分利用計算機硬件和軟件的集成技術，提供一種實時、三維的虛擬環境，用戶借助必要的設備（如頭盔，手套等）以自然方式與虛擬環境中的物體進行交互，從而沉浸于虛擬環境中，產生接近真實環境的感受和體驗。虛擬環境是由計算機生成的實時動態的三維立體逼真圖像，它可以是某一現實世界的再現，也可以是虛擬構想的世界。關鍵詞：3D+交互基本概念3D＋交互示例虛擬現實產生的背景與應用需求演化密切相關與計算技術發展密切相關虛擬現實產生的背景現代科學研究的主要手段理論研究（推導、演繹）科學實驗（統計、歸納）一個問題如何使得計算過程和結果更為直觀？科學計算數值計算方法模擬仿真新的計算方法虛擬現實產生的背景直觀為什么首先要可視？真正的直觀需要可視、可聽、可觸、可嗅，而視覺占到人的輸入信息的80%以上，是基本的可視的概念并不陌生解析幾何（代數、幾何）在于虛擬現實關聯的學科中，與“可視”相關的也是最早發展的虛擬現實產生的背景虛擬現實考慮的核心問題如何把現實世界中物體和數據映射成具有某種幾何、物理和行為屬性的對象（實物虛化）如何計算機中的虛擬對象映射到現實世界中（虛物實化）發展簡史80多年前的飛行模擬器……1929年EdwinA.Link發明了一種飛行模擬器“藍盒子”，可提供俯仰、偏航、滾轉等復雜飛行動作。這是人類模擬仿真物理現實的初次嘗試如今，全球民航共使用著約1200余臺全飛模擬機，其中約550臺位于美國、75臺位于英國、我國擁有約60多臺，而德國和日本分別擁有50臺，法國擁有其中的40余臺發展簡史

50多年前的摩托車仿真器……1956年，MortonHeileg開發了一個摩托車仿真器Sensorama，基于一對并排的35mm照相機實現三維視頻反饋，有立體聲效，能產生振動感覺1962年的“Sensoramasimulator”專利已具有一定的VR技術的思想發展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發展簡史圖形學和VR的里程碑，63－68年……IvanSutherland：1963畫板1965終極的顯示1966HMD1968

E&S1988圖靈獎發展簡史人機交互1987年，James.D.Foley在具有影響力的《科學美國人》上發表了“InterfacesforAdvancedComputing”。該雜志還發表了報導數據手套的文章，引起人們的關注發展簡史AR……VR……1973年，Krueger提出了“ArtificialReality”一詞，這是早期出現的VR詞語1989年，美國VPL公司的創立者JaronLanier提出了VirtualReality一詞2014年3月20日，Facebook公司宣布斥資20億美元收購虛擬現實公司Oculus。這是Facebook金額排名第二的收購交易2014年7月25日，Amazon發布FirePhone3D手機，

增強3D購物/娛樂體驗2014年9月，微軟研發3D觸覺反饋觸摸屏：醫生可以摸到腫瘤2015年1月22日，微軟舉辦Win10預覽版發布會，推出HoloLens全息影像頭盔2015年CES（國際消費電子展），三星等推出的多款虛擬現實頭盔、應用等發展簡史發展簡史虛擬現實可能應用的九個領域：2016年1月14日，高盛發布58頁報告，指出虛擬現實（VR）和增強現實（AR）將像PC一樣改變世界預期到2025年VR和AR軟硬件營收達800-1800億美元高盛預測報告：像PC一樣改變世界視頻游戲現場直播視頻娛樂零售業房地產教育健康工程軍事發展簡史2018年，美國公布的《2016-2045年新興科技趨勢報告》預測未來30年里，虛擬現實和增強現實這些技術將成為主流技術。AR將把實時相關的信息給用戶投放在現實中，而VR則可以通過融合視覺、聽覺、嗅覺和觸覺來實現深度沉浸的體驗。發展簡史近年來，元宇宙（Metaverse）成為市場上比較火熱的概念。元宇宙指利用科技手段連接與創造出與現實世界映射和交互的虛擬世界，該虛擬世界同時是一個具備基本新型社會體系的數字生活空間。其本質是對現實世界的虛擬化、數字化，包括對內容生產、經濟系統、用戶體驗以及實體世界大量真實內容的改造。其中，擴展現實（ExtendedReality，XR）技術是VR與AR技術的綜合，為用戶提供沉浸式體驗，與數字孿生技術、區塊鏈技術一道成為支持元宇宙的核心技術之一。發展簡史使人機界面、人機交互自然、友好是計算機科學工作者不懈追求的目標。計算與仿真成為科學技術探索除理論研究、科學實驗之外的第三種手段。人們在許多領域所需解決的問題越來越需要有力的預測手段和虛擬環境。追求、探求、需求計算機科學工作者不斷追求的三個目標：快捷，聰明，和諧虛擬現實的三大應用方向訓練演練(模擬現實環境)規劃（設計）預測(虛擬未來環境)觀賞娛樂(構想現實未來幻想環境)1.2虛擬現實的關聯概念與VR緊密相關的概念MR（混合現實）、AR（增強現實）、AV（增強虛擬）這些概念根據虛擬環境與真實環境信息融合的程度劃分虛擬現實發展的四個傳統領域

虛擬現實傳統仿真真實數據等游戲動畫CAD/CAM圖形圖像人機交互等概念仿真等虛擬實體等近年來一些熱詞都有與虛擬現實相關內容云計算：GoogleGlass（顯示）大數據：可視分析（視覺處理）可穿戴：新型人機界面（交互方式）5G：全景展示（內容展現形式）人工智能：內容處理，交互1.3典型特征VR3I典型特征示意圖沉浸（Immersion）交互（Interaction）構想（Imagination）虛擬現實的三個主要特點依托的學科多（多學科交叉融合）應用性強（與應用領域交叉融合）高度依賴數據資源和計算資源1.4虛擬現實系統虛擬現實系統邏輯結構典型虛擬現實系統一般包含一個虛擬環境（VirtualEnvironment，VE）及若干化身虛擬現實系統的4種分類（1）沉浸型（2）桌面型（3）增強型（4）分布型沉浸型這類系統主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。航天航空領域的應用沉浸型這類系統主要面向高端應用，其典型特點是使用高端圖形工作站（群）和高逼真感的視聽觸設備，以提供更好的沉浸感。醫學領域的應用桌面型這類系統主要面向普及型應用，其典型特點是基于個人計算機和常規交互設備，在通用硬件上構造簡易型的系統。虛擬奧運博物館增強型這類系統主要面向增強現實的應用，其典型特點是：利用機械、聲波、光學、電磁技術獲取運動物體的3D姿態，然后與虛擬對象進行注冊、融合，并使用透視頭盔式顯示器，在現實場景中疊加虛擬物體，增加虛實融合的內容。大飛機虛擬融合系統分布型這類系統主要面向網絡環境下的虛擬現實應用，其典型特點是：利用網絡將不同節點的虛擬現實系統加以聯結，構建共享一致的虛擬環境，從而進行協同和交互。分布型分布型虛擬現實系統的典型架構：邏輯層主要實現了虛擬環境物理層通過每個虛擬的區域可能對應一個區域服務器此外，物理層還設置了模型服務器與監控服務器用于數據處理與服務管理1.5虛擬現實系統的構建過程虛擬現實系統構建過程建模+渲染+交互界面1.6習題習題虛擬現實的概念是什么？其主要特征是什么？構造虛擬環境的主要過程是什么？你認為構造虛擬環境的難點是什么？虛擬現實技術導論第2章虛擬現實常用軟硬件本講大綱2.1典型輸入設備2.2典型輸出設備2.3常用軟件2.4習題2.1典型輸入設備用戶位姿獲取設備電磁跟蹤設備（電磁發射、接收）聲學跟蹤設備（超聲等發射、接收）光學跟蹤設備（光學傳感器、攝像頭）光波、有標志點、無標識點、深度圖通過攝像機獲取二維圖像標志點，進而獲得三維位置慣性跟蹤設備（加速度計、陀螺儀）眼球跟蹤設備混合方式用戶位姿獲取設備——電磁跟蹤設備現有電磁跟蹤設備一般由控制部件、信號發射器（transmitter）和接收器（receiver）組成發射器與接收器均包括3個相互垂直（正交）的電磁感應圈；發射器通過電磁感應圈產生磁場，接收器接收到磁場，并在感應圈上產生相應的電流；根據接收到的電流信號，通過控制部件預先設定的算法計算，就能得到跟蹤目標相對于接收器的位置和方向。根據所發射磁場的不同，又可分為交流電發射器型和直流電發射器型。用戶位姿獲取設備——電磁跟蹤設備目前使用較為廣泛的直流電跟蹤系統，如AscensionTechnology公司的FlockofBirds系統，其刷新率可達100Hz，系統延遲在沒有噪聲濾波器的情況下，最小可到17ms。FlockofBirds系統用戶位姿獲取設備——聲學跟蹤設備聲學跟蹤技術利用超聲波的特性來達到目標的位置跟蹤。不過從理論上講，聽覺波也是可以使用的。聲學跟蹤系統根據其跟蹤方法可以分為兩類：飛行時間（TimeofFlight，ToF）測量法相位差（Phase-Coherent，PC）測量法為了更好地確定目標位置和方向，在實際應用中，通常采用多個超聲波發射/接收傳感器。Logitech跟蹤設備用戶位姿獲取設備——光學跟蹤設備光學跟蹤系統的感光設備種類很多，如普通攝像機、光敏二極管等。光源也是多種多樣的，可以是環境光，也可以是受跟蹤器控制發出的光。為了防止可見光的干擾，有時也使用紅外線作為光源。光學跟蹤系統使用的技術主要可分為：標志系統模式識別系統激光測距系統光學跟蹤設備用戶位姿獲取設備——標志系統標志系統（markersystem）也稱為信號燈系統或固定傳感器系統，是當前使用最多的光學跟蹤技術。它有兩種結構：自外而內（out-inside）結構，例如圖a以及結構自內而外（inside-out）結構，例如圖b。用戶位姿獲取設備——模式識別系統模式識別系統的原理是通過比較已知的樣本模式與傳感器得到的模式而得出物體位置的，它其實是前面介紹的標志系統的一個改進。把幾個LED那樣的發光器件按某一固定陣列（即樣本模式排列），并將其固定在被跟蹤對象的身上。然后由攝像機跟蹤拍攝運動的LED陣列，記錄整個LED陣列模式的變化。這實際上是將人的運動抽象為固定模式的LED點陣運動，從而避免從圖像中直接識別被跟蹤物體所帶來的復雜性。用戶位姿獲取設備——激光測距系統激光測距系統將激光發射到被測物體，然后接收從物體上反射回來的光測量出位置。激光通過一個衍射光柵射到被跟蹤物體上，然后接收經物體表面反射的2D衍射圖的傳感器記錄。這種經反射的衍射圈帶有一定的畸變，而這一畸變是與距離有關的，作為測量距離的一種量度。HTCViveLighthouseHTCViveLighthouse使用雙基站定位系統。Valve在頭顯和控制器上安裝了很多光敏傳感器。在基站的LED閃光之后就會同步信號，然后光敏傳感器可以測量出軸激光和軸激光分別到達傳感器的時間。這個時間就正好是軸和軸激光轉到這個特定的，點亮傳感器的角度的時間，于是傳感器相對于基站的軸和軸角度也就已知了；分布在頭顯和控制器上的光敏傳感器位置也是已知的，于是通過各個傳感器的位置差，就可以計算出頭顯位置和運動軌跡。用戶位姿獲取設備——慣性跟蹤設備慣性跟蹤技術使用慣性傳感器進行跟蹤，主要包括陀螺儀（gyroscope）傳感器從原理上，高速旋轉的陀螺有保持其旋轉軸朝向不變的能力，可以測量被跟蹤物體的3自由度選擇運動（yaw、roll、pitch），從而達到對頭部方向運動的跟蹤。加速器（accelerator）傳感器加速計用來測量頭部運動的加速度或者是環境中運動物體的加速度，達到對頭部位置運動的跟蹤。慣性跟蹤設備用戶位姿獲取設備——眼球跟蹤設備ASL的MobileEye是可移動的眼球軌跡追蹤系統，專為需要自由移動應用而設計，可以用在室內也可以在戶外，它緊湊、堅固，能應用到體育方面。該系統重量輕，用于記錄的設備也很小，能別在一條皮帶上。眼睛圖像和場景圖像交錯地保存在特制的DVCR磁帶里，以確保足夠高分辨率。其采樣率為25/30Hz。ASLModel504用戶運動數據獲取設備運動捕獲是記錄人體運動信息以供分析和回放的技術。捕捉的數據既可簡單到記錄軀體部件的空間位置，也可復雜到記錄臉部和肌肉群的細致運動。應用在計算機角色動畫的運動捕捉則涉及到如何把真人動作轉換為虛擬角色的動作，直接轉換映射，用真人演員的手臂運動控制虛擬角色的手臂動作間接轉換映射，用真人演員的手臂和手指動作來控制虛擬角色的皮膚顏色和情緒等。影視特效動畫制作虛擬現實游戲人體工程學模擬訓練生物力學用戶運動數據獲取設備運動數據獲取裝備全身運動捕捉系統機械電子式運動捕捉系統光學動作捕捉系統臉部表情捕捉系統數據手套用戶運動數據獲取設備——機械電子式運動捕捉系統ME4是ME電子機械式運動捕獲系統的最新產品ME4更貼身、重量更輕、操作更簡單，其設計最大程度滿足用戶動作的自由度和舒適度，由安放于人體17處關節的43只運動傳感器精確記錄運動者骨骼的轉動ME4價格低，同時可最多捕獲16人的運動信息，沒有光學運動捕獲常見的測量死角和標記點混淆，沒有電磁跟蹤系統常見的外界干擾產生的誤差增加傳感器錨點數量、位置（頭、肘、膝蓋、臀部）可配合完成諸如頭手倒立、四肢匍匐、就座等復雜動作捕獲。用戶運動數據獲取設備——光學動作捕捉系統光學動作捕捉系統廣泛用于運動、人體工程學、實時動畫制作、工業測量、臨床運動分析、知覺動作技能研究。它可用于各種環境包括醫院、工廠大學、運動場、動畫制作攝影棚和國際空間站等。PS光學式人體運動捕捉系統是目前光學式系統中價格最便宜、性能最好的系統。它依靠主動方式的、一元硬幣大小的LED，可以快速、高精度、方便地獲取人體各個部位的運動數據。不同于被動式的光學反射標志，其能夠實時獲取多達120個LED主動方式標志點的運動軌跡。用戶運動數據獲取設備——臉部表情捕捉系統FT45臉部表情跟蹤系統是廣泛使用的人體臉部表情跟蹤系統。通過臉部的36個不同標記，FT45系統可以實時捕獲臉部運動數據。研究者可以在不同的場合多次重復使用這些數據文件。這些數據可以反映到其他虛擬角色的3D臉部模型上，從而獲得和表演者相似的表情，也可以進行表情變化。用戶運動數據獲取設備——數據手套數據手套是虛擬現實應用的主要交互設備，它作為一只虛擬的手或控件用于3DVR場景的模擬交互，可進行物體抓取、移動、裝配、操縱、控制，有有線和無線、左手和右手之分，可用于視景仿真軟件環境中。Material:BlackstretchlycraFlexureresolution:12-bitA/D.Minimumdynamicrangeis8bits.Flexuresensors:Proprietaryfiberopticbasedflexortechnology.2Sensorsperfinger(1stjoint[knuckle],2ndjoint).Abductionsensorsbetweenfingers.Computerinterface:RS232(2-wire:GND,TX)

8databits,1stopbit,noparity

19200bps(transmitonly)[9600bpsforwirelessglove]Powersupply:9VDCcenterpostive(150mA)Samplingrate:Thefullhand(14sensors)maybesampledatupto100samplespersecond.Transmissionfrequency:Right-handedwirelessglove:418MHz

Left-handedwirelessglove:433.92MHzWirelessrange:Upto30m真實物體幾何材質屬性獲取設備3D掃描儀接觸式掃描儀非接觸式掃描儀激光掃描儀結構式3D掃描儀3D照相機真實物體幾何材質屬性獲取設備——3D掃描儀利用光學、機械等方法，獲取三維物體的表面幾何屬性，分為接觸式和非接觸式。真實物體幾何材質屬性獲取設備——接觸式掃描儀接觸式掃描儀通過內置高精度位置和方向傳感器感知探頭所處位置。主要產品有MS接觸式數據化儀。MS接觸式數據化儀是由三段碳纖維臂構成，臂與臂之間由球狀連接器相連，內置高精度位置和方向傳感器，以感知探頭所處位置。真實物體幾何材質屬性獲取設備——非接觸式掃描儀激光掃描儀使用條狀激光對輸入對象進行掃描，使用CCD相機接受其反射光束。根據三角測距原理獲得與拍攝物體之間的距離，進行3D數據化處理。目前已成形的產品有DeltaSphere-3000、FastSCANCobra、ModelMaker以及VIVID系列等。結構光式3D掃描儀有別于傳統的激光點掃描和線掃描方式，該掃描系統采用結構光照相式原理對物體進行快速面掃描。目前成型的產品有3DREALSCAN和北京天遠的3D掃描系統。3D照相機美能達公司1999年推出3D1500數碼照相機可將現實世界中的實物實景拍攝為3D影像。3D數碼照相機在逼真再現立體世界方面還存在著不足，比如，目前只能通過3D技術再現小實物，拍攝后在計算機中處理的時間也較長。目前的3D照相機主要有Komamura的Horseman3Dcamera，它采用了雙鏡頭組，但雙鏡頭是同時工作的，因此不需要額外地處理就可以直接拍攝出紅藍立體眼鏡能夠觀看的立體照片。2.2典型輸出設備典型輸出設備視覺輸出

3D立體眼鏡頭盔式顯示器3D環幕儀全息顯示真3D立體顯示器力/觸覺輸出力覺/動感反饋設備觸覺反饋典型輸出設備——3D立體眼鏡一般由立體圖形加速卡、紅外控制發射盒、有線或線立體眼鏡，支持高分辨率、高場頻、逐行立體顯示。具有全面、小型、經濟、適用的特點，適于基于PC機的小型VR系統，具有較好的性能價格比。典型輸出設備——頭盔式顯示器headmounteddisplay（HMD），分為遮擋型和透視型典型輸出設備——3D環幕儀利用投影、液晶屏構造的大范圍視景空間典型輸出設備——全息顯示伽伯通過記錄3D物體信息的物光波的振幅和位相分布，并將記錄結果稱為“全息圖”。通?？梢詫⑷D理解為一個大容量的存儲器件，存儲或“凍結”了3D物體的全部信息。為了從全息圖中提取物光波的信息，還必須采用適當的光波照射全息圖，“解凍”或恢復原來的物光波，人眼朝向再現物光波進行觀察時，就如同通過全息圖去觀察原來的真實物體一樣。典型輸出設備——真3D立體顯示器基于人眼立體視覺的3D成像受到觀察角度、輔助儀器、眼睛觀察時間等限制。由于焦距固定，使得眼睛在場景中無法像觀看一個真實物體那樣收縮或改變焦距，所以沒有真正意義上實現物體的全面3D顯示。全息成像無法顯示動態立體圖像，很大程度上限制了全息顯示技術在現代信息顯示中的應用。隨著計算機技術和圖形圖像技術的發展，出現了直接在3D數據場中生成體素點，不需佩戴任何輔助設備，可全視角、多人同時觀察立體圖像且具有物理景深的3D顯示器，即真3D立體顯示器，其相關技術稱為真3D立體顯示技術。真3D立體顯示技術，按成像原理不同可分為：靜態成像技術動態成像技術把兩束激光束照到一個由特殊材料制造的透明圖像空間上，經過折射，兩束光相交到一點，激發圖像空間材料發光，便產生了組成立體圖像最小單位—體素，每個體素對應真實物體的一個實際的點，當這兩束激光束快速移動時，在圖像空間中就形成許許多多個交叉點，無數個體素點就構成了真3D的物體圖像。動態成像技術將顯示的圖像用2D切片的方式投影到一個旋轉或平移的屏幕上，同時該屏幕以觀察者無法察覺的速度在運動，由于人眼的視覺暫留，從而在人眼中形成3D物體，實現圖像的真3D顯示。典型輸出設備——真3D立體顯示器當前幾種先進的真3D立體顯示器包括Felix3D以及Perspecta3D等。典型輸出設備——真3D立體顯示器力覺/動感反饋（force/kinestheticfeedback）觸覺反饋（tactilefeedback）典型輸出設備——力/觸覺輸出力覺反饋設備是虛擬現實系統中的一種重要的設備，能使參與者實現虛擬環境中除視覺、聽覺之外的第三感覺——觸覺和力感。它可提供高度逼真的3D力（觸覺）反饋能力，在辦公室/桌面環境下進行操作，并與標準PC機兼容。它能進一步增強虛擬環境的交互性，從而真正體會到虛擬世界中的交互真實感。相對力反饋，觸覺反饋還處于初級階段。日本岐阜大學工學系元島棲二教授的研究小組成功開發出世界最小的超敏感觸覺傳感器，在醫療器械領域應用前景廣泛。傳感器在約0.1mm3的合成樹脂中埋入了直徑1~10μm、長300~500μm、像彈簧一樣的螺旋狀微細碳線圈元件。碳線圈接觸物體之后，會將微小的壓力和溫度變化轉換成電信號。此外，傳感器還可以感知“擰”、"摩擦"等信號。2.3常用軟件構建具有逼真感和交互性的VR系統，首先面臨的就是建模。現有的虛擬現實建模軟件主要集中在支持虛擬景物的幾何和物理建模方面。前者又可分為面向動畫制作與面向實時繪制的建模軟件兩類。建模軟件面向動畫制作的建模，也稱為3D幾何造型設計，是3D動畫制作工具的基本功能。動畫制作中的建模一般包括基本幾何形體繪制、復雜模型組合等?，F有一些公開的3D模型庫可供使用，以提高開發效率。目前流行的3D動畫制作工具包括Alias公司的Maya，Avid公司的SoftimageXSI，SideEffectsSoftware公司的Houdini，Discreet公司的3DStudioMax，Newtek公司的Lightwave3D，Pixar公司的PhotorealisticRenderman等。建模軟件——面向動畫制作的建模軟件Maya主界面Houdini主界面3D模型的數據組織合適對實時繪制有重要影響。在面向實時繪制3D模型格式中，最有代表性的是Multigen的OpenFlight格式。該數據格式已成為視景仿真領域公認的模型數據標準，大部分VR開發軟件，如VEGA，OpenGVS等都支持這種格式MultigenCreator是美國MultiGen-Paradigm公司推出的一個交互式3D建模軟件，支持建立優化的3D模型，具有多邊形建模、矢量建模、大規模地形精確生成等功能。建模軟件——面向實時繪制的建模軟件Multigencreator主界面地形模型相比其他模型規模更大，手工建模工作量巨大。因此，出現了一系列專為地形制作開發的工具，如CreatorTerrainStudio，TerraVista等。為提高建模效率，出現了一些特定功能的輔助工具，如格式轉換工具Polytrans，Deep-Exploration等，可將面向動畫制作的3D模型數據格式進行轉換，適用于實時VR系統；三維模型化簡工具GeomagicDecimate、Action3DReducer、RationalReducer等，可對較為復雜的面向動畫制作的3D模型進行簡化，以滿足實時繪制的需要。建模軟件——面向實時繪制的建模軟件Terravista主界面此外，還有一些面向深度圖像的建模工具，如攝像采集裝置和激光掃描儀附帶的軟件系統。這些軟件系統專門處理通過相應設備采集到的深度圖像，并生成幾何模型。例如微軟公司的Kinect配套的KinectforwindowsSDK的界面。在SDK中專門集成了KinectFusion等算法，實現從深度相機的標定、3D點云建模、表面網格生成以及骨架標定等。建模軟件——面向實時繪制的建模軟件Kinect

SDK主界面最初的Web3D標準是VRML（VirtualRealityMarkupLanguage），它描述了3D景物的幾何尺寸、形狀、色彩、材質、光照等。但是由于標準過于龐大，VRML處理效率低下，很多公司并沒有完全遵循VRML標準，而是推出自己的制作工具，使用專用的文件格式和瀏覽器插件。Web3D標準與建模工具VRML

Editor主界面1998年，VRML組織改名Web3D聯盟，同時制定了一個新標準Extensible3D（X3D）。X3D整個新出現的XML，Java和流傳輸等技術，希望提高處理能力、繪制質量和傳輸速度。2004年8月，X3D規范被ISO批準為ISO/IEC19775國際標準。但到目前為止，X3D標準仍未完全統一Web3D格式，面臨一些有力的競爭，如由Intel，微軟，Macromedia，Adobe，波音等公司聯合組建的3DIF（3DIndustryForum）聯盟支持的U3D（Universal3D）標準。在面向Web應用方面也有一些基于圖像的建模工具，如Canoma、Photo3D、PhotoModeler、ImageModeler。Web3D標準與建模工具虛擬環境和對象的逼真性取決于外觀建模水平，也有賴于虛擬對象的物理建模，也就是物理引擎的實現。物理引擎計算虛擬環境中物體運動、場景變化、物體與場景之間、物體與物體之間的交互作用和動力學特性效果。它通常以程序庫的形式提供，其中包括若干功能模塊，各模塊為應用程序留出接口。它定義了一個高層的API集合，封裝了底層的物理計算細節，使得開發人員可以專注于高層應用程序開發，大幅度縮短開發周期。物理引擎HavokPhysics是Havok公司開發的物理引擎，基于剛體動力學，能模擬多關節剛體的約束和連接，開發者可以指定對象的物理性質，如質量、密度、摩擦系數等。HavokPhysics引入連續碰撞檢測技術，包含RagDoll人體模型系統，可以表現車輛在虛擬環境中的各種動態效果，包括車輛間的相互碰撞和各種操作的模擬。HavokPhysics是目前應用最為廣泛的物理引擎之一，但計算量大，對CPU等硬件要求高。物理引擎為解決物理運算計算量大的問題，美國AGEIA公司研制了專門的物理加速硬件。該公司在2005年提出PPU（PhysicsProcessingUnit）的概念。PPU是繼GPU以后的又一次處理器功能專門化。2006年3月GDC06（GameDeveloperConference），游戲開發者會議），第一塊物理加速卡正式發布，命名為PhysX。在PPU的支持下，PhysX每秒可處理32000~50000個剛體，效率有了大幅度提高。物理引擎VR應用中的渲染軟件主要來源于計算機圖形學。從圖形學發展的角度，基本可分為3層：最下層是基礎3D圖形繪制庫，提供一系列圖形繪制標準API；中間層是3D圖形引擎；最上層是可視化開發平臺或實際應用。渲染軟件基礎3D圖形繪制庫主要有OpenGL、Direct3D、Java3D、Vulcan等，它們直接操作圖形硬件，提供了3D圖形繪制的底層基礎API。渲染軟件——基礎3D圖形繪制庫OpenGL是一個開放的3D圖形軟件包，具有建模、變換、顏色模式設置、光照和材質設置、紋理映射、位圖顯示和圖像增強、雙緩存動畫等功能。OpenGL獨立于窗口系統和操作系統，以它為基礎開發的應用程序可以十分方便地在各種平臺間移植。Direct3D是微軟提供的基于COM接口標準的3D圖形API，具有良好的硬件兼容性，支持很多最新的圖形學技術成果。現在幾乎所有具有3D圖形加速的顯卡都支持Direct3D。但其接口較為復雜，且只能在Windows平臺上使用。Java3DAPI是Sun定義的用來開發3D圖形和Web3D應用程序的編程接口。除提供OpenGL，Direct3D定義的一部分底層繪制功能外，還提供了一些建造3D物體的高層構造函數。從所處層次看，Java3D兼有基礎3D圖形繪制庫和3D圖形引擎的一些功能。3D圖形引擎提供面向實時VR應用的完整軟件開發支持，負責底層3D圖形繪制的數據組織和處理，發揮硬件的加速特性，為上層應用程序提供有效的圖形繪制支持。圖形引擎一般包括真實感渲染、3D場景管理、聲音管理、碰撞檢測、地形匹配以及實時對象維護等功能，并提供與3D虛擬環境繪制相關的高層API渲染軟件——3D圖形引擎渲染軟件——常見的圖形引擎OpenGLPerformer是一個可擴展的實時3D視景開發軟件包，在OpenGL圖形庫基礎上構建，提供了一組標準C/C++語言綁定的編程接口，通過一個靈活的3D圖形工具集提供高性能繪制能力。OpenGVS直接架構于OpenGL，Direct3D等3D圖形API上，包含一組面向對象的C++API，封裝了繁雜的底層圖形驅動函數。這些API分為相機、通道、幀緩沖、煙霧、光源、對象、場景、特效、工具等各組資源，開發人員可以根據需要調用這些資源來驅動硬件實時產生所需的圖形。Vega支持多種3D模型，提供了許多可選模塊，支持導航、照明、動畫、人物、大規模地形、CAD數據輸入和DIS/HLA分布式應用等需求。OpenSceneGraph（OSG）是一個基于OpenGL的開源3D圖形開發庫，提供了一套C++API，具有較完整的3D圖形開發功能，通過狀態轉化、繪圖管道和自定制等操作，還可以進行繪制性能優化。OSG主要包括場景圖形核心、Producer庫、OpenThread庫以及用戶插件等4個部分。VTree是一個面向對象的3D圖形開發庫，包括一系列C++類和有關函數。VTree生成并連接不同節點到一個附屬于景物實體的可視