虛擬現實技術導論第5章虛擬現實前沿性方向本講大綱6.1增強現實技術6.2智能化建模與渲染方法6.3智能化建模例——基于深度學習的流體建模6.4智能化渲染例——三維積云的可微渲染5.1增強現實技術虛擬現實的三個構成要素視/聽/觸/味/嗅位置/姿態/操作用戶/操作者真實環境虛擬環境化身化身化身真實環境現實世界/對象

建模增強現實的關鍵技術三維注冊——真實、虛擬空間配準虛實融合——真實、虛擬空間合成人機交互——顯示、界面增強現實系統一個典型的AR系統由虛擬場景發生器、透視式頭盔顯示器、實現用戶觀察視線跟蹤的頭部方位跟蹤設備、虛擬場景與真實場景對準的跟蹤定位設備和交互設備構成。視頻透射式頭盔原理視頻透射式頭盔顯示器的優點包括：合成景象的靈活性較寬的視野時間延時的匹配光強度的匹配等。光學透射式頭盔原理光學透視式頭盔顯示器的優點主要體現在：結構簡單價格較便宜分辨率較高較為安全不能存在視點的偏差等。跟蹤注冊技術基于跟蹤器跟蹤用戶頭部的方位：主要采用的跟蹤器包括電磁跟蹤器、慣性跟蹤器、測距儀、超聲波定位儀、全球定位系統（簡稱GPS）等。混合跟蹤注冊：指采用不同種類的跟蹤設備，取長補短共同完成增強現實系統的注冊任務。目前常采用的硬件跟蹤設備包括機械、電磁、光電、慣性跟蹤器、超聲波、陀螺儀、GPS等。混合跟蹤注冊：指采用不同種類的跟蹤設備，取長補短共同完成增強現實系統的注冊任務。目前常采用的硬件跟蹤設備包括機械、電磁、光電、慣性跟蹤器、超聲波、陀螺儀、GPS等。增強現實技術與虛擬現實技術的關系虛擬現實綜合了建模技術、渲染技術、人機交互技術、傳感技術等，使得用戶從感官效果上沉浸在一個虛擬環境中。增強現實則主要借助顯示技術、人機交互技術、傳感技術和計算機視覺技術等將計算機生成的虛擬環境或物體與用戶周圍的現實環境融為一體，使用戶從感官效果上分辨不出虛擬和真實的部分。增強現實技術與虛擬現實技術的關系虛擬現實增強現實沉浸感隔離現實環境不僅不隔離現實環境，還強調用戶在現實環境的存在感，并努力維持用戶視聽覺等感官效果的不變形注冊無AR技術相較而言要求較低，蓋因其主要是在充分利用周圍業已存在的真實環境的基礎上擴充一些附加信息，這就大大降低了對計算能力的要求系統計算能力較高AR技術相較而言要求較低，蓋因其主要是在充分利用周圍業已存在的真實環境的基礎上擴充一些附加信息，這就大大降低了對計算能力的要求增強現實技術的應用AR技術主要利用附加信息去增強使用者對真實世界的感官認識。其應用側重于輔助教學與培訓、輔助醫療研究與解剖訓練、輔助軍事偵察、輔助精密儀器制造與維修、遠程機器人控制等領域。5.2智能化建模與渲染方法智能化建模智能化建模在CAD/CAE以及其他相關工業領域一直是研究熱點。通過參數化或者非參數化的方法構造虛擬對象的外觀模型，同時定義其表面材質等光度屬性，為后續渲染提供數據基礎。近年來，隨著深度學習從二維圖像域拓展到三維空間域，基于學習的建模方法正成為工業界和學術界關心的話題。智能化形狀建模顯式表示方法：一般是指將虛擬對象表示為點云或多邊形網格等形式。其中，多視角圖像是三維幾何模型的一種有效表示方式。利用多視角深度圖像或利用多視角圖像生成虛擬對象的外表面，可以有效地實現虛擬對象幾何模型的重建。隱式表示方法：基于圖像的視點合成是構建虛擬場景的經典技術之一。隨著神經網絡的發展，將神經網絡作為幾何模型的隱函數，可以達到不同的應用目的，如新視點生成、虛擬視角生成以及重光照等。智能化物理建模人體運動建模：主要是使用神經網絡來進行運動數據幀的合成。柔性體建模：主要思想是利用深度學習進行虛擬對象的變形流體建模：隨著人工智能技術的深入發展，深度神經網絡模型以其強大的數據學習能力，被廣泛應用至計算機圖像分類、語音識別、流體細節合成等研究領域。其穩定的、高效的計算模式，為計算機流體模擬提供了一種新的問題解決途徑。智能化渲染虛擬場景真實感繪制是通過計算機模擬光線在3D場景中傳播的物理過程，將設計人員創作的由視點、光源、三維幾何、動畫、材質等組成的鏡頭轉化為高度真實感的連續幀畫面。全局光照模擬了光線在場景中傳播的過程，對繪制真實感具有至關重要的作用。計算全局光照的核心在于繪制方程，該方程計算光束和三維物體的交互過程中的能量傳遞，具有全局性、遞歸性等特點，可以使整個虛擬場景在光照傳播過程中保持能量守恒。智能化全局光照計算全局光照算法同時考慮了直接來自光源的光線（直接光照）和經過其他表面反射的光線（間接光照）。使用全局光照算法可以模擬現實生活中的大部分光照效果，如陰影、環境遮擋、反射、焦散、次級表面散射等現象。然而，全局光照計算十分耗時，通過使用機器學習方法加速計算是目前的研究熱點。智能化全局光照計算——基于預計算輻照度的間接光照計算在使用RRF進行實時繪制時首先進行直接光照的計算，并在計算直接光照的同時，獲取每個表面點的屬性然后由基于神經網絡的RRF模型計算得到每個表面點的間接光照信息，并與計算的直接光照信息進行合成，得到最終的全局光照結果。該方法可以實時渲染出帶有全局光照效果的512×512分辨率的結果圖片，并保持每秒渲染30幀以上的速度，可有效渲染出包括焦散、高頻的反射、間接硬陰影等復雜的光照效果。但是該方法只適用于靜態幾何場景，允許光源和視點變化。智能化全局光照計算——基于學習的路徑指導傳統路徑跟蹤或者雙向路徑跟蹤方法，在進行BSDF或者光源采樣時，通常只考慮到局部的信息，而沒有考慮到全局的信息，因此導致在復雜光路時，得到一些對整體貢獻較少的路徑，從而使得繪制噪聲較大。路徑指導則是通過一定的方式來獲取光路中的更多全局信息，并且根據這些信息來指導重要性采樣，從而達到減少噪聲的目的。使用機器學習或統計學習方法優化光路傳輸也是實現快速計算全局光照效果的途徑之一。智能化全局光照計算——光照采樣算法的優化利用大規模數據集，針對首次反彈入射輻射場的自適應采樣和重建訓練神經網絡，可以有效優化現有光照采樣算法的時間性能。例如，基于深度強化學習(DRL)的質量網絡(Q-network)預測和指導自適應采樣過程，利用基于4D卷積神經網絡的重建網絡(R-network)重構4D空間中的入射輻射場。智能化參與性介質繪制在真實場景中，隨時可見各式各樣的參與性介質（如蠟燭，牛奶，橄欖油，煙霧等），光線在參與介質中傳遞時會被吸收或者發生散射。為了模擬介質中的散射現象，需要花費大量計算時間。近年來，有學者提出使用蒙特卡洛積分和神經網絡相結合來高效地繪制大氣云(radiance-predictingneuralnetworks，RPNN)。該方法從大量樣本中提取采樣點對應的相關著色位置和光源的幾何信息，再將這些信息輸入深度神經網絡中，以得到最后的輻射度。5.3智能化建模例——基于深度學習的流體建模算法思想速度場與壓力場在流體仿真的過程中驅動流體的運動，而密度場則更加容易觀測以及被人類感知。使用基于學習的流體建模方法時，直接擬合密度場較為困難，蓋因流體作為不定形物體，不存在較強的形狀先驗知識。使用散度場作為輸入，利用CNN擬合壓力場的方法進行流體建模。整個算法大致分為流體建模數據集的構建，以及CNN流體求解模型的構建與訓練等兩部分。流體建模主要圍繞三大變量進行：密度場、速度場、壓力場。算法實現使用隨機的小波湍流噪聲(waveletturbulentnoise)初始化空間中的速度場；在空間中隨機放置的基本幾何體與真實世界中常見的物體作為障礙物；在仿真時在空間中隨機添加局部噪聲；在仿真空間中的隨機位置添加隨機大小，隨機強度并且發射時間隨機的速度源以增加仿真空間的擾動。①流體建模數據集的構建算法實現使用0.125s作為時間迭代步長總共進行256幀的仿真，每8幀記錄一次當前的流體狀態。記錄的信息包括：流體當前狀態的速度場、壓力場、空間障礙物的信息。對于2D仿真數據生成，設置仿真空間分辨率為256×256，一共生成320個流體仿真場景，每個場景64個訓練數據，總大小為26GB。對于3D仿真數據生成，設置仿真空間分辨率為64×64×64，一共生成320個流體仿真場景，每個場景64個訓練數據，總大小為450GB。②流體仿真數據生成算法實現

③基于CNN的流體建模算法實現③基于CNN的流體建模算法實現④網格計算過程計算輸入的散度場????_??????的標準差，并根據標準差將輸入的散度場進行歸一化；將輸入的歸一化散度場以及虛擬場景中障礙物的標記矩陣分別進行2倍與4倍的下采樣，并使用共享參數的卷積子網絡convsubnet1對其進行處理；為對多尺度網絡的輸出分別進行1倍，2倍，4倍的上采樣到輸入的大小并通過第二個子卷積網絡convsubnet2得到歸一化的輸出結果；對歸一化的壓力場輸出結果使用網絡輸入時歸一化參數進行還原，獲得與輸入量級相匹配的壓力場預測結果。算法實現⑤優化目標

算法實現⑥訓練設置對于2D流體建模網絡訓練，使用batchsize為64，并對數據集進行200輪訓練，學習速率設置為5e-5，訓練時運行網絡自糾偏算法的概率為0.9。對于邊界條件位置的損失函數加權值k設置為2。流體的迭代步長為0.1s，并在128×128的空間中進行訓練。對于3D流體建模網絡的訓練，仿真訓練的分辨率降為64×64×64，并且batchsize設置為32。網絡學習率設置為5e-3，其余參數不變。實驗結果——2D流體建模結果展示與分析下圖分別展示了使用傳統PCG流體求解器和使用本節算法，在相同仿真條件下對流體的建模結果。第一行的三幅子圖分別展示了密度場，x方向速度場，y方向速度場圖像。第二行的兩幅子圖分別是壓力場圖與散度場圖。實驗結果——2D流體建模結果展示與分析下圖展示了在遇到正方形障礙物之后的流體建模結果。實驗結果——3D流體建模結果展示與分析實驗結果——建模效率基于深度學習的流體建模的最大優勢在于時間效率。下表展示了基于CNN的方法與傳統PCG流體求解的速度對比。基于深度學習的方法在2D與3D建模任務中相比傳統方法都取得了巨大的進步建模維度PCG流體求解器建模總時間深度學習方法建模總時間2D（128×128）0.04s（25fps）0.006s（180fps）3D（64×64×64）0.3s（3fps）0.0125s（80fps）5.4智能化渲染例——三維積云的可微渲染積云渲染輻射傳輸方程空氣中特定粒子的物理屬性決定了它與光線的相互作用效果，不同的粒子作用效果也不同。通常，光線在云層中發生常見的物理作用主要有三種：吸收、外散射和內散射。積云渲染輻射傳輸方程積云渲染輻射傳輸方程光子穿過云層時，它的能量會被吸收一部分，這部分被吸收的能量沿著ω方向的變化量在單位距離的微分形式如下所示：

積云渲染輻射傳輸方程積云渲染模型在單位路徑z下的微分形式：將某一點的微分形式轉化成路徑的積分形式：積云渲染輻射傳輸方程一束光線經過參與性介質，從??_??處射出，經過上述的物理作用之后射出的輻射強度遵循比爾定律：

算法思想可微渲染的本質是傳統圖形渲染的逆向過程，其核心任務是構建渲染圖像與模型參數之間的關系算法實現多次前向散射過程如所示。給定初始渲染參數，首先通過預計算得到逐網格的散射強度計算量，然后利用光線行進法進行逐像素的強度計算，最終得到渲染圖像。①積云的正向渲染算法實現計算單次散射項。單次散射模擬光源經過介質在單一方向上的散射①積云的正向渲染算法實現計算多次散射項。利用輻射傳輸的擴散理論，可將光線的多次前向散射強度表示為泰勒展開式的前兩項：①積云的正向渲染算法實現光線行進法。對積云渲染任務，首先定義了一個固定體積的積云密度場，然后利用從視點出的光線Ray與包圍盒求交點，前交點和后交點分別相交于體積的前后兩側，路徑為兩個交點之間的距離，按照固定步長一步一步往前計算亮度，并將亮度進行累加。①積云的正向渲染算法實現逆向渲染的目標是通過渲染得到的圖像推斷原始三維場景的幾何、光照、紋理、材質、運動等信息。對積云這種參與介質的渲染，主要需要推斷的參數包括光源強度、光源顏色、介質密度、吸收項系數、散射項系數等5個。這也是正向過程渲染中需要的初始參數。可導性、連續性是可微渲染的必要條件，算法的關鍵就在于如何解決體渲染的不可導問題。②積云的逆向渲染算法實現

②積云的逆向渲染算法實現單次散射項的導數求解多次散射項的導數求解②積云的逆向渲染算法實現下式表示了渲染參數的優化過程：③優化目標

算法實現算法渲染的三維體數據規模為64×64×96，渲染出的二維圖像的分辨率為512×512，每個實驗優化迭代次數為100次。本文使用的煙霧數據是基