第十九屆D2終端技術大會淘寶Vision背后的XR應用研發方案探索與實踐2第十九屆D2終端技術大會第十九屆D2終端技術大會第十九屆D2終端技術大會淘寶Vision介紹2024.04.122024.06.19登錄、消息、支付淘寶與多品牌合作打造沉浸式的購物體驗登錄、消息、支付淘寶與多品牌合作打造沉浸式的購物體驗得到了用戶一致好評第十九屆D2終端技術大會第十九屆D2終端技術大會XR應用的技術挑戰7第十九屆D2終端技術大會最初我們想開發一款XR應用第十九屆D2終端技術大會如果開發的不是游戲，而是應用路由存儲權限Native邏輯/JS動態化第十九屆D2終端技術大會機制，只進行必要重繪規模的實時渲染和計算，對于常規應用來說，這樣規模的實時渲染和計算，對于常規應用來說，這樣第十九屆D2終端技術大會我們的解法(XRAppOS)12123434“沉浸式效果”研發解決方案“沉浸式效果”研發解決方案第十九屆D2終端技術大會AUDIOcoreLocationcoreLocationAVFoundation?與iOS接近，iOS開發者和應用可以快速遷移?大部分iOSSDK通過少量修改可適配到第十九屆D2終端技術大會Window：ImmersiveSpace：更高級別的沉浸形態，融合在真實世界?全新的應用形態?豐富的平臺新特性，需要定制一些新的中間件第十九屆D2終端技術大會Window：ImmersiveSpace：更高級別的沉浸形態，融合在真實世界?全新的應用形態?豐富的平臺新特性，需要定制一些新的中間件第十九屆D2終端技術大會弱化平臺差異-工程架構WebUIJavaScriptUIKitSwiftUI業務邏輯WebUIJavaScriptUIKitSwiftUI業務邏輯業務邏輯導航器導航器啟動器窗口管理器組件庫權限管理基于visionOS特性定制的中間件啟動器窗口管理器組件庫權限管理復用的淘寶第十九屆D2終端技術大會終端3D開發難點-學習曲線高第十九屆D2終端技術大會終端3D開發難點-3D引擎生命周期差異第十九屆D2終端技術大會終端3D開發難點-主線程優化的復雜性第十九屆D2終端技術大會場景邏輯樹場景渲染樹面向終端工程師的應用式3D開發場景邏輯樹場景渲染樹XRAppOSCoreXRPluginXRCoreNNRBackendNNRBackendAceNNRBackendAceNNRWeexXRScene解耦2D與3D兩個復雜的引擎系統(內存、線程、狀態同步等)實現Native/JS環境下均可使用的「事件型3DAPI」XRSceneXRNodeXRNodeXRAnimationXRColliderXRInputTarget業務方可在「任意線程」調用3DAPI，無需關注底層實現XRAnimationXRColliderXRInputTargetXRGeometryXRAnimatorXRViewAttachmentXRGeometryXRAnimatorXRViewAttachmentXRComponentMath拆分冷熱數據，按需同步底層3D渲染引擎支持批處理同步，而非實時同步，提升性能XRComponentMath第十九屆D2終端技術大會我們的解法(XRAppOS)12124433“沉浸式效果”研發解決方案VisionOS、Oculus、Pico、AndroidXR第十九屆D2終端技術大會萬能淘寶-多樣的空間子程序形態第十九屆D2終端技術大會空間容器空間子程序:空間子程序:不同子程序由不同團隊完成開發多個空間子程序可以共存ImmersiveSpace第十九屆D2終端技術大會空間容器框架層需要管理不同空間子程序的生命周期。ImmersiveSpace第十九屆D2終端技術大會空間容器集成發布代碼包/資產包集成發布代碼包/資產包 第十九屆D2終端技術大會我們的解法(XRAppOS)12123434“沉浸式效果”研發解決方案“沉浸式效果”研發解決方案第十九屆D2終端技術大會全景漫游介紹通過360全景圖將用戶“傳送”到預設的場景中第十九屆D2終端技術大會全景漫游-加載性能第十九屆D2終端技術大會全景漫游-加載性能 三級漸進式加載加載更新天空盒材質更新天空盒材質第十九屆D2終端技術大會全景漫游-地標點位精準貼合地標點位難以貼合目標位置在此方向的很遠處，例如(1000?)放置地標組件并將地標組件放大相應的倍數，以使得看起來和真實世第十九屆D2終端技術大會空間視頻介紹第十九屆D2終端技術大會空間視頻與普通視頻的差異4K/8K空間特效/全景漫游?模擬雙眼視差的兩個不同但相似的畫面第十九屆D2終端技術大會空間視頻的播放第十九屆D2終端技術大會XRAppOS沉浸式模塊-空間視頻播放器DecoderAudioDecoderAudioDecodeBufferManagerSeekerPreloaderReader跨平臺VideoDecodeStreamReaderControllerPlayingStateControllerMessageQueueAVSynchronizationVideoDecodeStreamReaderControllerPlayingStateControllerMessageQueueAVSynchronizationPerformanceTrackerVisionPro/Quest/PICO使用場景更全面支持在球面、半球面渲染支持嵌套在2D頁面中擴展性更好支持添加自定義特效支持自定義解碼器RendererFilterOutputReshaperRendererShaderColorSpaceManagerCustomizedEffectsSpatialSoundStereoSoundGraphicAudio第十九屆D2終端技術大會空間視頻與窗口同步單位不同，需要找到合適的遮擋關系不同，UI層級的配空間視頻與窗口同步單位不同，需要找到合適的遮擋關系不同，UI層級的配形狀不同，空間視頻播放的面片需要配合窗口做改動窗口繪制空間空間維度：2維空間視頻的播放界面空間視頻的播放界面是三維空間的物品，透視關系與窗空間視頻播放界面三維空間中的單位為真實世界的“?”，與2D空間中的“點”不同?？臻g視頻表現為一個懸浮在窗口上的薄片，會遮擋窗口第十九屆D2終端技術大會我們的解法(XRAppOS)12123434“沉浸式效果”研發解決方案“沉浸式效果”研發解決方案第十九屆D2終端技術大會3DObjectFinal