家庭元宇宙場景化應用白皮書1家庭元宇宙場景化應用白皮書1家庭元宇宙場景化應用白皮書虛擬現實與元宇宙產業聯盟2024年3月前言本文件由XRMA聯盟融合應用工作組制訂，并負責解釋。本文件發布日期：2024年3月22日。本文件由虛擬現實與元宇宙產業聯盟提出并歸口。本文件歸屬虛擬現實與元宇宙產業聯盟。任何單位與個人未經聯盟書面允許，不得以任何形式轉售、復制、修改、抄襲、傳播全部或部分內容。本文件牽頭單位：中國移動智慧家庭運營中心本文件核心參編單位：中國信息通信研究院、華為技術有限公司本文件參編單位：深圳創維新世界科技有限公司、上海蛙色網絡科技有限公司、烽火通信科技股份有限公司、北京凌宇智控科技有限公司、天元瑞信通信技術股份有限公司、鵬博士電信傳媒集團股份有限公司、聚好看科技股份有限公司、深圳納德光學有限公司本文件參編人：王新寧、王國棟、周英能、李達、何婷婷、向瀟、吳小軍、呂亞蘭、羅云鐘、袁野、周明洋、肖婷、仇昌棟、廖長軍、王昊蛟、冀煜康、李誼、宋倩雯、鄭曉剛、王明強、許彩云、李樹磊、李韜然、陳曦、陳浩、彭華軍、魏文浩、張東東、安雁芬、朱家林免責說明：1，本文件免費使用，僅供參考，不對使用本文件的產品負責。目錄元宙概述 3元宙起與發分析 3元宙終發展析 5元宙內生態析 6家元宇發展析 9千網絡術分析 9家元宇入口端分析 15家元宇發展路分析 17家元宇場景用分析 17家庭娛樂 17智慧文旅 19家庭教育 21居家健身 22家康養 24家物聯網 25家元宇交互技分析 26家元宇交互容標準 26家元宇交互術實方案 31家元宇終端互協議 36總與展望 396.附錄 416.1縮語 416.2引用 43元宇宙概述元宇宙起源與發展分析行業發展歷史概述1992年，美國著名科幻小說家尼爾·斯蒂芬森發表了科幻小說《雪崩》，并在其中首次提出元宇宙概念。尼爾·斯蒂芬森為讀者呈現了一個與現實世界平行的元宇宙世界，這個虛擬世界具有較強的開放度和自由度，參與者能夠以元宇宙公民的身份實現任何行動，理論上行動僅受想象力的限制。《雪崩》作者天馬行空、別具匠心的構想，奠定了元宇宙基本雛形，讓全球資本、學者對元宇宙世界產生了無限遐想，一場全新的科學技術革命正在悄然醞釀中。作為元宇宙的技術核心，虛擬現實的起源早于元宇宙概念的誕生，自20506070、8090年代進入應用轉型階段。然而此時的軟硬件技術發展水平尚未成熟，特別是顯示技術、3D經過了二十幾年的技術積累和沉淀，元宇宙入口終端打造初具雛形。2012年GoogleGlass的發布以及2016OculusRiftVR20162018期，這一時期眾多科技廠商相繼推出了眼鏡、頭盔等多種形式的硬件設備，先進的產品概念發布引發行業暢想，虛擬現實設備被認為可能成為替代智能手機的下一代通用計算平臺。但由于軟硬件以及網絡等核心技術的限制，終端設備未能完全滿足用戶的期望，體驗感欠佳、性價比較低、內容生態相對匱乏等問題導致行業再次進入冷靜期。新型數字技術的突破升級為元宇宙行業的進一步發展提供了助力。20195G題，網絡性能的提升，區塊鏈、人工智能、數字孿生等新型技術的進一步成熟提振了行業信心。2021著全球頭顯銷量首次破千萬臺，扎克伯格重提元宇宙概念，FacebookMeta動元宇宙生態構建。2023年，蘋果公司發布首款混合現實設備VisionPro，VisionPro宙行業具有舉足輕重的意義，一定程度上重拾了資本市場對于元宇宙未來發展的信心，為行業發展注入了新的活力。表1.1元宇宙發展關鍵事件時間關鍵事件1952年莫頓·海利格創造了第一臺沉浸式虛擬現實設備1992年尼爾·斯蒂芬森發表《雪崩》，首次提出元宇宙概念2012年GoogleGlass的發布引發行業廣泛關注2016年OculusRift問世，這一時期眾多科技廠商相繼發布終端設備2019年5G正式商用，VR/AR作為5G制高點應用被重新激活2021年Facebook更名為Meta，元宇宙概念火熱出圈2023年AppleVisionPro發布，對元宇宙行業起到積極的促進作用隨著科學技術的飛速發展，元宇宙的展現形式也從文學、電影等科學幻想方式逐步向技術實現方式發展，成為人類持續追求極致體驗過程中技術升級達到奇點催生出的數字科技集大成者。在區塊鏈、Web3.0等技術的孕育下，具有去中心化特征的元宇宙平臺相繼崛起，為元宇宙的構建奠定了基礎；在渲染引擎、建模軟件等工具廠商的長期耕耘下，3D建模、實時渲染技術難度大幅降低，為元宇宙內容創作提供了有力保障，孕育了良好的元宇宙生態建設基礎；國內外科技廠商推出的AR/VR設備性能逐步提升、體積輕量便攜，也為在消費級市場打造元宇宙入口提供了條件。行業發展現狀分析在經歷幾年的元宇宙話題熱議后，2022年全球頭顯出貨量達千萬量級后見頂回落，作為元宇宙入口的虛擬現實行業逐步回歸理性發展狀態。在行業發展降速的情況下，一批國內廠商另辟蹊徑，以元宇宙內容為突破口，結合實際業務需求，賦能景區、地產、家裝、娛樂、交通等剛需場景，形成了完備的商業模式和較強的行業競爭力。VR內容的繁榮發展和多樣化的業務場景需求促進元宇宙入口終端向多元化方向發展，手機、電視等智能設備也在元宇宙發展浪潮中擁有了獨特的舞臺。頭顯端以打造沉浸式精品內容為主，但用戶活躍度較低，尚未形成規模化發展態勢；手機端以打造即時輕交互內容為主，但因其屏幕較小，沉浸感弱，無法產生高粘性用戶；電視端以打造家庭場景下的輕、中交互應用為主，但存在操作系統型號繁多、內容格式與交互標準尚未統一等問題，現階段無法實現規模化推廣。經過眾多科技廠商在虛擬現實領域的多年耕耘，元宇宙行業已初步形成頭顯端、手機端、電視端等多終端發展格局，但各端生態建設相對獨立，資源利用率不足。為突破行業發展困境，應當充分發揮已沉淀資源與技術優勢，打通各終端流量互導鏈路，實現內容互聯互通，完善多終端協同發展體系，加速規模擴張效應，共同助力元宇宙行業實現規模化、高質量發展。元宇宙終端發展分析虛擬現實、人工智能、5G、云計算等新興技術的發展催生了元宇宙行業，然而目前受限于一體機用戶規模，元宇宙行業尚未形成規模化發展，為突破行業發展困境，元宇宙入口終端正逐步向多元化方向演進，形成頭顯、手機、電視多形態終端協同互補的產業格局，構建小屏（智能手機）、中屏（平板類終端）、大屏（大尺寸智能電視、投影儀類終端）、虛擬屏（VR、AR眼鏡）、行業屏等多屏互聯互通的“三端多屏”產品體系，共同推動元宇宙產業實現高速發展。頭顯端頭顯端致力于打造深度沉浸的精品內容，主要服務于特定化應用場景，且隨著蘋果首款空間計算設備VisionProPro近兩年在經濟環境欠佳、設備價格上漲的大背景下，全球頭顯出貨量不及市場期望，總用戶規模仍處于千萬量級，尚未實現“硬件-內容-應用-用戶”正向循環。頭顯用戶總量不足、活躍度較低成為制約元宇宙產業發展的重要因素，亟待行業上下游由供給關系轉向生態協同關系，逐步形成多形態終端協同發展格局。手機端隨著移動互聯網發展，手機已經成為我國網民上網的主要設備，截至2023年底，我國互聯網上網人數10.92億人，其中手機上網人數10.91億人，占比高達99.9%[1]。手機具有便攜性、娛樂性、多功能、易操作等優勢，已成為移動互聯網時代全球用戶規模最大的移動智能終端。以手機為入口構建輕交互、低沉浸元宇宙場景，可實現元宇宙與頭顯設備的解耦，通過手機端向用戶推廣和普及元宇宙應用，可有效降低用戶使用門檻、快速提高元宇宙認知度。手機的高普及率使其具備強大的培育引流優勢，可快速解決元宇宙用戶量問題，實現用戶規模上量。手機作為培育元宇宙用戶、引導用戶認知的重要入口終端之一，可承載豐富、輕量化的元宇宙內容，同時作為元宇宙領域重要的輔助交互、控制與顯示設備，與頭顯相互補充共同促進元宇宙規模化發展。電視端電視端作為家庭場景下的觸達媒體，具有家庭滲透率高、用戶規模大、活躍度高等特點，截至2023年，我國IPTV用戶數超過4億戶[2]。隨著電視屏幕大屏化趨勢越來越明顯，內容視聽效果逐步升級，沉浸感體驗持續增強，用戶對電視端內容的類型、數量和質量的需求顯著提升。將虛擬現實技術應用于電視端，有利于進一步提高電視內容的豐富度，拓展家庭電視用戶的娛樂方式。在千兆網絡寬帶的加持下，以電視為載體，通過構建云游戲、家庭教育、居家健身、3D巨幕影院等多形態場景化內容矩陣，形成以中度沉浸、輕中度交互為主的應用發展模式，著力打造家庭元宇宙入口，為元宇宙在電視端的規模化發展探索出一條全新可行路徑。在VR頭顯實現硬件輕量化、內容豐富化、市場普及化之前，電視端憑借大尺寸屏幕具備的較強沉浸感優勢、海量用戶規模積累和較高的用戶活躍度，有望成為元宇宙內容的主流入口和開拓家庭元宇宙市場的主力軍。AndroidTV表1.2元宇宙入口終端對比終端形態評價維度呈現形式手機端電視端頭顯端H5頁面、裸眼VRAPP裸眼VRAPPVRAPP定制化APK應用場景個人場景家庭場景特定場景漫游、直播、娛樂、社交教育、游戲、電影、健身文旅、廣告、工業、醫療用戶規模10億+[1]（全國手機網民用戶）4億+[2]（全國交互式網絡電視用戶）千萬量級（全球頭顯銷量）用戶體驗輕交互、低度沉浸輕中度交互、中度沉浸強交互、深度沉浸行業痛點屏幕小，沉浸感不足應用少，內容展示不全規模大，卻難形成質變型號多，操作系統繁雜內容格式、交互標準不統一，現階段難推廣用戶量少，且活躍度低內容生態建設稍遜一籌，行業發展受阻1.3元宇宙內容生態分析元宇宙內容生態發展現狀虛擬現實是元宇宙內容生態的關鍵連接技術之一，其內容規模的持續增長為元宇宙的積累打下了堅實基礎，保障了元宇宙內容產業的繁榮發展。海量的內容是元宇宙持續發展的重要基石，而優質的內容則是元宇宙的核心競爭力。元宇宙的數字內容包括圖像、視頻、音頻等多種媒體形式，并通過跨模態的內容生成，保證高度的真實感和多感官互動。現階段游戲和娛樂是元宇宙內容的重要應用場景，跨領域發展也是元宇宙的趨勢之一，元宇宙內容可廣泛應用于城市規劃、室內設計、工業仿真、古跡復原、橋梁道路設計、房地產銷售、旅游教學、水利電力、地質災害、教育培訓等眾多領域，通過VR現階段國內元宇宙內容廠商以全景漫游類和3D建模類為主，形成了較為完備的商業模式。全景漫游類廠商以蛙色3DVR、720云、酷雷曼等為代表，為用戶提供了高品質、多內容、多體驗的元宇宙場景。蛙色3DVR基于全景技術提供VR直播、VR景區、VR全景逛街等眾多平臺方案，目前已為數十萬家商企提供服務，其中全景圖全景視頻數量已超過200萬，VR智慧景區數量已超過1000家[3]；720云內容覆蓋地產、家裝、文旅、電商、工農業等眾多行業，聚集超過100萬的內容創作者和企業，累計超4000萬組內容[4]。3D建模類廠商則聚焦實景三維重建，構建3D數字空間，廣泛應用于房產開發、建筑裝修、工業園區等領域，助力產業實現數字化和智能化轉型。元宇宙內容制作工具內容制作工具是實現高質量內容創作的基礎設施和支撐平臺，為創作者提供了內容創建、內容編輯、內容管理等功能，幫助創作者更高效的利用時間和資源，提升內容質量。傳統內容制作工具包括文本編輯工具、圖片編輯工具和視頻編輯工具等，元宇宙內容制作工具則是集3D建模、貼圖、動畫編輯、光照渲染、交互式元素制作等功能為一體的內容創作平臺，幫助創作者構建逼真的三維虛擬場景、角色、動畫和交互元素等，有效地提高了元宇宙內容的創作效率和內容質量。現階段元宇宙內容制作工具可分為傳統制作工具和AI3D動畫和渲染軟件等，需要專業知識和大量的制作時間，更適用于大型制作公司或團隊使用。AI要利用機器學習、人工智能等技術，通過學習和模擬現實世界的數據，輔助生成或自動生成元宇宙內容。AI類制作工具能夠快速生成海量內容，降低了制作成本和時間，適用于小型制作公司或個人創作者使用。傳統元宇宙內容制作可采用Unity和Unreal3DAI類元宇宙制作工具，如蛙色3DVR、720云等以AI技術輔助建模，打造元宇宙內容創作平臺。蛙色VR全景編輯器支持多平臺、多種全景維度、智能圖像匹配、智能分享等功能；720云VR全景及元宇宙創作工具平臺提供全景漫游制作工具、三維空間重建工具、3D模型互動工具等，使得元宇宙場景搭建更簡單。同時，ChatGPT等AIGC的逐步落地應用，也給數字內容創作帶來了新的降本增效思路，AIGC通過對大量數據的分析和學習，可自動生成高質量、個性化的數字內容，有利于提高內容生成的效率、增加內容的多樣性、降低內容創作的門檻，進一步促進行業內容生態的繁榮。AI類制作工具的結合，可以推動元宇宙內容生態的進一步繁榮和發展，為用戶提供更加豐富、多樣、真實的元宇宙內容資源。AIAIGCAI通過學習和模擬現實世界的數據可提高元宇宙內容的真實性和可信度。傳統制作工具和AIAI元宇宙產業應用隨著元宇宙概念的爆發，行業逐漸形成了“元宇宙+產業”的新發展模式，開啟了一種新的經濟現象。“元宇宙+娛樂”可以使用戶身臨其境地體驗各種電影、游戲中的場景，也可以創造屬于自己的虛擬世界，并與虛擬角色進行互動；“元宇宙+教育”則為傳統教育行業打開了一扇新的大門，可通過構建虛擬環境模擬現實世界的物理規律和化學反應，使得學生在安全的環境下進行實驗，加深對知識的理解，提高對學習的興趣；“元宇宙+醫療”也展現出巨大的潛力，遠程醫療、患者教育、手術導航等均發揮著至關重要的作用。“元宇宙+產業”的發展新形式推動著傳統行業的變革與升級，同時也面臨著諸多挑戰，如技術突破、隱私保護、法律制定等，需要更深入的研究和討論以確保元宇宙產業健康、可持續的發展。圖1.1元宇宙產業應用家庭元宇宙發展分析家庭元宇宙是元宇宙產業的重要落地場景之一，是對家庭物理環境的復刻模擬和拓展延伸，將大幅提升用戶在未來數字空間的生活體驗。在家庭元宇宙中，每個用戶可以定義自己專屬的數字家庭空間，購買數字資產個性化裝扮虛擬世界，啟用數字人作為智慧家庭管家并提供主動式服務，實現物理空間與虛擬空間的互助互補、相融共生。家庭元宇宙的落地與應用離不開網絡技術升級和電視大屏化發展，千兆寬帶的高速率、低延遲、大帶寬等性能，為家庭元宇宙發展提供了關鍵條件，是推動了元宇宙產業高速發展的基礎；電視作為家庭場景重要的算力與顯示終端，具有更大顯示屏幕，更沉浸交互體驗，更多用戶群體，將成為家庭元宇宙的主要入口。依托網絡技術和電視終端，通過技術升級、場景升級、業務升級、體驗升級，推動家庭元宇宙實現規模化發展。千兆網絡技術分析以5G和千兆光網組成的“雙千兆”網絡能為用戶提供千兆移動和固定網絡接入能力，5G網絡具有靈活性高、移動性強、連接數大等優勢，適用于室外移動場景；千兆光網采用固定光纖連接，具有傳輸帶寬大、抗干擾性強、微秒級連接等優勢，適用于家庭、辦公室、寫字樓等室內或固定場景。二者互補互促，是新型基礎設施的重要組成部分和承載底座，為元宇宙、虛擬現實、超高清視頻等高帶寬應用的發展提供了網絡保障。移動通信網絡技術發展史移動通信技術從1G開始發展至今已經經歷了五個代際，每個代際的面世都帶來新的通信技術革新，同時也催生了各類新產業與新業態形成，具體地：（1）1G時代，采用模擬調制技術，屬于純模擬通信技術時代，“大哥大”、“BB機”成為時尚與潮流象征；（2）2G（3）3GTD-SCDMA、WCDMA和CDMA2000（4）4G時代，基于TD-LTE和FDD-LTE標準的4G網絡具備更高傳輸速率，網絡性能的提升催生了移動支付、短視頻、直播等行業，自媒體、支付寶、快手、抖音、小紅書等新興產業和應用走入大眾視野，正式開啟了移動互聯網浪潮；（5）5GMIMO、全雙工等關鍵技術推動全球進入萬物感知、萬物互聯、萬物智能時代，依托于5G的超大帶寬、超低時延、超高速率等網絡性能，推動虛擬現實、元宇宙行業進入新的飛速發展周期，網絡信息傳輸媒介從二維逐漸走向三維，布局虛擬現實領域的PICO、NOLO、蛙色、720云、貝殼·如視等企業應運而生。圖2.1移動通信發展歷史家庭寬帶網絡技術發展史家庭寬帶網絡的發展以業務需求為驅動、以技術發展為支撐，經歷了以PSTN/ISDN技術為代表的窄帶時代（64Kbps）、以ADSL技術為代表的寬帶時代（10Mbps）、以VDSL技術為代表的超寬帶時代（30～200Mbps）、以GPON/EPON技術為代表的超百兆時代（100～300Mbps），目前正跨入以10GPON技術為代表的千兆光網超寬帶時代，未來則可能是以50GPON技術為基礎的萬兆時代。10GPON+FTTR超高帶寬：網絡帶寬具備上/Wi-Fi610全光聯接：基于全面覆蓋的光纖基礎設施可支持泛在聯接，包括家庭的聯接、IoT10100極致體驗：在網絡側引入網絡切片與內置AI技術，支持“0AI+大數據智能運維可滿足用戶的極致互動娛樂體驗要求。通過持續優化家庭終端上網體驗，降低Wi-Fi4K圖2.2家庭寬帶發展歷史2025100030%[5]。通過“雙千兆”2H/2B/2C5G投資需求，促進垂直行業應用和網絡基礎設施投資形成良性的持續發展閉環。雙千兆網絡性能根據歷史發展軌跡，5G和千兆光網的商用落地，也將迎來新一輪信息革命浪潮。“雙千兆”網絡性能，為新興技術和產業發展提供了基礎保障，具體包括：更高速率：5GFTTR1000Mbps，可支撐超大文件、無損音頻、超高清視頻、8K/12KVRVR更低延遲：5G端到端響應時間；千兆光網則以10GPON+FTTRVR云游戲、VR直播等實時應用提供超低延遲的網絡保障。更大帶寬：5G網絡采用更大的頻譜帶寬，通過引入高階調制、MassiveMIMO等技術手段提升了頻譜效率；千兆光網方面，FTTR能夠提供更大的帶寬容量，可以支持處理更大容量的數據流量，全面提升全VR更低功耗：5GRedCap機、頭顯等智能終端實現輕量化發展；千兆光網方面，FTTRONT+AP30%。更強可靠性：5GVRVR播、VRVR用落地提供保障。更廣連接：5GFTTR128個以上的家庭IoT雙千兆網絡覆蓋率5G基站與千兆光網的覆蓋與普及，5G2023年，我國移動電話用戶總數達17.27億戶，其中，5G8.0546.6%，占比較上年末13.36.3646661000Mbps1.6325.7%[6]。雙千兆網絡的落地推動了虛擬現實、元宇宙等新興技術和領域的高速發展，依托于千兆寬帶性能與用戶規模優勢，家庭元宇宙將成為元宇宙的關鍵應用場景之一。雙千兆網絡應用在家庭場景中，依托于千兆網絡性能，家庭元宇宙包含由實向虛、由虛向實、虛實共生三個發展路徑。由實向虛通過對現實世界的數字化，建立虛擬世界，為用戶帶來沉浸式的生活體驗，如完全虛擬化的平行宇宙，包括巨幕影院，智慧文旅等應用；由虛向實基于虛擬世界的想象，對現實世界產生影響，包括游戲、社交、虛擬社區等應用；虛實共生通過感知、檢測及傳感器等設備，將虛擬世界和現實世界連接起來，為用戶帶來虛實結合的真實體驗，包括XR運動健身、AR騎行導航、家庭物聯網等應用。不同應用場景網絡需求不同，以XR視頻、XR游戲、XR運動健身三個典型應用場景為例，具體需求如下：XR360XR3D段XR2K（4K）8KAppleVisionPro4K（8K）12K2.1XR3D3D視點大屏顯示技術通過屏幕上附著的固定式光柵或透鏡陣列完成子圖像分離，以實現裸眼3D效果。根據視點數量，3D3D3D2、945~1003D3D同的網絡需求，具體需求如表2.2。表2.1家庭元宇宙XR視頻業務網絡需求全景分辨率8K12K24K~幀率30fps60fps≥60fps平均碼率≥80Mbps≥280Mbps≥760Mbps帶寬要求（必須）≥160Mbps≥560Mbps≥1520Mbps網絡RTT（建議）≤30ms≤20ms≤20ms來源：《基于電信網的云化虛擬現實網絡技術要求》表2.2家庭元宇宙裸眼3D視頻（點播）業務網絡需求業務類型裸眼3D大屏裸眼3D光場屏視點數2996060內容分辨率2K(2560×1600)8K(7680×4320)12K(11520×2160)8K(7680×7200)16K(15360×14400)幀率30fps60fps60fps60fps60fps平均碼率20Mbps130Mbps293Mbps217Mbps868Mbps帶寬需求≥40Mbps≥260Mbps≥586Mbps≥434Mbps≥1736Mbps時延≤20ms≤20ms≤20ms≤20ms≤15ms來源：《家寬多業務并發體驗分級白皮書》XRVRXR游戲對終端性能要求較高，隨著云計算技術的發展，通過將內容上云、渲染上云，可有效降低用戶側對終端性能的要求。同時，隨著家庭網絡和接入網帶寬資源的日益豐富，原本應用在視頻編輯、媒體制播、交互式遠程圖像回傳等專業領域的淺壓縮技術標準，如JPEG-XS/AVS及其相關變種，有望在運營商邊緣云架構上得到規模化推廣和應用，以滿足XR（4K@60FPS）和高質量要求（主觀無損）2.3表2.3家庭元宇宙XR游戲（云渲染）業務網絡需求主流終端屏幕分辨率（雙目）4K8K16K~幀率60fps90fps≥90fps平均碼率≥65Mbps≥270Mbps≥770Mbps帶寬（必須）≥130Mbps≥540Mbps≥1.5Gbps網絡RTT（必須）≤20ms≤10ms≤8ms來源：《基于電信網的云化虛擬現實網絡技術要求》XR運動健身將XRAI60fps8K120fps2.4表2.4家庭元宇宙XR運動健身（電視大屏+云渲染）業務網絡需求顯示屏分辨率4K8K幀率60fps≥120fps平均碼率≥65Mbps≥200Mbps下行帶寬≥130Mbps≥320Mbps上行帶寬20~50Mbps20~50Mbps網絡RTT≤20ms≤15ms來源：《云游戲白皮書》隨著運營商網絡的不斷升級以及XR云游戲、XR運動健身、8KIPTV、8KXR直播等家庭業務類型的豐富，家庭應用場景進一步向多業務組合并發擴展，如同時享受8KIPTV與XR運動健身，多業務組合對家庭網絡的需求將進一步提高。綜上所述，以XR視頻、XR游戲及XR運動健身為例，表2.5匯總了家庭元宇宙場景化應用及網絡需求。表2.5家庭元宇宙場景化應用及其網絡需求匯總應用視頻游戲運動健身備注說明內容類型影院、直播、360視頻虛擬游戲體感游戲、動感騎行等顯示方式XR頭顯、裸眼3D終端、電視大屏等XR頭顯、電視大屏等XR頭顯、電視大屏等交互體驗低，幾乎無交互高，6DoF手柄、觸摸屏等實時輸入高，攝像頭、可穿戴等傳感器實時交互求網絡需求（示例）下行帶寬：XR：≥160Mbps@8K全景≥560Mbps@12K全景裸眼3D大屏：≥260Mbps@8K9視點≥1736Mbps@16K60視點下行帶寬：XR：≥130Mbps@4K≥540Mbps@8K上行帶寬：XR：0.5~2Mbps下行帶寬：電視大屏：≥130Mbps@4K≥320Mbps@8KXR：同游戲場景上行帶寬：20~50Mbps（攝像頭、激光雷達等）優化建議提供多樣化終端選擇，如XR頭顯、裸眼3D屏降低大型游戲設備性能要求優化動作捕捉精度和時延家庭元宇宙入口終端分析家庭場景雖然具備了網絡技術基礎，但家庭元宇宙的落地與廣泛應用仍然受一體機銷量和用戶規模制約，因此在一體機廣泛普及前，電視作為家庭場景普及率最高的智能終端將有望成為家庭元宇宙的入口終端，推動元宇宙在家庭市場實現規模化發展。電視發展現狀電視從誕生之初已發展近百年，從早期普及的CRTLCD、OLEDOLEDLED、MiniLED、QLEDLED則無需背光源和液晶顯示屏，通過有機材料自身發光產生畫面，是一種新的顯示技術。LCDOLED4K商積極投入8K電視研發，超高清分辨率、超廣無差視角、裸眼3D視效、語音控制、智能操作系統等為8K智能電視增添了極大的優勢。現階段電視服務包括傳統電視、IPTVOTTTV，傳統電視由地方級有線網絡公司提供服務，IPTV2.6電視、IPTVOTTTV的區別。隨著家庭網絡和硬件基礎的蓬勃發展，智能電視集網絡化、數字化、高清晰度于一體，已成為三網融合的核心和重要落腳點，為休閑娛樂、運動健身、家庭教育、家庭影院等多場景融合提供了智能載體。表2.6傳統電視、IPTV、OTTTV的區別電視服務傳統電視IPTVOTTTV信號傳輸有線電視網絡電信運營商提供的IP城域網公共互聯網操作系統無有有直播信號有有無應用平臺無有有應用管理用戶無法下載安裝軟件由增值服務運營商安裝軟件，用戶無法安裝、下載第三方軟件用戶可自行安裝、卸載第三方軟件觀看內容以電視臺播放內容為主，不可點播以網絡視頻資源和電視臺播放內容為主，用戶可進行點播、回看等操作用戶可觀看多種視頻客戶端的視頻內容，不可觀看電視臺的直播節目電視用戶規模2023年全球電視出貨量為2.01億臺[7]，消費市場對電視的需求為電視用戶規模的維持提供了穩定基礎。2023IPTV42]，龐大的電視用戶規模表明，在以手機為主要娛樂終端的移動互聯網時代，智能電視仍然是家庭場景中不可或缺的數字媒體中心，在家庭娛樂、信息獲取、智能家居控制等方面扮演著越來越重要的角色。得益于電視日益豐富的應用場景和IPTV用戶的穩步增長，智能電視延續了傳統電視在家庭市場的重要地位。通信技術的發展和新興技術的應用使得用戶對電視內容形式和視聽體驗有了更高的要求，網絡電視為用戶提供了更多樣化的內容形式，高清視頻、家庭云游戲、家庭教育等內容豐富了用戶的選擇，高清的畫質和極致的視聽體驗將用戶的視線重新吸引回客廳。電視創新發展與應用電視作為家庭場景中的娛樂視聽中心，經過漫長的發展，在形態、顯示、內容及功能等方面都發生了重大的變化，形態更纖薄、顯示更高清、內容更豐富、功能更多樣。電視正逐步演變為集硬件、軟件和內容于一體的全新智能終端設備，逐漸成為家庭娛樂、信息交互以及智能家居控制的共同載體。大屏化、場景化、創新化或成為未來電視發展的重要方向。大屏化成為消費市場的主流趨勢。近年來，國內用戶對大屏電視的高需求促使大屏智能電視的出貨量逐年增多。202349.37]，7580場景化應用成為未來電視的發展方向之一。隨著技術發展與革新，智能電視功能不再局限于單純的視聽終端，遠場語音、視覺交互等能力使其擔任著娛樂中心、信息交互平臺、智能家居控制中心等一系列角色，智能電視將全面融入用戶的數字生活。家庭游戲、家庭影院、家庭教育、居家健身、家庭互聯等多樣化的應用需求推動電視實現迭代更新。同時，智能電視與網絡、虛擬現實等技術的深度融合推動視聽體驗向超高清視頻、沉浸式視頻、三維聲、XR、互動視頻、全息影像等多技術、多功能融合方向發展，全面提升了場景化應用的發展空間。創新化驅動電視行業實現突破發展。內容上，視聽產品持續向多維度、多領域、沉浸式方向演進；技術上，積極探索新形式的電視互動方式，以創新技術驅動產品更新。通過大數據、云存儲、分布式計算、5G6G、人工智能、全息投影等技術創新電視交互方式，推動電視向智能化、個性化、融合化方向發展。家庭元宇宙發展路徑分析依托于千兆網絡高速率、低延遲、大帶寬等性能，高度依賴高品質網絡性能的元宇宙應用可真正意義上融入基礎生產生活，智能電視具備大尺寸屏幕的優勢，結合千兆網絡、虛擬現實、空間音頻、智能交互、云化等技術，衍生出日益豐富的高沉浸式、多維度交互式應用模式，助力電視應用突破原有家庭視聽媒介的定位，逐VRVR游戲、VR健身、VR教育、VRVRVR技術結合，通過電視端承載服務于家庭用戶，賦予了電視極致震撼的視聽效果，提升了用戶沉浸式人機交互體驗，豐富了家庭場景下休閑娛樂方式和應用場景，推動元宇宙在電視端實現繁榮發展。構建“千兆+VR+電視”的家庭元宇宙入口，將促進家庭場景下的消費升級，滿足人民對美好生活的熱切向往。一方面，將虛擬現實技術應用于電視能夠拓展新型家庭休閑娛樂方式，使得用戶能夠足不出戶體驗萬千世界，加強用戶與自然、社會之間的聯系；另一方面，通過持續挖掘電視應用新場景，能夠推動居家場景下的娛樂模式從個人娛樂回歸到家庭娛樂，加強家庭成員之間的互動溝通頻率，有效促進家庭成員感情升溫，從而提高家庭生活品質。電視也將從單純的視聽設備逐漸向家庭娛樂中心、家庭物聯網控制中心轉變。千兆網絡、虛擬現實、電視應用相輔相成、互利共生，逐漸形成協同發展的有機整體，為元宇宙在家庭場景應用與規模化推廣奠定基礎。依托“千兆+VR+電視”的發展模式，將推動家庭生活向數字化、虛擬化、智能化、線上化、便捷化方向發展。家庭元宇宙場景應用分析家庭娛樂電視作為家庭場景下的主要娛樂載體，為家庭成員之間提供了良好的互動環境。千兆寬帶的普及和顯示技4K、8K元宇宙直播、3D巨幕電影等新型娛樂內容豐富了大屏內容生態，滿足了家庭用戶更高的精神娛樂需求。娛樂領域是元宇宙應用最早、最廣泛的領域之一，在數量規模和應用范圍上占據主導。元宇宙為用戶提供了更多樣化的娛樂內容、更沉浸的娛樂體驗和更多維度的互動方式，提高了用戶的參與度和留存率，推動了娛樂行業的發展。游戲是元宇宙產業主要的消費級場景，游戲玩家被視為元宇宙的“種子用戶”，相較于傳統游戲，元宇宙游戲更具真實性、交互性和可玩性。真實感是元宇宙游戲最顯著的特征之一，基于虛擬現實、人工智能、三維建模等技術可構建出高度仿真的虛擬環境，光影效果、顏色深度以及紋理質感等細節的呈現方式都給用戶帶來更加真實的視覺效果；沉浸式的音頻效果也能增強元宇宙游戲的真實感，同時幫助用戶更好地理解游戲的任務與情節；模擬觸感也是增強真實性的關鍵因素之一，生動的觸覺感應會讓用戶產生更接近于真實環境的感受。交互性是元宇宙游戲的另一大特點，現階段VR頭顯、數據手套等可穿戴設備是接入元宇宙的主要途徑，手勢追蹤、眼動追蹤、動作捕捉等技術為其提供了更自然真實的交互方式。手勢追蹤包括光學追蹤和數據手套追蹤，光學追蹤采用攝像頭或紅外傳感識別手勢從而實現用戶與虛擬環境的交互；數據手套則通過在手套上集成慣性傳感器來追蹤用戶手指或手臂的運動。游戲畫面的真實性和良好的交互性提升了可玩性，使元宇宙游戲更具優勢。圖3.1元宇宙游戲應用示意圖全景漫游是基于圖像處理、三維建模、計算機仿真等技術實現的虛擬實景系統，具有真實度高、沉浸式感強等特點，廣泛應用于虛擬景區游覽、虛擬博物館漫游等場景，是元宇宙較為成熟的呈現方式。全景漫游首先采用具有重疊視野的多個魚眼相機拍攝真實場景的多視角畫面，然后通過圖像拼接算法制作為全景圖像，最后360720度視角，用戶可通過觸摸屏、手柄、轉頭等方式控制視野變換，實現多角度、全方位的場景游覽。與傳統的畫面展示相比，全景漫游更具沉浸感、交互性和可塑性，高度的沉浸感和多維的交互性呈現了全新的信息表現形式，高質量的圖像和生動的細節使用戶更加身臨其境。VR直播是結合虛擬現實、5G等技術實現的一種新型直播方式，主要應用于體育賽事、演唱會、發布會等直播場景。傳統直播僅給用戶提供一個觀看視角，VR直播則不再局限于導播展示的觀看角度，用戶可以多角度自由切換視角，捕捉到直播現場的任意角落，有效地提升了用戶的沉浸感和觀看體驗。VR2022-20235G+VRVR+8K體育直播行業解決方案，為用戶帶來更豐富立體的細節體現和沉浸式觀賽體驗。VR演唱會直播聚焦視覺和聽覺兩大方向，持續提升用戶的視聽360VRVR在家庭元宇宙場景中，元宇宙游戲、全景漫游、VR直播也鑄造了家庭娛樂的新方式，電視大屏作為家庭場景中的重要媒介，在觀影舒適性、互動體驗上具備一定的優勢。相較于手機、平板電腦等小屏設備，電視有更大的屏幕和更好的音效，可以提升畫面沉浸感和真實感，提供更生動的視覺感知體驗。相較于VR頭顯，電視大屏在保證一定沉浸感的同時緩解了頭顯久戴不適的問題，提供了更舒適的視聽方式。在家庭場景中，電視大屏更利于家庭成員的互動，共享元宇宙的樂趣從而增進家庭成員之間的感情。然而，目前大部分電視仍然采用傳統遙控器的按鍵進行交互，單一、不靈活的交互方式會讓用戶產生較強的割裂感，缺乏交互的自然性。智能化的大屏交互方式是實現家庭元宇宙場景快速發展的關鍵，多樣靈活的交互方式有利于打造更多的家庭互動場景和應用模式，滿足用戶多樣化的娛樂需求。智能化、個性化、融合化或成為大屏交互的發展方向，語音識別、人臉識別、手勢追蹤、眼動追蹤等前沿的交互視聽技術也將應用于大屏交互場景中；根據用戶偏好和習慣進行定制化的交互方式會極大地提升用戶的交互體驗；融合化的大屏交互技術將實現不同平臺和設備之間的數據共享和互聯互通，從而實現更加全面、智能、高效的虛擬現實交互和服務。智慧文旅隨著新一輪產業變革和技術變革的持續推進，數字化轉型為文旅產業高質量創新發展提供了新的方向。5G、云計算、人工智能、虛擬現實、增強現實等元宇宙基礎技術為文旅產業的轉型升級提供了重要技術支撐，文旅產業與元宇宙的深度融合打造了虛擬文旅新模式。元宇宙文旅以歷史人文資源或現代社會的地域文化、自然風光為基礎，通過虛擬現實、云計算等技術構建更加真實的虛擬環境，打破空間和時間限制，讓用戶體驗世界之美，感受不同時空的歷史事件和人文故事，與新興技術的融合極大地提高了用戶的參與度和沉浸感。圖3.2智慧文旅應用示意圖元宇宙將數字科技應用于文化藝術，突破藝術形式的限制，為傳統文化注入新的能量和無限創意。數字皮影戲融合虛擬現實技術、非物質文化遺產和傳統故事，在沉浸式、多感知性的呈現形式中展現中國古老民間戲曲皮影戲的藝術魅力。數字京劇以“文化+科技”的創新形式，將新時代國粹文化的創新傳承故事以全新的方式進行呈現，鑄造了演播行業的新標桿，實現社會效益和經濟效益雙贏。元宇宙互動記錄片利用360度全景視覺技術讓用戶“站”在歷史里，深切體驗古人所生活的時代。空間音頻技術帶來了更具方位感和真實感的視聽體驗，6DoF傳感器則可以讓用戶觸碰、拿起、旋轉、放大文物，深入探索文物的歷史文化和背景，實現與文物的零距離接觸。元宇宙博物館以5G、虛擬現實、云計算等技術為支撐，通過多方位、生動立體的線上虛擬博物館再現真實場館和展品。用戶可在各個虛擬展區中自由穿梭，實現與線下參觀同樣的體驗。基于虛擬現實、3D建模等技術還可將展品從靜態轉化為動態置入適當場景中，通過多維立體的呈現形式使沉睡的文物“活”起來，讓用戶更加深刻地感受歷史的厚重感。云旅游是一種通過元宇宙技術實現在云端游覽景區、觀展、直播的新型虛擬旅游形式，為景區營銷和品牌形象塑造提供了新的方法，推動了數字化旅游建設和智慧旅游發展。云旅游以全景視頻、3D圖像等多種形式展現觀賞內容，并融合游戲化的互動環節以及主題場景等，使游覽體驗更加立體化、具象化、故事化。對于用戶/游客而言，一方面，云旅游提供了一種更便捷、更低成本的旅游方式，足不出戶就能觀賞到不同地區、不同季節的風景，利用碎片化的時間享受旅游的樂趣；另一方面，用戶可以通過云旅游預覽目的地景色后再決定是否前往，能有效降低出行前期的規劃時間成本。對于旅游景區而言，云旅游能夠打破時間和地域的限制，使景區面向更多游客，提升景區的知名度。同時，云旅游還可為景區提供實景導航、智能解說等數字化運營工具，實現景區的智能化服務。文旅行業與新興科技的深度融合有利于探索智慧文旅發展的新方向，元宇宙的加持在促進文旅產業數字化轉型、推動文旅產業鏈的協同創新等方面發揮著重要的作用，智能化、互動化、沉浸化的文旅體驗有助于提高文旅產業的經濟效益和行業競爭力。電視大屏作為家庭元宇宙文旅場景的重要入口，讓家庭用戶足不出戶就能體驗到大自然的鬼斧神工、領略不同地域的風土人情。電視端不僅提供了更優質的視聽體驗，而且幫助家庭成員間建立連接，用戶在觀賞體驗的同時促進了家庭成員之間的良好互動，滿足了家庭用戶的文旅新需求。家庭教育2023年5月教育部等十八部門聯合發文提出“探索利用人工智能、虛擬現實等技術手段改進和強化實驗教學，并注重利用先進技術彌補薄弱地區、薄弱學校及特殊兒童群體優質教育教學資源不足的狀況”[8]。元宇宙與傳統教學的深度融合創新了教學模式，虛擬現實、人工智能等元宇宙基礎技術逐漸成為教育現代化的重要手段，為教育信息化提供了強大的技術支撐。圖3.3家庭教育應用示意圖元宇宙與教育的融合在提升教學效果方面具有顯著優勢。傳統課堂主要通過講課、演示、實驗等方式進行教學，學生被動地接受知識與信息。元宇宙課堂則可以將抽象的概念轉化為具體的視覺形象，構建逼真的虛擬學習場景以實現情境式教學，身臨其境的學習有利于加深學生對知識的理解和記憶，從而達到提升教學效果的目的。例如在化學課堂中基于虛擬現實技術構建分子的三維結構，或是模擬化學反應過程，通過具象化的畫面讓學生更直觀地了解文字表達的含義。元宇宙在教育領域的應用有利于提高學生學習的積極性和趣味性。一方面，相較于傳統教學模式或電子學習資源，元宇宙課堂更具沉浸感和交互性，互動式、智能化的課堂能夠充分調動學生的積極性和思維擴展能力，虛擬現實、人工智能、物聯網等元宇宙技術打破了傳統課堂的空間局限，為學生提供了更大的想象空間，有利于提升學生學習的積極性和探索知識的主觀能動性。另一方面，元宇宙教育多樣性和創新性的特點能夠激發學生的學習興趣，有利于培養學生創新思維能力和自主解決問題的能力，例如將元宇宙小游戲與教學內容融合能夠避免文本知識的乏味，提高學生自主學習的興趣。元宇宙教育可以提供更豐富、多樣化的學習內容和形式，有利于學生探索不同學科領域，實現全面發展。在物理、化學課堂上，對于難以控制過程的實驗可以通過虛擬現實技術呈現，在得到更直觀結論的同時能避免實驗的危險性和破壞性。對于詩詞歌賦的學習，元宇宙課堂能提供意境感更強、更沉浸的知識呈現形式。元宇宙教育不限制學習方式和場景，能提供更加靈活和多樣化的學習體驗。學生可以選擇在不同的時間、地點和環境下進行學習，例如通過虛擬實驗室進行科學實驗、在虛擬辦公室中學習職業技能、或是在虛擬旅游中學習歷史文化。靈活的學習方式能更好的滿足學生的個性化需求，提高學生的學習興趣、積極性和學習效果。家庭教育在學生的成長和發展過程中扮演著至關重要的角色，社會的變遷和生活方式的改變為家庭教育帶來了新的問題和挑戰。快節奏的工作使許多父母無暇顧及孩子的教育和輔導，其次，專業知識的缺乏也提高了家庭輔導的門檻。以電視大屏為入口的元宇宙教育為學生提供了一種更加專業、高效、個性化的家庭教育方式，以逼真的虛擬場景和多樣化的交互形式提升了學生的學習效果和興趣，讓家庭教育更貼合學生的需求和期望，未來元宇宙與家庭教育融合將成為重要的家庭教育輔助手段，解放家長的課業輔導壓力，增強家庭教育的可持續性發展。居家健身隨著大眾運動健身的意識提升與定期運動健身的習慣養成，家庭元宇宙場景下的運動健身正成為用戶的新型剛性需求。大屏顯示、動作捕捉、多人協同等技術為元宇宙運動健身提供了重要技術支撐。在家庭領域，電視大屏與智能機頂盒的組合實現健身內容高清顯示，提高運動健身的沉浸感體驗。相較于傳統的手機、平板等小屏，頭戴設備可以提供更好的沉浸感和視覺體驗，但由于頭戴設備與外界完全隔絕，長期佩戴存在眩暈、不適等問題，因此不適用于健身場景。眩暈感是影響用戶體驗的重要因素之一，引起眩暈感的主要原因是終端設備的處理延遲導致視覺接收信息和身體感知信息不對稱，從而引發用戶視覺與其他感官通道沖突，產生整體紊亂。電視作為家庭場景中重要的娛樂和信息獲取中心，為家庭用戶創造了無數的美好記憶。現階段電視的普遍分辨率已達到4K、8K7680×4320100度，并且AI圖像畫質增強、動態運動補償、超分辨率等性能，在視聽感受上為用戶帶來極致體驗。大屏幕、超高清晰度的特點不僅滿足視聽沉浸感，而且沒有頭戴設備的不適感，適宜在家庭場景下長時間使用，尤其是運動健身等需要大范圍、長時間活動的場景下，高分辨率的電視大屏是首選顯示設備。同時，元宇宙運動健身內容逐漸豐富，包括舞蹈、瑜伽、拳擊、跑步、騎行等多種運動類型，推動家庭健身從簡單娛樂性發展到專業化階段，用戶足不出戶就可以跟著教練進行活動，享受等同專業健身場館的健身體驗。圖3.4居家健身應用示意圖電視端通過定制機頂盒與移動終端，實現用戶肢體、動作捕捉，對健身動作進行科學評估與實時糾正。傳統的居家運動健身主要存在三個問題：一是健身過程較為枯燥、單調，導致用戶無法長期堅持；二是健身動作、健身負荷等缺乏科學性的統計方法，健身效果不可量化；三是健身過程中缺乏交互性，動作標準程度和動作安全性缺乏指導，容易造成運動損傷。在家庭元宇宙場景下，基于電視大屏端的XR運動健身能有效解決上述問題。通過電視大屏向用戶提供豐富想象力的虛擬場景，如海底、太空、以及國家體育運動中心等特殊意義的場所，讓運動健身充滿樂趣從而解決健身枯燥的問題。其次在智能電視機、智能機頂盒上搭配智能傳感器，如HDRIMUAI算法實時捕捉動作進行標準化分析。同時基于電視音響、圖像畫面和可穿戴傳感器等方式進行實時反饋，實現雙向交互，提升運動健身體驗。新一代智能電視和智能機頂盒不僅在視聽方AIWi-Fi/藍牙等多樣化網絡接入能力，支持與各類智能傳感設備互聯互通。通過高效的分布式傳感技術，可以快速識別各類外圍設備，進行高效率的通訊，提供低延時、安全可靠的聯接，支持AI結構化數據傳輸，將外圍設備虛擬成本地設備進行操控，為用戶提供最佳的使用體驗。多人協同的運動健身能提高居家健身運動的娛樂性與社交性，有效緩解傳統運動健身枯燥、單調的問題。多人協同指同時支持多人在一個虛擬地點或多個地點同時接入，當用戶與其家人、朋友在同一個虛擬環境下健身運動，即使遠隔千里也如同近在身旁，可以實時的交流、碰觸，提高了健身過程中的娛樂性。同時家庭元宇宙健身支持運動記錄的統計、排名、朋友圈分享等功能，大幅度提高了運動健身的社交性。為保證運動健身活動中良好的多方協同效果，高效的音視頻實時通信技術是關鍵。實時通信的關鍵技術指標包括清晰度、端到端延遲、首幀加載時長、卡頓率等，這些技術指標將對用戶等待時長、使用時長、用戶滲透率等用戶體驗產生直接影響，進而影響業務營收。通常來說，運動健身等業務場景對延遲要求極高，從用戶觸發指令到首幀響應的往返時延需小于100毫秒，最佳體驗情況下需要小于70毫秒。5G千兆網絡支持大帶寬、低時延、高并發，可以為實時通信提供可靠的接入網絡，是支撐XR運動健身業務順利開展的基礎。家庭康養家庭康養通過結合元宇宙技術和家庭護理服務，以數字化手段賦能健康醫療行業，為家庭成員提供了更多維護和改善健康的選擇。針對有健康管理需求的家庭，家庭康養可為用戶提供健康數據監測、健康檔案建立、心理健康管理、醫療知識教育、數字人問診、遠程診斷等全方位的數字化健康服務。隨著用戶對個人健康數據關注的提升，在物聯網技術下的實時監測成為家庭康養不可或缺的一部分。健康數據監測通過實時監測家庭成員的血壓、血糖、心率等指標及時反映用戶身體狀況，并通過AI虛擬現實技術則為心理健康管理和醫療知識普及教育提供了更有效的方法。以電視大屏為呈現終端，結合云渲染技術，通過VR技術為家庭用戶構建安全、舒適的虛擬環境，促進用戶神經功能恢復，減輕焦慮、抑郁等情緒；并以VR形式進行醫療知識教學，一比一還原真實的急救案例與操作方式，增強家庭用戶對急救技能的理解和掌握，提高對突發情況的處理能力。在技術和需求的雙重推動下，數字人可基于歷史健康數據進行針對性的診斷，為家庭用戶提供便捷化、精細化、平民化的問診服務。同時，遠程診斷也是家庭用戶健康管理的重要手段之一，通過視頻通話、傳感器數據傳輸等實時通信技術，可將通話功能集成到電視大屏中，利用電視大屏幕、高清晰度等優勢為家庭成員與醫生搭建更便捷的通話渠道。一般情況下，通話場景中端到端時延在200毫秒以內不影響用戶體驗，家庭千兆網絡支持大帶寬、低時延、高并發，為大屏實時通話提供了可靠的傳輸通道。家庭物聯網

圖3.5家庭康養應用示意圖家庭物聯網系統是家庭元宇宙場景化應用的重要能力底座，是實現虛擬世界與真實世界互聯互通的技術支撐。家庭物聯網技術通過智能終端、傳感器等設備將家庭中的各種物品、設施與環境連接成一個智能化的網絡，構建一個智能家居服務平臺，從而實現家庭內部的智能化管理和控制，提供全方位的信息交互。基于家庭物聯網系統，用戶可在元宇宙中操控各類智能家居或與家庭環境進行互動，如通過虛擬界面控制家庭智能設備、監控家庭安全情況、調節家庭環境等。同時家庭物聯網系統通過收集和分析家庭中的各種數據為用戶提供更加個性化的服務和體驗，為家庭元宇宙場景化的可持續開發提供重要的數據支撐。中國移動智慧家庭以和家親APP為入口，打造統一的控制平臺，通過移動終端實現連網、遠程操控和多設備聯動等功能，構建家庭物聯網系統，為用戶提供跨終端、跨場景的連接、應用和服務，滿足家庭用戶對便捷、貼心、智能家居生活的向往。家庭物聯網的發展對家庭網絡提出了更高的要求，FTTRP2MP伸至各個房間，實現全屋千兆以上的網絡覆蓋能力，成為構建家庭高質量信息基礎設施的關鍵。FTTR率高、速率高、抗電磁干擾能力強、保密性好等特點，智能終端可在FTTR主從設備網絡之間無感切換，實現Wi-Fi全屋覆蓋，消除網絡切換導致的訪問中斷或卡頓等問題。同時光纖絕緣性能好、壽命長、體積小，便于施工和維護，FTTR組網方式可規避頻繁更換網線、電力線速率低、易受電器干擾等問題，達到“一次部署，長期演進”的效果，推動家庭元宇宙與IoT融合發展，助力打造未來數字家庭聯接新體驗。圖3.6FTTR架構示意圖家庭元宇宙交互技術分析家庭元宇宙交互內容標準隨著元宇宙與虛擬現實技術的蓬勃發展，旅游、醫療、工業、教育等行業涌現了越來越多的三維內容，其數量、質量和豐富度不斷提高和完善。電視大屏作為家庭元宇宙娛樂、教育、健康等應用場景的主要入口，缺乏家庭元宇宙相關的內容標準和內容播放能力。為了讓用戶體驗到更真實、豐富的家庭元宇宙互動內容，白皮書制定了統一的家庭元宇宙內容格式標準，包括家庭元宇宙基礎內容和家庭元宇宙內容規范方案。家庭元宇宙基礎內容圖片內容是家庭元宇宙中應用最多的數據類型，包括傳統圖片、全景圖片和紋理圖片等。傳統圖片，如jpeg、png、gif素材，可用于VR旅游、VR看房、VR戶外活動等多種場景。其制作方式通常是由一組或多組前期拍攝的環360受到真實的環境和場景。按照幾何結構全景圖片可細分為球形全景圖片和立方體全景圖片，球形全景圖片將多2:1，如圖4.1(1)。立方體全景圖片則將多張照片拼接成一張寬度、高度相等的圖像，通常以正六面體為主，包括前、后、4.1(2)1K、2K、4K、8K、12K、16K4.13D 球形全景圖片 (2)立方體全景圖片4.14.1分辨率尺寸（px）1K1024*5122K2048*10244K4096*20486K6144*30728K8192*409612K12288*614416K16384*81923D模型內容在元宇宙領域發揮著重要作用，在游戲、教育、文旅、醫療、建筑等方面均有深度的應用，為元宇宙場景化應用提供了更加豐富、生動和逼真的視覺效果，讓用戶更具沉浸感。常見的內容格式包括obj、fbx、gltf、Unity等。音頻內容是元宇宙應用中不可或缺的部分，按音頻的業務類型可以分為背景音樂、解說和語音交互。元宇宙場景中的聲音通常以立體聲或環繞聲的形式呈現，常用的音頻格式包括wav、mp3、Ogg、aac等。視頻內容是元宇宙應用主要的承載形式，包括普通視頻和全景視頻，格式以mp4為主。其中全景視頻通過拼接多個多視角視頻畫面制作而成。家庭元宇宙內容規范方案本章節提出一種家庭元宇宙內容規范方案，開發者可基于此內容規范在電視大屏、手機應用、VR4.2所示，內容規范包括內容描述文件和內容資源目錄，其中內容描述文件包含了內容空間結構和資源描述等方面。圖4.2家庭元宇宙內容規范結構內容空間結構內容空間結構是案例數據組織存儲的重要依據以及全景應用解析展示全景內容的基礎，主要描述了項目資源類型和各個資源類型層級結構。如圖4.3所示，基本結構包括項目、分組（一級、二級）和全景。項目是當前整個案例的抽象表述，具有唯一性，一個項目由多個分組構成。分組是指具有相似特征的多個對象的邏輯集合，集合可以是多個全景或多個分組，方便用戶依據不同的空間特征進行虛擬場景的瀏覽，例如一棟樓里的多個客廳全景構成客廳的二級分組，餐廳全景構成餐廳的二級分組，兩個二級分組構成該樓的一級分組。全景是帶有各類渲染資源的最小組成單元，表示虛擬空間，通過解析全景中的素材數據可實現對虛擬場景的渲染。圖4.3內容空間結構內容資源描述根據內容空間結構分別從項目、分組、全景描述各個結構資源，整體結構如圖4.4所示。圖4.4內容資源描述整體結構項目包括基礎信息項、一級分組和全局自動導覽配置。基礎信息在項目、分組、全景中均包含，包括ID、ID、名稱以及內容描述。一級分組屬于邏輯單元，用于承載各二級分組、沙盤或全景信息。全局自動導覽配置數據主要包括路徑信息、字幕、相機動畫、展示圖片素材以及背景音樂/解說等。通過路徑信息提供的全景點位和配置的相機動畫參數，虛擬相機可自動實現各點位的實時轉換，并在整個案例場景的瀏覽過程中，在不同的時間及點位播放對應的字幕、音樂與圖片。一級分組包括基礎信息項、二級分組和沙盤信息，二級分組又包含沙盤和全景信息。每個分組中均包含用于表示整體平面結構的分組沙盤信息，其中沙盤數據主要包括名稱、沙盤背景圖、熱點、狀態、樣式和平面相機。沙盤背景圖即平面結構圖，在沙盤背景圖上按點位分布對應的熱點用于展示各個虛擬場景的位置，點擊熱點則可實現虛擬場景的切換，狀態用于控制沙盤與熱點的展示行為，樣式用于個性化熱點的繪制，操作平面相機則可旋轉虛擬相機。全景包括基礎信息項、全景沙盤信息、興趣錨點、嵌入媒體內容、相機控制、特效信息、背景解說以及全景素材信息。全景沙盤信息數據與分組沙盤一致，但全景沙盤具有更高的優先級。興趣錨點數據通過標注虛擬場景中的感興趣點位或關鍵點位來提升用戶的參與度，包括類型、樣式、行為、素材、名稱、尺寸以及承載內容等信息，其中內容包括各種媒體內容和動畫參數內容，例如圖片、文字、音頻、視頻、地理位置、場景切換等。錨點類型可分為圖標錨點、幾何錨點和個性化錨點，不同類型的錨點具有不同的素材資源，例如幾何錨點的數據是一組幾何路徑數據，個性化描點則依據樣式及尺寸數據，并結合用戶行為數據和內容數據實現個性化繪制，依據不同的數據信息呈現不同的內容。嵌入媒體數據用于豐富虛擬場景實時展示的媒體內容，包括類型、樣式、行為、素材、名稱、狀態、內容以及動畫等信息，其類型主要有圖片、視頻、文字、標尺與遮罩（僅在極點方向上展示的圖片），結合素材資源實現不同媒體內容的渲染。文字樣式、標尺樣式、圖片/視頻樣式（顏色去除）等樣式數據可實現嵌入內容的個性化繪制。狀態數據用于設置嵌入媒體內容的展示行為，例如場景跟隨旋轉、固定水平垂直展示。行為數據與內容數據用于處理用戶的點擊交互，動畫數據則主要用于圖片內容自動或手動切換。相機數據方便用戶控制虛擬相機以實現在不同視角下瀏覽虛擬場景，主要包括視角、范圍控制、行為動畫等信息。其中視角數據表示進入場景的初始視角，范圍控制用于控制虛擬相機的可視范圍，行為動畫則包含小行星動畫參數和自動旋轉動畫參數。特效信息數據用于提升虛擬場景的真實感和趣味性，主要包括類型、位置、素材等信息。特效類型包括粒子動畫和陽光透鏡特效，位置數據用于設置陽光特效的位置，素材資源則用于展示個性化的粒子效果。背景音樂/解說數據通過烘托虛擬場景氣氛從而提升用戶的沉浸感，包括類型、狀態、素材等信息。類型數據用以區分背景音樂和解說，狀態數據用于設置播放狀態，素材則是音合素材實現多形態的全景渲染。內容資源目錄內容描述文件以cmpt私有文件格式存儲，cmptcmptAPI供cmpt，視頻、音頻等靜態資源利用單獨文件服務器托管。家庭元宇宙交互技術實現方案全景應用架構設計和執行流程全景應用系統架構如圖4.5所示，家庭元宇宙全景應用系統整體采用B/S架構，在Web前端層面基于HTML和WebGL對整個應用進行渲染，通過開源框架搭建整個業務系統，并采用Unity3D構建客戶端應用框架。圖4.5全景應用系統框架全景應用功能架構圖4.6為全景應用功能框架，功能架構采用模塊化的方式最大限度地解耦合各個功能模塊，提高代碼復用性和可維護性。包括內核數據模塊、場景管理模塊、全景生成模塊、錨點管理模塊、嵌入內容模塊、自動導覽功能模塊、相機控制模塊、特效模塊以及UI組件模塊九個功能模塊。圖4.6全景應用功能架構內核數據模塊主要用于管理全景案例的原始數據，在全景應用的創建過程中生成基礎數據結構對象，提供相關的對外接口，方便其他模塊獲取所需的數據，實現創建、渲染、更新等功能。場景管理模塊主要用于管理場景對象，控制不同場景之間的切換。其中場景對象是渲染三維全景以及全景中其他展示內容的媒介，包含主場景與待切換場景兩個場景對象，主場景始終通過前臺展示內容，而待切換場景則在切換過程中渲染待展示的全景。該模塊可根據案例中的相關數據選取不同的場景切換策略實現全景場景的切換。全景生成模塊主要用于全景對象的創建，根據案例中全景數據的格式可分別創建盒模型全景、球模型全景、全景視頻對象，創建的全API（OpenGL、Vulkan、WebGL、DirectX、Metal）實現。錨點管理模塊用于錨點對象的創建，根據案例錨點數據的類型可分別創建圖標錨點、個性化錨點以及幾何錨點。其中圖標錨點與個性化錨點的數據形式為圖片與文字，采用DOM渲染實現；幾何錨點的數據形式是三維頂點與文字，采用通用圖形API結合DOM渲染方式實現，通用圖形API用于渲染三維頂點構成的幾何圖形，DOM實現文字的渲染。嵌入內容模塊用于創建嵌入內容對象，包括圖片、視頻、文字、標尺、掩膜對象，其中文字對象與個性化錨點類似采用DOM渲染方式實現，圖片、視頻、標尺、掩膜則利用GPU繪制實現。自動導覽功能模塊與相機控制模塊作用的對象都是相機。其中自動導覽功能模塊的作用是根據設置的點位，實現相機自動瀏覽各個全景。相機控制模塊主要實現小行星效果、相機旋轉控制、相機FoV更改、自動巡游與重力感應功能。特效模塊為場景實現粒子動畫特效以及鏡頭光暈特效。粒子動畫特效包括雨、雪、自定義圖片特效。UI組件模塊管理各個UI組件的創建，包括全景列表組件、全景視頻控制組件、沙盤組件、自動導覽內容組件、功能按鈕組件、內容展示組件。全景應用執行流程4.7UIUI化，以便執行后續的渲染以及交互操作；最后，讀入cmptcmptUI組件，同時利API圖4.7全景應用執行流程多形態全景應用渲染方案全景內容在游戲或影視動畫中一般作為背景，提供烘托場景氣氛的作用，對其自身表現力要求不高，通常使用通用圖形API提供的CubeMap功能即可實現全景效果，但在交互操作性上受到一定限制。而VR全景漫游則是將全景展示作為主體，使用戶感受到身臨其境的效果。VR全景內容展示在不同遠近的視角下細節表現不同，視角較遠時遠端景物細節模糊，視角較近時遠端景物細節清晰。為適配全景內容遠近切換的細節效果，本方案基于視野大小構建FoV金字塔分層模型，不同大小的FoV對應不同清晰度的全景圖片。同時，為優化高分辨率圖片加載效率，自建切片分割式模型，將高分辨率圖片按照512×512的大小進行分割，并建立高分辨分割圖片與場景模型分割面之間的映射關系。在繪制時通過瀏覽器的并行下載功能實現場景資源的快速加載，通過視錐體剔除、幾何數據合批繪制等實現全景的高性能繪制和流暢交互。盒模型全景渲染盒模型分別設置上（Face2）、下（Face3）、左（Face1）、右（Face0）、前（Face4）、后（Face5）六個面，每個面長寬相同，且每個面右上角的uv坐標系用于圖像采樣，主要用于對立方體全景圖進行渲染。立方體全景圖由六張1：1的圖片構成，與盒模型的六面一一對應，首先在全景金字塔模型中選取當前FoV下的圖像進行切片處理，并對當前FoV圖像對應的幾何面片進行網格切片，建立FoV圖像切片與每個網格切片的映射關系；然后依次遍歷網格切片，構建用于通用圖形API渲染的標準頂點數據，同時將對應的圖像切片轉換為圖形API提供的紋理對象，實現每個面的全景渲染。當FoV改變時，獲取全景金字塔中新層級的全景圖像，重新執行切片過程構建新的渲染數據。圖4.8盒模型全景渲染球模型全景渲染球模型主要用于球形全景圖的渲染，其特征是寬高比為2:1。首先獲取不同的FoV層級基于球模型切片的幾何數據。球體的分割通過經度和緯度實現，每一個全景圖切片被映射到由經緯度分割的幾何切片中，切片的頂點位置需要通過球坐標計算，利用半徑、水平角以及垂直角計算最終的幾何頂點位置，將幾何切片數據轉換為可渲染數據，全景圖切片數據轉換為紋理對象，實現球模型全景的渲染，在渲染過程中，相機視角始終位于球心處。圖4.9球模型全景渲染全景視頻渲染全景視頻可看作多張球形全景圖的集合，其寬高比為2:1，同樣采用球模型進行渲染，無需對球模型與視頻進行切片處理，一次性生成完整球體的頂點數據，綁定視頻資源，生成通用圖形API提供的紋理對象，將視頻數據寫入紋理緩沖區中，在運行于GPU的著色程序中對視頻紋理進行采樣，最終渲染到屏幕上。3全景渲染規范渲染數據組織規范全景渲染數據主要包括幾何頂點數據與紋理數據。對于全景場景中所有基于GPU繪制的幾何數據，采用如圖4.10的組織形式。圖4.10基于GPU繪制的幾何數據形式其中x、y、z表示頂點坐標，用于幾何繪制；u、v表示紋理坐標，用于紋理采樣；nx、ny、nz表示頂點法向，用于額外的光照計算；r、g、b表示頂點顏色，用于著色；textureId表示紋理單元，用于合批繪制。對于以三角圖元繪制的數據，頂點坐標及紋理坐標是必須的，其余數據根據業務需求進行設置；對于以非三角圖元繪制的數據，頂點坐標是必須的，其余數據根據業務需求進行設置。全景渲染中原始紋理素材格式包括jpeg、png、bmp、gif、mp4、WebM、OggImage（jpeg、png、bmp），API2DgifgifImageAPI2D紋理數組對象進行管理（texture2DArray）；視頻資源（mp4、WebM、Ogg）videoAPI2D紋理對象進行資源管理。渲染管線規范通過如圖4.11、4.12所示的標準硬件渲染管線，可將上述資源數據渲染至屏幕。4.11web4.12家庭元宇宙終端交互協議智能電視憑借其優質的視聽體驗以及能減少用戶長時間佩戴VR頭顯的不適感等特點，有望成為家庭元宇宙的主要入口，但受限于傳統遙控器僅支持上下左右的按鍵操作，用戶在交互控制、文本輸入等方面體驗欠佳。為提升智能電視、機頂盒等設備的元宇宙交互體驗，基于移動終端、手柄、可穿戴設備等智能硬件，通過Wi-Fi/藍牙/UWB等協議建立近距離通信，制定家庭元宇宙終端交互方案，解決家庭元宇宙應用交互難的痛點問題。整體方案設計家庭元宇宙終端交互方案主要通過移動終端設備控制電視大屏，構建虛擬化控制終端以實現更加靈活的交互操作體驗，并支持文本輸入、視野控制等功能。如圖4.13所示，交互方案基本架構包括控制終端、交互協議和電視大屏端。控制終端為具有陀螺儀傳感器的手機、智能遙控器、手柄、可穿戴硬件等，用于發送陀螺儀數據和交互協議定義的操作指令。交互協議定義了控制終端與電視大屏端傳送數據和指令的方式，并通過Wi-Fi/藍牙/UWB等協議建立近距離通信實現信息傳遞。電視大屏端通過軟件適配的方式與控制終端建立通訊連接，處理交互協議中的各項數據與指令，從而實現對家庭元宇宙內容的交互控制。圖4.13交互方案基本架構為減輕集成復雜性、增強可擴展性，本方案可采用SDK的方式集成到電視大屏端運行的單個應用中，避免對電視端硬件或者系統層進行集成，針對不同的應用引擎可根據實際情況進行相應的SDK實現。電視端應用集成SDK后，采用本方案的所有控制終端均能與其建立連接并使用。同時可結合實際使用場景、業務權限或設備類型，選擇電視端是否與請求連接的控制終端設備建立連接。交互方案主要功能虛擬手柄在電視大屏端顯示的元宇宙場景中，基于控制終端的陀螺儀數據生成虛擬手柄，使其方向與控制終端保持一致。虛擬手柄可通過末端發出的射線與場景內其他元素交互，通常情況下虛擬手柄應具有確定和返回按鍵。額外功能按鈕，如音量控制或自定義按鍵可根據業務需求增加，手柄支持的各個按鍵通過控制終端實體/虛擬按鍵映射。基于控制終端的陀螺儀數據，虛擬手柄可以實現3DoF的運動追蹤，對于具備高性能陀螺儀的控制設備方案支持擴展到6DoF，6DoF手柄可以追蹤用戶的位置和姿態，提供更加精準和沉浸式的交互體驗。視野控制家庭元宇宙應用中，電視端可通過獲取控制終端的陀螺儀數據實現視野控制，達到趨近于頭顯設備的便捷視野控制體驗。視野控制功能需使用控制終端的陀螺儀數據，應與虛擬手柄的操作有所區分。可設置視野控制操作按鈕，在控制終端長按該按鈕時，電視端忽略虛擬手柄的顯示，將陀螺儀數據用于視野控制；當該按鈕未被按下時，電視端視野固定并僅顯示虛擬手柄。由于視野控制按鈕僅需長按，確認按鈕僅需短按，因此兩個按鈕可在控制終端合并。與虛擬手柄類似，當控制終端支持6DoF時，視野顯示功能也應同時支持對視野位置和姿態的控制。虛擬遙控器對于具備多點觸控屏幕的移動終端設備，可通過構建虛擬遙控器實現與電視端的交互。遙控器作為傳統的電視控制方式，對電視端內容具有較好的適配性。虛擬遙控器應至少支持傳統遙控器的基礎按鈕（包括上下左右方位控制、確定、返回、音量控制、設置、功能鍵等），所有響應均需與直接使用傳統遙控器保持一致，并可根據應用場景額外支持數字鍵、功能鍵等。受硬件限制，非多點觸控屏幕的移動控制終端無法實現虛擬按鍵，即無法支持虛擬遙控器功能。文本輸入用戶在電視端進行文本輸入的操作較為困難，通過建立電視與移動控制終端之間的文本輸入連接，能夠大幅提升用戶文本輸入的便捷度與效率。當電視端需要輸入文本內容時，首先通過交互協議與控制終端建立連接，控制終端在收到請求后彈出本地文本輸入框；然后用戶可在控制終端進行輸入，并且輸入內容將實時同步到電視端顯示；最后在控制終端輸入完成后，電視端將同步觸發大屏輸入完成事件。控制終端文本輸入僅可通過電視端觸發，并且電視端取消輸入時控制終端也將同步取消。由于文本輸入依賴于控制終端本身的文本輸入功能，對于不支持多點觸控屏幕的控制終端將無法支持該功能。擴展邏輯控制除以上通用功能外，控制終端還應結合實際需求額外支持特定的控制邏輯和操作指令，因此在協議層需預留額外的指令發送功能，支持對特定控制邏輯和操作指令的傳輸。對于具備多點觸控屏幕的移動終端設備，可在控制終端實現額外的UI界面，并通過自定義指令的方式將用戶行為發送至電視端，實現更為復雜的多屏交互。對于不具備多點觸控屏幕的移動終端設備，系統通過未占用的按鍵實現額外指令，并通過電視端實際運行的元宇宙應用響應傳輸信息。交互方案關鍵環節建立近距離通信連接近距離通信連接由控制終端發起，電視端集成的SDK響應終端請求。建立流程如圖4.14所示，電視端在收到連接建立請求后，將控制終端信息交由正在運行的元宇宙應用校驗請求的合法性，合法性通過則建立連接，不同的通信協議在實際建立連接過程中可能存在細微差別。在無額外需求時，通常僅對連接設備的類型等信息進行校驗，若控制終端存在定制開發則可增加權限校驗等安全校驗環節。圖4.14近距離通信連接發送坐標與指令控制終端與電視端發送的數據主要包括陀螺儀坐標數據和指令數據