ICS35.240

CCSL81

中華人民共和國國家標準

華人民共和國國GB/家TXXXX標X—XX準XX

信息技術計算機圖形圖像處理和環境數據

表示混合與增強現實中實時人物肖像和實

體的表示

Informationtechnology—Computergraphics,imageprocessingandenvironmental

datarepresentation—Liveactorandentityrepresentationinmixedandaugmented

reality(MAR)

(ISO/IEC18040:2019,IDT)

（征求意見稿）

（在提交反饋意見時,請將您知道的相關專利連同支持性文件一并附上）

XXXX-XX-XX發布XXXX-XX-XX實施

1

GB/TXXXXX—XXXX

目次

前言........................................................................IV

1范圍.......................................................................1

2引用規范性.................................................................1

3術語，定義和術語縮寫.......................................................1

3.1術語和定義...........................................................1

3.2術語縮寫.............................................................3

4MAR中LAE表示的概念.......................................................3

4.1概述...................................................................3

4.2基本構成...............................................................6

4.2.1梗概...............................................................6

4.2.2LAE的捕獲器和傳感器...............................................7

4.2.3LAE識別器.........................................................7

4.2.4LAE追蹤器.........................................................7

4.2.5LAE空間映射器.....................................................7

4.2.6LAE事件映射器.....................................................7

4.2.7渲染器.............................................................8

4.2.8界面與用戶接口.....................................................8

4.2.9場景表示法.........................................................8

5LAE捕獲器和傳感器.........................................................8

5.1概述...................................................................8

5.2計算視圖...............................................................9

5.2.1梗概...............................................................9

5.2.2LAE捕獲器.........................................................9

5.2.3LAE傳感器.........................................................9

5.3信息性觀點............................................................11

6LAE的追蹤器和空間映射器..................................................12

6.1總覽..................................................................12

6.2計算視圖..............................................................13

6.3信息視圖..............................................................14

6.4利用LAE跟蹤和MAR空間映射的一個例子..................................15

7LAE的識別器和事件映射器..................................................16

7.1概述..................................................................16

7.2識別器................................................................16

7.3事件映射器............................................................18

7.4事件執行..............................................................19

7.5在MAR中的LAE識別和事件映射例子.......................................19

8LAE場景表示..............................................................20

8.1概述..................................................................20

8.2現場描述...............................................................22

9渲染器....................................................................22

9.1概述.................................................................22

GB/TXXXXX—XXXX

9.2計算視圖..............................................................23

9.3信息視圖..............................................................23

10顯示和用戶界面...........................................................23

11虛擬人物和實體的擴展.....................................................23

12系統性能.................................................................24

13安全性...................................................................25

14一致性...................................................................26

附錄A......................................................................29

A.13D虛擬工作室..........................................................29

A.2在MAR場景中LAE的事件映射............................................29

A.3通過LAE動作對MAR場景中的虛擬對象進行交互式控制......................32

A.4用特殊效果增強對象....................................................34

A.53D虛擬會議............................................................35

iii

GB/TXXXXX—XXXX

引言

本文件定義了包含在混合與增強現實（MAR）世界中的實時人物肖像和實體（LAE）

的表示模型的范圍和關鍵概念。相關術語及其定義以及一個通用的軟件體系結構，共同構成

作為MAR應用、組成部分、系統、服務和規范的參考模型。它定義了在MAR場景中表示

和渲染LAE，以及LAE和MAR場景中的對象之間的交互界面。它為適用于當前和未來

MAR標準完整范圍的LAE定義了一組原則，概念和功能。該參考模型建立了一組含有相關

信息內容的必需的模塊及其最小功能，以及應由兼容的MAR系統提供和（或）支持的信息

模型。包括（但不限于）以下內容：·

—混合與增強現實標準領域和概念的介紹；

—在MAR場景中包含LAE的表示模型；

—MAR場景中LAE的3D建模，渲染和仿真；

—MAR場景中LAE的屬性；

—MAR場景中LAE的感知表征；

—MAR場景中用于控制LAE的接口表示；

—在MAR場景中控制LAE的功能和基本構成；

—LAE和MAR場景之間的交互界面；

—與其它MAR組成的接口；

—與其它標準的關系；

—用例；

本文件的目標如下：

—為基于LAE表示的MAR應用程序提供參考模型；

—在MAR環境中管理和控制LAE及其屬性；

—將LAE集成到MAR場景中的2D和（或）3D虛擬場景中；

—在MAR場景中實現LAE與2D和（或）3D虛擬場景的交互；

—提供在基于LAE的MAR應用程序之間傳輸和存儲數據所需的交換格式；

本文檔具有以下文檔結構：

—條款4描述了MAR中表示基于LAE系統的概念。

—條款5說明了傳感器如何捕獲現實世界和虛擬世界中的LAE。

—條款6描述跟蹤LAE位置的機制，并指定現實空間和MAR空間之間的空間映射

器的作用。

—條款7描述識別LAE行為的機制，并詳細說明LAE的MAR事件與MAR內容創

建者指定的條件之間的關聯或事件

—條款8描述一個由LAE的虛擬場景，感測數據，空間場景，事件，目標等組成的

場景。

—條款9描述了MAR場景系統如何在給定的顯示設備上呈現場景、LAE映射、事件

等以進行顯示輸出。

—條款10描述顯示器的類型包括監視器、頭戴式顯示器、投影儀、觸覺設備和聲音

輸出設備，用于在MAR場景中顯示LAE.

—條款11識別并描述虛擬LAE（例如虛擬3D模型（虛擬人物））和虛擬LAE（例

如MAR系統中的真實人體模型）。

v

GB/TXXXXX—XXXX

—條款12發表有關MAR中LAE的任何與系統性能有關的問題的聲明。

—條款13發表和MAR中LAE的任何與操作安全相關的問題聲明。

—條款14發表和MAR中LAE的任何與一致性相關的問題聲明。

—附件A給出了MAR中具有代表性的LAE表征系統的實例。

vi

GB/TXXXXX—XXXX

信息技術虛擬現實內容表達第2部分：視頻

1范圍

本文件定義了一個參考模型和基本構成，用于表示和控制MAR場景中的單個LAE或多個

LAE。它定義了概念，參考模型，系統框架，功能以及如何集成2D/3D虛擬世界和LAEs

以及它們之間的接口，以便為MAR應用程序提供LAEs的接口。它還定義了在基于LAE的MAR

應用程序之間傳輸和存儲LAE相關數據所需的交換格式。

本文件具體說明了以下功能：

a)MAR中LAE的定義；

b)LAE的表示；

c)LAE屬性的表示；

d)LAE在現實世界的感知；

e)將LAE集成到2D/3D虛擬場景中；

f)在2D/3D虛擬場景中LAE與對象之間的交互；

g)在MAR場景中傳輸與LAE相關的信息。

本文件定義了一種基于LAE表示的MAR應用的參考模型，用于在MAR場景的2D/3D

虛擬場景中表示和交換與LAE相關的數據。它沒有定義操縱LAE所必需的特定物理接口，也

就是說，它沒有定義特定應用程序如何在MAR場景中實現特定LAE的方式，而是定義了一個

通用的功能接口，用于表示可以在MAR應用程序之間互換使用的LAE。

2規范性引用文件

以下文件在正文中引用時，其部分或全部內容構成本文件的要求。凡是標注日期的引用

文件，僅引用的版本適用。凡是不標注日期的引用文件，其最新版本（包括任何修改件）適

用。

ISO/IEC18039，信息技術—計算機圖形、圖像處理和環境數據表示—混合與增強現實

（MAR）參考模型。

3術語，定義和縮略語

3.1術語和定義

本文檔適用ISO/IEC18039和以下內容中的術語和定義。

3.1.1

增強對象augmentedobject

增強的對象

3.1.2

1

GB/TXXXXX—XXXX

地理坐標系geographiccoordinatesystem

由傳感器設備提供的用于確定LAE位置的坐標系（3.1.4）

3.1.3

頭戴式顯示器headmounteddisplayHMD

顯示虛擬現實立體視圖的設備

注釋1：它有兩個小顯示屏，帶透鏡和半透明鏡子，可適應左右眼。

3.1.4

現場演員和實體liveactorandentityLAE

在MAR內容或系統中對有生命的物理或真實對象的表示，例如人類、動物或鳥類等

注：通過從攝像機捕獲動作，可以在MAR場景中對實時的人物肖像進行動畫處理，移

動并與虛擬對象進行交互。實體是指MAR內容中存在的3D對象和實體。

3.1.5

LAE識別器LAErecognizer

MAR模塊可識別LAE捕獲器（3.16）和LAE傳感器的輸出，然后根據內容創建者指

示的條件生成MAR事件。

3.1.6

LAE捕獲器LAEcapturer

MAR構件(component)，在虛擬世界和現實世界中捕獲LAE（3.14），包括深度攝影機、

通用攝影機、360°攝影機等

注：LAE的信息可由LAE識別器和LAE追蹤器處理，以提取背景或骨架。

3.1.7

LAE追蹤器LAEtracker

分析來自LAE捕獲器（3.16）和傳感器的信號，以及提供跟蹤LAE（3.1.4）的一些特

性（或示例位置、方向、振幅、剖面）的MAR構件（硬件和軟件）。

3.1.8

物理相機坐標系physicalcameracoordinatesystem

由照相機提供的用于捕獲現實世界中LAE（314）的坐標系。

3.1.9

物理坐標系physicalcoordinatesystem

可以定位LAE（3.14）并由地理空間坐標系傳感設備控制的坐標系。

3.1.10

2

GB/TXXXXX—XXXX

虛擬演員和實體virtualactorandentityVAE

LAE的虛擬現實表示（3.1.4）

注：虛擬肖像和實體是通過3D捕獲技術獲得的，可以在MAR場景中進行重構，傳輸

或壓縮。虛擬肖像和實體可以使用全息技術在一個地方捕獲或實時傳輸到另一個地方。

3.1.11

世界坐標系worldcoordinatesystem

在計算機圖形學中，通用系統允許模型坐標系相互交互。

3.2縮略語

DDRdancedancerevolution（勁舞革命）

EIDeventidentifier（事件標識符）

FOVfieldofview（視場）

GNSSglobalnavigationsatellitesystem（全球衛星導航定位系統）

LAE-MARliveactorandentityrepresentationinmixedandaugmentedreality（混合與增

強現實（MAR）中實時肖像和實體的表示）

RGBred，green，blue（紅，綠，藍）

SDKsoftwaredevelopmentkit（軟件開發工具包）

SIDsensoridentifier（傳感器標識符）

UIuserinterface（用戶界面）

UTMuniversaltransversemercator（通用橫軸墨卡托投影）

VRvirtualreality（虛擬現實）

4MAR中LAE表示的概念

4.1概述

如ISO/IEC18039中所示，MAR代表了一個連續體，它涵蓋了使用現實（例如，實時

視頻）和虛擬表示（例如，計算機圖形對象或場景）的組合作為其主要表示媒介[1][2]的所有

域或系統。圖1說明了MAR是根據現實和虛擬的表示混合定義的，不包括LAE觀點表示

的純粹的真實環境和純虛擬環境。真實環境是指LAE和現實對象所在的現實世界環境。虛

擬環境通常是指虛擬現實，它是計算機生成的逼真的圖像和復制真實環境的假設世界。增強

現實是指真實世界環境的視圖，其要素包括LAE和可以通過計算機生成的感官進行增強的

對象，而增強虛擬化是可以在其中映射和交互包括LAE的現實世界元素的虛擬環境。在圖

1中，LAE配置了HMD設備以觀察虛擬世界，并直接與虛擬對象進行交互。

3

GB/TXXXXX—XXXX

圖1混合與增強現實（MAR）

本節基于ISO/IEC18039的MAR參考模型（MAR-RM）描述了MAR場景中LAE表

示的概念，包括在MAR場景中LAE表示系統的目標、嵌入、交互和功能。通常，肖像是

獨立的在表現中刻畫特征。在這種情況下，一個人物肖像代表一個由深度攝影機或普通攝影

機捕捉到的人，然后這些攝影機可以執行嵌入到MAR場景中的動作。存在于MAR場景中

并可以與實時人物肖像進行交互的3D對象稱為實體。實體可以通過事件映射器移動或與人

物肖像的動作交互。LAE在本文中被定義為MAR內容或系統中現實實時人物肖像和對象的

表示。例如，在MAR場景中，人物，鳥和動物都被表示為LAE。

圖2展示出了一個由二維虛擬世界和三維虛擬世界組成的MAR場景中的LAE表示的

例子。

圖2a)顯示了一個集成到2D虛擬世界的真實或虛擬圖像。可以從普通攝像機和（或）

深度攝像機傳感器捕獲LAE。此子圖顯示了一個真實的動作，其中一個人被綠屏工作室中

的攝像頭捕獲，并作為人物肖像被整合到白宮的2D虛擬世界圖像中。

圖2b)顯示了集成到3D虛擬世界中的多個LAE。這種情況可以適用于各種情況，如

新聞工作室，教育服務，虛擬手術或游戲[3l[4]。它在混合環境中支持3D視頻會議、類現實

通信功能、演示/應用程序共享和3D模型顯示的集成組合應用程序。

圖2c)展示了一個通過整合3D虛擬世界和實時人物肖像構建的MAR場景[5]。實時

人物肖像通過操縱桿或深度相機捕獲的動作與3D虛擬世界中的對象進行交互。HMD設備

用于在虛擬世界中顯示360°3D視圖，包括實時和逼真的動作[6]。該圖顯示工作室中的一個

人戴著HMD，通過它可以看到bowsling訓練場和操縱桿。通過操縱操縱桿他在操縱箭和弓。

因此，它可以射擊虛擬世界中的物體。

圖2d)展示了在現實世界中具有代表性的虛擬人物和實體[7]。虛擬LAE和LAE可以

相互通信和交互，例如進行自然的面對面對話。當與MAR結合使用時，該技術使LAE可

以在3D虛擬空間中看到、聽到并與虛擬LAE交互，就像在現實空間中真實表現一樣。

圖2e)描述了鳥和狗的LAE，從中可以推斷出LAE可以是MAR場景中的動物、鳥類

或人。

4

GB/TXXXXX—XXXX

（a）在摳像后一個LAE融合進一個（b）兩個LAE融合出一個三維虛擬

二維虛擬視頻世界世界

（c）一個LAE與虛擬三維世界中的（d）在一個MAR場景中一個LAE

虛擬物體交互的虛擬表示

e)一只鳥和一只狗的LAE表現形式

圖2LAE表現形式在MAR場景的例子

5

GB/TXXXXX—XXXX

一旦一個在現實世界LAE被合成到一個虛擬的三維世界，它的位置，運動和相互作用

應該在三維虛擬世界得到精確的表達。在一個MAR應用中，一個需要被嵌入進一個三維虛

擬世界的LAE需要被定義，并且諸如LAE的位置，動作和來自處理設備的傳感數據等信息

應該能夠在現實世界，虛擬三維世界和MAR應用中轉移。這篇文檔是去定義一個LAE如

何能被管理和控制其在三維虛擬世界的特性；一個LAE如何能被嵌入到一個三維虛擬世界；

一個LAE如何在虛擬三維世界與虛擬相機，虛擬物體和AR內容互動；和MAR應用數據

如何能被轉移到異構計算環境中。

4.2基本構成

4.2.1概述

在一個MAR場景中一個LAE能從現實世界中捕獲，然后在三維虛擬世界中表示，并

且能根據輸入的感知信息與三維虛擬世界中的相機，物體和增強現實內容交互。

為了提供一個能夠基于MAR-RM的LAE表示的三維虛擬世界，MAR系統需要以下功

能：

——LAE在現實世界中的感知來自于輸入設備，例如一個（深度）相機；

——感應來自輸入傳感器的交互信息；

——識別和追蹤現實世界中的一個LAE；

——識別和追蹤在現實世界中由多個LAE制造的事件

——識別和追蹤在現實世界中被傳感器捕獲的事件

——在一個三維虛擬世界中一個LAE的物理屬性的表示

——在一個三維虛擬世界中一個LAE的空間控制

——一個在三維虛擬世界和LAE之間的事件接口

——一個進入到三維虛擬世界的LAE混合渲染

6

GB/TXXXXX—XXXX

圖3在一個MAR場景中一個LAE的系統框架

概念上來說，如圖3所示，一個用LAE來實施的MAR場景包含幾個必要的構成部分，

它們用于處理LAE去融入三維虛擬世界的表示與交互。本條款提供了這些構成部分的一個

概念性的概述。每一個構成部分被描述的更多細節在條款5到10。

4.2.2LAE的捕獲器和傳感器

一個LAE的MAR場景能夠接受一個被捕獲的圖像或者圖像序列，并且能感知到由LAE

引發在現實世界中的數據。LAE的表示數據能夠從傳感設備/接口獲取，并被分成兩類：一

類用于LAE，一類用于感知LAE運動數據。LAE的數據能夠用于展示空間映射和事件映

射到三維虛擬空間上去，并且利用傳感數據去執行LAE和三維虛擬環境之間的事件映射。

MAR系統能夠使用例如網絡攝像機和深度類設備等設備。對于網絡攝像機來說，圖像

序列被捕獲并用于輸入。一個深度相機是一個用于捕獲LAE運動的運動感知接口設備。該

設備包含一個RGB相機，三維深度傳感器，麥克風陣列和一個電動傾斜裝置。該設備使用

紅外（紅外輻射）相機和一個紅外激光投影儀來獲取三維深度信息。

4.2.3LAE識別器

識別是指在捕獲的圖像或圖像序列和傳感數據中發現和識別LAE的動作。當一個傳感

器處理一個MAR構件的輸出并生成MAR事件時，LAE識別器識別出每一個事件并從數據

庫中給每一個事件匹配一個事件ID。LAE識別器通過比較來自現實世界中LAE動作和交互

信號與一個本地或者遠程的信號進行分析。然后，處理事件函數。

4.2.4LAE追蹤器

該模塊需要預處理的捕獲圖像或者圖像序列，以及從感知設備和接口獲得的傳感數據。

預處理的示例包括摳像，顏色轉換和背景去除。追蹤LAE是指找到LAE在每一個圖像序列

中的位置，這能通過圖像處理庫實現。

4.2.5LAE空間映射器

在一個MAR應用中現實世界中的LAE被嵌入到虛擬三維世界中。空間映射器的作用

是支持LAE在三維虛擬世界中更自然的運動。LAE空間映射提供在現實空間和MAR場景

空間用于轉換標定的空間信息，如位置，方向和比例。空間映射器通過提供顯式映射信息將

物理空間和LAE映射到MAR場景中。映射信息可以通過傳感器的給定的信息翻譯處理來

建模。

4.2.6LAE事件映射器

LAE能在現實世界中執行觸發事件的行為。這些行為反射到虛擬三維世界中，在這個

世界中LAE加入并與虛擬相機，虛擬物體和增強現實內容交互。LAE事件映射器是為了支

持LAE的行為運動。它創立了一個在MAR事件和被LAE識別器識別的事件之間的聯系。

7

GB/TXXXXX—XXXX

4.2.7渲染器

LAE的空間和事件映射器的結果被轉換為渲染模型。這個模型將結果和三維虛擬場景

融合并展示最終的融合輸出渲染結果。MAR場景能由渲染器的各種性能所規定；從而場景

能被調整，模擬性能能被優化。

4.2.8界面與用戶接口

LAE和MAR的最終融合渲染結果能在多種多樣的設備中展示，如顯示器，頭戴式顯示

器，投影儀，氣味擴散器，觸覺裝備和揚聲器。用戶接口提供給用戶一個改變MAR場景的

方式。WebXR是為了在一個HMD設備上展現一個渲染好的場景。

4.2.9場景表示法

MAR場景描述在混合與增強現實環境中所有涉及LAE的信息。這些信息包含傳感數據、

空間場景、事件、目標等。MAR場景觀察現實和虛擬物體的空間性，并且至少有一個現實

物體和一個虛擬物體。

表一基于上述討論總結了一個LAE-MAR系統的輸入輸出構件

表1——每一個LAE構件的屬性

類型

構成模塊

輸入輸出

LAE捕獲器/傳感器現實世界信號LAE表達的傳感數據

LAE識別器表示LAE原生或者處理后至少一個事件確認識別

的信號（傳感器提供）和目

標物體規格化數據（來自待

識別物體）

LAE追蹤器LAE表示的傳感數據識別目標信號的瞬時特征值

（位姿，方向，體積等）

LAE空間映射器傳感器標識符和傳感空間信在給定的MAR場景中的校

息準空間信息

LAE事件映射器MAR事件標識符和事件信在給定的MAR場景中LAE

息的轉換事件標識符

渲染器混合虛擬現實場景數據同步渲染輸出（例如視頻幀，

立體聲信號和電機命令等）

顯示/用戶界面渲染場景數據/用戶行為現實輸出/用戶行為回應

5LAE捕獲器和傳感器

5.1概述

LAE能夠被能夠測量各種物理屬性的硬件和軟件（可選）傳感器所捕獲。如ISO/IEC

8

GB/TXXXXX—XXXX

18039所述，兩種傳感器，“捕獲器”和“傳感器”被用于將LAE嵌入虛擬世界并且去展現LAE

和虛擬世界物體之間的交互。最常見的“捕獲器”是視頻和（或者）深度相機，它能捕捉一個

包含實時人物肖像和物體的現實世界，并形成一個（深度）視頻。視頻被用于提取LAE和

它被識別器和跟蹤器處理的行為。行為能夠特別地影響在現實世界中的LAE和虛擬世界中

的物體之前的交互。傳感器能夠捕獲目標現實物體產生的物理和非物理數據。（非）物理數

據能夠用于檢測，識別和追蹤將要被增強的現實目標物體并且去產生交互。傳感數據將會被

輸入到識別和追蹤中。

5.2計算視圖

5.2.1概述

一個LAE捕獲器/傳感器模型定義了構件的功能和它們感知一個LAE的接口。它將每

一個環境中的構件明確服務和協議。該模型提供兩類傳感器去感知LAE，“捕獲器”和“傳感

器”。

5.2.2LAE捕獲器

包含普通相機，深度相機和360°相機等多種多樣的相機被用于捕獲LAE。圖4展現了

一個LAE捕獲器捕獲包含一個LAE的現實世界，產生用于一個MAR場景的一個視頻，深

度圖和骨架。

一個LAE可以通過如背景去除、過濾和摳像等視頻處理技術在LAE追蹤器和識別器的

預處理步驟中被提取。一個經過提取的LAE不僅能嵌入進一個視覺世界，還能被用于識別

MAR事件，也就是說，一個經過提取的LAE能被當作LAE追蹤器的一個輸入或者一個標

識。

圖4LAE捕獲器

5.2.3LAE傳感器

LAE傳感器可以測量各種物理屬性，并將觀測值解釋為與LAE相關的數字信號。圖5

9

GB/TXXXXX—XXXX

顯示了傳感器捕獲與LAE活動相關的操作。它表明捕獲的數據只能用于計算LAE追蹤器和

LAE識別器中的上下文，或者它可用于計算上下文和根據物理屬性的性質或傳感器設備的

類型對場景的組成做出貢獻[11]。有許多類型的傳感器可用于在MAR環境中通過LAE控制

虛擬對象、虛擬攝像機和增強對象。這些傳感器可以根據其屬性生成不同的結果，例如位置、

方向、地理坐標系、時間、運動等。特別是，輸出傳感器可以作為高質量數據進行過濾和重

新生成。

圖5捕獲與LAE活動有關的動作的LAE傳感器

舉個例子，圖6展示了如何使用智能手機實現陀螺儀傳感器，加速度計，數字羅盤，環

境光傳感器，距離傳感器，氣壓計，霍爾效應傳感器，磁力計，計步器等功能。陀螺儀傳感

器通過每單位時間產生角速度來檢測手機旋轉的旋轉角度。加速度傳感器是用于測量加速度

和動力以感應手機的運動或振動。數字羅盤傳感器用于檢測地理坐標系，方向和導航電話信

息。

10

GB/TXXXXX—XXXX

圖6LAE活動的傳感器例子

HMD傳感器對于LAE在虛擬世界中自然呈現也很重要。當LAE配上HMD設備，它

們可以看到虛擬世界的真實場景并通過使用深度或跳躍運動設備的手勢與前面的虛擬對象

交互。HMD分為三種設備，它們為LAE提供不同的傳感器信息：

－首先，支持HMD的電腦是用作外部監視器的臺式機外圍設備。它提供了最深的以及

最身臨其境的VR體驗。它可以平滑地跟蹤位置和方向，從而輕松計算用戶的位置，然后在

虛擬空間中生成實時位置移動。大多數支持HMD的電腦都帶有輸入設備，例如用于跟蹤位

置的照相機或用于與虛擬世界中的對象進行交互的操縱桿。

－其次，移動HMD是可以通過智能手機連接的設備，以便可視化虛擬現實并且這個功

能可以使用內置的SDK進行自定義。移動HMD可以提供方向和頭部跟蹤感應數據。智能

手機嚴格支持此類型。

－第三，還有其它價格較低的設備可以查看虛擬現實的立體聲場景，例如嵌入式手機查

看器。許多智能手機都支持使用簡單的立體渲染和加速度計跟蹤的插入式手機查看器。它們

只能跟蹤方向，因此，不能提供像前兩者那樣流暢或沉浸式的虛擬現實體驗。

頭部跟蹤通過陀螺儀、加速度計、磁力計等傳感器，讓LAE在360°的場景中感受存在

感。

5.3信息性觀點

傳感器接收現實世界中的各類信號作為輸入，并獲得與MAR場景中LAE的表示有關

的傳感數據。

與MAR場景中的LAE相關的傳感器的輸入和輸出是：

-輸入：現實世界信號和/或設備信號。

-輸出：與LAE的表示有關的傳感器數據。

物理傳感器設備具有一系列的能力和參數。根據其特性，傳感器設備會產生多種類型的

傳感數據，包括用于監測和分析的相機的內在參數（例如焦距、視場角（FOV）、增益、頻

率范圍）；相機外在參數（例如位置和方向）；分辨率；采樣率；骨架；單聲道、立體聲或

空間音頻。二維、三維（顏色和深度）或多視角視頻。為了以普遍一致的方式提供傳感數

據，傳感器輸出由<標識符>、<類型>和<屬性>組成。

為了合成一個三維虛擬空間和一個LAE，需要考慮LAE的傳感設備本身。本文檔可以

使用以下類型的傳感設備：以網絡相機和深度相機為代表的普通攝像頭和以深度相機為代表

的類深度設備。對于一般的相機，它們先采集RGB圖像序列，并將圖像本身作為傳感數據。

深度攝像機提供以下功能：RGB彩色圖像、3D深度圖像、多陣列麥克風和電動傾斜。捕獲

的圖像和/或深度圖像可用于將LAE嵌入到3D虛擬空間中。表2總結了LAE捕獲器和LAE

傳感器的輸入和輸出。

表2LAE捕獲器輸入/LAE傳感器輸出

捕獲器類型/傳

輸入輸出使用的設備

感器類型

LAE捕獲器視頻包括LAE的現實世圖像/視頻（灰度圖，彩彩色相機

界色圖，深度圖深度相機

相機信息

全景視頻全景圖片/視頻全景相機

相機信息

11

GB/TXXXXX—XXXX

立體聲視頻立體圖片/視頻立體相機

相機信息

骨架骨架深度相機

相機信息

音頻現實世界聲音信號（空間或立麥克風

體）

LAE傳感器地理坐標系統位置，對地靜止衛星電磁波，坐標值，移動

傳感器信息方向

陀螺儀傳感器旋轉運動，方向改變電磁波，坐標值，移動

方向

智能手機加速度計，陀螺儀，電磁波，坐標值，移動

磁力計，氣壓計光感方向

測距離，觸摸傳感器

Wii手柄/控制器用戶輸入按鈕功能電磁波，坐標值，移動

方向

頭戴式顯示器頭部跟蹤，位置跟電磁波，坐標值，移動

蹤，用戶輸入按鈕方向

Wii遙控器就是一個很好的例子。此信息是為了方便使用本文件的用戶而提供的，并不構成

本產品的ISO/IEC認證。

6LAE的追蹤器和空間映射器

6.1總覽

圖7顯示了LAE捕獲器和LAE傳感器可以捕獲并提取在現實世界中表示的LAE數據。

來自捕獲者和/或LAE傳感器的與LAE相關的傳感數據需要被預處理，以便為在MAR場景

中對LAE進行空間映射提供優化的傳感數據。LAE捕獲設備指的是實體世界捕獲設備，如

深度相機、普通相機和360度相機。利用計算機視覺技術，將視頻、圖像、骨架和音頻信息

解析為預處理函數，組成濾波、色彩轉換、背景去除、摳像和深度信息提取等預處理函數。

預處理結果傳輸到LAE追蹤器。此外，該傳感器還提供了捕獲移動事件的傳感器，如位置、

方向、地理坐標系統感知、時間和運動等，并將這些傳感數據提供給濾波函數。濾波函數用

于處理傳感數據和識別目標對象。表示LAE的原始信號和目標對象規范數據被解析到LAE

追蹤器。LAE追蹤器可以對于LAE有關的信息進行跟蹤，就像現實世界中真實相機的信息

和LAE本身。

從LAE追蹤器獲得的跟蹤數據，如攝像機信息(FOV，位置，方向等)和LAE信息(摳像

結果，骨架，地理坐標系統等)在現實世界中被解析為一個空間映射器，用于繪制LAE的空

間數據。空間繪圖儀的作用是通過對空間繪圖儀的標定應用必要的轉換，提供現實世界和

MAR場景世界之間的空間關系信息(位置、方向、比例和單位)。將跟蹤數據與空間場景描

述進行映射，嵌入到空間場景中，然后將標定后的空間信息解析為場景合成模塊。

12

GB/TXXXXX—XXXX

圖7在MAR中LAE的跟蹤與空間映射

6.2計算視圖

空間映射器構件的工作可以使用存儲在LAE空間場景中的信息來完成。傳感數據包括

坐標系，其中LAE傳感器從物理坐標系、物理攝像機坐標系和世界坐標系中提取傳感數據。

圖8顯示了物理坐標系之間的映射和世界坐標系，具體細節在以下幾點:

—物理坐標系統是指一個坐標系統，能夠定位一個LAE，這個LAE就是由地理坐標

系統控制裝置控制。這意味著可以通過這種機制，可以從現實世界中提取坐標系統。物理坐

標系統檢索地面坐標，例如緯度/經度或UTM坐標，還可以測量地面距離和區域。物理坐標

系統可以應用于任何與地理位置相關的對象或LAE。

—物理相機坐標系用來捕捉物理世界中的LAE，與LAE捕獲器有關。物理相機也擁

有自己的坐標，可以為空間映射器提供坐標數據。

—LAE對象與LAE的位置，方向，FOV和空間信息有關。位置是相對于在初始坐標

系中以對象或LAE為原點的坐標。方向通過一個矢量和LAE的旋轉來確定方向的物體的狀

態。

13

GB/TXXXXX—XXXX

—空間映射用于將現實世界坐標系中的對象LAE與虛擬世界坐標系進行組合和映射。它提

供了LAE捕捉器和LAE傳感器的跟蹤信息，以便更自然地將LAE映射到虛擬世界中去。

圖8物理和世界坐標系之間的映射

模型坐標系是初始化和創建實體對象和LAE模型的坐標系。它是這個模型的一個獨特

的坐標空間。如果有兩個不同模型有各自的坐標系，則他們無法建立連接。因此，必須要有

一個可以允許任何模型之間相互作用的通用坐標系。這個通用坐標系就是世界坐標系。當相

互作用發生時，將每個模型和實體的坐標系都轉換為一個世界坐標系。然后將世界坐標系轉

換為虛擬相機坐標系。

虛擬相機坐標系就是用戶在屏幕上所看到的場景，且與充當相機的觀察設備有關。相機

方向和位置的變化會改變觀察者所看到場景。將三維景象轉換為二維圖像的最終變化稱為攝

影坐標系或者顯示坐標系。在屏幕上被感知到的三維物體僅僅是一種錯覺。它只是一個利用

射影坐標系的一個簡單二維圖像。

當被物理相機拍下的圖片根據虛擬相機的位置進行渲染時，所有的圖像都會失真。涉及

到LAE的MAR場景渲染應該記住這點。

6.3信息視圖

LAE追蹤器能夠檢測和測量在MAR場景下與LAE表示相關的傳感數據的屬性變化。

來自傳感器的跟蹤信息，如位置，方向，坐標，地理上的坐標等等，都是在現實世界中測得

的。

—追蹤器的輸入和輸出如表3所示：

—輸入：與LAE表示相關的傳感數據；

—輸出：LAE的識別目標信號特征的瞬時值。

表3—追蹤器種類

14

GB/TXXXXX—XXXX

方面類型種類

—相機信息

—LAE的二維圖像/音頻

LAE捕捉器—物體規格信息

輸入

—三維基元（點，線，多邊形，形狀）

—三維模式

LAE傳感器—傳感信息

LAE捕捉器—LAE視頻

—位置，方向，體積，坐標

輸出—觸覺（力度，方向等等）

—聽覺（強度，音高等等）

LAE傳感器—傳感器信息（坐標值，緯度等等）

在給定的傳感器中使用空間參考坐標系和空間度量值需要被映射到MAR場景中，以

便感應到的LAE被正確地放置、定向和調整大小。一個特定的傳感器系統和一個MAR空

間之間的空間表示關系由有MAR經歷創造器提供，并且由空間映射器維護。

—空間映射器的輸入和輸出如表4所示：

—輸入：傳感器標識符（SID）和LAE的感應到的空間信息；

—輸出：給定MAR場景的LAE已校準空間信息。

表4—空間映射器的輸入/輸出

方面類型

輸入—LAE帶標識的空間數據

—LAE連續的空間數據

—跟蹤的空間數據

—空間信息

輸出—校準的空間信息

—聲音（方向，振幅，單位，規模）

空間映射器的概念可以擴展到映射其它領域，比如音頻（例如方向，振幅，單位，規模）

和觸覺（例如方向，大小，單位，規模）。

6.4利用LAE跟蹤和MAR空間映射的一個例子

圖9a)是LAE嵌入到MAR場景中，而沒有使用色度鍵功能來去除物理場景中LAE的

背景。圖9b)表明，在LAE視頻流應用色度鍵過濾器后，可以將沒有背景的LAE嵌入到

MAR場景中。圖9c)是在MAR場景中的一個LAE瞬間。LAE可以被LAE捕捉器從現實世

界中所追蹤；并且將LAE的位置、方向、FOV、坐標等信息映射到空間表示中。空間映射

常用于映射LAE的空間信息和包含三維虛擬世界的場景描述。

15

GB/TXXXXX—XXXX

（a）LAE嵌入到MAR場景中，（b）沒有背景的LAE嵌入到（c）在MAR場景中的一個

而沒有使用色度鍵功能來去除MAR場景中LAE瞬間

物理場景中LAE的背景

圖9在MAR中LA