AR從其技術手段和表現形式上，可以明確分為大約兩類，一是VisionbasedAR,即基于計算機視覺的AR,二是LBS

basedAR,即基于地理位置信息的AR,我們分門別類對其進行概念講解和原理解阮

0VisionbasedAR

基于計算機視覺的AR是利用計算機猊覺方法建立現實世界與屏幕之間的映射關系，使我們想要繪制的圖形或是3D模型

可以如同依附在現實物體上一般展現在屏幕上，如何做到這一點呢？本質上來講就是要找到現實場景中的一個依I時平面，然后

再將這個3維場景下的平面映射到我們2維屏稱上，然后再在這個平面上繪制你想要展現的圖形，從技術實現手段上可以分

為2類：

1）Marker-BasedAR

這種實現方法需要一個事先制作好的Marker（例如：繪制著一定規格形狀的模板卡片或者二維碼），然后把Marker放到

現實中的一個位置上，相當于確定了一個現實場景中的平面，然后通過攝像頭對Marker進行識別和姿態評估（Pose

Estimation）,并確定其位置，然后將該Marker中心為原點的坐標系稱為MarkerCoordinates即模板生標系，我們要做的

事情實際上是要得到一個變換從而使模板坐標系和屏猿坐標系建立映射美系，這樣我們根據這個變換在屏寐上畫出的圖形就

可以達到該圖形依附在Marker上的效果，理解其原理需要一點3D射第幾何的知識，從模板坐標系變換到真實的屏幕坐標系

需要先旋轉平移到攝像機坐標系（CameraCoordinates）然后再從攝像機坐標系映射到屏幕坐標系（其實由于硬件誤差這中

間還需要理想屏糅坐標系到實際屏幕坐標系的轉換，這里不深究），見下圖。

在實除的編碼中，所有這些變

換都是一個矩陣，在線性代數中矩陣代表一個變換，對坐標進行矩陣左爽便是一個線性變換（對于平移這種非線性變換，可

以采用齊次坐標來進行矩陣運算）。公式如下：

X《。CnRiR?&T\

YY

vmnm

-°C%023

h工R?i%為3A二CZ

zI

mn

1_001%RyiR33T3_

l1

矩陣C的學名叫攝像機內參矩陣，矩陣Tm叫攝像機外參矩陣，其中內參矩陣是需要事先進行攝像機標定得到的，而外參矩陣

是未知的，需要我們根據屏幕坐標（上，義）和事先定義好的Marker坐標系以及內參矩陣來估計Tm,然后繪制圖形的時候根

據Tm來繪制（初始估計的Tm不夠精確，還需要使用非線性最小二乘進行迭代尋優），比如使用OpenGL繪制的時候就要在

GL_MODELWEW的模式下加載Tm矩陣來進行圖形顯示。

2）Marker-LessAR

基本原理與MarkerbasedAR相同，不過它可以用任何具有足夠特征點的物體（例如：書的封面）作為平面基準，而不

需要事先制作特殊的模板，擺脫了模板對AR應用的束縛。它的原理是通過一系列算法（如：SURF,ORB,FERN等）對模板物

體提取特征點，并記錄或者學習這些特征點。當攝像頭掃描周圍場景，會提取周圍場景的特征點并與記錄的模板物體的特征

點進行比對，如果掃描到的特征點和模板特征點匹配數量超過閾值，則認為掃描到該模板，然后根據對應的特征點坐標估計

Tm矩陣，之后再根據Tm進行圖形繪制（方法與Marker—BasedAR類似）.

0LBS-BasedAR

其基本原理是通過GPS獲取用戶的地理位置，然后從某些數據源（比如wiki,google）等處獲取該位置附近物體（如周

圍的冬館，銀行，學校等）的P0I信息，再通過移動設備的電子指南針和加速度傳感器獲取用戶手持設備的方向和傾斜角度，

通過這些信息建立目標物體在現實場景中的平面雙準（相當于marker）,之后坐標變換顯示等的原理與Marker-BasedAR

類似。

這種AR技術利用設備的GPS功能及芍感器來實現，擺脫了應用對Marker的依賴，用戶體臉方面要比Marker-BasedAR

更好，而且由于不用實時識別Marker姿態和計算特征點，性能方面也好于Marker-BasedAR和Marker-LessAR,因此對比

Marker-BasedAR和Marker-LessAR,LBS—BasedAR可以更好的應用到移動設備上。

LBS-BasedAR導航類應用，由于需要顯示的信息較多，會出現以下兩個問題。

物體相互覆蓋無法顯示的問題

采用實時聚美技術，將互相覆蓋較嚴重的標簽進行實時合并，當用戶點擊聚合標簽時，

聚合標簽聚合的所有標簽都以列表的形式顯示出來，再供用戶二次選擇。

點選幾個物體相互覆蓋部分時的物體選擇問題。

采用射線相交技術，當用戶點擊鼻幕時，通過坐標變化，把2D的屏寐坐標轉換為3D的射線，并判斷該射線是否

與3D場景中的標簽相交，如果相交，則把所有相交的標簽以列表的形式顯示出來，再供用戶二次選擇.

硬件方面

硬件技術難點：

交互技術

手勢操控：微軟HoloLens是利用手勢進行交互的、最有特點的AR硬件.戴上HoloLens眼鏡后，可通過手指在空中點選、

拖動、拉伸來控制虛擬物體、功能菜單界面。比如利用Airtap手勢打開全息圖，利用Bloom手勢打開開始菜單.

語音操控:手勢操控固然解放了雙手，但是它有著致命的缺陷，那就是頻繁的抬手會造成手臂酸軟.筆者在利用LeapMotion

體臉小游戲時，發現這種問題尤甚。而語音操控便是更好的人機交互方案?，F在微軟Cortana、GoogleNow,蘋果Siri、亞

馬遜Echo都是優秀的語音識別助手，但是他們的識別率還是不高，只能作為輔助操作工具，智能程度也遠遠達不到AR交互

需求。

體感操控：假設有一天全息通話成為了現實，那么除了語音、視覺交流之外，你是否可以和遠程的朋友進行體感交流（比如

握手）？想要獲得更加完美的增強現實體驗，體感外設顯然是非常重要的一環.現在，已經有不少廠商推出了體感手套、體感

槍等外設。只是這些設備功能還很單薄，還有著極大的改進空間。

鏡片成像技術

無論是增強現實還是虛擬現實，F0V都是影響使用體臉的最重要因素之一。現在的AR眼鏡的可視廣角普遍不高，HoloLens

有30°,MetaOne只有23°,而公眾最為熟悉的GoogleGlass視角僅有12°。這是由于鏡片成像技術和光學模組不成熟

造成的，現在還沒有太好的解決方案，但太窄的視角顯然讓增強現實效果大打折扣。

10.87MMNIRSensor

Microdisplay

而除了FOV,AR在成像方面，還存在著以下的問題需要解決:

首先軟件方面，底層算法（輸入、輸出算法）還需要加強。這需要精確的圖像識別技術來判斷物體所處的位置以及3D坐標等

信息。不同于其他3D定位，增強現實領坡的物體位置，必須結合觀測者的相對位置、三維立體坐標等信息進行定位，難度要

高很多。而如何利用疊加呈像算法，將把關信息電加顯示在視網膜上也是個技術難點。

而在硬件方面，光學鏡片還是存在著色散和圖形畸變的問題。智能眼鏡成像時，視場周邊會出現紅綠藍也變，這就是棱鏡反

刎光線時常見的色散現象，可以通過軟件進行色彩補償或者通過多材料短片來消除.前者會增加硬件負扭并降低圖像幀率。

后者的成品率低，這也是造成AR眼睛昂貴的原因之一。

SLAM技術

SLAM即指同步定位與建圖技術。有人說，兩年前，掃地機是就是它的代言人。確實，能夠掃描室內布局結杓，并構建、規劃掃

地路線的掃地機器人是SLAM技術最好代是了。其實，