一種城區(qū)航空影像與機載lidar點云自動配準算法

1基于點、線相似不變性的自動配準算法航空圖像具有豐富的含義信息，是地物提取中最大的數據來源之一。由于缺乏直接的三維信息，使用圖像進行數據處理有一定的限制。機載激光雷達(airbornelightdetectionandranging,LiDAR)是一種新型的航空對地觀測傳感器,具有主動觀測、受天氣影響小、不受陰影影響、對地物間縫隙有一定穿透性并能直接獲取地表三維幾何信息等優(yōu)點。將航空影像和LiDAR點云配準、融合,可同時獲取地物的空間信息及語義信息,有效彌補了單一數據源的不足,在災害評估、真正射影像制作、道路、建筑物自動建模等領域有很大的應用前景。與傳統(tǒng)配準算法不同,航空影像與機載LiDAR點云的配準,是二維與三維數據、連續(xù)影像與離散點云之間的配準問題,傳統(tǒng)影像之間的配準方法收效甚微。近10年來,國內外學者對其進行了一定的研究,大致可以歸結為3類算法。①通過航空影像密集匹配獲取三維點集,然后通過ICP(iterativeclosestpoint)或其改進方法建立其與機載LiDAR點云的對應關系,這本質上是一種3D-3D配準變換。這類算法無法進行單張影像與點云的配準,同時密集匹配生成點云的過程會降低配準精度。②將LiDAR點云按照高程或強度轉換為二維影像,再依據傳統(tǒng)的圖像配準方法實現兩種數據的配準。如基于互信息的全局配準方法、基于SIFT(scaleinvariantfeaturetransform)算子的配準方法、基于FFT變換的算法、6元組松弛法等。這類算法充分利用了原有的成熟圖像配準算法,自動化程度高,然而規(guī)則化過程中的誤差、點位選取不準的誤差,都會降低配準精度。③部分學者嘗試建立遙感影像與機載LiDAR點云之間的直接配準模型。文獻[15—16]用直線特征或平面特征建立遙感影像與激光點云的直接映射關系。文獻將空間三維點采用參數方程和輔助變量聯合表示,通過擴展的共線方程,建立起二維影像點(2D)與的點云空間三維直線(3D)的直接映射關系,避免了LiDAR空間點位選取不準的誤差、點云內插誤差以及密集匹配的誤差,配準模型嚴密、簡單,具有一定的推廣價值。該算法的自動化程度取決于配準基元的選取與匹配的自動化程度,需要進一步的研究。基于上述分析,本文綜合第2類和第3類算法的優(yōu)點,提出一種基于點、線相似不變性的自動配準算法。首先,將點云內插成強度影像(和取反的強度影像),通過SIFT算法提取足夠多的匹配點對,并實現點云與影像的粗配準;同時分別基于點云和航空影像提取邊緣特征,并通過一定規(guī)則將一條較長的邊緣自動的分割為若干較短的邊緣直線;然后利用局部區(qū)域中點特征與線特征的相似不變性,通過匹配點對搜索匹配直線對;最后采用基于擴展共線方程的2D-3D嚴密配準模型實現航空影像與LiDAR點云的精配準。技術流程如圖1所示。2旋轉法影像與常規(guī)影像的對比SIFT算法通過在DOG尺度空間尋找極值點作為特征點,并在鄰域計算梯度直方圖作為該點的局部特征描述符,它能夠較好地克服兩幅影像因旋轉、比例尺不一以及光源不同導致的差異。本文采用文獻的建議,分別利用LiDAR點云內插距離影像、強度影像和取反后的強度影像與遙感圖像進行匹配,提取足夠多的匹配點,并利用RANSAC算法消除錯配,最后對所有匹配點按可靠性進行排序,選擇可靠性較高的匹配點,基于DLT模型進行粗配準。3線屬性的提取3.1精確直線特征的獲取本文采用從粗到細的策略從LiDAR點云中提取線特征(主要指建筑物輪廓線),首先利用文獻提出的技術流程從LiDAR點云中快速提取建筑的大致輪廓線并進行分割,然后根據建筑物的掃描特征,提出一種精確提取建筑物特征線的“微元特征分析法”。詳細步驟如下:(1)建筑物點檢測。將點云柵格化成距離影像DSM,再采用形態(tài)學濾波方法獲取DEM數據,進一步求得規(guī)則化的nDSM,最后利用高差閾值對nDSM進行分割,求出建筑物區(qū)域及其對應的建筑物點。(2)建筑物輪廓生成與規(guī)則化。采用AlphaSha[pes20]算法從檢測出的建筑物點中提取建筑物初始輪廓,采用袖子算法提取原始輪廓的關鍵點,進而得到輪廓線的骨架,再對骨架線進行規(guī)則化處理,最后得到規(guī)則化后的建筑物輪廓。(3)特征直線提取。獲取規(guī)則化的建筑物輪廓后,依據線段的長度與角度,將輪廓拆分為多條直線。(4)利用“微元特征分析法”提取精確直線特征。由于目前主流的機載LiDAR硬件所采集的點云空間分辨率不高,并非所用邊緣點都正好落在屋頂邊緣,同時考慮到建筑物點識別(特別是邊緣點)可能存在誤差等原因,初步提取的建筑物輪廓通常不是嚴格分布在實際建筑物邊界,規(guī)則化后的邊緣線可能會向建筑物內部收縮不超過點間距0.5倍的距離。由于LiDAR的掃描特性,航線兩側特征線偏移的方向不一致,內縮誤差在平差運算中可能得到一定的消減,文獻提出為控制點設定相應的精度(權值),計點云高程精度為控制點高程精度,計0.5個點間距與點云平面精度之和為平面精度,然后代入平差方程求最優(yōu)解。該方法難以完全消除建筑物邊緣的內縮誤差。本文利用LiDAR的掃描特性,通過“微元特征分析法”對精化一部分邊緣線。其理論為:當掃描角大于一定的閾值時(如圖2(a)所示),激光光束打到建筑物墻立面形成點云,利用概略邊緣線及其在地面上的投影組成一個特征立面V,該特征平面沿其法線方向的微小移動即為V在該特征上的微小變量(本文dv取點間距的0.6倍,如圖2(b)),定義為“微元特征”。統(tǒng)計“微元特征”內點的個數是否達到給定的閾值,若滿足,則利用最小二乘原理擬合墻立面,然后以墻立面的水平位置為約束獲取精化的邊緣直線。具體步驟如下:(1)遍歷初始邊緣線,搜索每條直線的“微元特征”。(2)統(tǒng)計微小立面的點云個數,并計算出微元內的點密度。(3)若點密度大于閾值,根據最小二乘原理擬合墻立面,以墻立面與建筑物頂面的交線為約束條件精化邊緣線;反之,轉到(1)。(4)遍歷所有的邊緣線,提取精化后的直線為特征線。建筑物是否存在立面點、立面點數量的多少與建筑物的高度、朝向、飛機的高度、飛行方向等眾多因素相關。LiDAR工程中,視場角一般在50°左右,即掃描角在-25°和+25°之間。試驗發(fā)現,當掃描角絕對值大于5°時,除特別小、密集的建筑(如棚屋區(qū))外,大部分建筑物至少有一個墻立面存在點云。因此,在城市地區(qū)利用“微元特征分析法”得到的精確特征線,可以覆蓋大部分區(qū)域,滿足精配準的要求。當精確提取的特征線分布不足時,可參考文獻的方案,將其他特征線賦以較小的權重,代入平差方程獲得最優(yōu)解。3.2基于特征線的優(yōu)化基于點云提取的線特征精度稍差但完整性好,基于影像提取的邊緣能準確覆蓋建筑物內外邊緣像素,但是比較破碎。本文采用LSD法提取特征直線,與傳統(tǒng)的Canny算子結合Hough變換提取直線的方法相比,漏檢現象少,完整性也較好。同時,為了提高自動匹配算法的運行效率,通過計算線段的長度、長度比、角度、端點間距離、線段間法向距離等參數,對基于影像提取的特征線進行優(yōu)化。具體可分下述幾種情況:(1)如圖3(a)所示的輪廓ABCD,通過角度閾值和長度閾值,切割成AB、BC、CD3條線段。(2)如圖3(b)的輪廓ABCDE,簡化成選段AE。(3)若一條明顯的線段被分割成幾條短小線段,如圖3(c)所示,線段AB、CD、EF可以合并為線段AF。(4)若多條線段平行且線段間距離非常相近,如圖3(d)所示,選段AB、CD可以合并為線段A′B′。4自動匹配算法為了滿足共面條件,將基于LiDAR點云提取的特征線沿著Z軸投影到點云強度影像上,利用L1={q1,q2,…,qn}表示其集合,通過L2={p1,p2,…,pm}表示基于粗匹配后的航空影像提取的直線段集合,C={c1,c2,…,ck}表示匹配點對的集合,其中cm={(ai,bj),0≤m≤k}。本文中的直線通過系數矩陣表示,如直線Ax+By+C=0,表示為[ABC]T。如圖4所示,特征線q位于點云空間,特征線p是q在航空影像上的匹配直線,由于粗匹配后的航空影像已被近似地投影到點云空間,大部分誤差已消除,同時一組匹配特征線對所涉及的范圍較小,可以假設它們之間只存在微小的角度差異和尺度差異,線對之間的關系可以通過式(1)表示式中,H表示變換矩陣;s表示比例因子,其大小由H和p決定。如圖4所示,特征點a1、a2位于q附近,a1、a2在航空影像上的匹配點b1、b2位于p周圍。可知匹配點對之間的關系也滿足用同一變換矩陣,用表示a1、a2、b1、b2的齊次坐標,可得將式(1)、式(2)代入式(4)可得式(5)的物理意義是:當兩個特征點距離特征直線足夠近時,特征點與特征直線之間的距離比相等,即滿足相似不變性。利用該特性,即可通過匹配點對搜索匹配的直線對。本文以點云空間的特征線q為例,介紹自動匹配的步驟:(1)以特征線q的法線方向α·L(q)和與直線平行方向的β·L(q)為界設置搜索區(qū)域(如圖5所示,本文α、β各取2),找出搜索區(qū)域內所有的匹配點對,以及影像空間中與該區(qū)域有交集的全部“待匹配特征線”ΔP={Δp１,Δp２,…,Δpｎ}。(2)通過式(6)計算q與每條“待匹配直線”的相似性Sim(q,Δp),由式(6)可知,當Δp與q相匹配且參與計算的兩個匹配點對也沒有錯配時,Sim(q,Δp)≈1。(3)為了盡可能地消除粗匹配中錯匹配點的影響,本文針對每條“疑似匹配直線”Δp,與搜索區(qū)域內所有的匹配點對一起,計算所有的相似性測度值,然后取最大值maxSim(q)作為相似性測度依據(4)重復(1)—(3),直到搜索出所有的匹配直線對。(5)本文提取建筑物邊緣直線為線配準基元,因此有大量的平行線段存在,假設c1、c2為平行的特征線附近的匹配點對,當c1、c2組成的“線段”與線特征平行時,僅僅通過maxSim(q)進行判斷邏輯不夠嚴密,容易造成錯判。為了增強算法的抗差性,引入直線之間的距離作為輔助的相似性測度參數。直線距離定義如圖6所示:q為點云空間的特征線;Δp為影像空間的特征線在點云空間的投影直線;O為Δp的中點,取O一定距離(本文取2.5m)的端點A、B,A到q的距離為d1,B到q的距離為d2,則q與Δp的距離為(6)引入長度比和角度差作為測度依據。理論上,同名特征線長度基本一致,考慮到基于影像提取的直線完整性不如基于點云提取的直線,本文限定點云特征線與影像特征線長度比是1~3倍;特征線之間的夾角也可以起到有效的濾除效果,通過設定夾角閾值15°,可快速去除大部分不匹配的直線段。在(3)之前,通過(5)、(6)進行明顯的非匹配直線濾除,可有效提高匹配效率。5云空間特征線的關系精配共線方程是攝影測量中的基本方程,其實質是二維影像坐標和三維物方坐標之間的轉化關系。如果在影像空間特征線p上任取一點α,可以確定α在LiDAR點云空間的同名點β在p的匹配特征線q上,通過特征線端點A、B的坐標并引入輔助參數λ可精確表示β的坐標,如式(9)所示將上述關系代入原始的共線方程,得到擴展的共線方程模型(10),通過該模型實現航空影像與LiDAR點云的精配準通過最小二乘平差迭代使得點云空間每條直線表示的空間點不斷接近真值,最后同時解算出航空影像外方位元素以及輔助參數λ,實現精確配準,當初始外方位元素未知時,可利用該思路擴展多項式模型等其他配準模型實現精配準。6配準精度評價為了驗證本文算法的實際效果,采用長春某地區(qū)的航空影像與LiDAR點云試驗(如圖7所示),測區(qū)人工地物豐富,分布合理,典型性較高。其中,LiDAR點云平均點間距約0.7m,高程精度約0.15m,水平精度約0.4m。相機的CCD像元大小為0.0068mm,焦距60mm,航高約1500m,地面分辨率約0.2m。其中,粗配準的結果如表1所示,基于點云提取的匹配點和特征線(精化后)的分布如圖8所示,粗配準后的點云與影像疊加效果如圖9所示。由表1可知:1由于距離影像與航空影像紋理差異太大,錯匹配率過高,匹配結果不具備實用性;2點云強度影像能取得較好的匹配效果,可能是機載LiDAR所采用的激光屬于紅外波段而光學影像屬于可見光波段的緣故,將強度值取反再與光學影像進行匹配,獲取的匹配點數量更多、可靠性更高;3盡管試驗中采取RANSAC算法進行了去噪,但無論采用哪種數據,都難以避免較大的錯配率。由圖8、圖9可知:1特征線分布比較均勻,分布密度與人工建筑的分布呈近似的正相關關系;2每條特征線周圍有一定數量的匹配點集,基本保證相似不變性的判斷條件;3粗匹配后的影像已經近似投影到點云空間,但是通過圖9發(fā)現,屋頂面沒有完全套合,尚存在一定的偏差。為了對比精配準和粗配準之間的差別,分別截取幾個不同角落的點云,與通過精配準模型轉化后的正射影像疊加,如圖10所示。上邊是基于SIFT算法的粗配準結果,下面為精細配準后的結果,從圖中可以看出,上面的點云與影像位置存在著較明顯的錯位,精配準后影像與點云的套合度均得到一定程度的改善。由于點云的特殊性,傳統(tǒng)光學影像之間的配準精度評價方法(相關系數、互信息等),不適用于影像與LiDAR點云的配準精度的精確評價。