1、面向可見光和SAR影像配準的特征點檢測隨著傳感器技術的發展，傳感器的種類逐漸增加。可見光傳感器技術相對成熟，使得可見光圖像具有成像效果好，分辨率高和易于解讀等優點，但是，可見光傳感器成像容易受到天氣的影響。合成孔徑雷達（Synthetic Aperture Radar，SAR）屬于主動發出微波的成像系統，具有穿透力強、對人造目標尤其是金屬目標十分敏感、能夠有效地識別偽裝和揭露掩蓋等特點，但是，SAR圖像的可讀性不如可見光圖像1-2。將兩種圖像配合使用有助于形成信息互補，可應用于諸多場景，例如，圖像融合，地物目標分類與識別等3-5。為了融合異源遙感數據實現對地觀測，需要對圖像進行高精度配準，而特

2、征提取作為圖像配準的前提步驟，其提取精度和特征點的重復率嚴重影響配準結果，因此，研究適用于可見光和SAR圖像的特征提取方法，提升特征提取精度和重復率，已成為異源遙感圖像處理領域的研究熱點之一。近年來，在計算機視覺領域出現了許多特征點檢測算子，典型的算子如SIFT6、SURF7和Harris8等。由于可見光和SAR圖像間的非線性輻射差異和SAR斑點噪聲的影響，將常規的特征點提取算法直接用于可見光和SAR圖像提取時效果并不理想，特征點重復率較低，進而降低了配準算法性能9。為了克服上述問題，諸多學者在特征提取上做出改進，Ye等學者結合了Harris-Laplace和DOG兩種算子的優勢，提出了Har

3、ris-DOG檢測算子10，該算子能夠同時檢測影像間的角點和Blob點，為影像匹配提供更多、更穩健的特征點。Xiang等學者對可見光和SAR圖像分別采用不同的梯度計算方式，提取出可見光和SAR圖像的一致性梯度信息，在此基礎上構造了兩個不同的Harris尺度空間來提取高度重復的特征點11。Zhang等學者同樣改進了梯度計算方式，利用多尺度Sobel和多尺度ROEWA算子分別計算可見光和SAR圖像的梯度來獲得一致性較好的梯度結果，并在此基礎上進行特征點提取，有效地提高了特征點的重復率12。Fan等學者提出一種均勻分布的特征點檢測方法UNDSS-Harris13，UNDSS-Harris利用非線性擴

4、散濾波來構建非線性擴散尺度空間，較好地保留了邊緣梯度特征；在此基礎上，采用多尺度Harris算子、比例系數和分塊策略，在可見光和SAR圖像中提取出均勻分布的特征點。保文星等學者提出了一種改進的基于信息熵約束和KAZE特征提取的預處理算法14。該方法利用滑動窗口對整幅遙感圖像進行遍歷，計算出每個窗口的信息熵并形成直方圖，通過閾值設定保留高信息熵以便用于特征提取。總的來說，上述方法的本質仍是基于圖像梯度信息來提取影像間的顯著特征，但可見光和SAR影像間的灰度差異較大，加之SAR斑點噪聲的影響，嚴重影響了梯度計算結果，導致特征提取的重復率較低，進而降低了算法的匹配性能。近年來，頻域特征檢測技術在異源

5、遙感領域中的優勢逐漸突顯出來。比較典型的如相位一致性（Phase Congruency， PC）15。該方法不受光照、灰度差異的影響，可大范圍的檢測圖像中的角點、邊緣和紋理等特征16。鑒于PC在特征檢測方面的優勢，其已成為學者們的研究熱點。孫明超等學者基于相位一致性最大矩和相位一致性最小矩的疊加圖進行Harris特征點提取，獲得了穩定的角點和邊緣點，用于后續的特征匹配17。Paul和Pati兩位學者結合Gabor奇濾波器和多尺度Harris函數進行特征點檢測18。Li等學者在相位一致性最大矩和最小矩上分別進行FAST（或Harris）特征點檢測19。諸多學者基于相位一致性提取出影像間的同名特征

6、，但上述方法未充分考慮影像間的非線性輻射差異和SAR斑點噪聲對特征點提取結果的影響。相位一致性在特征提取和特征描述方面尚有待發掘，算法穩定性有待提升。針對此問題，本文提出了一種基于相位一致性矩特征的Harris特征點提取算法MMPC-Harris。首先，對待處理圖像進行包含重疊區域的分塊操作，增加特征點的均勻分布特性；然后，結合相位一致性最大矩和最小矩構建相位一致性多矩圖，通過Harris算法實現特征的精細提取；最后，通過對多矩圖上特征點進行投票和統計，選取重復出現超過半數的特征點作為最終的特征點。最終的特征點集合中包含了Harris特征點和在邊緣上提取的Harris點，該方法保證了特征點的數

7、量和穩定性。2 相位一致性特征檢測理論相位一致性是基于頻域信息進行特征提取的理論，最早由Morrone和Owens兩位學者提出20。早期的相位一致性理論僅適用于一維信號，而圖像為二維信號，為此，Kovesi在該理論基礎上做出了改進，將其擴展到二維，提出了二維相位一致性特征檢測理論。Kovesi采用多尺度、多方向的Log Gabor Filter來計算圖像的局部相位特征。二維Log Gabor Filter的表達方式為：F(x,y)=Fs,oeven(x,y)+iFs,oodd(x,y)（1）其中，Fs,oeven(x,y)和Fs,oodd(x,y)分別表示在尺度s和方向o上的偶對稱和奇對稱濾波

8、器。利用二維Log Gabor Filter對輸入圖像I濾波，其實質為利用二維Log Gabor Filter的奇對稱和偶對稱濾波器分別與輸入圖像進行卷積運算，則圖像上任意像素點I(x,y)處的響應分量為：Es,oodd(x,y),Os,oeven(x,y)=I(x,y)*Fs,oeven,I(x,y)*Fs,oodd（2）其中：Os,oeven(x,y)為偶分量，Es,oodd(x,y)為奇分量。進一步可以得出圖像上任意像素點I(x,y)對應的相位一致性值VPC為：VPC(x,y)=osWo(x,y)As,o(x,y)s,o(x,y)NosAs,o(x,y)+（3）其中：Wo(x,y)為隨著

9、濾波器響應變化的加權函數；運算表示符號內代數式的值為正時，符號內的計算結果與符號內代數式的計算結果相等，否則結果為0；N表示估計的噪聲閾值；是一個小常數，避免分母為零的情況；As,o(x,y)和s,o(x,y)分別表示PC的幅值和相角，計算方式如下：As,o(x,y)=Es,o(x,y)2+Os,o(x,y)2（4）s,o(x,y)=arctan(Os,o(x,y),Es,o(x,y)（5）其中，s,o(x,y)為相位差，計算方式如下：s,o(x,y)=cos(s,o(x,y)s,o(x,y)sin(s,o(x,y)s,o(x,y),（6）其中，s,o(x,y)為平均相位角度。進一步，Kove

10、si分析了相位一致性矩隨方向變化的情況，提出利用基于相位一致性度量進行角點特征和邊緣特征的檢測方法16。Kovesi計算任意方向o和尺度s上的PC2值來獲得相位一致性的最大矩M和最小矩m，最終得到影像的角點特征和邊緣特征，M和m具體形式如下：M=12(a+c+b2+(ac)2)（7）m=12(a+cb2+(ac)2)（8）其中：a，b，c是中間變量，其具體形式如下：a=o(VPC(o)coso)2（9）b=2o(VPC(o)coso)(VPC(o)sino)（10）c=o(VPC(o)sino)2（11）其中，o表示方向o對應的角度。M反映了邊緣強度信息，可以用于邊緣特征的檢測；m相當于角點檢

11、測子中的角點率，當像素點處的m值較大時，則該像素點是角點的可能性較大，通過設定m的特定閾值來篩選影像的角點特征。3 基于改進相位一致性的可見光和SAR影像特征提取基于相位一致性的最大矩和最小矩信息能夠獲取圖像的邊緣和角點信息。可見，圖像的相位一致性矩信息可以有效表示圖像的特征。本文提出圖像的相位一致性矩特征表示如下：Mk=12(a+c)+kt2b2+(ac)2（12）其中：a，b，c是式（9）式（11）的中間變量，Mk表示第k個矩特征圖像。進一步可以根據最大矩和最小矩特征將公式（12）描述為：Mk=1+kt2M5+1kt2M1（13）其中，kt用于控制相位一致性矩的值，取值范圍為：1,1。若相

12、位一致性多矩圖數量為n，則參數kt以步長h=2/n1變化。可見光和SAR影像間存在明顯的非線性輻射差異，但二者的邊緣相似度極高21，因此，考慮先提取出一致性較好的邊緣特征，在邊緣上進行特征點檢測，來增加特征點數量。而相位一致性是一種頻域特征檢測理論，相比于直接利用梯度來提取邊緣，能夠更好地抵抗影像間的非線性輻射差異。鑒于此，本文提出了一種基于相位一致性矩進行特征提取的方法（MMPC-Harris），該方法旨在抵抗SAR斑點噪聲的影響和影像間的非線性輻射差異，來獲得均勻分布且重復率較高的特征點對，進一步提升配準算法的性能。圖1給出了算法流程圖。圖1本文算法流程圖Fig.1Flow chart o

13、f the proposed methodMMPC-Harris的具體步驟如下：（1）分塊處理：將輸入圖像分成SnSm個圖像塊，并在相鄰圖像塊之間增加nop個像素的重疊區域，以防止在分塊邊界處丟失特征信息；（2）對每個圖像塊構建相位一致性多矩特征圖。通過多次實驗發現，隨著相位一致性多矩圖數量n的增加，特征點重復率有所提高，n超過5之后增加的速度明顯變慢。綜合考慮到算法的計算量，本文實驗選取n=5。在每個相位一致性矩特征圖像上基于Harris提取特征點，記錄特征點位置和數量。（3）基于統計原理，投票確定最終的特征點。若某一特征點在多矩圖中出現的次數超過多矩圖數量的一半，則將該特征點放入最終特征提

14、取結果的集合中，并利用其在多矩圖中坐標取平均值作為最終該特征點的位置信息。（4）將每個圖像塊的特征提取結果合并，構成本文算法最終的特征點提取集合。為了便于程序實現，參數設置為n=5，h=0.5，kt表示的序列為1,0.5,0,0.5,1，給出MMPC-Harris程序邏輯如圖2所示。圖2MMPC-Harris程序邏輯圖Fig.2Program logic diagram of MMPC-HarrisMMPC-Harris算法輸入圖像1） 分塊策略：將圖像分成SnSmSnSm個子圖像；2） 分別對每個子圖像計算PC值；fork = 1，5 dokt=1+0.5(k1)kt=-1+0.5(k-1)

15、，構建MkMk，Harris特征點提取；end for3） fori = 1， （角點數） do統計特征點i在M1MnM1Mn上出現的次數；if （出現次數）3 do計算該特征點在M1MnM1Mn上的坐標的平均值，作為該特征點最終的坐標；end ifend for4） 合并特征點輸出： MMPC-Harris檢測結果下面通過模擬可見光和SAR圖像進行實驗分析，如圖3所示。在可見光圖像上分別加入高斯噪聲和斑點噪聲來生成仿真數據，利用仿真圖像作為待處理的可見光和SAR圖像。圖3不同相位一致性矩特征的Harris檢測結果Fig.3Harris detection results of differe

16、nt PC feature由仿真結果可知，在最小矩上提取的特征點重復率較高，但容易受噪聲的影響，出現了一定的錯誤點對，如圖3（b）。在最大矩上提取的邊緣點的數量較多，能夠保證特征點數量，如圖3（f）。將兩者直接相加作為最終的特征點集，盡管結果中含有穩定的角點和數量較多的邊緣點，但仍存在一定問題，如直接疊加方式難以抵抗噪聲干擾，導致結果中仍存在一些不穩定的特征點，如圖3（g）。而本文算法基于相位一致性多矩特征和統計原理來獲得最終的特征點，以此來抵抗噪聲干擾，剔除了虛假點，進而得到穩定的特征點對，保證了特征點的重復率；再加上分塊處理，獲取均勻分布的特征點，如圖3（h）。4 實驗與分析本小節對MMP

17、C-Harris特征點檢測算子的性能進行實驗分析，實驗內容包括三個部分：首先，驗證MMPC-Harris特征點檢測算子對SAR斑點噪聲的魯棒性；其次，驗證MMPC-Harris特征點檢測算子對非線性輻射差異的魯棒性；最后，基于一組實測可見光和SAR圖像驗證MMPC-Harris特征點檢測算子對整體配準算法性能提升的影響。4.1MMPC-Harris對噪聲魯棒性評估4.1.1實驗數據目前尚且沒有公開的可見光和SAR數據集用于測試特征點檢測算法的優劣。為了便于計算特征點重復率，驗證本文算法的有效性，本小節實驗部分仍采用仿真數據，仿真數據的生成方式為對高清可見光圖像分別加高斯噪聲和不同級別的斑點噪聲

18、來生成仿真可見光和SAR圖像，原始高清光學圖像如圖4所示。圖4高清可見光圖像Fig.4High resolution optical images高清圖像為長光衛星科技公司拍攝的智利圣地亞哥的機場和港口，拍攝時間為2022年3月，影像分辨率為1 m/pixel，圖像大小均為1 000 pixel1 000 pixel。對上述兩組高清光學圖像分別加入高斯噪聲和乘性噪聲所生成仿真光學和SAR圖像，結果如圖5所示。圖5兩組模擬圖像（左側為可見光圖像，右側為SAR圖像，L=5）Fig.5Two sets of simulated images （The left are optical images

19、and the right are SAR images，L=5）4.1.2評價方法和評價準則為驗證本文算法的先進性，選取了典型的特征點檢測算法Harris8，SAR-Harris21和m+M-Harris17作為對比算法。通過定性和定量兩種方式來評價算法的性能。定性分析通過觀察特征點的分布情況，均勻分布的特征點有利于幾何變換模型的求取。定量分析則以不同SAR噪聲級別下，特征點重復率R作為評價指標。參考圖像A和待配準圖像B上的一對特征點屬于同名點前提為：pA(x,y)pB(x,y)2d（14）其中：pA(x,y)和pB(x,y)分別表示特征點在參考圖像和待配準圖像中的位置坐標，符號2為歐式距離

20、測度，d為歐式距離閾值。本文d設置為2，表征若兩點之間的歐式距離2個像素，則這兩個點為一對同名點。R定義為：R=2NcorNo+Ns100%（15）其中：Ncor為正確匹配點對數，No和Ns分別為在可見光和SAR圖像中提取的特征點總數量，R值越大，特征點檢測算子的性能越好。4.1.3實驗結果與分析本實驗通過調整閾值，使得所提取的特征點總數量保持一致，每種算法均提取約600對特征點，取10次計算的平均值作為最終實驗結果，以減小誤差的影響。圖6給出了四種算法對兩組圖像的特征點重復率變化曲線。圖6特征點重復率曲線Fig.6Repeatability rate curve of feature poi

21、nts由結果可見，MMPC-Harris在任何SAR噪聲級別下的特征點重復率均獲得了最高值，說明MMPC-Harris能在一定程度上抵抗SAR斑點噪聲的影響，獲得較高的特征點重復率。SAR-Harris的效果弱于本文方法，但優于Harris算法，這是由于SAR-Harris是在ROEWA算子提取SAR信息的基礎上進行的Harris特征提取，ROEWA可以有效地抵抗SAR斑點噪聲，獲得較為理想的邊緣特征，因此，在此基礎上進行Harris特征提取能夠抵抗噪聲干擾。但是，SAR-Harris僅考慮了在SAR圖像上進行特征提取所遇到的問題，并未對可見光和SAR這兩種圖像的異源性進行處理，所以，效果略差

22、于本文方法。Harris算子的性能是最差的，隨噪聲水平的增加，特征點重復率值下降較快，表明Harris算子容易受到SAR乘性噪聲影響，不適合用于直接處理SAR圖像。4.2MMPC-Harris對非線性輻射差異的魯棒性評估4.2.1實驗數據對圖4（a）的列乘以可變系數來模擬影像間的非線性輻射差異，結果如圖7所示，由圖可見，影像間的同名特征呈現出不同的灰度特性，這種差異增加了同名特征提取的難度。圖7模擬非線性輻射差異的圖像Fig.7Simulated nonlinear radiometric differences images4.2.2實驗結果與分析對比算法和評價指標同4.1節實驗一致。選取第

23、一組實驗數據的特征提取結果進行對比，結果如圖8所示。圖8四種算法特征點提取結果Fig.8Feature point extraction results of four algorithmsHarris和SAR-Harris算子的特征提取結果分別如圖8（a）和圖8（b）所示，二者基于灰度梯度信息進行特征提取，易受到影像間非線性輻射差異的影響，在可見光圖像中可以檢測到的特征在模擬的非線性輻射差異的圖像中未被檢出，特征點分布不均勻，較容易集中在灰度差異較大的區域。圖8（c）和圖8（d）分別給出了m+M-Harris和MMPC-Harris的特征提取結果，二者均能克服影像間的非線性輻射差異，特征點分

24、布較均勻，在光學圖像中提取的特征，在對應圖像上仍然能夠被檢測到，這是因為本文方法和m+M-Harris方法是基于PC進行提取的，而PC算子對灰度和光照變化不敏感。進一步給出定量分析的結果來驗證本文算子的性能，如表1所示。表1四種算法在非線性輻射差異情況下的重復率Tab.1Repetition rates of the four methods in the case of nonlinear radiometric differencesGroupHarrisSAR-Harrism+M-HarrisMMPC-HarrisGroup 172.85%41.76%64.51%87.91%Group

25、260.50%71.56%65.13%90.53%四種算子中，MMPC-Harris的特征點重復率值最高，這是由于本文方法在相位一致性多矩圖上進行投票，剔除了一些不穩定的特征點，故本文算子可以較好地抵抗影像間的非線性輻射差異的影響，獲得更多的同名點對。4.3MMPC-Harris特征點檢測算子的配準性能MMPC-Harris可以提升特征點的重復率，進而提升配準算法性能。為了證實這一點，基于一組實測的可見光和SAR圖像進行配準實驗，選取了Harris、SAR-Harris和m+M-Harris特征點檢測算子作為對比算法，所有描述符均采用HOSMI22，以驗證MMPC-Harris特征點檢測算子對

26、可見光和SAR圖像配準性能的提升。4.3.1實驗數據和評價指標實驗數據如圖9所示，左側為在Google Earth上截取的同一地區的可見光影像，右側為機載SAR影像，拍攝時間為2022年7月。可見光和SAR圖像的尺寸均為1 741 pixel1 075 pixel，分辨率為3 m/pixel。拍攝場景為郊區，包含河流、低矮建筑物、農田和道路等。圖9可見光和SAR影像Fig.9Optical and SAR images配準實驗采用主觀和客觀兩種評價方式。主觀評價方式為直接給出配準結果，客觀評價指標為均方根誤差（Root Mean Square Error， RMSE）和正確匹配點對數（Numb

27、er of Correct Matches， NCM）。通過調整閾值，使得本文方法和對比方法均提取約1 200對特征點。采用平方差之和（Sum of Square Differences， SSD）作為匹配準則，SSD閾值設置為3個像素，并利用FSC23剔除誤匹配。4.3.2實驗結果與分析利用四種檢測算子的特征提取結果進行配準，結果如圖10所示，表2顯示了四種檢測算子的NCM和RMSE。圖10四種算法的配準結果Fig.10Registration results of four algorithms表2四種方法的NCM和RMSETab.2NCM and RMSE of the four algorithmsAlgorithmRMSENCMHarris+HOSMI2.8223SAR-Harris+HOSMI2.6632m+M-Harris+HOSMI1.9135MMPC-Harri