第四章

影像匹配基礎理論與算法一.影像相關原理二.影像相關的譜分析

三.數字影像匹配基本算法四.最小二乘影像匹配五.特征匹配主要內容

第一節

影像相關的基本原理《攝影測量學》第五章相關函數

電子相關光學相關數字相關

主要內容

一.相關原理

影像相關是利用互相關函數，評價兩塊影像的相似性以確定同名點。影像匹配示意圖

互相關函數相似程度同名點目標區搜索區影像匹配---同名點尋找二.相關函數

兩個隨機信號x(t)和y(t)的互相關函數定義為均值估計值當x(t)=y(t)時自相關函數均值估計值自相關函數是偶函數

自相關函數在τ=0處取得最大值

三.電子相關圖5-1-1電子相關四.光學相關光的干涉和衍射---傅立葉變換特性相干光學計算機

相干光學相關系統

三個傅立葉透鏡L1，L2，L3及激光源與光電倍增管等器件組成五.數字相關1.二維相關

利用計算機對數字影像進行數值計算完成影像的相關目標區搜索區相似性測度2.一維相關

在核線影像上，只需要進行一維搜索目標區

搜索區

核線匹配

第二節

影像相關的譜分析《攝影測量學》第五章影像的功率譜估計

相關函數估計金字塔影像的建立主要內容

一.影像相關的譜分析

1.維納-辛欽定理：隨機信號的相關函數與其功率譜是一傅立葉變換對2.影像功率譜的估計x(t)的自功率譜x(t)y(t)X(f)Y(f)兩個隨機信號x(t)與y(t)的互功率譜

其中X*（f）為X（f）的復共軛。

2.影像功率譜的估計

航空影像功率譜近似呈指數曲線狀標準化3.功率譜的估計函數4.相關函數的估計

使R(0)=1,得

相關函數的估計

S（f）較平緩，高頻信息較豐富相關函數R（τ）較陡峭，相關精度高拉入范圍較小出錯率高分析的結果相關函數R（τ）較平緩，相關精度較差功率譜S（f）較陡峭，低頻信息占優勢拉入范圍較大出錯率低二.金字塔影像相關對二維影像逐次進行低通濾波，增大采樣間隔，得到一個像元素總數逐漸變小的影像序列，將這些影像疊置起來頗像一座金字塔，稱為金字塔影像結構從粗到精的相關策略分頻道相關（多級相關）

123456789101112123456123123456789101112123412金字塔影像建立

每2X2＝4個像元平均為一個像元構成第二級影像，在第二級影像的基礎上構成第三級影像

四像元平均九像元平均金字塔影像層的確定方法

原始影像稱第零層，第一層影像每一像素相當于零層（l

l）l個像素，第k層影像每一像素相當于零層的（l

l）k個像素

由影像匹配窗口大小確定金字塔影像層數

w＜INT（n/lk＋0.5）＜l·w

影像長度由先驗視差確定金字塔影像層數最大左右視差左右搜索距離第三節

影像匹配的基本算法《攝影測量學》第五章基于像方的匹配算法

基于物方的匹配算法影像匹配的精度主要內容

影像匹配實質上是在兩幅（或多幅）影像之間識別同名點一.常見的五種基本匹配算法同名點的確定是以匹配測度為基礎1.相關函數（矢量數積）

R（p0,q0）＞R（p,q）（p

p0，q

q0）

若R（p0,q0）＞R（p,q）（p

p0，q

q0），則p0,q0為搜索區影像相對于目標區影像的位移參數若則c0,r0為搜索區影像相對于目標區影像的位移行、列參數。對于一維相關應有r

0。

離散灰度數據對相關函數的估計公式為

矢量X與Y的數積

R是y1，y2，

,yN的線性函數

它是N維空間的一個超平面。當N=2時

R＝x1yl＋x2y2

（X·Y）＝|X|·|Y|·cos

＝max|Y|cos

＝max相關函數最大（即矢量X與Y的數積最大）等價于矢量Y在X上的投影最大

2.協方差函數（矢量投影）若C（p0,q0）＞C（p,q）（p

p0，q

q0），則p0,q0為搜索區影像相對于目標區影像的位移參數

C（c0,r0）＞C（c,r）（c

c0，r

r0）則c0,r0為搜索區影像相對于目標區影像的位移行、列參數矢量的數積協方差測度等價于在上投影最大，在二維空間中是平行于（或E）的一條直線

減去信號的均值等于去掉其直流分量。當兩影像的灰度強度平均相差一個常量時，應用協方差測度可不受影響。3.相關系數（矢量夾角）

若

（p0,q0）＞

（p,q）（p

p0，q

q0），則p0,q0為搜索區影像相對于目標區影像的位移參數相關系數的實用公式為：等價于矢量X’與y’的夾角最小

取值范圍滿足

4.差平方和（差矢量模）

若S2（c0,r0）<S2（c,r），則c0,r0為搜索區影像相對于目標區影像的位移行、列參數灰度向量X與Y之差矢量

差平方和最小等于N維空間點Y與點X之距離最小二維平面上以（x1，y2）為中心、邊長為、對角線與坐標軸平行的一個正方形

二維平面上的一個圓

5.差絕對值和（差矢量分量絕對值和）

若S（c0,r0）<S（c,r）（c

c0，r

r0），則c0,r0為搜索區影像相對于目標區影像的位移行、列參數灰度矢量X與Y之差矢量之分量的絕對值之和當N=2時，

二.基于物方的影像匹配（VLL法）

影像匹配的目的是提取物體的幾何信息，確定其空間位置能夠直接確定物體表面點空間三維坐標的影像匹配方法被稱為“地面元影像匹配”

在物方有一條鉛垂線軌跡，它在影像上的投影是一直線。鉛垂線軌跡法（VLL－VerticalLineLocus地面AVLL法影像匹配示意圖A?在鉛垂線上地面A那一個點正確？

具體步驟給定地面點的平面坐標（X，Y）與近似最低高程Zmin。

Zi＝Zmin＋i·

Z高程搜索步距

Z可由所要求的高程精度確定計算左右像坐標（xi’,yi’）與（xi”，yi”）：

分別以（xi’,yi’）與（xi”，yi”）為中心在左右影像上取影像窗口，計算其匹配測度將i的值增加1，重復（2），（3）兩步，得到

0，

1，

2，···

n取其最大者

k：

k＝max{

0，

1，

2，···

n}利用

k及其相鄰的幾個相關系數擬合一拋物線，以其極值對應的高程作為A點的高程相關系數值SS頂點i-2i-1i+2i+1

影像匹配（相關）即使在定位到整像素的情況下，其理論精度也可達到大約0.3像素的精度三.影像匹配精度

整像素相關的精度

半個像素整像素相關的精度誤差服從內的均勻分布（

為像素大?。?/p>

用相關系數的拋物線擬合提高相關精度

f(s)=A＋B·S＋C·S2

相關系數值SS頂點i-2i-1i+2i+1拋物線頂點取相鄰像元3個相關系數進行拋物線擬合

相關系數拋物線擬合可使相關精度達到子像素精度

第四節

最小二乘法影像匹配《攝影測量學》第五章最小二乘法影像匹配的原理

單點最小二乘法影像匹配最小二乘法影像匹配精度主要內容

一最小二乘影像匹配原理最小二乘影像匹配（leastSquaresImageMatching）影像匹配可達到1/10甚至1/100像素的高精度優點如下非常靈活地引入各種已知參數和條件，從而可以進行整體平差解決“單點”的影像匹配問題，求“視差”；直接解求其空間坐標

同時解決“多點”影像匹配或“多片”影像匹配

引入“粗差檢測”，大大地提高影像匹配的可靠性“灰度差的平方和最小”

V僅僅認為影像灰度只存在偶然誤差

誤差方程式照明及被攝影物體輻射面的方向大氣與攝影機物鏡所產生的衰減攝影處理條件的差異以及影像數字化過程中所產生的誤差等等1.輻射畸變攝影機方位不同所產生的影像的透視畸變影像的各種畸變豎直航空攝影的情況下，地形高差則是幾何畸變的主要因素2.幾何畸變

在影像匹配中引入這些變形參數，同時按最小二乘的原則，解求這些參數，最小二乘影像匹配的基本思想二.單點最小二乘影像匹配

兩個二維影像之間的幾何變形，不僅僅存在著相對移位還存在著圖形變化x2y2灰度畸變+幾何變形

幾何變形

線性化誤差方程式初值分別為h0=0；h1=1；a0=0；a1=1；a2=0；b0=0；b1=0；b2=1灰度是按規則格網排列的離散陣列，且采樣間隔為常數

，可被視為單位長度，偏導數均用差分代替幾何改正重采樣輻射畸變改正是否迭代計算最佳匹配的點位計算參數值結束左窗口右窗口最小二乘法匹配流程圖1.幾何變形改正2.重采樣具體步驟3.輻射畸變改正h0+h1

g2(x2，y2)4.解求變形參數的改正值5.停機條件6.計算最佳匹配的點位匹配精度取決于影像灰度的梯度

為了進一步提高其可靠性與精度，例如，附帶共線條件的最小二乘相關以及與VLL法結合的最小二乘影像匹配方法都得了廣泛的研究《數字攝影測量學》三僅考慮輻射的線性畸變的最小二乘匹配——相關系數誤差方程：有n個像素點時誤差方程法方程式

對g1，g2中心化處理

相關系數

vv是噪聲的功率

g12為信號的功率

信噪比

相關系數與信噪比之間的關系

傳統的算法采用目標區相對于搜索區不斷地移動一個整像素，搜索最大相關系數的影像區中心作為同名像點在最小二乘影像匹配算法中，可引入幾何變形參數，直接解算影像移位四.僅考慮影像相對移位一維最小二乘匹配

假設兩個一維灰度函數g1(x),g2(x),除隨機噪聲外，g2(x)相對于g1(x)只存在零次幾何變形——移位量

x?；叶群瘮档膶礸,2(x)可由差分代替

誤差方程線性化用灰度差分表達的誤差方程式解得影像的相對移位

五.最小二乘影像匹配的精度

最小二乘匹配算法，根據法方程式系數矩陣的逆矩陣，求得其精度指標n為目標區像元個數。右邊是的無偏估計信噪比方差相關系數與信噪比之間的關系

相關系數愈大則精度愈高信噪比愈大，則匹配的精度愈高影像的紋理結構有關，即

愈大，影像匹配精度愈高可以得到一些很重要的結論

第四節

特征匹配《攝影測量學》第五章特征匹配的概念基于特征點的影像匹配策略

跨接法影像匹配主要內容

一特征匹配概念灰度匹配（AreaBasedImageMatching）特征匹配（FeatureBasedMatching）計算機界（PrimitiveBasedMatching）

當待匹配的點位于低反差區內1.特征匹配使用的幾種場合目的只需要配準某些點線或面

在城市中大多數對象是人工建筑物2.特征匹配步驟特征的匹配可以分為點、線、面特征匹配

特征提取特征描述二.基于特征點的影像匹配的策略

1.特征提取將特征點分成幾個等級不同的目的提不同特征點均勻分布隨機分布特征點的分布有兩種形式2.特征點的匹配

二維匹配與一維匹配

影像方位參數未知時，必須進行二維影像匹配;建立影像模型，形成核線進行一維匹配3.匹配的備選點選擇方法對右影像也進行相應特征提取右影像不進行特征提取右影像不進行特征提取，不將所有的點作為可能的匹配點，4.特征點的提取與匹配的順序

“深度優先”

“廣度優先”5.匹配的準則

運用一定的相似性測度，一般還可考慮特征的方向，周圍已匹配點的結果6.粗差的剔除

小范圍內用傾斜平面模型進行視差擬合二.跨接法影像匹配

ABb1