SIFT特征匹配技術 任甲元鄭舒穎金喆 圖像配準結果 典型應用 關鍵技術 局部特征提取 局部特征 感興趣區域檢測 描述子 感興趣區域 描述子 DavidLoweComputerScienceDepartment2366MainMallUniversityofBritishColumbiaVancouver B C V6T1Z4 CanadaE mail lowe cs ubc ca 作者簡介 SIFT概述 SIFT算法由D G Lowe1999年提出 2004年完善總結 此后Y Ke將其描述子部分用PCA代替直方圖的方式 對其進行改進 定義 SIFT算法是一種提取局部特征的算法 在尺度空間尋找極值點 提取位置 尺度 旋轉不變量 特點 1 SIFT特征是圖像的局部特征 其對旋轉 尺度縮放 亮度變化保持不變性 對視角變化 仿射變換 噪聲也保持一定程度的穩定性 2 獨特性 Distinctiveness 好 信息量豐富 適用于在海量特征數據庫中進行快速 準確的匹配 3 多量性 即使少數的幾個物體也可以產生大量的SIFT特征向量 4 高速性 經優化的SIFT匹配算法甚至可以達到實時的要求 5 可擴展性 可以很方便的與其他形式的特征向量進行聯合 1 檢測尺度空間極值點 2 精確定位極值點 關鍵點檢測 3 為每個關鍵點指定方向 4 關鍵點描述子的生成 描述子生成 SIFT概述 2 精確定位極值點 關鍵點檢測 3 為每個關鍵點指定方向 4 關鍵點描述子的生成 描述子生成 1 檢測尺度空間極值點 SIFT概述 尺度空間極值點檢測 尺度空間極值點檢測 尺度空間 二維尺度可變高斯核函數 濾波函數 高斯核和高斯微分是尺度空間分析的惟一平滑核 本實驗采用一維高斯函數 空間坐標 尺度空間因子 坐標 二維圖像函數 高斯差分尺度空間 DOGscale space 是尺度歸一化LOG算子的近似 高斯金字塔的構建 高斯金字塔共o 7 階 每階有s 6 層 下一階的圖像由上一階圖像降采樣得到 尺度空間極值點檢測 歸一化 歸一化 gray0 135791011 歸一化 gray0 135791011gray1 02468910 歸一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 101 歸一化 gray0 135791011gray1 02468910gray2 02 104 106 108 109 1010 gray2 1 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 放大一倍 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 高斯濾波 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 降采樣 在3x3x3鄰域內選擇所有的極值中間的檢測點和尺度空間共26個點比較 尺度空間極值點檢測 關鍵點檢測 3 為每個關鍵點指定方向 4 關鍵點描述子的生成 描述子生成 SIFT概述 2 精確定位極值點 1 檢測尺度空間極值點 x 采樣 極值點定位 兩步檢驗 1 必須與周圍的像素有明顯的差異 即濾除低對比度的點 2 不能是邊緣點 因為DOG算子會產生較強的邊緣響應 目的 增強匹配穩定性 提高抗噪聲能力 方法 擬合三維二次方程 找出低對比度的點泰勒序列展開式 其中 D是DOG計算的結果 x是候選關鍵點之一最小化的到真正的極值 偏移量 當 則該點是低對比度的點 關鍵點濾除 低對比度點的濾除 關鍵點濾除 邊緣響應的濾除 一個定義好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率 而在垂直邊緣的方向有較小的主曲率 主曲率 Hessian矩陣 D的主曲率和H的特征值成正比 令為最大特征值 為最小的特征值 為了檢測主曲率是否在某閾值r下 只需檢測 關鍵點濾除 邊緣響應的去除 令 則 的值在兩個特征值相等的時候最小 隨著的增大而增大 文章中 若不滿足上式 則是邊緣的點 沒有進行任何處理的關鍵點 去除了低對比度之后的點 去除邊界相應的點 關鍵點檢測 4 關鍵點描述子的生成 描述子生成 SIFT概述 3 為每個關鍵點指定方向 1 檢測尺度空間極值點 2 精確定位極值點 選擇一系列好的關鍵點選擇每個關鍵點周圍的一個區域去除尺度和旋轉的影響 關鍵點方向分配 采用梯度直方圖來確定關鍵點的方向用點的尺度選擇正確的圖像用有限差分計算梯度的模值和方向 關鍵點方向分配 關鍵點方向分配 實際計算中 在以關鍵點為中心的鄰域窗口內采樣 并用直方圖統計鄰域像素的梯度方向 梯度直方圖的范圍是0 360度 其中每10度一個柱 總共36個柱 直方圖的峰值代表關鍵點處鄰域梯度的主方向 即作為該關鍵點的方向 在梯度方向直方圖中 當存在另一個相當于主峰值80 能量的峰值時 則將這個方向認為是該關鍵點的輔方向 一個關鍵點可能會被指定具有多個方向 一個主方向 一個以上輔方向 可以增強匹配的魯棒性 每個關鍵點有三個信息 位置 所處尺度 方向 由此可以確定一個SIFT特征區域 關鍵點方向分配 關鍵點檢測 3 為每個關鍵點指定方向 描述子生成 SIFT概述 4 關鍵點描述子的生成 1 檢測尺度空間極值點 2 精確定位極值點 特征點描述子 1 首先將坐標軸旋轉為關鍵點的方向 以確保旋轉不變性 2 以關鍵點為中心取8 8的窗口 3 在每4 4的小塊上計算8個方向的梯度方向直方圖 繪制每個梯度方向的累加值 即可形成一個種子點 鄰域方向性信息聯合的思想增強了算法抗噪聲的能力 同時對于含有定位誤差的特征匹配也提供了較好的容錯性 特征點描述子 實際計算過程中 為了增強匹配的穩健性 建議對每個關鍵字使用4 4共16個種子點來描述 這樣對于一個關鍵點就可以產生128個數據 最終形成128維SIFT特征向量 此時SIFT特征向量已經去除了尺度變化 旋轉等幾何變化因素的影響 再繼續將特征向量的長度歸一化 則可以進一步去除光照變化的影響 當兩幅圖像的SIFT特征向量生成后 下一步采用關鍵點特征向量的歐式距離來作為兩幅圖像中關鍵點的相似性判定度量 取圖像1中的某個關鍵點 并找出其與圖像2中歐氏距離最近的前兩個關鍵