局部不變性特征描述子詳解演示文稿當前第1頁\共有94頁\編于星期二\21點優選局部不變性特征描述子當前第2頁\共有94頁\編于星期二\21點1.圖像分析的目的從圖像中獲取待研究目標的有用信息，讓計算機機具有認識、理解、識別圖像的能力圖像描述：用一組數字量或符號(描述子)來表征圖像中被描述物體的某些特征3.1基本概念當前第3頁\共有94頁\編于星期二\21點圖像中的區域(目標)，可用其內部(如組成區域的象素集合)表示，也可用其外部(如組成區域邊界的象素集合)表示關心區域的反射性質如灰度、顏色、紋理等關心區域的形狀等選定了表達方法，還需要對目標進行描述，使計算機能充分利用所能獲得的分割或者其他結果表達是直接具體的表示目標。好的表達方法應具有節省存儲空間、易于特征計算等優點描述是較抽象的表示目標。好的描述應在盡可能區別不同目標的基礎上對目標的尺度、平移、旋轉等不敏感當前第4頁\共有94頁\編于星期二\21點2.特征提取的廣義定義根據待識別的圖像的特點，通過計算機的計算產生的一組原始特征來表示原始圖像，稱之為特征形成，一般稱為特征提取。3.狹義定義特征提取：在原始特征基礎上選擇一些主要特征作為判別用的特征，以達到降低特征空間維數的目的。可區別性、可靠性、獨立性好、數量少特征選擇：原始樣本處于一個高維空間中，采用某種變換技術，將高維特征變換或映射到低維空間，得到最具代表性的較少的綜合低維特征。

當前第5頁\共有94頁\編于星期二\21點色圖像特征形顏色特征亮度信息特征（光譜）幾何形狀邊緣特征紋理特征空間關系色調、顏色、陰影、反差形狀、大小、空間布局、紋理

圖像特征當前第6頁\共有94頁\編于星期二\21點特征類別像素級特征：從每一個像素點計算的特征，如顏色、位置局部特征：從局部的區域計算的特征，如關鍵點（興趣點）、局部區域，等全局特征：從整個圖像級提取的特征形態特征vs.紋理特征當前第7頁\共有94頁\編于星期二\21點紋理特征紋理是一個模糊的概念，無統一的定義由許多互相接近的、互相編織的元素構成，并常富有周期性，如小成分構造，最典型的如紡織品纖維的結構紋理描述很少用到邊緣檢測特點：不是基于像素點的特征，它需要在包含多個像素點的區域中進行統計計算局部區域中像素位置之間的相關性當前第8頁\共有94頁\編于星期二\21點局部特征不是關鍵，其若干不變性（旋轉不變性、尺度不變性、仿射不變性、灰度不變性等）才是局部特征研究發展的關鍵！熵、能量、部分矩具有旋轉不變性，還具有尺度不變性不變性：假設有一個函數f(x)和變換G，如果滿足f(G(x))=f(x)，也就是作用在自變量x上的變換并不改變函數的值，則稱f具有G不變性。協變性：如果f和G滿足交換律，即f(G(x))=G(f(x))，則f對于變換G具有協變性。3.2局部特征當前第9頁\共有94頁\編于星期二\21點幾何變形包括5部分：平移，Euclidean（平移+旋轉），相似（平移+旋轉+縮放），仿射變換，透視變換圖像幾何變換的實質：改變像素的空間位置或估算新空間位置上的像素值圖像幾何變換的一般表達式其中，[u,v]為變換后圖像像素的笛卡爾坐標，[x,y]為原始圖像中像素的笛卡爾坐標。當前第10頁\共有94頁\編于星期二\21點1）平移變換

若圖像像素點平移到，則變換函數為

寫成矩陣表達式為：其中，和分別為x和y的坐標平移量。注意：平移后的景物與原圖像相同，但“畫布”一定是擴大了。否則就會丟失信息。當前第11頁\共有94頁\編于星期二\21點2）比例縮放

若圖像坐標縮放到()倍，則變換函數為：其中,分別x和y坐標的縮放因子，其大于1表示放大，小于1表示縮小。當前第12頁\共有94頁\編于星期二\21點3）旋轉變換

將輸入圖像繞笛卡爾坐標系的原點逆時針旋轉θ角度，則變換后圖像坐標為：這個計算公式計算出的值為小數，而坐標值為正整數這個計算公式計算的結果值所在范圍與原來的值所在的范圍不同因此需要前期處理：擴大畫布，取整處理，平移處理旋轉后處理：插值

當前第13頁\共有94頁\編于星期二\21點4）仿射變換

圖像仿射變換提出的意義是采用通用的數學影射變換公式，來表示前面給出的幾何變換。平移、比例縮放和旋轉變換都是一種稱為仿射變換的特殊情況。當前第14頁\共有94頁\編于星期二\21點仿射變換性質仿射變換有6個自由度（對應變換中的6個系數），因此，仿射變換后互相平行直線仍然為平行直線，三角形映射后仍是三角形。但卻不能保證將四邊形以上的多邊形映射為等邊數的多邊形。仿射變換的乘積和逆變換仍是仿射變換。仿射變換能夠實現平移、旋轉、縮放等幾何變換。當前第15頁\共有94頁\編于星期二\21點5）透視變換把物體的三維圖像表示轉變為二維表示的過程，稱為透視變換，也稱為投影映射，其表達式為:

透視變換也是一種平面映射，并且可以保證任意方向上的直線經過透視變換后仍然保持是直線。透視變換具有9個自由度（其變換系數為9個），故可以實現平面四邊形到四邊形的映射。當前第16頁\共有94頁\編于星期二\21點局部特征性質局部圖像特征描述的核心問題是不變性、魯棒性和可區分性。不變性：指局部特征不隨圖像大的變形而改變。對于大的圖像變形往往需要先對這些變形進行建模，然后再設計不受這些變形影響的特征檢測算法。魯棒性：指局部特征對于小的變形應該不敏感。這類變形包括圖像噪聲、離散化效應、壓縮、圖像模糊等，以及由于數學建模而引入的小的幾何或成像形變等?？蓞^分性：特征具有區別不同類別的能力?？蓞^分性的強弱往往和其不變性是矛盾的。一個具有眾多不變性的特征描述子，其區分局部圖像內容的能力就稍弱；而如果一個非常容易區分不同局部圖像內容的特征描述子，它的魯棒性往往比較低。當前第17頁\共有94頁\編于星期二\21點局部特征應用舉例圖像配準圖像表示目標識別全景圖像拼接。。。局部特征的發展趨勢快速、低存儲當前第18頁\共有94頁\編于星期二\21點SIFT——里程碑式的工作SURF3.3典型算法當前第19頁\共有94頁\編于星期二\21點尺度3.3.1尺度空間理論廣義尺度制圖尺度地圖比例尺圖上距離與實際距離之比大比例尺→小范圍、詳細信息地理尺度觀測尺度研究的空間范圍或大小如：大尺度覆蓋大的研究區域分辨率測量尺度區分目標的最小可分辨單元(如：像元)運行尺度有效尺度地學現象發生的空間范圍一定環境中發揮效應的尺度如：森林比樹的運行尺度大空間尺度時間尺度語義尺度當前第20頁\共有94頁\編于星期二\21點尺度空間方法的基本思想：在視覺信息(圖像信息)處理模型中引入一個被視為尺度的參數，通過連續變化尺度參數獲得不同尺度下的視覺處理信息，然后綜合這些信息以深入地挖掘圖像的本質特征。尺度空間方法將傳統的單尺度視覺信息處理技術納入尺度不斷變化的動態分析框架中，因此更容易獲得圖像的本質特征。圖像的尺度空間表達指的是圖像在所有尺度下的描述。3.3.1尺度空間理論當前第21頁\共有94頁\編于星期二\21點尺度空間理論是通過對原始圖像進行尺度變換，獲得圖像多尺度下的尺度空間表示序列，對這些序列進行尺度空間主輪廓的提取，并以該主輪廓作為一種特征向量，實現邊緣、角點檢測和不同分辨率上的特征提取等。尺度空間表示是一種基于區域而不是基于邊緣的表達，它無需關于圖像的先驗知識。尺度空間理論屬于CV中圖像的多分辨率分析。3.3.1尺度空間理論當前第22頁\共有94頁\編于星期二\21點金字塔多分辨率一個金字塔表達，通常結合濾波和二次抽樣連續地減少圖像尺寸來生成。常用的金字塔結構有Gaussian金字塔、Laplacian金字塔、小波金字塔等。金字塔影像是一種較老的尺度表示方法，結合了降采樣操作和平滑處理，它的一個很大的好處是：自下而上每一層的像素數都不斷減少，這會大大減少計算量，而缺點是這種自下而上的金字塔在尺度量化方向顯得較為粗糙。當前第23頁\共有94頁\編于星期二\21點金字塔影像圖像金字塔是以多分辨率來解釋圖像的一種結構。一般按照2n(n=0,1,2…)取平均得到。最底層的影像對應原始影像。通過每2x2=4個像素平均，即可構成2級影像級，如此類推，即可構成多級金字塔影像。每一級(2i)影像的像素總數對于前一級(2i-1)影像以4的倍數縮小(也可通過3x3=9個平均像素來建立影像級)。常采用的是高斯金字塔影像生成算法，構成金字塔的層數，應當根據影像的分辨率、影像可能的噪聲、影像的大小及相關計算速度來確定。當前第24頁\共有94頁\編于星期二\21點圖像的多尺度空間表達尺度空間表示是一種基于區域而不是邊緣的表達對于一個N維信號，它的尺度空間

定義為:

L(x:t)=K*f(x,t)其中t

為尺度參數，K

為尺度空間核。當前第25頁\共有94頁\編于星期二\21點圖像的多尺度空間表達尺度空間表示通過平滑獲得，可描述為

空間，分別為位置參數和尺度參數。尺度參數可以是離散的，也可以是連續的。所有尺度上空間采樣點個數是相同的(尺度空間表示法在各個尺度上圖像的分辨率都是一樣的)。應該具有尺度伸縮等不變性。

當前第26頁\共有94頁\編于星期二\21點高斯尺度空間高斯函數作為卷積核生成的尺度空間是目前最完善的尺度空間之一，根據Koendrink和Lindeber的研究表明，在多種合理假設前提下，唯一可能的尺度空間核是Gaussian核。因此，一幅二維圖像的尺度空間可表示為：

當前第27頁\共有94頁\編于星期二\21點高斯尺度空間當采用不同尺度的平滑函數對同一圖像進行濾波時，得到的一簇圖像就是原始圖像相對于該平滑函數的尺度空間，σ為尺度空間坐標。構建高斯尺度空間的主要思想是在精細尺度上的信息隨著尺度參數值的增加而逐漸地被抑制，尺度從粗到細的變化過程中，不會產生新的結構。在高斯尺度空間下，只是對圖像作了卷積，圖像的分辨率和像素仍然沒有改變，只是細節平滑了，而傳統的影像金字塔關鍵在降采樣，顯然分辨率降底了。當前第28頁\共有94頁\編于星期二\21點不同尺度因子下的圖像當前第29頁\共有94頁\編于星期二\21點高斯尺度空間通過高斯濾波得到的尺度空間表示了圖像在不同尺度下的低頻信號，而代表邊緣以及角點等特征的高頻信號丟失?？梢栽诓煌直媛蕦由贤ㄟ^在不同的尺度上應用合適的函數來表示一個特征（如邊緣和角點）。在高斯尺度空間，同一類型特征點和邊緣在不同的尺度上具有因果性，即當尺度變化時，新的特征點可能出現，而老的特征點可能移位或消失。這種因果性帶來的含糊性是固有的，不可避免的，不能企求消除，但可以減小。當前第30頁\共有94頁\編于星期二\21點3.3.2尺度不變特征變換ScaleInvariantFeatureTransform（SIFT）1999年BritishColumbia大學的大衛.勞伊（DavidG.Lowe）教授總結了現有的基于不變量技術的特征檢測方法，并正式提出了一種基于尺度空間的、對圖像縮放、旋轉甚至仿射變換保持不變性的圖像局部特征描述算子－SIFT（尺度不變特征變換），這種算法在2004年被加以完善。DavidG.LoweComputerScienceDepartment

2366MainMall

UniversityofBritishColumbia

Vancouver,B.C.,V6T1Z4,CanadaE-mail:lowe@cs.ubc.ca

當前第31頁\共有94頁\編于星期二\21點SIFT簡介將一幅圖像映射（變換）為一個局部特征向量集；特征向量具有平移、縮放、旋轉不變性，同時對光照變化、仿射及投影變換也有一定不變性。OriginalimagecourtesyofDavidLowe當前第32頁\共有94頁\編于星期二\21點SIFT特點SIFT特征是圖像的局部特征，其對旋轉、尺度縮放、亮度變化保持不變性，對于視角變化、仿射變換、噪聲也保持一定程度的穩定性。獨特性(Distinctiveness)好，信息量豐富，適用于在海量特征數據庫中進行快速、準確的匹配。多量性，即使少數的幾個物體也可以產生大量SIFT特征向量。經過優化的SIFT算法可滿足一定的速度需求?？蓴U展性，可以很方便的與其他形式的特征向量進行聯合。當前第33頁\共有94頁\編于星期二\21點SIFT算法可以解決的問題目標的自身狀態、場景所處的環境和成像器材的成像特性等因素影響圖像配準/目標識別跟蹤的性能。SIFT算法在一定程度上可解決目標的旋轉、縮放、平移（RST）圖像仿射/投影變換（視點viewpoint）光照影響（illumination）目標遮擋（occlusion）雜物場景（clutter）噪聲當前第34頁\共有94頁\編于星期二\21點SIFT算法實現步驟簡述SIFT實質可以歸為在不同尺度空間上查找特征點（關鍵點）的問題。當前第35頁\共有94頁\編于星期二\21點SIFT算法實現步驟檢測尺度空間極值點

精確定位極值點

為每個關鍵點指定方向參數

關鍵點描述子的生成當前第36頁\共有94頁\編于星期二\21點關鍵點檢測哪些是關鍵點（特征點）？

這些點是一些十分突出的點，不會因光照條件的改變而消失，比如角點、邊緣點、暗區域的亮點以及亮區域的暗點，既然兩幅圖像中有相同的景物，那么使用某種方法分別提取各自的穩定點，這些點之間會有相互對應的匹配點。所謂關鍵點，就是在不同尺度空間的圖像下檢測出的具有方向信息的局部極值點。特征點具有的三個特征：尺度，方向，大小當前第37頁\共有94頁\編于星期二\21點高斯金字塔高斯金字塔的構建過程可分為兩步：

1）對圖像做高斯平滑；

2）對圖像做降采樣。為了讓尺度體現其連續性，在簡單下采樣的基礎上加上了高斯濾波。一幅圖像可以產生幾組（octave）圖像，一組圖像包括幾層（interval）圖像。上一組圖像的底層是由前一組圖像的倒數第二層圖像隔點采樣生成的。這樣可以保持尺度的連續性。當前第38頁\共有94頁\編于星期二\21點當前第39頁\共有94頁\編于星期二\21點高斯差分尺度函數為了有效的在尺度空間檢測到穩定的關鍵點，提出了高斯差分（DifferenceofGaussian，DOG）尺度空間DOG在計算上只需相鄰尺度高斯平滑后圖像相減，因此簡化了計算！當前第40頁\共有94頁\編于星期二\21點高斯差分金字塔可以通過高斯差分圖像觀察圖像上的像素值變化情況。如果沒有變化，也就沒有特征。特征必須是變化盡可能多的點。DOG圖像描繪的是目標的輪廓。當前第41頁\共有94頁\編于星期二\21點當前第42頁\共有94頁\編于星期二\21點1）DOG的局部極值點關鍵點是由DOG空間的局部極值點組成的。為了尋找DOG函數的極值點，每一個像素點要和它所有的相鄰點比較，看其是否比它的圖像域和尺度域的相鄰點大或者小。中間的檢測點和它同尺度的8個相鄰點和上下相鄰尺度對應的9×2個點共26個點比較，以確保在尺度空間和二維圖像空間都檢測到極值點。一個點如果在DOG尺度空間本層以及上下兩層的26個鄰域中是最大或最小值時，就認為該點是圖像在該尺度下的一個特征點。當前第43頁\共有94頁\編于星期二\21點2）精確定位極值點通過擬和三維二次函數以精確確定關鍵點的位置和尺度（達到亞像素精度），同時去除低對比度的關鍵點和不穩定的邊緣響應點（因為DOG算子會產生較強的邊緣響應），以增強匹配穩定性、提高抗噪聲能力。當前第44頁\共有94頁\編于星期二\21點2）精確定位極值點位置1）在檢測到極值點后，對差分算子進行二階泰勒展開，求泰勒公式的極大偏移量，精確定位檢測到的極值點。

求導，并令其為0，所得精確位置為：在求出極大偏移量后，若其值大于0.5則表示極值點更靠近相鄰的點；若小于0.5則不動。當前第45頁\共有94頁\編于星期二\21點去除低對比度極值點2）由于線性尺度空間不能保證對比度不變性，因此在精確定位好后，通過上面求得的式子，要去除低對比度點。計算公式如下：在Lowe的論文中提到當D(X)小于0.3時就定義此極值點為低對比度點，此點將被去除掉。當前第46頁\共有94頁\編于星期二\21點邊緣響應的去除3）一個定義不好的高斯差分算子的極值在橫跨邊緣的地方有較大的主曲率，而在垂直邊緣的方向有較小的主曲率。由于這樣的邊緣點容易受到圖像噪聲的影響，因此也要去除這些不穩定的邊緣點。

主曲率通過一個2x2的Hessian矩陣H求出，在Hessian特征點檢測中有提到如何通過Hessian矩陣求邊緣點的方法。

當前第47頁\共有94頁\編于星期二\21點3）為每個關鍵點指定方向參數通過尺度不變性求極值點，可以使其具有縮放不變的性質。利用關鍵點鄰域像素的梯度方向分布特性為每個關鍵點指定方向參數，使算子具備旋轉不變性。

像素的梯度表示：梯度幅值：

梯度方向：當前第48頁\共有94頁\編于星期二\21點方向直方圖的生成

以關鍵點為中心的鄰域窗口內采樣，并用直方圖統計鄰域像素的梯度方向。梯度直方圖的范圍是0～360度，其中每10度一個柱，總共36個柱。隨著距中心點越遠的鄰域其對直方圖的貢獻也響應減小。Lowe論文中還提到要使用高斯函數對直方圖進行平滑，減少突變的影響。當前第49頁\共有94頁\編于星期二\21點關鍵點的主方向與輔方向關鍵點主方向：極值點周圍區域梯度直方圖的主峰值，也是特征點方向。關鍵點輔方向：在梯度方向直方圖中，當存在另一個相當于主峰值80%能量的峰值時，則將這個方向認為是該關鍵點的輔方向。當前第50頁\共有94頁\編于星期二\21點關鍵點檢測完畢圖像的關鍵點已檢測完畢，每個關鍵點有三個信息：位置、尺度、方向；同時也就使關鍵點具備平移、縮放、和旋轉不變性。當前第51頁\共有94頁\編于星期二\21點4）關鍵點描述子的生成在局部特征的設計中最關鍵的一步就是特征描述符的設計，而判斷一個特征描述符好壞的重要依據就是其高可區分性。在關鍵點計算后，用一組向量將這個關鍵點描述出來，這個描述子不但包括關鍵點，也包括關鍵點周圍對其有貢獻的像素點。思路：通過對關鍵點周圍圖像區域分塊，計算塊內梯度直方圖，生成具有獨特性的向量，這個向量是該區域圖像信息的一種抽象，具有唯一性。當前第52頁\共有94頁\編于星期二\21點SIFT關鍵點描述子生成步驟旋轉主方向：將坐標軸旋轉為關鍵點的方向，以確保旋轉不變性。生成描述子：對于一個關鍵點產生128個數據，即最終形成128維的SIFT特征向量。歸一化處理：將特征向量的長度歸一化，則可以進一步去除光照變化的影響。當前第53頁\共有94頁\編于星期二\21點關鍵點描述子生成舉例以關鍵點為中心取16×16的窗口。每一個小格都代表了特征點鄰域所在的尺度空間的一個像素，箭頭方向代表了像素梯度方向，箭頭長度代表該像素的幅值。然后在每4×4的小塊上計算8個方向的梯度方向直方圖，繪制每個梯度方向的累加值，即可形成一個種子點。如下圖所示：一個特征點由4個種子點的信息所組成。當前第54頁\共有94頁\編于星期二\21點Lowe實驗結果表明：描述子采用4×4×8＝128維向量表征，綜合效果最優（不變性與獨特性）。當前第55頁\共有94頁\編于星期二\21點歸一化處理在求出4×4×8的128維特征向量后，此時SIFT特征向量已經去除了尺度變化、旋轉等幾何變形因素的影響。而圖像的對比度變化相當于每個像素點乘上一個因子，光照變化是每個像素點加上一個值，但這些對圖像歸一化的梯度沒有影響。因此將特征向量的長度歸一化，則可以進一步去除光照變化的影響。對于一些非線性的光照變化，SIFT并不具備不變性，但由于這類變化影響的主要是梯度的幅值變化，對梯度的方向影響較小，因此作者通過限制梯度幅值的值來減少這類變化造成的影響。當前第56頁\共有94頁\編于星期二\21點描述子具體計算1）確定計算描述子所需的圖像區域

描述子梯度方向直方圖由關鍵點所在尺度的模糊圖像計算產生。圖像區域的半徑通過下式計算：

是關鍵點所在組（octave）的組內尺度，當前第57頁\共有94頁\編于星期二\21點描述子具體計算2）將坐標移至關鍵點主方向

那么旋轉角度后新坐標為：當前第58頁\共有94頁\編于星期二\21點描述子具體計算3）將產生的圖像區域劃分成4×4的小塊，對每個小塊統計其每個像素的梯度值和方向，形成梯度直方圖。整個圖像塊就表示為4×4×8=128為的特征向量。4）描述子向量元素門限化及門限化后的描述子向量規范化。

當前第59頁\共有94頁\編于星期二\21點實驗結果當前第60頁\共有94頁\編于星期二\21點原圖平滑后圖像實驗結果——不同尺度當前第61頁\共有94頁\編于星期二\21點實驗結果——旋轉不變性當前第62頁\共有94頁\編于星期二\21點關鍵點匹配分別對模板圖（參考圖，referenceimage）和實時圖（觀測圖，observationimage）建立關鍵點描述子集合。目標的識別是通過兩點集內關鍵點描述子的比對來完成。具有128維的關鍵點描述子的相似性度量采用歐式距離。當前第63頁\共有94頁\編于星期二\21點關鍵點匹配窮舉匹配原圖像目標圖像當前第64頁\共有94頁\編于星期二\21點關鍵點匹配模板圖中關鍵點描述子：實時圖中關鍵點描述子：任意兩描述子相似性度量：要得到配對的關鍵點描述子，需滿足：當前第65頁\共有94頁\編于星期二\21點關鍵點匹配關鍵點的匹配可以采用窮舉法來完成，但是這樣耗費的時間太多。一般都采用一種叫kd樹的數據結構來完成搜索。搜索的內容是以目標圖像的關鍵點為基準，搜索與目標圖像的特征點最鄰近的原圖像特征點和次鄰近的原圖像特征點。Kd樹是一個平衡二叉樹。當前第66頁\共有94頁\編于星期二\21點實驗結果當前第67頁\共有94頁\編于星期二\21點SIFT應用——物體識別當前第68頁\共有94頁\編于星期二\21點SIFT應用——圖像拼接當前第69頁\共有94頁\編于星期二\21點SIFT應用——筆跡鑒定當前第70頁\共有94頁\編于星期二\21點SIFT應用——匹配

來自網友的創意——周正龍的老虎圖1周正龍的華南虎照片與年畫上的華南虎照片12點匹配圖2周正龍的華南虎照片與真實的華南虎照片0點匹配當前第71頁\共有94頁\編于星期二\21點改進PCA-SIFTASIFT——AffineSIFTLPP-SIFT。。。當前第72頁\共有94頁\編于星期二\21點PCA-SIFTPCA-SIFT與標準SIFT有相同的亞像素位置，尺度和主方向。但在第4步計算描述子的設計，采用了主成分分析的技術。用特征點周圍的41×41的像素計算它的主元，并用PCA-SIFT將原來的2×39×39維的向量降成20維，以達到更精確的表示方式。它的主要步驟為：對每一個關鍵點，在關鍵點周圍提取一個41×41的像素于給定的尺度，旋轉到它的主方向

；計算39×39水平和垂直的梯度，形成一個大小為3042的矢量；用預先計算好的投影矩陣n×3042與此矢量相乘；這樣生成一個大小為n的PCA-SIFT描述子。當前第73頁\共有94頁\編于星期二\21點3.3.3加速穩健特征Speeded-UpRobustFeatures（SURF）2006年由HerbertBayetal.在ECCV會議提出，是一種穩健的圖像識別和描述算法。SURF是SIFT的改進，SURF標準版本比SIFT要快數倍——積分圖像Haar求導，并且其作者聲稱在不同圖像變換方面比SIFT更穩健。特點：使用積分圖像完成圖像卷積（相關）操作;使用Hessian矩陣檢測特征值；使用基于分布的描述符（局部信息）。當前第74頁\共有94頁\編于星期二\21點SURF步驟搜尋圖像關鍵點采用Hessian矩陣的行列式在尺度空間搜尋主要的關鍵點非極大值抑制設置特征點的方向生成特征向量當前第75頁\共有94頁\編于星期二\21點Hessian矩陣二維空間函數f(x,y)的Hessian矩陣為函數的偏導數組成：為對稱矩陣每一個像素點都可以求出一個Hessian矩陣當前第76頁\共有94頁\編于星期二\21點Hessian矩陣Hessian矩陣的行列式為：行列式的值是H矩陣的特征值的乘積，可以利用判定結果的符號將所有點分類，根據行列式式取值的正負，來判別該點是或不是極值點：正數為極值點！可以通過設置行列式值的閾值來檢測主要的特征點。當前第77頁\共有94頁\編于星期二\21點Hessian矩陣由于特征點需要具備尺度無關性，所以在進行Hessian矩陣構造前，需要對其進行高斯濾波。經過濾波后再進行Hessian的計算，H(x,σ)在x方向尺度為σ的定義為：

其中，Lxx(x,σ)是高斯二階偏導數在x處與圖像I的卷積。當前第78頁\共有94頁\編于星期二\21點變換圖像特征點是在原圖像的變換圖像上尋找，然后將其位置反映射到原圖中。在SURF中，是由原圖每個像素的Hessian矩陣行列式的近似值構成。其行列式近似公式如下：

其中，0.9是作者給出的一個經驗值，也稱為斑狀（Blob）響應。當前第79頁\共有94頁\編于星期二\21點變換圖像求Hessian時要先高斯平滑，然后求二階導數，這在離散的像素點是用模板卷積完成。兩種操作可以合在一起用一個模板代替。

高斯拉普拉斯（LaplaceofGaussian，LoG）模版示例：LxxLyyLxy當前第80頁\共有94頁\編于星期二\21點DxxDyyDxyLoG近似為了加速卷積運算，從SIFT中用DoG近似LoG的做法得到啟示，用盒子型濾波器（boxfilters）代替二階高斯差分模板進行近似——因為可以采用積分圖快速算法！當前第81頁\共有94頁\編于星期二\21點積分圖像積分圖像：指當前像素點所在位置距原點（0,0）所包圍面的所有灰度之和。綠色的部分為當前像素點，紅色為積分區域當前第82頁\共有94頁\編于星期二\21點積分圖像計算圖像中任意一塊矩形區域的灰度之和S只需要利用矩形4個頂點（A，B，C，D）的積分值Si即可：優點：任何一個垂直矩形區域的面積只需要進行3次+/-法就能計算。卷積可以用積分圖實現快速計算。只需要在函數定義之前計算各個坐標點的積分圖像，然后就能方便的求出hessian的特征值。當前第83頁\共有94頁\編于星期二\21點Blob響應實驗結果當前第84頁\共有94頁\編于星期二\21點在尺度空間搜尋主要的關鍵點SIFT：同一個組（octave）的層中的圖片尺寸(即大小)相同，但是尺度(即模糊程度)不同，而不同的octave中的圖片尺寸大小也不相同。即：高斯平滑+降采樣。每層圖像依賴于前一層圖像，并且圖像需要重設尺寸，因此，這種計算方法運算量較大。SURF：申請增加圖像核的尺寸，這也是SIFT算法與SURF算法在使用金字塔原理方面的不同。允許尺度空間多層圖像同時被處理，不需對圖像進行二次抽樣，從而提高算法性能。當前第85頁\共有94頁\編于星期二\21點SIFT：在進行高斯模糊時，高斯模板大小是始終不變的，只是在不同的octave之間改變圖片的大小。SURF：圖片的大小是一直不變的，不同的octave得到的待檢測圖片是改變高斯模糊尺寸大?。磳obfilter進行尺度變換）得到的。當然，同一個octave中個的圖片用到的高斯模板尺度也不同。SURF采用這種方法節省了降采樣過程，其處理速度自然也就提上去了。構建尺度空間當前第86頁\共有94頁\編于星期二\21點說明：假定初始模版大小為9×9，尺度為1.2，對應于高斯核中的σ=1.2（第一層）。之后，不斷增加模版的大小，得到下一層。優點：