參考文獻,1 David A. Forsyth, Jean Ponce, Computer Vision; A Modern Approach (1st Edition), New Jersey: Prentice Hall, August 24, 2002 2 Goshtasby A. Ardeshir, 2D and 3D Image Registration for Medical, Remote Sensing, and Industrial Applications (1st Edition), John Wiley & Sons, April, 2005 3 Richard Hartley, Andrew Zisserman, Multiple View Geometry in Computer Vision (2nd Edition), Cambridge University Press, March 2004,參考文獻,4 Oliver van Kaick, Hao Zhang, Ghassan Hamarneh, Daniel Cohen-Or, A Survey on Shape Correspondence, Computer Graphics Forum, Volume 30, Issue 6, pages 1681-1707, September 2011 5 Hongsheng Li, Tian Shen, Xiaolei Huang, Approximately Global Optimization for Robust Alignment of Generalized Shapes, IEEE TRANSACTIONS ON PATTERN ANALYSIS AND MACHINE INTELLIGENCE, Vol. 33, NO. 6, June 2011 6 Timor Kadir, Michael Brady, Saliency Scale and Image Description, International Journal of Computer Vision, Volume 45, Issue 2, November 2001,參考文獻,7 Zheng Li, Pohuang Jiang, Hong Ma, Jian Yang, DongMing Tang, A Model for Dynamic Object Segmentation with Kernel Density Estimation Based on Gradient Features, Image and Vision Computing, Volume 27, Issue 6, pages 817-823, May 2009 8 David G. Lowe, Distinctive Image Features from Scale-Invariant Keypoints, International Journal of Computer Vision, Volume 60, No. 2, pages 91-110, 2004 9 D. Marr, H.K. Nishihara, Representation and recognition of the spatial organization of three-dimensional shapes, Proc. R. Soc. Lond. B. 200, pages 269-294, 1978,參考文獻,10 Ali Shokoufandeh, Ivan Marsic, Sven J. Dickinson, View-based object recognition using saliency maps, Image and Vision Computing, Volume 17, Issue 5, pages 445-460, April 1999 11 James L. Crowley, Alice C. Parker, A Representation for Shape Based on Peaks and Ridges in the Difference of Low-Pass Transform, IEEE Transactions on Pattern Analysis and Machine Intelligence, Volume 6, No. 2, pages 156-169, 1984 12 Krystian Mikolajczyk, Cordelia Schmid, Scale and Affine Invariant Interest Point Detectors, International Journal of Computer Vision, Volume 60, No. 1, 2004,參考文獻,13 A. Elgmmal, R. Duraiswami, D. Harwood, L.S. Davis, Background and Foreground Modeling using nonparametric kernel density estimation for Visual Surveillance, in: Proceeding of the IEEE, Vol. 90, IEEE Institute of Electrical and Electronics, USA, Issue 7, pages 1151-1163, July 2002 14 A. Mittal, N. Paragios, Motion-Based Background Subtraction Using Adaptive Kernel Density Estimation, in: CVPR04, Vol. 2, IEEE Computer Society, Washington, DC, USA, pages II302-II309, July 2004,主要內容,一. 計算機視覺領域中的重要問題 二. 立體視覺的概念與基本原理 三. 射影幾何中的基本概念 四. 基本的成像模型 五. 單視幾何學的基本原理 六. 雙視幾何學的基本原理 七. 攝像機標定的基本原理,一. 計算機視覺領域中的重要問題,1. 計算機視覺的概念 2.計算機視覺領域中的重要問題,1. 計算機視覺的概念,什么是計算機視覺? 模擬人眼接收客觀世界中可見光信息，并由大腦解釋可視信息的過程，使用算法對真實圖像或視頻中的內容給予有效的解釋。 入口數據：圖像、視頻（可視信息） 出口數據：對可視內容的某種解釋（非可視信息）,1. 計算機視覺的概念,應用實例： 文字識別（OCR） 物體形狀識別 人臉識別 車站視頻中的人數統計 醫用圖像中細胞數量統計 醫用視頻中運動微粒測速 軍事目標定位、跟蹤、行為分析 基于視覺分析的人機交互,1. 計算機視覺的概念,相關領域： 計算機圖形學 數字圖像處理,計算機圖形學,使用圖形生成流水線（一組有序執行的算法），由計算機內部的虛擬幾何圖形表述生成虛擬可視像素圖形的過程。 入口數據：虛擬二維或三維場景描述（幾何圖形，非可視數據） 出口數據：經圖形管道處理后得到的虛擬的、像素化圖形（可視數據）,數字圖像處理,使用算法對數字圖像中的像素信息實施處理，使圖像中內容的可視化質量得以提高的過程。 入口數據：圖像（可視） 出口數據：圖像（可視）,脊椎動物的視覺過程,脊椎動物的視覺過程,兩種感光細胞（Photoreceptor Cell）,桿狀細胞（rods）：僅對光能量有響應，但與光頻率無關，很小的光能量即能觸發生理刺激。弱光環境下主要依靠此類細胞接收光能量。 錐狀細胞（cones）：對光能量有響應，且與頻率相關。能量低于一定閾值時此類細胞無響應（弱光環境下不工作）。,兩種感光細胞（Photoreceptor Cell）,錐狀細胞對不同頻率光能量的吸收率,兩種感光細胞（Photoreceptor Cell）,錐狀細胞在視網 膜中央區域的分 布比周邊區域更 密集。,脊椎動物的視覺過程,接收場合并與多尺度描述,接收場（receptive field）：（三維）原像空間中能由輸入光能量變化引起某神經細胞生理響應發生變化的空間區域。 接收場合并（receptive field convergence）：如果多個底層神經細胞與一個上層神經細胞有連接，并將視覺信號傳遞給它，那么該上層細胞的接收場是相關底層細胞接收場的并集。,接收場合并與多尺度描述,視覺系統中接收場的逐層合并： 感光細胞神經節細胞視覺皮質細胞 提煉的重要概念：多尺度描述,對中央與邊緣分別響應的兩種神經節細胞,提煉的概念：特征提取,立體視覺的產生,視覺皮層中的雙視神經元具有左、右雙眼視網膜的感光神經元合并產生的接收場，其完整的生理響應必須由雙目視覺同時刺激。 提煉的重要概念：立體視覺,特征匹配在視覺中的必要性,識別：神經元提取的多尺度視覺特征與記憶中的視覺特征相匹配，用于識別看見的物體； 配準：左眼、右眼成像中，底層：哪些感光神經元接收的是同一原像的光能量刺激？上層：哪些神經細胞的接收場在哪些部分有重疊？圖像匹配操作是必須的。,二. 立體視覺的概念與基本原理,立體視覺的概念： 模仿人眼的立體視覺過程，基于一幀或多幀具有共同拍攝場景的圖像，由其中的二維形狀信息恢復原始場景中三維形狀信息的視覺過程。,二. 立體視覺的概念與基本原理,1. 單視幾何原理 2 .雙視幾何原理 3. 多視幾何原理 4. 立體視覺的一般處理過程,1. 單視幾何原理,單視幾何：針對平面物體的形狀恢復,2 .雙視幾何原理,雙視幾何：基于標定攝像機的三維表面重建,3. 多視幾何原理,多視幾何：基于未標定攝像機的三維表面重建,4. 立體視覺的一般處理過程,p,l,p,r,P,Ol,Or,Xl,Xr,Pl,Pr,fl,fr,Zl,Yl,Zr,Yr,R, T,入口數據：單幀或多幀圖像,為了最終恢復三維信息， 需要基于入口數據進一步 獲取哪些數據？,4. 立體視覺的一般處理過程,問題： 如何知道不同圖像中的匹配信息？ 如何知道不同拍攝方位的相對放置（外部參數）？ 如何知道攝像機的內部參數？,4. 立體視覺的一般處理過程,（1）圖像配準 （2）攝像機標定（確定內部參數） （3）確定攝像機相對放置（確定外部參數） （4）三維表面重建,（1）圖像配準,1）基于像素的圖像配準方法 兩幀圖像中所有具有同一原像的像素對都應建立匹配關系。 2）基于特征的圖像配準方法 僅針對兩幀圖像中的具有同一原像的點、線、區域特征對建立匹配關系。,（1）圖像配準,兩類方法具有一定的聯系，并且，基于特征的圖像配準效率更高，在其基礎上可簡化像素級配準。 由于各類特征均可以轉換為點特征，因此，基于特征點的配準方法成為研究的重點。 例如，直線段特征可轉換為直線段的兩兩交點，區域特征可轉換為區域的重心。,2）基于特征點的圖像配準,a）數字圖像中的特征點提取 示例：角點提取 b）基于特征點空間分布的圖像配準 仿射圖像配準、透視圖像配準、基于外極幾何約束的圖像配準,a）角點提取,示例：基于獨立性的角點提取方法 兩個像素窗口的關聯系數： 像素的獨立性：,x與y 小于指定整數，且不同時為零,a）角點提取,獨立性示例：亮度越強的像素位置獨立性越強,a）角點提取,處理流程： 1. 從圖像中提取邊緣像素集 2. 將邊緣像素按照獨立性降序排序 3. 對于當前獨立性最大的像素，若其獨立性大于指定閾值，則將其輸出到角點集，否則結束處理流程 4. 對于剩余的邊緣像素集，將其獨立性乘以H，轉第2步,a）角點提取,其中，di為第i個剩余邊緣像素與輸出角點間的像素距離； D為相對距離定義，由它規定距離遠、近的概念。,b）基于特征點空間分布的圖像配準,圖像配準的目的： 在兩幀圖像間建立一個映射關系，該映射能夠將其中一幀圖像上的特征點坐標映射為另一幀圖像中匹配特征點的坐標。,b）基于特征點空間分布的圖像配準,問題： 兩幀圖像中的特征點數量一定相等嗎？ 是否所有特征點都存在對應的匹配特征點？,兩幀圖象存在差異，內容不會完全一致，因此特征點 數量也不一定相等,兩幀圖象存在差異，某特征點可能在左圖像中出現， 但卻可能在右圖像中未出現,b）基于特征點空間分布的圖像配準,特征點坐標間的映射可理解為坐標變換，可使用矩陣來表示。 矩陣類型與圖像間幾何變換的關系： 1. 二維仿射矩陣與圖像平面內的二維旋轉、平移、放縮變換對應 2.二維透視矩陣除包含二維變換外，還包含攝像機繞光心的旋轉變換 3. 基礎矩陣包含二維變換、攝像機旋轉、攝像機平移等變換,b）基于特征點空間分布的圖像配準,二維仿射變換：兩幀圖像間的變化可由二維圖像平面上的 二維旋轉、放縮、平移來描述； r、l 分別表示左右圖像中特征點坐標，i、j 表示特征點序號 若已知左、右圖像中的3個匹配特征點對，則能求解該變換,b）基于特征點空間分布的圖像配準,二維透視變換：兩幀圖像間的變化包括二維圖像平面上的 二維旋轉、放縮、平移、攝像機成像平面在三維空間中繞 光心旋轉； r、l 分別表示左右圖像中特征點坐標，i、j 表示特征點序號 若已知左、右圖像中的4個匹配特征點對，則能求解該變換,b）基于特征點空間分布的圖像配準,仿射配準的處理流程： 1. 假設左圖像與右圖像的特征點集分別為P、Q，從P、Q中選擇一個未嘗試的三點對，若已無三點對可以選擇，則認為配準失敗，并結束處理流程 2. 使用相似三角形約束判斷三點對的合理性，若不合理，則轉第一步,b）基于特征點空間分布的圖像配準,相似三角形約束：p、q分別表示P、Q中的特征點， 相同腳標表示具有匹配關系，為很小的值,b）基于特征點空間分布的圖像配準,3. 使用三點對解方程組，求解仿射變換的6個未知系數，確定變換矩陣 4. 使用得到的變換矩陣，求P中所有特征點在Q中滿足容忍度D（誤差，以像素為單位）的匹配特征點 5. 若特征點數量足夠大，則認為配準成功，保存匹配點對信息，結束處理流程；否則，轉第1步,b）基于特征點空間分布的圖像配準,仿射配準示例：由于實際的幾何變換包含 攝像機繞光心旋轉、平移等三維變換，因 此導致部分點對失配,特征提取與匹配的目的,特征提取與匹配是三維表面重建（立體視覺）的必要基礎； 同時也是物體形狀分類、識別、對齊等功能的必要基礎。,特征提取的總體原則,1）在視覺中顯著程度（Saliency）高，一般在圖像中越稀少的內容顯著度越高； 例子：角點、邊緣點、BLOB特征 2）顯著程度的其中一種評估標準：熵 熵的評估：針對圖像中的指定區域，一般以考察點為中心，其中的邊緣信息越豐富，熵越高。,視覺顯著度示例,使用直方圖間接評估區域熵,其它特征點提取與圖像內容描述、配準方法,c）熵特征提取 d）BLOB特征提取 e）特征點的局部描述符 f）基于局部描述符的配準方法,c）熵特征提取,固定尺度熵特征 的局限性：無法 自動適應物體在 圖像中的尺寸,c）熵特征提取,固定尺度熵特征的局限性：邊緣信息在全圖像范圍豐富時，無法體現“稀少”性質，特征的“顯著性”減弱，“隨機性”增強,引入多尺度熵特征： 左圖：選擇具有最大熵的尺度；右圖：選擇熵局部極值所在的尺度,多尺度熵特征的優點,能適應物體在圖像中尺寸變化； 各尺度特征的空間組合可用于描述物體形狀結構； 能在邊緣總體豐富的情況下，保持特征提取的顯著度；,多尺度熵特征加入K近鄰聚類,能適應圖像中物體尺寸的變化,多尺度熵特征加入K近鄰聚類,邊緣在全圖像豐富時，仍能保持“高顯著”,多尺度熵特征加入K近鄰聚類,多尺度特征的空間結構可用于特征匹配；間接提供一種物體形狀或結構的描述方式,多尺度熵特征對圖像旋轉的不變性,多尺度熵特征對圖像放