1、基于內容的圖象檢索方法研究11.概述1.1 意義1.2 現狀1.3 現有研究的局限性21.1意義理論意義 基于內容的圖像檢索涉及智能信息處理、圖像處理、模式識別及數據庫技術，是一門交叉性學科。應用價值 基于內容的圖像檢索在衛星地球資源照片的查找 和 分析、個人信息和產品形狀及商標的查找、醫學圖像的存儲與檢索、新聞圖片查找以及公安領域人臉查找等領域有廣泛的應用前景。31.2 現狀4(1)傳統的圖像檢索方法解決方法：以往的圖像檢索方法：基于元數據檢索基于關鍵字的圖像檢索存在問題：圖象內容難以客觀地用文本描述。標簽的創建困難。手工輸入工作量大不支持相似性查詢。基于內容的圖像檢索5QBICVirage

2、PhotoBookMARSVisualSEEK CORESTARRereievalWare Netra /Netra典型系統71.3 現有研究的局限性從理論研究角度講從系統設計角度講8尚需解決的關鍵技術圖像數據模型建立圖像相似性度量方法低層特征的自動提取多維索引語義特征的自動提取基于內容的WWW圖像瀏覽器設計基于內容的圖像檢索系統性能評價從理論研究角度講:102. 主要研究內容11圖像信息描述與檢索模型特征提取與描述方法相似性度量方法多維索引方法系統設計中的關鍵技術主要研究內容12圖像信息描述模型14物理層的檢索 其中：直接計算模板與目標圖象的相關度：15偽語義層的檢索單區域查詢多區域查詢空間

3、對象關系的匹配17語義層的檢索 對象具有語義對象間關系比偽語義層更為明確特點語義對象查詢對象空間關系查詢查詢18語義層的空間關系操作表1 二維空間操作符的定義符號含義ABA與B不相接A=BA等于BA|BA與B邊接邊A%BA與B的無相同邊界且A包含BABA與B的左邊界相同且A包含BABA與B的右邊界相同且A包含BA/BA與B重疊表2 相似度函數值SIM的定義SIM/%|=t時，表明兩圖象相似。其中，查詢圖象與虛圖象間的相似度d定義為相似的對象數和必選對象間的空間關系與總對象及其空間關系的比值：20相似度計算實例查詢圖象Q虛圖象Pvd(Q,Pv)=(2+1+1+2+2+2.8)/(2+2+5+4)

4、=0.83設t=0.8,則dt,兩幅圖象相似。21查詢結果的組合 222.2 顏色特征提取與表示24顏色直方圖顏色矩25直方圖歸一化算法步驟及特點步驟：(1) 顏色空間轉換(2) 光照歸一化(3) 尺度歸一化(4) 直方圖平滑特點：實現了亮度和尺度的歸一化27 仍存在的問題：沒有考慮位置信息上面兩幅圖像的傳統顏色直方圖完全一致，但它們實際上并不相似。28兩種子直方圖顏色表示方法（1）等權：權值相等（2）加權29實驗結果與分析30傳統直方圖檢索結果注：第1幅為查詢圖象，后14幅為對應的查詢結果31加權子直方圖檢索結果注：第1幅為查詢圖象，后14幅為對應的查詢結果32歸一化后的加權子直方圖檢索結果

5、注：第1幅為查詢圖象，后面為對應的查詢結果33紋理2.3紋理特征的提取與表示方法34問題1：紋理描述的實質是什么？ 如何對紋理進行描述？ 問題2：為什么要對紋理分開描述？問題3：如何對問題分開描述？問題4：如何描述旋轉情況下的紋 理？35問題1：紋理描述的實質是什么？ 如何對紋理進行描述？36經典紋理描述方法(1)空間自相關函數的紋理結構描述(2)灰度共生矩陣表示方法(3)Tamura(4)基于Fourier變換的紋理描述(5)基于DCT的紋理描述 37問題2：為什么要對問題分開描述？減少信息冗余提高查詢效率38問題3：如何對紋理分開描述？解決方法：先基于Wold分解的紋理分類，再對紋理分開描

6、述39理論依據：(1)人的視覺在感知紋理時，存在三種重要的感知元，即“重復性、方向性、粒度的復雜度” 。(2)紋理圖像可以看成是一個二維的均勻隨機場，并能分解成相互正交的三個分量 。(3)規則均勻隨機場的三個分量可通過分離譜分布函數獲得。基于Wold分解的紋理分類40實現過程(1)諧波測試，目的是提供紋理圖像結構化程度與非結構化紋理判決依據（置信度）。(2)基于置信度進行紋理分類。 41實際計算（簡化過程）42分類結果規則紋理不規則紋理43規則紋理和不規則紋理的描述44規則紋理圖像的紋理描述(1)在平滑后的自相關函數中尋找峰值并確定對應位置。 (2)提取紋理基元。 (3)計算共生矩陣。 (4)

7、從共生矩陣計算特征矢量，如能量、熵、相關、局部均勻性、慣性等。 45不規則紋理圖像的紋理描述(1)計算圖像的小波變換系數(2)計算像素r=(x,y)處的局部特征(3)用聚類算法獲取紋理圖像的整體特征46一種改進的小波紋理描述 采用策略：（1）采用半峰的幅度支撐集相互接觸的Gabor小波族 。（2）計算小波變換系數的均值和標準偏差(3)生成特征矢量47問題4：如何描述旋轉情況下的紋 理？48基本思想： 采用極坐標表示Gabor函數，并將圖像轉換為Gabor空間中的近似表示。然后從相位信息和幅度信息中推導出旋轉不變特征。49計算過程50fA，fF，fY,是幅度、頻率、方向的包絡信息。fDA，fDF

8、，fDY,是由相位導出的方向信息。51實驗結果注：第1幅為查詢圖象，后9幅為對應的查詢結果522.4形狀特征提取與描述方法研究53問題1：為什么進行形狀特征的提取？問題2：如何進行形狀提取？54基于HSL的彩色圖像分割方法算法思想： 首先將圖像轉換到與人的視覺一致的顏色空間，然后以色調為主進行對象粗分。對具有相同色調的對象再按亮度或飽和度進行細節劃分，并標明不同區域。最后對這些區域進行去噪，生成有意義的區域。 55算法步驟(1)顏色空間的選擇 (2)HSL概率密度計算 (3)基于聯合概率密度的顏色區域標號 (4)區域進行合并 56實驗結果(a)原圖像 (b)色調分割圖 (c)色調和亮度聯合分割

9、圖 (d)去噪聲后的分割圖像57(a)平滑處理前色調直方圖 (b)平滑處理后色調直方圖 (c)亮度直方圖 (d)色調滿足一定條件的亮度直方圖58區域和邊緣相融合的邊緣檢測基本思想: 圖像邊緣反映了圖像變化的局部信息，它由一些細小的邊界點組成，而區域反映了對象在灰度上的一致性。對象的區域和對象的邊緣是高度相關的，因此，為了獲得有意義的對象邊緣，可以用邊緣元和對象區域相互補充來獲取對象邊緣。59算法5.4區域相融合的邊緣提取(1)對模極值二值化，生成邊緣點(2)以主對象為中心，選取長度超過給定長度邊緣段，并用 (begin_line，end_line，code_line)表示，其中begin_li

10、ne 為邊緣段的起始位置(xb,yb)，end_line為邊緣段的終止位置 (xe,ye)，code_line為邊緣段的鏈碼。(3)選定最長邊緣段，查找與begin_line最近的邊緣段的端點 (x0,y0)，與end_line最近的邊緣段的(x1,y1)。(4)以(xb,yb)為起點，(x0,y0)為終點，連接成新的邊緣，以同樣 的方法生成以(xe,ye)為起點，(x1,y1)為終點的新邊緣段，通 過蟲隨法得到區域邊界，取新邊緣段和區域邊界的平均作為修 正后的新邊緣。(5) 當所有邊緣段處理完畢，算法結束，否則轉(3)。60實驗結果612.5基于Hausdorff距離的 邊緣形狀度量62問題

11、的提出基于Hausdorff距離進行度量。一般形狀匹配方法：將形狀表示成一個特征矢量，然后用歐氏距離、明氏距離等方法進行度量。存在問題：在很多情況下，精確分割出圖像邊界輪廓并用特征矢量表示它們相當困難。解決途徑：63基本思想(1)首先提取查詢圖像和數據庫中圖像的邊緣并二值化。(2)分別表示成點集A和B。(3)計算點集A和B之間的Hausdorff距離。(4)按Hausdorff距離選取最相似的圖像。特點： 該方法不強調圖像中點對的一一匹配，點與點之間的關系是模糊的。 64實驗結果對應的二值圖像原圖像65采用Hausdorff距離度量的結果。第一列為模板，后五列為匹配結果662.6多維特征的索引

12、結構研究67(1)隨著特征維數增加查詢時間花費 以指數形式增加。(2)沒有嵌入視覺特性問題的提出解決方法(1)維數壓縮(2)多維索引68SS算法中視覺特征的嵌入將查詢向量于數據庫中的向量然后以權距離基本思想：轉換為權向量：為基礎按SS算法進行索引。69等距索引算法的基本思想與實現M:模板圖像Q:查詢圖像F:數據庫中 的圖像70順序搜索與等距索引平均花費時間比較順序搜索平均花費時間等距索引搜索平均花費時間712.7圖像檢索系統設計方法研究72檢索系統的結構73可視化查詢語言（1）一是利用查詢語言直接操縱信息 特點：描述精確，但界面不夠友好。 （2）即開發查詢接口 特點：界面可視化 ，但描述不夠精確。現有的信息獲取及其特點：74實現過程查詢語言中圖像信息的描述查詢的可視化提交 可視化查詢到目標查詢的轉換 75 圖8.9查詢的可視化表達實例76相關反饋機制機制第一種：修改查詢矢量的相關反饋。第二種：修改數據庫概率分布的相關反饋。第三種：基于人工智能學習方法的相關反饋。分類77自適應相關反饋的基本思想 用戶首先采用顏色特征、紋理特征、形狀特征和整體特征度量得到四組候選圖像，然后分別在各組候選圖