基于神經網絡組合不同層的結果查詢方法

1總結如何快速有效地從各種圖像數據中收集和提取用戶所需的信息已成為圖像搜索的瓶頸。在文獻2特征屬性檢索s為了有效地支持基于內容的圖像查詢，本文將圖像分為物理圖像和邏輯圖像。所謂物理圖像是指存儲實際圖像數據的圖像，邏輯圖像是指存儲圖像特征或語義的圖像。在基于內容的圖像查詢中，一個實際的圖像查詢系統應該既支持物理圖像信息的查詢，如圖像名、創建日期、圖像大小等，同時也應該支持對邏輯圖像的查詢，如對圖像的可視特征、空間特征、語義特征的查詢。因此，支持基于內容查詢的圖像數據庫的數據模型應具有表示物理圖像實體的基本屬性，也應該具有表示可視特征、空間特征、語義特征的特征屬性；既應該支持按基本屬性的索引，也應該支持按特征屬性的空間索引。為此，可以將圖像對象劃分為5個層次的對象：⑴AL(AttributeLevel)：描述圖像特性的文本集合。⑵PL(PhysicalLevel)：物理層，不包含圖像內容，其操作也不涉及圖像數據內部的邏輯組織。從檢索的角度看，圖像數據僅僅被看成是一串長的、無結構的二進制流。⑶FL(FeatureLevel)：特征層，管理可度量的全局特征數。⑷PSL(PseudoSemanticLevel)：描述感興趣的區域及其關系。⑸SL(SemanticLevel)：描述對象的語義特征。在SL層，圖像對象由特征對象及其空間關系描述。特征被分為：基特征(derivedfeatures)，是指單一特征屬性，如顏色特征、形狀特征和紋理特征等。在特征層，每個對象可用它的特征來索引。組合特征(compositefeatures)，是指將幾個特征組合成一多屬性特征以反應某一對象的內容；概念特征(conceptualfeatures)是基特征或組合特征附加一定的知識后形成的圖像語義表示。在一個IR系統中，查詢結果可以用與用戶需要信息的相似程度最高的文檔集合來描述。因此，檢索模型定義為由一大類文檔和查詢的表示方法以及檢索函數組成的集合。文檔和查詢的表示方法由索引方法（或特征提取函數）生成。檢索函數由計算文檔與查詢的相似性度量方法組成。2.1多分辨率檢索如果兩幅圖像有相同的大小，并且在同一位置有相似的值，則它們是相似的。因此，在物理層，圖像的相似性度量可采用模板匹配等低層操作，即逐象素比較模板和子圖像。設Sue786Obj-data表示一圖像對象，S(i,j)表示圖像對象在(i,j)處象素，這里i=0,…,N-1,j=0,…,M-1；設S實際上，由于圖像噪聲和量化的影響以及圖像本身存在差異性，模板匹配往往不精確。因此，檢索的結果是和模板最近似的子圖像。由于這種操作比較費時，對于大的圖像庫一般不用。實際應用時，可以對這一相關算法進行修改，采用多分辨率來計算相關。即首先在低分辨率計算相似度，通過設定的閾值過濾明顯不相似的圖像。如：運用小波變換的低頻部分計算相似度，過濾明顯不相似的圖像。2.2特征規范性編碼由于特征提取函數不同，得到的特征值的范圍也不一致。為保證在一個特征矢量內每個特征分量處于同等重要的地位，需要對特征進行規范化。同樣，為保證在一個組合查詢中每個特征處于同等重要的地位，需要在特征間進行規范化，目的是將相似性值范圍轉換到[0,1]。在特征層，相似性計算涉及不同特征。盡管可以采用同一種度量方法，如歐氏距離來度量，但是，對所有特征都采用同一度量方法與人的視覺度量不一致，因此，對不同的特征應采用不同的度量方法。2.3查詢對象區域特征的描述偽語義層的檢索包括圖像區域對象、空間信息以及空間關系的相似性檢索。空間關系定義為兩類：相對關系和絕對關系。相對關系指代表對象的符號間的相對空間關系，如符號A在符號B左邊等。絕對空間關系指圖像對象的固定位置關系。假定圖像區域對象由區域的特征和區域屬性組成。區域特征包括顏色特征、紋理特征和形狀特征，區域屬性包括區域的空間位置、尺寸和面積。其中區域位置(x,y)用區域的矩心表示，區域的尺寸用區域的最小外接矩形MBR的寬w和高h表示，區域的面積用區域的像素數表示。因此，一個區域對象可以表示為邀f,(x,y),(w,h),area妖。設查詢圖像假定圖像特征和圖像屬性已事先提取，偽語義層查詢步驟為：⑴單區域查詢；在目標圖像T的區域集t空間位置距離為：面積差度量為：最小MBR差度量為：整個區域的形似性度量為：⑵多區域查詢；多區域查詢由單區域查詢的結果組合而成。設查詢Q=邀Q多區域查詢過程為：先按單區域查詢找出與Q⑶空間對象關系匹配。設查詢圖像有K個區域，目標圖像有L個區域，則查詢圖像和目標圖像共有2.4語義對象的獲取偽語義層的對象是一些無意義的區域，而語義層對象則是在此基礎上給這些區域賦予一定的語義。語義層檢索一般與具體應用有關，語義往往通過與專家交互獲得，語義對象的關系則自動獲得。語義層檢索時，一般先將實圖像轉換為虛圖像，檢索時，先對虛圖像檢索，然后通過虛圖像到實圖像的映射得到目標圖像。定義1給定一實圖像R定義2假定對象已具有語義信息，Q的空間關系查詢定義為一個四元組：(F,G,Rel,t)。這里(邀F∪G妖,Re)是虛圖像，t∈[0,1]是相似度閾值。F是必選對象，G是可選對象。只有R定義3設Q=(F,G,Rel,t)是一個查詢，且設Q,P3raken的合并以上，介紹了在各層單獨進行查詢時的相似性度量方法。對每一個抽象層來說，可以按相似度排序，相似度越高表明越相似。但是，由于不同層對最后結果所起的作用不同，最終查詢結果并不是各層搜索結果簡單的并，因而在合并不同層產生的結果集時，應該考慮應用非線性變換。一種這樣的變換是對檢索出來的圖像按相關度排序，然后用rank（排序號）最大或最小來合并結果。但是，這種合并方法存在一個重要問題：即對于不同層，由于rank不同，很難找到一種有效的方法來確定最終的rank。例如，設有一個查詢系統，對于數據庫中的圖像A,B，按源數據和特征查詢時的rank表5所示：從表可以看出，圖像A在源數據層更相似，而圖像B在特征層更相似。其平均rank很難反映查詢的總體rank。為此，本文提出了一種新的組合查詢方法，其系統結構如圖1所示。圖1中，Q為提交的查詢。f基于圖1提出的結構，本文采用BP神經網絡實現組合查詢。該方法分為學習和檢索兩個階段。在學習階段，神經網絡以各層度量得到的結果集作為輸入，通過訓練樣本學習更新權值。檢索階段，使用新的權值組合查詢，并得到查詢結果。3.1輸出單元設圖像可以表示為不同對象層的集合神經網絡的輸入單元是查詢圖像Q與訓練圖像P之間在f如果選擇f設V輸出單元k產生的輸出可由下式給出：f是一個單向連續函數，且λ>03.2搜索步驟給定一個具有不同子查詢Q3.3測試數據的選取實驗中，輸入神經元是圖象對在各粒度層的相似度，輸出是圖像對的整體相似度。為了訓練神經網絡，首先用已知輸出的數據集（訓練數據）反饋給網絡，以用于計算最優權值。為了測試該網絡，除了訓練數據外，另外一個獨立的數據集合（測試數據）反饋給網絡。希望的輸出和網絡的輸出進行比較來確定網絡的精確性和有效性。為了獲得訓練數據和測試數據，作者選擇了400個圖像對，從人的視覺來看，它們一半相似，另一半不相似。正圖像（相似）輸出為1，負圖像輸出為0。作者用一半圖像對(