1、尺度與特征引導視覺選擇性注意機制模型0 引 言目前主動視覺是機器視覺研究的熱點和發展方向。 其核心內 容是為了完成給定的視覺任務 , 如何主動、智能、有選擇地獲取 視覺信息 ; 從計算的觀點來說 , 就是要建立視覺選擇性注意機制 的計算模型 , 對圖像數據進行顯著性度量。機器視覺要完成從2D圖像出發對場景進行理解，而2D圖像 本身作為對應3D場景的一個不可逆透射變換，它對場景的描述 形式表現為數值矩陣形式 , 所有的信息都隱藏在里面 , 為此機器 視覺算法的基本要求就是要能從這種原始以矩陣形式表示的 2D 圖像數據中提取“有意義”的描述。其中的關鍵問題是: 到底什么是“有意義”的 , 以及其描

2、述的形式或模型是什么。顯然這兩 個問題都跟具體的視覺任務有關 , 最基本的任務就是視覺物體識 別, 為了識別, 一個前提是要能從圖像中分離出物體出來 ,即前景 / 背景分離 , 前景構成對圖像的一種“有意義”描述 , 而視覺選擇 性注意機制的計算模型是實現得到這種描述的一種有效模型 , 為 此要對圖像進行顯著性度量 ; 同時所得前景以及其各種特征只在 一定的有限的尺度范圍內才是“有意義”的 , 即尺度也是描述 的?桓霆？重要參數，所以尺度、顯著性和物體識別對一個描述 模型來說是密不可分。1 視覺中的尺度空間的表示圖像中的尺度問題可以理解為成像所使用的孔徑 / 光圈的大 小, 以及成像設備和物體

3、之間的距離的綜合作用在透射投影下賦 予物體的像的一個固有屬性。一幅自然場景的 2D 圖像中包括各 種不同大小的物體的像 ,預先并不知道有哪些尺度 , 為了從圖像 出發去理解場景 , 必須要在各個尺度上對圖像進行表示和分析處 理, 即多尺度表示和分析 7,8 。將尺度作為一個自由參量引入圖 像中。多尺度表示方法由來已久 ,主要有兩種 :四叉樹和金字塔。 尺度空間表示的一般方法是 : 將尺度作為一個自由參量引入 到原始N維信號(如2D圖像)中，得到一個？ : ?N+1維的信號，所 得信號在尺度維上滿足一個擴散方程 , 該擴散方程是一個以原始 信號為初始狀態的偏微分方程 (PDE), 稱所得信號為原

4、始信號的 尺度空間表示 ; 根據擴散方程的線性和非線性可以將尺度空間表 示區分為線性尺度空間和非線性尺度空間 ;在尺度維上 , 信號表 現出一種由細到粗的過程 , 一個基本要求就是在粗的尺度上 , 信 號中不能出現新的結構 1,3 。記原始圖像為l(x,y) WTHZRWTBX,(x,y) WTHZZWTBX尺度記為t WTHZRWTBX+圖像尺度空間表示為:式中 :T 為尺度空間變換 , 尺度 t 的初始值為原始圖像中的尺 度,為了數學上分析方便一般可認為為0。？T ?1(a)為尺度空間表示示意圖；圖1 (b)為Lena圖像的尺度空間表示。T滿足的擴 散方程為 :式中:WTHXJWTBX=-

5、WTHXDWTBXT是 Flick 法則，表示 擴散的平衡特性；WTHXDWTBX是一個正定對稱矩陣表示擴散 張量。如果WTHXJWTBX和 T平行，則表示擴散是各向同性的， 這時WTHXDWTBX可用一個正常數g來代替，反之為各向異性。 若WTHXDWTBX是一個正常數（如常取1）,則相應的尺度空間為 線性尺度空間；若WTHXDWTBX是一個與圖像結構相關的標量 或向量函數 , 則為非線性各向同性尺度空間或非線性各向異性尺 度空間。?尺度空間表示提供了一種對圖像進行多尺度分析的基礎。 但 是在尺度空間中 , 想要得到“有意義”的描述還隱含于圖像數據 中, 所以重要的是如何利用尺度空間表示來產

6、生更好、更有意義 的描述,或者如何利用尺度來引導注意 ,計算圖像數據中自下而 上的顯著性。顯著性度量是實現引導視覺注意的最常用的方法。 在數學形 式上,顯著性度量函數其實就是從各種早期視覺特征圖到顯著圖 的一個映射 , 它計算的核心在于如何進行對比度計算 , 而不依賴 于其具體的某種輸入。 目前 , 顯著性度量共有七種方法 , 文中結合 使用兩種方法 : 基于空間和特征整合的顯著性度量和基于尺度空 間表示和信息論的顯著性度量。2 視覺選擇性注意機制計算模型框架 視覺注意計算模型框架如圖 2 所示。針對隱式注意建立自下 而上的結合尺度與特征共同引導的視覺注意計算模型 , 選擇使用 強度、顏色和方

7、向圖作為自下而上引導視覺注意的早期視覺特征 根據主尺度估計的結果建立它們的尺度空間表示 , 形成度量顯著 性的高維空間。 通過在所得高維空間中進行顯著性度量來引導視 覺注意,特征和尺度共同作用形成顯著圖 , 所得的顯著圖包括兩 個部分 : 圖像中區域 / 物體的顯著性大小和它們的最佳尺度。 ?才？KH-12.1 顏色特征圖提取記 r(t),g(t) 和 b(t) 為原始圖像中的紅、 綠和藍色通道。 其 中 t 表示尺度 , 可設原始圖像的尺度為 0, 則強度圖為 l(t)=r(t)+g(t)+b(t)/3。首先，為了除去色調(Hue)的影響，使用l(t)對r(t),g(t) 和b(t)通道進行

8、歸一化，然后可以得到如 式(3) 計算的廣義上的紅、綠、藍和黃四個通道。圖 3所示分別 為 Lena 圖像的各個顏色特征分量。2.2 方向特征圖提取V1區是視覺信息處理的前端，它的數學模型通常用Gabor濾波器表示。 Gabor 函數是高斯函數調制的正弦和余弦函數 , 相應 地構成其偶小波和奇小波 , 它是能夠取得空域和頻域聯合測不準 原理下限的惟一函數，且有很好的方向選擇性。二維Gabor濾波器的數學表達式如下式中:(xO,yO)是空域中感受野中心；(E 0, u 0)是濾波器在 頻域上的最優空間頻率。(T和B分別是x和y軸方向上高斯函 數的標準差。通常取4個或8個方向的Gabor濾波器輸出

9、作為方 向特征圖:(i/N) n ,N=4 或 8;i=0,1,2,3 或 i=0,1,2,7。圖4是Lena圖像的？T母霆？方向特征圖和相應的 Gabor函數2.3 顯著性度量函數 在經過主特征圖提取以后 , 尺度為 t 的圖像中每個像素可以 用一個含 10 個元素的張量來表示圖像描述模型。顯著性度量結 果應該包含兩個部分 :一是, 要得到圖像中哪些區域 /物式中:F用來度量這里所使用的描述descrip(WTHXsWTBX) 表示圖像信號的符合性如何 ; 顯著性與 descrip(WTHXsWTBX) 表示圖像信號的符合性成反比。 顯著性 度量的難度在于如何去設計 F, 使得其結果有一定的

10、認知符合性 和有效性。?3 主尺度估計與注視點最佳尺度選擇建立尺度空間表示 ,首先要確定當前圖像中的主尺度 , 所謂 主尺度是指圖像中前景物體的尺度。 根據主尺度再確定建立尺度 空間表示的所用的尺度范圍 , 同時根據尺度空間表示來對注視點 的最佳尺度進行選擇。3.1 主尺度估計在圖像中引人尺度維以后 , 這時圖像在尺度維上由細到 粗的變化 ,總體上表現為一種信息丟失的過程 , 那么如何去度量 其丟失量 3,8 。通過前面對尺度空間表示的討論 , 可以知道這種 由細到粗的過程是通過讓圖像在尺度維上按某個PDE擴散方程,為了度量相鄰尺度圖像 I(x,y;ti) 和 I(x,y;ti+1) 之間中的

11、信息 丟失量 , 先對 I 歸一化 , 即使得 I(x,y;t)dxdy=1, 然后通過計算它 們之間的 KullbackCD*2Leibler 距離來度量 :通過在尺度維上計算這種相鄰尺度圖像間的 g(x) 值, 所有 g(x)? e抵兇畬籩鄧？對應的尺度即為圖像中的主尺度，如圖5所 示。原始圖像有黑白交替的方塊 , 尺度大約為 100個像素, 通過度 量其KL信息在尺度空間的分布，主尺度的估計值與實際情況相 符合。3.2 注視點最佳尺度選擇尺度空間表示提供了多尺度表示和分析的基礎 , 其中尺度作 為一個自由參量 , 選擇最佳尺度也就意味著要建立一個測度。這 個測度是關于尺度的一個凸函數 ,

12、 其極大值所對應的尺度即為最 佳尺度 , 如何設計這個測度函數是關鍵所在。由前面的討論知道 尺度空間表示的一個基本要求就是在粗尺度上圖像中不能形成 新的結構 , 也就是說原始圖像中的極大值和極小值都要被抑制 , 從而在圖像由細到粗過程中表現出一種平滑作用 , 最常用的線性 尺度空間 :對其求關于 x 和 y 的一階或二階偏導可得:lx,ly,lxx,lyy,lxy,這些偏導數的的組合可以得到十分有用的算子, 如用于邊緣檢測的梯度算子sqrt(lx2+ly2),? H ?Laplace算子等，但這些偏導數本身是關于 尺度的遞減函數 , 這是因為隨著尺度增大 , 圖像不斷被平滑 , 而實 際中通常

13、希望這些算子具備尺度不變性 , 所以要使用尺度去對其 進行規范化 , 對 x 和 y 進行變量代換 :則可得 :Iu=tIx,Iv=tIy, 其他的類推可得 , 從而使得規范后 的偏導是凸函數 , 可以用來進行最佳尺度選擇 , 文中使用規范拉 普拉斯函數 ,如式(8) 所示, 求其極大值所對應的尺度為最佳尺度 實驗圖像如圖 6 所示。4 結合尺度和特征的顯著性度量仿真實驗 有了上面的討論后 , 現在可以給出結合尺度與特征引導的視 覺注意計算的仿真實驗。算法流程 :(1) 獲取輸入圖像，提取主特征圖：I,RG,BY? T母霆？方向 圖;(2) 使用強度圖 I, 建立其尺度空間表示 , 按第 3.

14、1 節中方法 估計圖像的主尺度 tp, 并保留 I 的尺度空間表示 ;(3) 根據主尺度 tp 確定尺度空間表示的相鄰尺度間隔大小tstep, 在此采用四層尺度空間表示 , 則 tstep=maxInt(tp/4),tmin,Int為取整操作 ,tmin 為間隔閾值, 本文中 tmin=2 。也可以采用八層或其他 ;(4) 根據tstep建立RG,BY四個方向圖的四層尺度空間表 示。(5) 進行中央 -外周計算 , 中央層為 center=1,2, 外周層 WTHXsWTBZ=3,4, 從而形成 1CD*22,1CD*23,2CD*23,2CD*24 四層,所以可得7X4=28個特征；(6) 對得到的 28幅特征圖,按式(5) 進行迭代產生特征顯著 圖, 迭代次數為 5;(7) 對所得特征顯著圖歸一化后線性組合 , 得到最終顯著 圖。組合系數取為 1;(8) 選取注視點 , 在獲得每個注視點后 ,根據第 3.2 節中的 方法進行最佳尺度選擇 ; 根據注視點及其最佳尺度產生圖像前景 的一個模板 (Mask) 。圖 7 為