1、187一種改進的光流算法楊國亮,王志良,牟世堂,解 侖,劉冀偉(北京科技大學信息工程學院,北京 100083摘 要:光流法是運動圖像序列分析的一種重要方法。該文通過引入前向-后向光流方程,計算其Hessian 矩陣,把Hessian 矩陣條件數的倒數作為Lucas -Kanade 光流法的加權陣,可有效消除局部鄰域中不可靠約束點,同時提高基本約束方程解的穩定性。實驗表明該方法相對于其它梯度約束光流法具有更好的可靠性。 關鍵詞:光流;Hessian 矩陣;條件數An Improved Optical Flow AlgorithmYANG Guoliang, WANG Zhiliang, MU S

2、hitang, XIE Lun, LIU Jiwei(School of Information Engineering, Beijing University of Science & Technology, Beijing 100083【Abstract 】Optical flow estimation is an important method to motion image analysis. This paper introduces forward and backward constraint equation and Hessian matrix for the co

3、mputation of optical flow. It examines well-posedness of each point of local neighbourhood and the weight of Lucas -Kanades method is defined as the reciprocal of the conditioning number of its Hessian Matrix. This can eliminate those uncertainty constrains and improve the numerical stability of the

4、 solution of the gradient constraint equation. Experimental results show that this method is suitable and reliable.【Key words 】Optical flow; Hessian matrix; Conditioning number計 算 機 工 程Computer Engineering 第32卷 第15期Vol.32 15 2006年8月August 2006·人工智能及識別技術·文章編號:10003428(200615018702文獻標識碼:A中圖分

5、類號:TP391運動目標檢測是圖像處理技術的一個重要組成部分,它是計算機視覺、模式識別、圖像編碼和安全監控等研究領域的重點和難點?，F有的運動目標檢測方法主要有運動能量法、背景減法、圖像差分法和光流法。運動能量法適合于復雜變化場合,能夠粗略地分割出運動目標;背景減法在背景簡單的情況下比較有效;而圖像差分法則直接比較兩幀圖像對應象素點的灰度值提取運動信息,計算比較簡單。光流法作為一種重要的運動圖像分析方法,在最近20年得到了較大發展,研究者提出了多種不同的改進算法,主要可分為4類1:時空梯度法,塊匹配方法,基于能量方法和基于相位分析法,其中時空梯度法最為常見。1 Lucas-Kanade 光流法3

6、光流場的計算最初是由Horn 和Schunck 提出2。假定t 時刻圖像上的點,(y x 處灰度值為,(t y x I ,在時刻t t +時,這一點運動到,(t t y y x x +,對應的灰度值為,(t t y y x x I +,假定它與,(t y x I 相等,即,(,(t y x I t t y y x x I =+ (1 將左邊在,(t y x 點用泰勒公式展開,忽略二階和二階以上項可以得到=+tI ty y I tx x I 記 t x dt dx t y x u =,(;t y dt dy t y x v =,(,則可得到基本光流約束方程:0=+t y x I v I u I

7、(2式中xI I x =,y I I y =,tI I t =,寫成梯度形式為0(=+t T I U I 。由于光流場Tv u U ,(=有2個變量,而基本約束方程只有一個,只能求出光流場沿梯度方向的值,因此從基本光流方程求解光流場是一個不適定問題,必須引入附加的約束條件。Lucas 和Kanade 假設在一個小的空間鄰域上運動矢量保持恒定,然后使用加權最小二乘法(weighed least-squares估計光流。在一個小的空間鄰域上,光流估計誤差定義為+,(22(y x t y x I v I u I x W (3其中(2x W 表示窗口權重函數,它使鄰域中心區域對約束產生的影響比外圍區域

8、更大,式(3解為B W A A W A U T T 212(= (4 其中,在t 時刻的n 個點i X ,1(,(T n A I X I X =,1(,(n W diag W X W X =,1(,(T t t n B I X I X =2 改進的光流計算方法傳統的光流計算方法主要是基于灰度守恒和光流場的平滑性假設,但這些假設在陰影、邊界和遮擋性的地方不再成立,為此,本文提出相應的改進算法。 2.1 前向-后向光流方程考慮方程0,(,(=+t t y y x x I t y x I可以得到,(,(t t y y x x I t y x I += (5,(,(t y y x x I t t y

9、x I =+ (6基金項目:北京市現代信息科學與網絡技術重點實驗室基金資助項目(TDXX0503;北京科技大學重點基金資助項目(20040503990;江西省教育廳科技計劃基金資助項目(贛教技字2005145188對式(5、式(6分別進行泰勒展開并忽略二階及二階以 上項:,(,(,(=+t tt y x I y y t y x I x x t y x I 0,(,(,(=+t tt t y x I y y t t y x I x x t t y x I 即0=+t t ty t x I v I u I (70=+t t t t t y t t x I v I u I (8其中: x t y x

10、 I I t x=,(, yt y x I I t y =,(, t t y x I I t t =,(x t t y x I I tt x +=+,(,yt t y x I I t t y +=+,(,t t t y x I I t t t +=+,(式(7、式(8即為前向-后向光流方程,可以合并為一個新的光流方程:0'''=+t y x I v I u I (9式中:,(1't t x t x x I I f I +=,(2't t y t yy I I f I +=,(3't t t t t t I I f I += 文中取t t x t

11、x x I I I +=1(',t t yt y y I I I +=1(',t t t t t t I I I +=1(',為一常數,根據性能指標式(3,可求解出光流場,(v u 。 2.2 Hessian 矩陣盡管Lucas -Kanade 光流法計算簡單,光流估計精度較高,但它有一個致命缺點,假定鄰域內各像素點光流保持恒定,而且光流計算依賴于窗口權重函數,這意味著如果在鄰域內存在嚴重違反光流約束方程的點或鄰域運動不連續,將使得估計的光流可靠性嚴重降低。為此,本文引入Hessian 矩陣判斷領域內每點對于基本約束方程的“良 態性”。方程(9分別對y x ,求偏導可得

12、: tx yx xx I v I u I =+ty yy xy I v I u I =+ (10 即 =ty tx yy xy yx xx I I v u I I I I (11 定義Hessian 矩陣: =yy xyyx xx I I I I H (12Hessian 矩陣的條件數:|(min max 1=H H H Cond ,其中max 、min 分別為Hessian 矩陣H 的最大特征值和最小特征值,可以通過Hessian 矩陣的條件數大小來判斷方程(11解的穩定性,如果Hessian 矩陣的條件數很大則方程(11為病態方程,對應的Hessian 矩陣秩很小,其解不穩定,計算的光流不

13、可靠;如果Hessian 矩陣的條件數接近1,對應的Hessian 矩陣秩很大,方程(11為良態,其解魯棒性較好。由此可以通過計算Hessian 矩陣的條件數來剔除鄰域內不可靠點。2.3 梯度閾值處理在復雜場景運動目標檢測中,由于場景和運動目標的灰度梯度可能相差不大,使得運動目標輪廓處于模糊狀態,計算的輪廓處光流不準確,也即基本光流約束方程在灰度梯度很小時不成立4。為此引入梯度約束條件,設定灰度梯度閾值T ,在灰度梯度大于閾值T 的像素點計算光流。2.4 基于Hessian 矩陣的光流算法Hessian 矩陣的條件數很好地刻畫了線性方程(11解的穩定性,而且條件數越大,對應的Hessian 矩

14、陣的秩越小,為此可以先利用Hessian 矩陣剔除鄰域內不可靠點,并把各點對應條件數的倒數作為該點權重,其算法如下:(1計算圖像中每點的一階和二階梯度;(2分別計算每點對應Hessian 矩陣的秩det(H 和條件數(H Cond ,設定閾值,則:0det(1det(f H W X if H Cond H <= 并對每個鄰域內的(X W 進行歸一化處理; (3采用加權最小二乘法求解式(9光流場,(v u 。3 實驗結果及分析為了驗證上述算法的有效性,本文采用了1組合成圖像序列和2組真實圖像序列進行實驗。其中合成圖像序列相鄰幀間的真實光流已知,通過采用本文算法對其估計光流,然后與真實光流比

15、較,作出定量評估。對于光流場T v u V ,(=,把它寫出一個三維的方向矢量T v u v u V 1,(1122+=,真實光流c V 和估計光流e V 之間的光流角誤差可以表示為arccos(e c E V V =。平均誤差為=Ni Ei NAE 1(1式中,N 為光流場的像素個數。光流場標準角偏差定義為=Ni EAE i NSD 12(1參照Barron 等人1的做法,本文亦在估計光流之前,采用了標準差為1.5像素/幀的時空高斯濾波器平滑圖像序列,這有助于削弱時間噪聲和輸入中的量化效應。圖1(a、圖1(b分別是Translating Trees 圖像序列的第7、8幀,該圖像序列以1.73

16、2.26的流速向右運動,運動方向平行于水平軸。圖1(c是利用本文方法計算的第8、9幀之間的光流場,可以看出光流方向基本跟真實光流一致,大小稍有差別,表1給出了本文和其它方法計算的光流平均角誤差和標準角偏差的對照。 (a (b (c 圖1 Translating Trees 序列與光流場表1 對Translating Trees 序列,本文算法與其它算法比較算法流速平均 角誤差 流速標準 角偏差密 度Horn and Schunck(original138.72° 27.67° 100% Horn and Schunck(modified1 2.02° 2.27&#

17、176; 100% Lucas and Kanade(2>1.010.66° 0.67° 100%本文方法 0.61° 0.62° 100%圖2是Rubic Cube 序列實驗結果,其中圖2(a、圖2(b為Rubic Cube 序列中的第9、10幀,圖2(c為采用本文方法得到的第9、10幀之間光流場,顯然該光流場比較準確地反映了Rubic Cube 圖像序列的運動信息。 (下轉第226頁226RET單片機發送子程序: SEND: CLR TIMOV R0,#20HMOV R2,#04H ;數據長 LOOP: MOV A,R0 MOV SBUF,A

18、WAIT: JBC TI,AAR AJMP WAIT AAR: INC R0 CLR TI DJNZ R2,LOOP RET 單片機接收子程序: RECIEVE:MOV R1, #30H MOV R3,#04H WAIT1: JBCRI,LOOP1 AJMP WAIT1LOOP1: MOV A,SBUFMOV R1,A INC R1 CLR RI DJNZ R3,WAIT1;校驗幀是否正確,正確,則執行相應的命令相反,發送錯誤 信息RET 4 結束語本設計采用數據幀的形式進行數據傳輸,并且在數據幀中編入了對所傳數據的校驗和相應的握手協議,有效地保證了串行通信過程中數據的可靠性。經過實驗調試,上

19、、下位機通信數據正確無誤,為保證IC 卡機油加油機加注系統的安全運行提供了前提。此外MSComm 控件屏蔽了通信過程中的底層操作,在串口編程時非常方便。在實際進行系統開發時,利用MSComm 控件能起到縮短設計周期、增加系統可靠性的作用。參考文獻1王懷山, 鄧璐娟. 串行通信技術在IC 卡售飯系統中的應用J. 自動化與儀表, 2001, 16(6: 41.2 任衛娟, 佘光華. Delphi 環境中串口通信的實現J. 四川工業學院學報. 2003, 22(4: 42.3 崔建華, 郭 軍. Delphi 串口通信工程開發實例M. 北京: 人民郵電出版社, 2003. (上接第188 頁 (a (b (c圖2 Rubic Cube 圖像序列與光流場 (a (b (c圖3 憤怒表情圖像序列與光流場第3個測試圖像序列來自于卡耐基梅隆大學的人臉表情庫(The CMU-PITTSBURGH AU-Coded Face Expression Image Database,為一憤怒表情序列圖像,圖3(a、圖3(b分別為該序列的第11、13幀,憤怒表情主要體現在眼睛、眉毛和嘴巴:眉毛緊皺,上下眼皮緊張,眼睛可能鼓起,上下嘴唇緊閉。圖3(c為其對應的光流場。從圖中可以看出,該光流場基本反映了眼睛、眉毛及嘴巴的運動趨勢。但由于人臉運動為非剛體運動,其運動過程中發生了變形,導致圖像灰