1、187一種改進的光流算法楊國亮，王志良,牟世堂，解侖,劉冀偉(北京科技大學信息工程學院，北京100083摘要:光流法是運動圖像序列分析的一種重要方法。該文通過引入前向-后向光流方程，計算其Hessian矩陣，把Hessian矩陣條件數的倒數作為Lucas -Kanade光流 法的加權陣，可有效消除局部鄰域中不可靠約束點，同時提高基本約束方程解的穩定 性。實驗表明該方法相對于其它梯度約束光流法具有更好的可靠性。關鍵詞:光流;Hessia n矩陣;條件數An Improved Optical Flow AlgorithmYANG Guolia ng, WANG Zhilia ng, MU Shit

2、a ng, XIE Lun 丄IU Jiwei(School of In formatio n Engin eeri ng, Beiji ng Un iversity of Scie nee & Tech no logy, Beiji ng 100083【Abstract 】 Optical flow estimation is an important method to motion image an alysis. This paper in troduces forward and backward con stra int equati on and Hessia n mat

3、rix for the computatio n of optical flow. It exam ines well-posed ness of each point of local n eighbourhood and the weight of Lucas Kan ade' s method is defi ned as the reciprocal of the conditioning number of its Hessian Matrix. This can eliminate those uncertainty constrains and improve the n

4、umerical stability of the solution of the gradient constraint equation. Experimental results show that this method is suitable and reliable.【Key words 】 Optical flow; Hessian matrix; Conditioning number計算機工程Computer Engineering第32卷第15期Vol.32 M 15 200年 8 月August 2006人工智能及識別技術文章編號:1000 3428(200615- 01

5、87 02文獻標識碼：A中圖分類號：TP391運動目標檢測是圖像處理技術的一個重要組成部分，它是計算機視覺、模式識別、圖像編碼和安全監控等研究領域的重點和難點。現有的運動目標檢測方法主要有運動能量法、背景減法、圖像差分法和光流法。運動 能量法適合于復雜變化場合，能夠粗略地分割出運動目標；背景減法在背景簡單的情 況下比較有效;而圖像差分法則直接比較兩幀圖像對應象素點的灰度值提取運動信 息，計算比較簡單。光流法作為一種重要的運動圖像分析方法，在最近20年得到了較大發展，研究者提出了多種不同的改進算法，主要可分為4類1:時空梯度法，塊匹配 方法，基于能量方法和基于相位分析法，其中時空梯度法最為常見。

6、1 Lucas-Kanade光流法3光流場的計算最初是由Horn和Schunek提出2。假定t時刻圖像上的點,(y x處灰度值為,(t y x I ,在時刻t t ?+時,這一點運動到,(t t y y x x ?+?+?+,對應的灰度值為,(t t y y x x I ?+?+?+,假定它與,(t y x I 相等,即y x I t t y y x x I =?+?+?+ (1將左邊在,(t y x點用泰勒公式展開，忽略二階和二階以上項可以得到二？+?+?tI ty y I tx x I 記 t x dt dx t y x u ?=,(;t y dt dy t y x v ?=,(,則可得到

7、基本光流約束方程：0=+t y x I v I u I (2式中xI I x ?=,y I I y ?=,tI I t ?=,寫成梯度形式為0(=+? t T I U I o由于光流場Tv u U ,(=有2個變量，而基本約束方程只有一個，只能求出光流場沿梯度方向的值，因此從基本光流方程求解光流場是一個不適定問題，必須引入附加的約束條件。Lucas和Kanade假設在一個小的空間鄰域Q上運動矢量保持恒定，然后使用加權最小二乘法(weighed least-squareS古計光流。在一個小的空間鄰域Q上，光流估計誤差定義為E? +,(22(y x t y x I v I u I x W (3其中

8、(2x W表示窗口權重函數，它使鄰域中心區域對約束產生的影響比外圍區域更大，式(3解為B W A A W A U T T 212(-= (4 其中，在 t 時刻的 n 個點? i X ,1(,(T n A I X I X =?，1(,(n W diag W X W X = ,1(,(T t t n B I X I X =-2改進的光流計算方法傳統的光流計算方法主要是基于灰度守恒和光流場的平滑性假設，但這些假設在陰影、邊界和遮擋性的地方不再成立，為此，本文提出相應的改進算法。2.1前向- 后向光流方程考慮方程0,(,(=?+?+?+-t t y y x x I t y x I可以得到,(,(t

9、t y y x x I t y x I ?+?+?+= (5,(,(t y y x x I t t y x I ?-?-=?+ (6基金項目：北京市現代信息科學與網絡技術重點實驗室基金資助項目(TDXX0503;北京科技大學重點基金資助項目(20040503990江西省教育廳科技計劃 基金資助項目(贛教技字2005145作者簡介:楊國亮(1973，男,博士生，主研方向：圖像處理,面部表情識別，情感計 算;王志良，博士、教授、博導；牟世堂，高工;解侖,博士、副教授；劉冀偉，碩士、副教 授 收稿日期:2005-11-09 E-mail :ygliang30188對式(5、式(6分別進行泰勒展開并忽

10、略二階及二階以上項：(=?+?+?ttJ J J kL Lt y x I y y t y x I x x t y x I 0(=?+?+?+?+?+?ttt t y x I y y t t y x I x x t t y x I 即0=+t t ty t x I v I u I (70=+?+?+?+t ttttytt x I v I u I (8其中：x t y x I I t x?=,(, yt y x I I t y ?=,(, t t y x I I t t ?=,(x t t y x I I tt x ?+?=?+,(,yt t y x I I t t y ?+?=?+,(,t t

11、t y x I I t t t ?+?=?+,(式(7、式(8即為前向-后向光流方程，可以合并為一個 新的光流方程：0'''=+t y x I v I u I (9式中:,(1't t x t x x I I f I ?+=,(2't t y t yy I I f I ?+=,(3't t t t t t I I f I ?+= 文中取 t t x t x x I I I ?+-+=1('aa ,t t yt y y I I I ?+-+=1('aa ,t t t t t t I I I ?+-+=1('aa,a為一常數，

12、根據性能指標式(3,可求解出光流場,(v u。 2.2 Hessian矩陣盡管Lucas -Kanade光流法計算簡單，光流估計精度較高，但它有一個致命缺點, 假定鄰域Q內各像素點光流保持恒定，而且光流計算依賴于窗口權重函數，這意味著 如果在鄰域Q內存在嚴重違反光流約束方程的點或鄰域Q運動不連續，將使得估計的光流可靠性嚴重降低。為此，本文引入Hessian矩陣判斷領域Q內每點對于基本 約束方程的良態性”方程(9分別對y x，求偏導可得：tx yx xx I v I u I -=+ty yy xy I v I u I -=+ (10 即？-=? ty tx yy xy yx xxI I v u

13、I I I I (11 定義 Hessian矩陣：? ? ? ? ? =yy xyyx xx I I I I H (12Hessian矩陣的條件數:|(min max 1?=-KHH Cond ,其中max入min 2分別為Hessian矩陣H的最大特征值和最小特征值，可以通過 Hessian矩陣的條件數大小來判斷方程(11解的穩定性，如果Hessian矩陣的條件數很大則方程(11為病態方程,對應的 Hessian矩陣秩很小，其解不穩定，計算的光流不可靠；如果Hessian矩陣的條件數接近 1,對應的Hessian矩陣秩很大 力程(11為良態，其解魯棒性較好。由此可以通過計算 Hessian矩

14、陣的條件數來剔除鄰域 Q內不可靠點。2.3梯度閾值處理在復雜場景運動目標檢測中，由于場景和運動目標的灰度梯度可能相差不大，使 得運動目標輪廓處于模糊狀態，計算的輪廓處光流不準確，也即基本光流約束方程在 灰度梯度很小時不成立4。為此引入梯度約束條件，設定灰度梯度閾值T,在灰度梯 度大于閾值T的像素點計算光流。2.4基于Hessian矩陣的光流算法Hessian矩陣的條件數很好地刻畫了線性方程(11解的穩定性，而且條件數越大, 對應的Hessian矩陣的秩越小，為此可以先利用Hessian矩陣剔除鄰域Q內不可靠點, 并把各點對應條件數的倒數作為該點權重，其算法如下：(1計算圖像中每點的一階和二階梯

15、度；(2分別計算每點對應Hessian矩陣的秩det(H和條件數(H Cond ,設定閾值T則:0det(1det(f H W X if H Cond H tt? <?=?紹？并對每個鄰域Q內的(X W進行歸一化處理；(3采用加權最小二乘法求 解式(9光流場,(v u。3實驗結果及分析為了驗證上述算法的有效性，本文采用了 1組合成圖像序列和2組真實圖像序列進行實驗。其中合成圖像序列相鄰幀間的真實光流已知，通過采用本文算法對其估計光流，然后與真實光流比較，作出定量評估。對于光流場T v u V ,(=,把它寫出一個三維的方向矢量 T v u v u V 1,(1122+=真實光流c V T

16、和估計光流e V t之間的光流角誤差可以表示為arccos(e c E V V tT ? =平均誤差為刀=Ni Ei NAE 1式中,N為光流場的像素個數。光流場標準角偏差定義為刀=-=Ni EAE i NSD 1(1參照Barron等人1的做法，本文亦在估計光流之前,采用了標準差為1.5像素/幀 的時空高斯濾波器平滑圖像序列，這有助于削弱時間噪聲和輸入中的量化效應。圖1(a、圖1(b分別是Translating Trees圖像序列的第7、8幀,該圖像序列以1.732.26的流速向右運動，運動方向平行于水平軸。圖1(c 是利用本文方法計算的第8、9幀之間的光流場，可以看出光流方向基本跟真實光流

17、 一致,大小稍有差別，表1給出了本文和其它方法計算的光流平均角誤差和標準角偏 差的對照。(a (b (c 圖 1 Tran slat ing Trees 序列與光流場表1對Tran slati ng Trees序列，本文算法與其它算法比較算法流速平均角誤差 流速標準角偏差密度Horn and Schunck(original138.72 27.67 ° 00% Horn and Schunck(modified1 2.02 ° 2.27 ° 100% Lucas and Kanade( 入 2>1.010.66 °.67 100%本文方法0.61

18、0.62 100%圖2是Rubic Cube序列實驗結果，其中圖2(a、圖2(b為Rubic Cube序列中的 第9、10幀，圖2(c為采用本文方法得到的第9、10幀之間光流場，顯然該光流場比 較準確地反映了 Rubic Cube圖像序列的運動信息。(下轉第226頁226RET單片機發送子程序：SEND: CLR TIMOV R0,#20HMOV R2,#04H ;數據長 LOOP: MOV A,R0 MOV SBUF,A WAIT: JBC TI,AAR AJMP WAIT AAR: INC R0 CLR TI DJNZ R2,LOOP RET 單片機接收子程序： RECIEVE:MOV R

19、1, #30H MOV R3,#04H WAIT1: JBCRI,LOOP1 AJMP WAIT1LOOP1: MOV A,SBUFMOV R1,A INC R1 CLR RI DJNZ R3,WAIT1；校驗幀是否正確，正確,則執行相應的命令相反，發送錯誤信息RET4結束語本設計采用數據幀的形式進行數據傳輸，并且在數據幀中編入了對所傳數據的 校驗和相應的握手協議，有效地保證了串行通信過程中數據的可靠性。經過實驗調 試，上、下位機通信數據正確無誤，為保證IC卡機油加油機加注系統的安全運行提供 了前提。此外MSComm控件屏蔽了通信過程中的底層操作，在串口編程時非常方 便。在實際進行系統開發時，

20、利用MSComm控件能起到縮短設計周期、增加系統可 靠性的作用。參考文獻1王懷山,鄧璐娟串行通信技術在IC卡售飯系統中的應用J.自動化與儀表, 2001, 16(6: 41.2任衛娟,余光華.Delphi環境中串口通信的實現J.四川工業學院學報.2003, 22(4: 42.3崔建華,郭軍.Delphi串口通信工程開發實例M.北京：人民郵電出版社, 2003.上接第188©ChinaAll rightsreserved.Publishing Hou頁©ChinaAll rights reserved.Publishing Houe©ChinaAll rights

21、reserved. Publishing Hqi(a (b (c圖2 Rubic Cube圖像序列與光流場©ChinaAll rightsreservedPublishing House.http:/www<1994-2009A r'ddp.mir' Tniimal Rlf»©China©ChinaAll rights reserved.Publishing HouAll rights reserved.Publishing House. http:J 1994-2009Academic Journal Elect(a (b (c圖3憤怒表情圖像序列與光流場第3個測試圖像序列來自于卡耐基梅隆大學的人臉表情庫(The CMU-PITTSBURGH AU-Coded Face Expression Image Database一憤怒表情序列圖像，圖 3(a、圖3(b分別為該序列的第11、13幀，憤怒表情主要體現在眼睛、眉毛和嘴巴： 眉毛緊皺,上下眼皮緊張，眼睛可能鼓起，上下嘴唇緊閉。圖3(c為其對應的光流場。 從圖中可以看出，該光流場基本反映