1、第三講光流分析法3. 1二維運動與視在運動1 三維場景 二維的時變圖像 數學上3D 2D投影成像平面，投影平面光學上而我們所能得到的是時變圖像的某種采樣點陣(或采樣柵格)的圖像序列, 問題是：二維位移場二維速度場2. 可控與可觀測問題一 即真實二維位移場與速度是否可觀測?3.二維運動也稱投影運動:透視、正交投影三維運動可由物體像素的三維瞬時速度或三維位移來描述，但三維瞬時速度 及三維位移正是我們要估計的，這是一個逆問題。而我們可觀測到的是視在運動。(1) 假定投影中心在原點t時刻t時刻投影P投影PP 三維位移矢量PP 二維成像平面上的二維位移矢量二維位移矢量函數(x，t)3d (n,k; I)

2、 dp(X,t； I t)(，k)Z3k表達了 t- t的時間離散(i , 2)t(2) 假定投影中心在Oi點 由于投影作用，從P點出發，終點在OiP/虛線上的三維位移矢 量均有相同的二維投影位移矢量。 所以說，投影的結果只是三維真實 運動的部分信息。(3) 設(X,t) R3, t t l t由像素的運動Sc(X,t) dc(X,t,t)對應于點陣3 ,則有dp(X,t; I t) dc(X,t； l t)，假定三維瞬時速度為(X1,X2,X3),則Vp(X,t) Vc( ,k)4. 光流場與對應場(1) PP定義為對應矢量光流矢量定義為某點(X,t) R3上的圖像平面坐標的瞬時變化率， 為

3、一個導數。V (V1 ,V2 )t (dx1 dt,dx2dt)T表征了時空變化，而且是連續的變化。(2) 當t t t 0時，則光流矢量與對應矢量等價。如果在某個點陣 3可 觀測到這種變化，則就意義對應場V像素的二維位移矢量場光流場V像素的二維速度矢量場也分別稱為二維視在對應場與速度場。一般而言，對應矢量 位移場光流矢量速度場亮度均勻的話, 不可觀測則不產生光流,光照變化 將防礙二維運動場的估計。O則有光流，但沒有運動3. 2二維運動估計did2Pt Pt-l tP = ( X1 , X2)tP= ( X1, X2)/d2pJTdit+l tP = (X1 , X2)1 .正向估計：SP(X

4、1,X2,t) 離散化 氏(xI,X2)對應矢量d X)SC(Xl ,等價Sk 1(X1 d(X), X2 d 2(X)其中t k t(d(X), d 2(X)Tdi(X,t;l t),X2 d2(X,t t),tt)2.逆向估計Sk(X1, X2)SkI(XI d(X), X2 d2(X) I 其中t3.數學上問題(1) 光流的估計 若每一個厶t間隔時，速度矢量不變。則光流估計與對應 估計等價；否則在有加速度的情況下，估計光流需要多 幀運算，至少三幀。(2) 解的存在性 如遮擋與顯露問題。(3) 解的唯一性一一 產生孔徑問題。位移各分量是否解耦合的。若獨立，未知量的個數是方程數的2倍。(4)

5、 解的連續性一一 產生噪聲V不連續 4 數學描述有兩種主要方法(1) 參數模型V基于三維曲面的表達式(2) 非參數模型a.光流方程b塊運動模型c. 像素遞歸法d. 貝葉斯(最大后驗概率)3. 3光流方程1.設Sc(Xi,X2,t)是連續時空亮度分布，若沿運動軌跡上的 亮度保持不變，有 dS(X1,X2,t) Odt注意上式X1，(3.31)X2隨t變化，因此為一全導數。由上式可得Sc(X,t)0tSc(X,t)Sc(X,t)C U1(X,t) C U2(X,t)(3.32)XidtX2坐標速度分量dx2dt(3.33)(3.34)我們的估計就是要在幀之間保持(3.3 1)式成立，需要的先驗知識

6、較多2. 二階微分法d Sc(X,t)dt使空間圖像梯度守恒3. 塊運動模型定義像素塊B上的光流方程誤差為(dSc(X,tX Bdt使E最小為約束條件，為使 EEmin ,應有E0XiEX24. H-S 法它是一個搜索過程，使光流矢量逐步達到最小值dSc(X,t)dtmin5.梯度估計將(3.32)式中的偏微分項用梯度估計 出來(3.35)通過迭代計算使(3.36)SC (XI , x2, t)XISD(X1, x2, t)(3.37)X1SC (XI , x2, t)X SC(X1, x2, t)(3.38)X2SC (XI , x2, t)tt SC(X1, X2 ,t )(3.39)6.

7、其它的算法，如自適應方法。第四講基于塊的分析法4. 1塊運動模型1 圖像的塊模型(1) 圖像由塊構成(2) 塊運動由平移和二維變形構成2. 平移塊運動(1) 模型在純平移情況下，設塊 B n,而n= (n1,化),D= (d1, d2) T是位移矢量, 且第k幀中圖像塊B為S(m, n2, k),則有(4.11)S(n 1,r2,k) S(n1 dm d2,k 1)注意上式中D為已被采樣點陣抽樣及量化后的值。最接近真正(d1,d2)的 整數。(2) 重疊問題 圖在下面:jI-1I塊B未重疊塊可知塊B在k與k+1幀之間可能重疊的，(a)在未重疊時，塊B有單一的運 動矢量。(b)在重疊時，可選擇

8、重疊區內平均運動矢量作為補償。(3 )應用平移的塊運動模型算法簡單(a) 每一塊只需一個運動矢量而光流法要附加的條件來表示運動場(b) 算法規整簡單，便于VLSl實現(C)不能用于變形運動3. 變形的塊運動(1) 位射變換設k幀中某像素的坐標為(, 2),而在k+l幀中的對應像素的坐標為(x,2), 則由一般的位射變換有X =AX+D(4.1 2)其中 X =(x,x2)T, X=(x, x2), D=(d, d2) (4.1-2)可處理長方形旋轉四邊形的變換，而位射是正交投射。x a2 X2 3a7X1 2X2 1X1x 兔人 a5X2 a6 Xna1 X1a2X22 a3a 7 入1 c2

9、1a7x1 a8x2 1a4 X1 a5 X2 a6(2) 透視變換一非線性處理x1(4.1-3)(4.2-1)(3) 雙線性I變換X： I引入了非線性處理頻域法4.2相位相關法弋1. 線性相位差項在(4.1-1)試兩邊取付氏變換Sk(f1,f2) Sk 1( f11 f2).exp j2 (d1f d2f2)因此對應塊之間的相位差為(4.2-2)argSk(fn f2) argSk 1(f1, f2) 2(df d2f2)可見相位差只是在(f1,f2 )坐標上一個平面方向，則幀間的運動矢量 可以由 這個方向指示來估計。(4.2-1)式也表明空間場的相對位移 引入傅立葉場的線性 相位項，而光學

10、的傅立葉常譜特性更容易得到快速算法。2. 相位相關函數定義k, k+1幀間的相關函數為Ck,k1(n1, n2) S(n1,n2,k I)* S( n1 , n2, k)(4.2-3)相復功率譜有Ck,k 1（ f1, f2） 歸一化功率譜為Sk 1( f1, f2)S (f1, f2)(4.2-4)Ck,k 1( f1 , f2 )Sk 1 ( f1. f2 )Sk ( f1 , f 2)ISk 1 ( f1 , f2 )Sk ( f1, f2 )(4.2-5)若為平移運動,有C%,k 1 ( f1, f2)expj2 (dd d2f2)(4.2-6)上式反變換有Cig，門2）(n1 d1,

11、r2 d2)(4.2-7)（4.2-7）式稱為相位相關函數，是一個函數，即函數的位置生成 位移矢量3實現及問題實現步驟：（1）計算塊的二維DFT（ k, k+1幀）（2）計算（4.2-5）式的歸一化功率譜（3）求反二維DFT（4）檢測相位相關函數峰值位置問題：（1）偽峰的出現（2）峰分裂（3）分辨率（4）頻譜泄露優點：（1）不敏感照明的變化 歸一化的功率譜（2）可檢測多物體運動一每個峰將指示一個特定運動算法將復雜4.3塊匹配法時域法1. 塊匹配法（1）算法在時域進行，算法本身簡單、歸整（2）便于VLSl實現，MPEG1、2、4均大量采用（3）原則（a）合適的塊大小(b)匹配準則(C)搜索方法2

12、. 匹配準則(1)最小均方誤差MSE,定義:MSE(d1,d2)1 2Nz/SEgk)S(ni，n2，k)準則為求(C?, ()2) T ,使得(?,()2)TD表示(?, d2)T的域min MSE(d1,d2),(d1,d2)D(4.3-1)(4.3-2)(4.3-3)(4.3-4)(4.3-5)(4.3-6)(4.3-7)MSE可看成光流的約束條件(指塊內) 但不利于VLSl實現(2) MAD最小絕對值法，定義：1 MAD(d1,d2) S(n 1,n2,k) S(m,n2,k 1)N1 N2 (n12 B)求( Md? ) T ,使得 (&d2)T min MAD (d1,d2),(d

13、1, d2)T D其中D是(？2) T的域可見MAD便于VLSl實現，但塊范圍大后，性能下降。(3) MPC最大匹配像素數法對塊中的每一個像素，定義：1,S(n1,n2,k) S(n1,n2,k 1) t 門限T(1,n 2,d1,d2)0,其它由(4.3-5)決定該像素是否匹配像素則塊中的匹配像素的個數為Mpc(d1,d2)T(n1, n2P1,d2)(12 ) B求(岳2 ) T ,使得(眾&廣 min mpc(d1,d2),(d1,d2)T D其中D是(?,(2) T的域MPC法只需邏輯運算及計數，便于硬件實現3 搜索過程(1)全程搜索費時，但可靠，保證全局極值點(2)快速搜索法三步搜索交叉搜索與預期的精度有關4.4分級運動估計1. 圖象的多分辨率表達形式在小波變換下可提供為相位相關法急塊匹配改善運 動估計2. 低分辨率開始 運動估計卻大塊的運動于小塊運動動解高分辨率X r若有理解初始值，則可以減小窗口的大小/降低運動量3. 重建時可根據需要重建4.5 一般的塊運動估計1 平移估計的缺陷(1) 上述方法只能用于平移情況(2) 旋轉、變形、運動場 有不連續點時不能適用2. 改進(1) 后處理(2) 空間變換后處理：在H26x,MPEG1,