1、第十四章二維運動估計早期設計的機器視覺系統主要是針對靜態場景的，為了滿足更高級的應用需求，必須研究用于動態場景分析的機器視覺系統動態場景分析視覺系統一般需要較大的存儲空間和較快的計算速度，因為系統的輸入是反應場景動態變化的圖像序列，其包含的數據十分巨大圖像動態變化可能由攝象機運動、物體運動或光照改變引起，也可能由物體結構、大小或形狀變化引起為了簡化分析，通常我們假設場景變化是由攝象機運動和物體運動引起的，并假設物體是剛性的根據攝象機和場景是否運動將運動分析劃分為四種模式：攝象機靜止物體靜止，攝象機靜止物體運動，攝象機運動物體靜止，攝象機運動物體運動，每一種模式需要不同的分析方法和算法。攝象機靜

2、止物體靜止模式屬于簡單的靜態場景分析攝像機靜止場景運動是一類非常重要的動態場景分析，包括運動目標檢測、目標運動特性估計等，主要用于預警、監視、目標跟蹤等場合。攝象機運動物體靜止是另一類非常重要的動態場景分析，包括基于運動的場景分析、理解，三維運動分析等，主要用于移動機器人視覺導航、目標自動鎖定與識別等在動態場景分析中，攝象機運動物體運動是最一般的情況，也是最難的問題，目前對該問題研究的還很少圖像運動估計是動態場景分析的基礎，現在已經成為計算機視覺新的研究熱點。根據所涉及的空間，將圖像運動估計分為二維運動估計和三維運動估計，顯然，這種劃分不是十分嚴格，因為二維運動參數的求解有時需要三維空間的有關

3、參數引導，而許多三維參數的求解需要以二維參數為基礎。本章主要討論二維運動估計，三維運動估計和分析將在第十五章討論。14.1圖像運動特征檢測對許多應用來說，檢測圖像序列中相鄰兩幀圖像的差異是非常重要的步驟場景中任何可察覺的運動都會體現在場景圖像序列的變化上，如能檢測這種變化，就可以分析其運動特性如果物體的運動限制在平行于圖像平面的一個平面上，則可以得到物體運動特性定量參數的很好估計對于三維運動，則只能得到物體空間運動的定性參數估計場景中光照的變化也會引圖像強度值的變化，有時會引起較大的變化動態場景分析的許多技術都是基于對圖像序列變化的檢測檢測圖像變化可以在不同的層次上進行，如像素、邊緣或區域在像

4、素層次上要對所有可能的變化進行檢測，以便在后處理階段或更高層次上使用差分圖像檢測圖像序列相鄰兩幀之間變化的最簡單方法是直接比較兩幀圖像對應像素點的灰度值在這種最簡單的形式下，幀與幀之間的變化可用一個二值差分圖像表示：(14.1)式中是閾值在差分圖像中，取值為1的像素點被認為是物體運動或光照變化的結果這里假設幀與幀之間配準或套準得很好圖14.1和14.2示意了兩種圖像變化情況，一種是由于光照變化造成的圖像變化，另一種是由于物體的運動產生的圖像變化需要指出，閾值在這里起著非常重要的作用對于緩慢運動的物體和緩慢光強變化引起的圖像變化，在一個給定的閾值下可能檢測不到 (a) (b) (c)圖14.1

5、(a)和(b)是取自一個運動攝象機獲取的靜態場景圖像序列的兩幀圖像，(c)是它們的差分圖像(T=40) (a) (b) (c)圖14.2 (a)和(b)是取自光照變化的圖像序列的兩幀圖像，(c)是它們的差分圖像(T=80)(1) 尺度濾波器在實際中，使用上述差分方法計算的差分圖像經常會含有許多噪聲一個簡單噪聲消除方法是使用尺度濾波器，濾掉小于某一尺度的連通成分，因為這些像素常常是由噪聲產生的，留下大于某一尺度閾值的4-連通或8-連通成分，以便作進一步的分析對于運動檢測，這個濾波器非常有效但也會將一些有用的信號濾掉，比如那些來自于緩慢運動或微小運動物體的信號在圖14.3中，我們給出了圖14.1、

6、14.2圖像差分圖像的尺度濾波結果(a) (b)圖14.3 (a)圖14.1差分圖像的尺度濾波結果(b)圖14.2差分圖像的尺度濾波結果(2) 魯棒檢測方法為了使圖象變化檢測更魯棒，可以使用統計方法或基于強度分布的局部逼近方法來比較兩幀圖像之間的光強特性，比如使用第三章討論過的似然比 (14.2)來進行兩幀圖像之間的比較，(式中m和s表示區域的平均灰度和方差)，然后計算差分圖像： (14.3)式中是閾值對于許多真實場景，將似然比和尺度濾波組合起來使用是非常有效的上面討論的似然比測試是基于區域服從均勻二階統計的假設如果使用小平面和二次平面來近似這些區域，似然比測試方法的性能還能有顯著的提高注意，

7、似然比測試是在像素層次上檢測相似度,，因此只能確定所考察的區域是否有同樣的灰度特征；有關區域的相對強度信息則沒有得到保留使用似然比方法檢測圖像序列中的運動部分可能增加計算量。(3) 累積差分圖像緩慢運動物體在圖像中的變化量是一個很小的量，尺度濾波器可能會將這些微小量當作噪聲濾掉當使用魯棒檢測方法時，因為是基于區域的變化檢測，因此會使得檢測小位移或緩慢運動物體的問題變得更加嚴重解決這一問題的一種方法是累積差分圖像方法(accumulative difference picture, )，其基本思想是通過分析整個圖像序列的變化(而不是僅僅分析兩幀之間的變化)來檢測小位移或緩慢運動物體這種方法不僅能

8、用來可靠檢測微小運動或緩慢運動的物體，也可用來估計物體移動速度的大小和方向以及物體尺度的大小累積差分圖像可分為一階累積差分圖像()和二階累積差分圖像()。 一階累積差分圖像的形成過程如下：將圖像序列的每一幀圖像與一幅參考圖像進行比較，當差值大于某一閾值時，就在累積差分圖像中加1通常將圖像序列的第一幀作為參考圖像，并且置累積差分圖像的初始值為0這樣，在第幀圖像上的累積差分圖像為： (14.4)圖14.4是利用累積差分圖像檢測的結果示意圖 二階差分圖像的構造為：對應于第幀的二階差分圖像在位置的值為“1”，表明在這個位置上第幀和第幀的一階差分圖像具有不同的符號 (14.5)累積差分圖像具有許多性質，

9、可以用于描述物體運動的總體參數Jain(a) (b) (c)圖14.4 (a) 第一幀圖像（參考圖像），(b) 第三幀后的累積差分圖像，(c) 最后一幀后的累積差分圖像用于運動檢測的差分圖像的最大特點是它的簡單性，但差分圖像極易受噪聲污染照明和攝象機位置的改變，以及攝象機的電子噪聲，都會產生很多錯誤數據將似然比和尺度濾波器組合起來能消除大部分攝象機噪聲照明的改變會給所有基于光強的運動檢測方法帶來問題，這些問題有可能在后期的分析和理解層次上得以解決圖像序列各幀之間的錯誤套準也會導致錯誤數據，如果套準錯誤不十分嚴重，則累積差分圖像還是可以消除這些錯誤數據的必須強調，在像素層次上檢測不相似度只能通過

10、檢測光強變化來實現在動態場景分析中，這是最低層次的分析在檢測完像素變化以后，還需要通過其它的處理過程來解釋這些變化經驗表明，差分圖像最有效的應用是對圖像進行概略處理，以便將解釋的注意力引向場景中出現“活動”的區域場景中事件的粗略信息也可由差分圖像中的某些特征來提取時變邊緣檢測我們知道，邊緣在靜態場景圖像分析中起著十分重要的作用，因此有理由推測時變邊緣在動態場景圖像分析中也是非常重要的在進行圖像分割與匹配方法中，人們將精力主要集中在靜態特征與運動特征之間的匹配實際上，這些靜態特征是運動信息提取的最大障礙如果直接檢測運動特征，那么完成匹配所需的計算量可以根本上大大減小一條邊緣運動后仍然是一條邊緣運

11、動邊緣是通過邏輯“與”算子對時間和空間梯度進行組合來實現，其中的“與”算子可以由乘法來完成這樣，圖像中一點的時變邊緣由下式給出： (14.6)式中和分別是點的光強在空間和時間上的梯度值 各種傳統的邊緣檢測方法可用于計算空間梯度，而簡單的差分方法可用于計算時間梯度在大多數情況下，邊緣算法很有效為了克服遺漏緩慢運動邊緣和弱邊緣的問題，可將一個閾值作用于上式的乘積，而不是一階差分，然后使用邊緣檢測器或一階檢測邊緣器算出它們的時間梯度Jain，如圖14.5和14.6所示由圖14.6可見，這種邊緣檢測方法將對有清晰邊緣的緩慢運動和以適當速度運動的弱邊緣響應這種檢測方法的另一個重要特點是不需要對任何位移大

12、小作出假設當邊緣的運動非常大時，檢測器的性能也是十分滿意的(a) (b) (c)圖14.5 時變邊緣檢測器運行結果示意圖圖14.6 邊緣檢測器的性能曲線14.1.3運動對應性已知一個圖像序列，我們可以分析并確定序列中每一幀圖像上的特征點為估計圖像運動特性，必須在圖像各幀之間建立這些特征點的對應關系運動圖像的對應問題與立體視覺中的對應問題相似，不過立體視覺使用的約束主要是外極線約束，運動圖像對應問題使用的是其它類型的約束下面討論一種約束傳播方法來解決對應問題(1) 松弛標記 標記(labeling)是指將一組已知標記分配給場景中對應的各個物體。標記問題可以表示為如圖14.7所示的形式每一個節點表

13、示一個標記區域（或物體），連結節點的弧線表示區域間的關系假定每一個節點上有一個處理器，在每一個節點上定義集合，和集合包含節點間所有可能的關系（relation）；集合表示這些關系的相容性（compatibility），相容性將有助于對關系進行約束以及對圖像中每個區域的標記進行約束；集合包含所有指定給該節點的標記；集合表示計算過程中賦予節點的所有可能的層次假定在第一次迭代中，節點的可能的標記集合對所有的來說都是，換句話說，所有節點的初始標記是所有可能的標記在第k次迭代過程中，標記算法將從“”中除去無效標記，得到去除標記的依據建立在節點當前標記、該節點與其它節點的關系、各種約束等基礎上，因此，每一

14、個處理器都有足夠的信息來獨立地對其標記集合進行細化這樣，所有的處理器就有可能同步工作需要指出，在任一時刻，處理器只使用能直接可得到的信息，這就是說，只使用從屬于該節點對應區域的信息但是，每一次迭代都通過它的鄰節點或關聯節點把效應傳播給其它沒有直接關系的節點，即每一次迭代都會增加節點的影響圈圖14.7 并行傳播示意圖對大多數應用來說，在標記過程開始前，有關物體的一些知識是可以得到的分割或標記前進行的其它處理過程又常常可以提供用于細化節點初始集合的知識標記過程可以進一步細化這些標記集合，以使得每一個區域對應唯一的標記下面考慮一種與上面所述的標記問題稍微不同的標記問題基于某種酉關系，標記集合可以分配

15、給一個區域。為了確定標記分配正確與否，給每個標記確定一個置信度這個置信度和概率一樣，表示了一種信任度，即基于圖像提供的證據給某個區域分配某個標記的置信度因此，對每個元素，一個非負概率表示標記是節點的正確標記的置信度標記過程實際上是使用約束來細化每個標記的置信度置信度受連通節點標記的置信度影響，這樣，在第次迭代中，節點的標記的置信度是置信度和所有直接有關的節點標記的置信度函數在每一次迭代中，一個節點受制于其它所有有關節點的標記，然后使用已知約束來更新該標記的置信度標記過程的結束有兩種情況，一種是當每個節點都有一個唯一的標記，另一種是置信度達到一個穩定的狀態上面的過程通常稱為松弛標記過程，即依據局

16、部的證據決定哪一種可能的解釋是正確的盡管使用的證據是局部的，但最終的解釋結果在全局范圍內是正確的在每次迭代中，一個標記的置信度只受直接關聯的節點的影響但是，這種影響在后面的迭代中會傳播給其它的節點，并且，隨著迭代的深入，影響的范圍也增大在松弛標記中，約束是通過相容性函數來確定的假設區域對應的物體和由相聯系，并在這種聯系下標記和分配給和的可能性最大此時，對應將增大對應的可能性同樣也有可能利用某些標記的不相容性來降低一個標記的置信度下面，我們討論使用松弛標記技術來確定圖像中視差值的一個算法在本章后面要討論的確定光流的算法，也是松弛標記方法的一個例子(2) 視差計算松弛標記法匹配問題就是把第一幅圖像

17、中的點與第二幅圖像上的點對應起來這兩點之間的視差是兩點之間的位移矢量：(14.7)匹配的兩個點稱為共軛對在匹配過程中可能用到如下三個性質：離散性：各點之間明顯區別的測度相似性：兩個點之間相似程度的測度一致性：一個匹配點與鄰近其它匹配點變化一致程度的測度離散性是指特征必須是一個個孤立的點例如，線段就不是一個好的特征，因為一個點能匹配線段上的許多點離散性將圖像視差分析問題退化成有限數量點的匹配問題，因此，離散性把搜索的成本降到了最低程度潛在匹配點的集合可以形成一個雙向聯接圖，匹配問題就是從中選擇一種聯接圖最初每個節點都可認為與其它每個節點都有一個匹配聯接，如圖14.8 所示使用某一判據，對應問題的

18、目標就是求每一個節點對應的一個匹配而去除所有其它的聯系相似特性是指兩個潛在的匹配點相互接近的程度，這是一個關聯性的測度相似性可以在所選離散特征點的任何性質基礎上進行測量圖14.8 (a)圖是一個完全的雙向圖A組的每一個節點與B組的每一個節點相聯接使用節點(點)的特征和其它一些知識，對應性算法將給每一個節點只保留一個聯接，而消除所有其它的節點，如圖(b)所示假設物體的運動特性良好，則一致性意味著場景中表面的空間連續性一致性判據可以實現顯而易見的匹配，改善了對復雜匹配的分析一些點之間有著足夠的分類特征和相似特征，很容易對其進行匹配；這樣的匹配在鄰近點匹配過程中是十分有用的使用角點檢測器或特征檢測器

19、可以從圖像中檢測出離散特征點Moravec興趣算子就是這樣一種特征檢測器這個算子可以檢測那些至少在一個方向上光強值迅速改變的點算子執行的步驟如下：1. 用一個5×5的窗口計算四個方向(水平、垂直和兩個對角線方向)上像素差平方和2. 計算出這些方差的最大值3. 抑制所有非局部最大值的點4. 用一個閾值來去除弱特征點任何特征檢測器都可用來取代上面的算子如計算每一點的曲率值并選擇高曲率值作為特征接下來的工作是對第一幅圖像中的每個特征點與第二幅圖像中的所有特征點在最大距離范圍內進行配對這將消除完全雙向圖中的許多聯接那些消除掉的是兩圖像中差別很大的點之間的聯接，因為，它們不可能成為候選匹配點每

20、一個節點包含第一幅圖像中的一個位置和一組可能的標記(視差矢量)一組視差標記是一組位移矢量或是未定義的視差匹配的初始概率通過使用兩圖像特征點之間的相似測度來計算人們一般使用對應窗口中所有像素差的平方和為測度下面的步驟可以用來給這些概率賦值設是一個點的一個候選標記，表示該點的一個視差向量我們先計算，即點與其潛在匹配點之間的相似度：(14.8)式中是對應于標記的視差平方和，是一個正的常數這個點不足以定義視差的概率是：(14.9)這個概率值是由與最相似點的相似度來確定的如果沒有很強的相似點，那么有可能這個點在這圖像中就沒有匹配各個匹配(標記)點的概率是(14.10)式中是條件概率，節點具有標記，求和是

21、不包含“未定義”標記的所有標記使用一致性和迭代松弛算法可以使概率估計逐漸精細在這個算法中，每個節點上的標記是加強還是減弱，是以本次迭代中相鄰節點的標記為基礎的這里使用的最重要的性質是在給定的鄰域中，所有的視差都是相似的這樣，鄰域中具有相似視差的節點相互加強，而視差不相似的節點則被減弱了下面的方法可以來實現這一思想讓我們考慮點所有鄰點的視差矢量概率對每個鄰點，將那些與的視差相近或相似的標記(視差)概率加起來： (14.11)其中是的所有鄰點的集合，是與視差相似的那些標記的集合現在使用迭代計算來逐漸精細概率值： (14.12)其中常量和用來控制算法的收斂速度通常，只進行幾次迭代就能得到一個好的解另

22、外，去掉低概率值的匹配點可以有效地提高算法的速度圖14.9示意的是一個序列中的兩幅圖像，圖14.10是使用上面算法計算視差的迭代過程示意圖有興趣的讀者可以參見文獻Barbard 1980 圖 14.9 立體圖像對圖14.10使用松弛算法求匹配特征點視差示意圖，(a) 對圖14.9進行初始概率分配，(b) 、(c)和(d)是第2、第6和第10次迭代結果14.2 光流法光流法是運動圖像分析的重要方法本節首先介紹光流的基本概念和圖像運動估計的基本問題，然后討論光流方程，基于光流方程的一些圖像分析方法和算法見14.3節。14.2.1 運動場與光流給圖像中的每一像素點賦予一個速度向量，就形成了圖像運動場

23、(motion field) 在運動的一個特定時刻，圖像上某一點對應三維物體上某一點，這種對應關系可以由投影方程得到在透視投影情況下，圖像上一點與物體上對應一點的連線經過光學中心，該連線稱為圖象點連線(Point ray)，如圖14.11所示圖14.11 三維物體上一點運動的二維投影設物體上一點相對于攝像機具有速度，從而在圖像平面上對應的投影點具有速度在時間間隔時，點運動了，,圖像點運動了速度可由下式表示：(14.13)式中和之間的關系為： (14.14)其中，表示圖像平面到光學中心的距離，表示軸的單位矢量 式（14.14）只是用來說明三維物體運動與在圖像平面投影之間的關系，但我們關心的是圖像

24、亮度的變化，以便從中得到關于場景的信息。當物體運動時，在圖像上對應物體的亮度模式也在運動光流(optical flow)是指圖像亮度模式的表觀（或視在）運動 (apparent motion)Horn 1986使用“表觀運動”這個概念的主要原因是光流無法由運動圖像的局部信息唯一地確定，比如，亮度比較均勻的區域或亮度等值線上的點都無法唯一地確定其點的運動對應性，但運動是可以觀察到的與光流同義的另一個常用術語是圖像流(image flow)在理想情況下，光流對應于運動場，但這一命題不總是對的圖14.12所示的是一個非常均勻的球體，由于球體表面是曲面，因此在某一光源照射下，亮度呈現一定的空間分布或叫

25、明暗模式當球體在攝像機前面繞中心軸旋轉時，明暗模式并不隨著表面運動，所以圖像也沒有變化，此時光流在任意地方都等于零，然而，運動場卻不等于零如果球體不動，而光源運動，明暗模式運動將隨著光源運動此時光流不等于零，但運動場為零，因為物體沒有運動一般情況下可以認為光流與運動場沒有太大的區別，因此允許我們根據圖像運動來估計相對運動 圖14.12 光流與運動場差別示意圖14.2.2 光流約束方程設 是圖像點在時刻的照度，如果和是該點光流的和分量，假定點在時運動到時，照度保持不變，其中，即 (14.15) 這一約束還不能唯一地求解和，因此還需要其它約束，比如，運動場處處連續等約束 如果亮度隨、光滑變化，則可

26、以將上式的左邊用Taylor級數展開， (14.16)其中是關于、的二階和二階以上的項上式兩邊的相互抵消，兩邊除以，并取極限，得到 (14.17)上式實際上是下式的展開式 (14.18)設則由式(14.17)得到空間和時間梯度與速度分量之間的關系：(14.19)或(14.20)上述方程稱為光流約束方程在上面的方程中，和可直接從圖像中計算出來 實際上，上述光流約束方程產生的是恒值亮度輪廓圖像運動的法向分量，其中和分別是法向運動分量的方向和大小： （14.21）圖像中的每一點上有兩個未知數和，但只有一個方程，因此，只使用一個點上的信息是不能確定光流的人們將這種不確定問題稱為孔徑問題(apertur

27、e problem)理論上分析，我們僅能沿著梯度方向確定圖像點的運動，即法向流(normal flow)假定物體的運動方向為，如圖14.12所示如果基于一個局部窗口(即孔徑1)來估計運動，則無法確定圖像是沿著邊緣方向還是垂直邊緣方向運動，其中沿著垂直邊緣方向的運動就是法向流但是，如果我們再來觀察孔徑2，就有可能確定正確的運動，這是由于圖像在孔徑2中的兩個垂直邊緣方向上都有梯度變化這樣，在一個包含有足夠灰度變化的像素塊上有可能估計圖像運動當然，這里隱含著一個假設，那就是像素塊里的所有像素都具有相同的運動矢量圖14.13 孔徑問題示意圖14.3光流計算由上節討論可知，由于孔徑問題的存在，僅通過光流

28、約束方程而不使用其它信息是無法計算圖像平面中某一點處的圖像流速度，本節將討論如何克服孔徑問題，并求出圖像流的幾種方法。14.3.1 Horn-Schunck法 Horn和SchunckHorn使用光流在整個圖像上光滑變化的假設來求解光流，即運動場既滿足光流約束方程又滿足全局平滑性根據光流約束方程，光流誤差為 (14.22)其中。對于光滑變化的光流，其速度分量平方和積分為(14.23) 將光滑性測度同加權微分約束測量組合起來，其中加權參數控制圖像流約束微分和光滑性微分之間的平衡： (14.24)其中是控制平滑度的參數，越大，則平滑度就越高，則估計的精度也越高使用變分法將上式轉化為一對偏微分方程：

29、 (14.25) 用有限差分方法將每個方程中的拉普拉斯算子換成局部鄰域圖像流矢量的加權和，并使用迭代方法求解這兩個差分方程 下面只考慮離散的情況在一點及其4鄰域上，根據光流約束方程，光流誤差的離散量表示式為： (14.26)光流的平滑量也可由點與它的4鄰域點的光流值差分來計算： (14.27)則極小化函數為： (14.28)關于和的微分是： (14.29)其中和分別是和在點處的平均值當上式為零時，則式14.28取極小值，因此得到： (14.30)從上面兩個方程可以求出和實際中，經常將求解和表示成迭代方程： (1431)其中是迭代次數，和是光流的初始估值，一般取為零當相鄰兩次迭代結果的距離小于預

30、定的公差值，迭代過程終止 Horn-Schunck光流法實驗結果見圖14.15。14.3.2 Lucas-Kanade方法Lucas和KanadeLucas 1981 假設在一個小的空間鄰域上運動矢量保持恒定，然后使用加權最小二乘方(weighted least-squares)估計光流。在一個小的空間鄰域上，光流估計誤差定義為(14.32)其中表示窗口權重函數，它使鄰域中心部分對約束產生的影響比外圍部分更大。設，式(14.32)的解由下式給出：(14.33)其中，在時刻t的n個點，式(14.33)的解為，其中當為非奇異時可得到解析解，因為它是一個的矩陣：(14.34)其中所有的和都是在鄰域上

31、的點得到的。等式(14.32)和(14.33)也可認為是從法向速度(normal velocities)得到的估計的加權最小二乘估計(weighted least-squares estimates)；即(14.32)等于：(14.35)我們的實現首先用標準差為1.5像素/幀的時空高斯濾波器平滑圖象序列。這有助與削弱時間噪聲(temporal aliasing)和輸入中的量化效應(quantization effects)。梯度的計算使用了4點中心差，其系數模板為。空間鄰域為像素大小，窗口權重函數為可分離的和各向同性的；在Simoncelli 1991中的有效的一維權為。在整個處理中需要15幀

32、圖象。Fleet and Langley Fleet 1993已經用IIR遞歸濾波器和時間上的遞歸估計替代了FIR濾波器。這種方法只需存儲3幀圖象 (即只有2到3幀的延遲)就可產生相似的結果。Simoncelli等在Simoncelli 1991中提出了一個(14.32)的貝葉斯透視圖(Bayesian perspective)。他們在梯度測量中使用高斯分布誤差(Gaussian distributed errors)和高斯分布的先驗速度V來模擬光流約束方程(14.17)。最大化一個后驗解的結果與式(14.33)相似，并且產生一個速度估計的協方差矩陣。我們發現這種修改不會明顯的改變準確性，但它

33、提出了使用()的特征值來鑒別不可靠的估計，該值依賴于空間梯度的數量和方向的范圍。雖然Simoncelli等建議使用特征值的和，但我們發現單個的最小特征值更加可靠一些。因此在我們的實現中，如果和都大于一個閾值，V用(14.33)計算；如果而，計算法向速度估計；如果，不計算速度。14.3.3 Nagel方法Nagel使用二階導數(second-order derivatives)來估計光流Nagel 1983, 1987, 1989。和Horn-Schunck法一樣，Nagel也使用了全局平滑約束來建立光流誤差測度函數，與Horn-Schunck 測度函數(14.24)不同，Nagel提出的一種面

34、向平滑的約束（oriented-smoothness constraint），并不是強加在亮度梯度變化最劇烈的方向（即邊緣方向）上，這樣做的目的是為了處理遮擋(occlusion)問題Nagel 1986。該方法的誤差測度函數為(14.36)相對于求上式的極小化會削弱垂直于梯度方向上的光流變化。Nagel 1987建議取=1.0，=0.5。使用Gauss-Seidel迭代，(14.36)的解可表示為： (14.37)其中，k表示迭代次數，和由下式給出： (14.38)其中：和表示的偏導數的估計，和是和的局部鄰域的平均，加權矩陣：在實現中，所有的速度初值都可設為0。圖象序列使用了一個在時空上標準

35、差均為1.5像素的高斯核進行濾波預處理。亮度導數使用4點中心差算子計算，在不同的方向上層疊以得到另一個導數(second derivatives)。一階速度導數用2點中心差核計算，而二階導數通過層疊一階導數計算而得。圖14.15所示的是使用了100次迭代得到的光流結果結果。關于實現的細節可參考Barron 1993。(a)第一幀 (b)第二十幀圖14.14 兵馬俑模型圖像序列圖14.15 光流實驗結果, (a) Horn-Shrunck法, (b) Lucas-Kanade法,(c) Nagel法魯棒計算方法顯然，光流約束方程14.21不適用遮擋背景的運動過程，也就是說，在運動邊界處的運動信息

36、是不可靠的，即可能產生不正確的運動點或局外點魯棒計算方法可以避免邊界處不正確運動約束帶來的問題圖像流可用最小中值二乘回歸法這一魯棒回歸算法來計算將最小中值二乘法作用于連接的各個鄰域在每一個鄰域里，該算法將盡可能找出所有可能的約束線對計算每一對約束線的交點，并計算殘差平方的中值，以便給每一個估計值指定一個權值然后，將每一個交點及其權值都存儲起來在試過所有的約束線對以后，對應于最小權值的交點作為鄰域中心圖像流速度的估計使用約束線在速度空間的距離和圖像梯度角，可將約束線表示為極坐標形式： (1439)式中和分別表示運動的速度大小和方向設第一條約束線的坐標為和，第二條約束線的坐標為和在直角坐標系中交點

37、的位置是 (1440)該模型對約束線的擬合度是殘差平方的中值： (1441)運動估計和每條約束線之間的殘差是約束線與估值點(x,y)間的垂直距離殘差由下式給出 (1442)由方程(14.40) 給出的約束線對的交點位置是一個候選解計算并存儲相對于候選解的約束線殘差平方的中值，連同候選解一起作為一個潛在解殘差平方的中值是鄰域中每一條線與候選交點間垂直距離的平方中值典型的鄰域尺寸是5×5一個n×n的鄰域包含了條約束線那么n×n鄰域里可能的約束線對數是 (14.43)一個鄰域會產生300對線如果計算時間有限，則沒有必要試驗所有的線對Rousseeuw和Leroy Rou

38、sseeuw 1987, p198提供了一個試驗次數表，給出在95%置信度下，用個參數的模型擬合含有不同比例局外點的數據集的最小實驗次數，其中假定鄰域里至多有50%的局外點圖像流速度場的局部估計僅需要兩條約束線從Rousseeuw和Leroy給出的表中可以看到，只需要試驗11對約束線就能提供具有95置信度的一致性估計使用更多的線對可能會給計算一致性估計的增加麻煩如果使用的線對數量少于所有可能的線對，則必須對線對進行挑選，以使每對線中的約束離的越遠越好這就減少了因求解相近方向約束線交點帶來的病態問題在每一個鄰域里應該使用一個預編程方案，以便選擇約束線對這種方法的實驗結果如圖14.16所示圖14.

39、16 使用最小中值二乘算法的進行光流計算的實驗結果14.4 基于塊的運動分析基于塊(Block-based)的運動分析在圖像運動估計和其它圖像處理和分析中得到了廣泛的應用，比如在數字視頻壓縮技術中，國際標準MPEG1-2采用了基于塊的運動分析和補償算法塊運動估計與光流計算不同，它無需計算每一個像素的運動，而只是計算由若干像素組成的像素塊的運動，對于許多圖像分析和估計應用來說，塊運動分析是一種很好的近似14.4.1 塊運動模型基于塊的運動模型假設圖像運動可以用塊運動來表征塊運動通常分為平移、旋轉、仿射、透視等運動形式，一般情況下，塊運動是這些運動的組合，稱為變形運動(deformation mo

40、tion)(1) 平移運動假設圖像中每一個塊都作平移運動在第幀圖像中選取一個塊B，其中心位于在第幀時，塊B的所有像素之間的關系及其灰度值保持不變，但塊中心運動到，將第幀到第幀的平移變換公式表示為 (14.44)則對塊中所有的像素，有 (14.45) (2)仿射運動將上面的平移變換推廣到包含仿射坐標的變換： (1446) 該式不僅可以描述塊的平移、旋轉運動，還表示塊的變形運動如圖14.17所示仿射變換表示一個平面的三維運動在圖像平面上的平行投影 ，它有一個重要的性質就是平面上任意兩條直線，經仿射變換后，仍然保持平行 (3)透視投影變換 (14.47)(4)二次線性變換形式 (1448)這些方法可

41、以解決光流的孔徑問題塊的平移運動具有廣泛的應用，主要原因是它無需向光流那樣，計算每一個像素的運動，而是只計算一個塊的運動，這種計算對于許多應用都是一種很好的近似，同時計算極其簡單和有效，非常適合于VLSI并行處理但這種算法不適合旋轉運動、圖像的縮放運動和圖像局部變形運動圖14.17 幾種空間變換示意圖14.4.2 傅里葉方法采用傅里葉變換可以檢測和估計運動塊的二維平移、旋轉和尺度變化(1)平移運動的檢測對方程(14.45)的兩邊取傅里葉變換：(14.49) (14.50)時刻和對應的兩幀圖像二維傅里葉相位差為 (14.51)上式實際上是一個由兩個變量定義的一個平面所以估計塊的運動矢量就是估計該

42、平面的法線方向下面介紹一種求解的直接方法由變量的可分離性，和分別表示和在軸的投影，即(14.52)和分別為和的傅里葉變換，則它們的相位差為： (14.53)在頻率域，可以得到關于的，從上式可解得 (14.54)同理可以求出: (14.55)這樣就是時刻到圖像塊運動的位移量上述直接方法有兩個假設：1. 二維相位函數(14.51)是可以展開的2. 所選的圖像塊內只包含一個物體第一個假設在實際中一般很難做到對于第二個假設,如果機器自動地在圖像上選擇運動塊，如果塊中包含有兩個物體，則估計結果將是錯誤的14.4.3將介紹的相位相關法可以有效地解決上述兩個問題(2) 旋轉運動和尺度變化的檢測由傅立葉方法可

43、知，對于圖像的空間域線性模式，如直的邊緣，經傅立葉變換后，它的功率譜也呈線性分布，且通過平面的原點，它的方向與圖像空間域上的線性模式方向正交。這樣當線條旋轉時，其線性功率譜也做相應的旋轉，由此求出二維旋轉運動。如果物體圖像的尺度變大，反映在傅立葉頻率域上的功率譜的低頻分量增大，反之，若物體區域尺寸變小，那么頻率域上的功率譜的高頻分量增大。這樣可以根據功率譜的變化描述物體尺度的變化。14.4.3 相位相關法圖像序列中的和時刻的圖像之間互相關函數為 (14.56)對上式兩邊做傅里葉變換，得到互功率譜為： (14.57)上式除以互功率譜幅值得到標準互功率譜 (14.58) 將14.51代入上式，則有

44、 (14.59) 對上式取傅里葉反變換，得到相位相關函數表達式： (14.60) 由上式可見，相位相關函數是一個脈沖函數，其脈沖位置就是塊位移矢量 求解位移矢量算法見算法141用計算機實現上述算法時，要用二維離散傅里葉變換(DFT)替換二維傅里葉變換 算法14.1 相位相關法運動矢量算法1 計算第和時刻對應的圖像中塊的二維DFT2 根據式(14.58)計算互功率譜相位3 計算的逆的二維DFT，得到4 檢測相位函數的峰值位置理想情況下得到的相位相關函數只有一個峰值，對應著塊在兩幀圖像上的相對位移但在實際中，許多因素常常會使相位相關函數惡化，從而有可能產生多個峰值這些因素包括使用二維DFT替換二維

45、傅里葉變換，一個塊內有兩個運動物體，或圖像噪聲等用二維DFT替換二維傅里葉變換會產生如下問題：1. 邊界效應 為了得到完整的脈沖函數，移位必須是周期的由于在窗口的一端消失的像素在窗口的另一端不會再出現，因此，脈沖函數將退化為波峰函數這就是為什么二維DFT算法假設在窗口兩端方向上具有周期性不論是從左到右，還是從上到下，如果存在不連續的邊界，都會引進假的峰值2. 頻譜泄漏： 由于運動矢量為非整數，因而造成頻譜泄漏為了得到完成的脈沖函數，位移矢量的分量必須對應一個整數倍的基頻否則，脈沖函數將退還成波峰函數3. 位移估計范圍： 由于二維DFT是塊尺寸大小的周期函數，因此需要校正位移估計值，以便適合負的

46、位移 這樣估計的范圍為由點到點組成的塊，比如估計的位移范圍為(-25，-25)到(25，25)，則塊的尺寸至少為(51，51)塊的尺寸選擇對于基于塊的運動算法是非常重要的選擇較大的塊尺寸，可以跟蹤大位移的運動但塊尺寸選得太大，塊內的所有運動矢量很難保證完全一樣，造成估計誤差太大因此在選擇窗口尺寸上有一個最佳的折衷方案使用多分辨率圖像結構可以在一定程度上解決這一問題14.4.4塊匹配方法塊匹配算法的基本思想如圖14.18所示在第幀中選擇以為中心、大小為的塊，然后在第幀中的一個較大的搜索窗口內尋找與塊尺寸相同的最佳匹配塊的中心的位移矢量搜索窗口一般是以第幀中的塊為中心的一個對稱窗口，其大小常常根據

47、先驗知識或經驗來確定各種塊匹配算法的差異主要體現在如下幾個方面：i 匹配準則i 搜索策略i 塊尺寸選擇方法下面介紹幾種方法(1)匹配準則典型的匹配準則有：最大互相關準則，最小均方差準則，最小平均絕對值差，最大匹配像素數量準則等 其中最大互相關準則見節圖14 .18 塊匹配示意圖最小均方差準則(mean square error，MSE)定義如下： (14.61)通過求上式的極小化可以估計出位移矢量，即 (14.62)對MSE求極小化的準則可以認為是給窗口內的所有象素強加一個光流約束。最小均方差準則很少通過超大規模集成電路(VLSI)來實現，主要原因是用硬件實現平方運算有相當的困難。通過超大規模

48、集成電路(VLSI)來實現的準則是最小平均絕對差最小平均絕對差準則(mean absolute difference，MAD)定義如下(14.63)位移矢量的估計值為 (16.64)眾所周知，隨著搜索區域的擴大，出現多個局部極小值的可能性也增大，此時，MAD準則性能將惡化還有一種匹配準則是最大匹配像素數量準則(matching pel count，MPC)，這種方法是將窗口內的匹配象素和非匹配象素根據下式分類： (16.65)是預先確定的閾值這樣，最大匹配像素數量準則為(16.66) (16.67)運動估計值對應匹配象素的最大數量MPC準則需要一個閾值比較器和計數器Gha90(2) 搜索策略為了求得最佳位移估計，可以計算所有可能的位移矢量對應的匹配誤差，然后選擇最小匹配誤差對應的矢量就是最佳位移估計值，這就是全搜索策略這種策略的最大優點是可以找到全局最優值，但十分浪費時間，因此，人們提出了各種快速搜索策略盡管快速搜索策略得到的可能是局部最優值，但由于其快速計算的實用性，在實際中得到了廣泛的應用下面討論一種快速搜索方法：步搜索或對數搜索設窗口大小為，當前象素值位于窗口中心，用來標記，如圖14.18(a)所示第一步，選擇標記為和的9個