1、視頻跟蹤概述視頻跟蹤融合了圖像處理、計算機視覺、模式識別、人工智能等學科的技術，是一種應用前景非常廣泛的技術。所謂視頻目標跟蹤，是指對視頻圖像序列中的特定目標進行檢測、提取、識別和跟蹤，獲得目標的位置參數，如目標質心的位置、速度、加速度，或者目標整體所占的圖像區域，抑或是目標的運動軌跡等等，從而進行后續深入的處理與分析，以實現對特定目標的行為理解，或完成更高級的任務。一個視頻跟蹤系統通常包括以下幾個環節：圖像采集、視頻圖像處理、數據通信、傳感器控制與伺服系統等，如圖7.1所示。視頻目標跟蹤在諸如安全與監控系統、交通控制系統、定位導航系統、三維重建、視頻傳輸與壓縮、虛擬現實、增強現實等諸多方面均

2、有廣闊的應用，研究視頻目標跟蹤，具有重要的軍事、商業價值。視頻跟蹤的最終目的是實現智能視頻。隨著大規模監控系統的廣泛應用，工作人員根本無法管理和監看成百上千的攝像頭，因而在很大程度失去監控系統的預防與積極干預功能。例如倫敦Heathrow國際機場裝配有超過5000個攝像頭，如何管理這些視頻信息，將數據在適當的時間及時精準地傳遞給需要的工作人員變得非常重要。如果系統具有自動識別和分析圖像所含信息的功能，也就是具備智能，這將大大提高系統的性能。智能視頻技術主要包括對視頻圖像序列自動地進行運動對象的提取、描述、跟蹤、識別和行為分析等方面的內容。如果把攝像機看作人的眼睛，而智能視頻系統則可以看作人的大

3、腦。智能視頻監控系統能夠識別不同的目標，發現監控畫面中的異常情況，并能夠以最快和最佳的方式發出警報和提供有用信息，從而能夠更加有效的協助工作人員處理危機，并最大限度的降低誤報和漏報現象，實現計算機智能分析、描述和理解視頻畫面中的內容。1.安全相關類應用2.非安全相關類應用 智能視頻監控應用范圍正不斷擴大1.安全相關類應用高級視頻移動偵測（Advanced Video Motion Detection）：在復雜的天氣環境中(例如雨雪、大霧、大風等)精確的偵測和識別單個物體或多個物體的運動情況，包括運動方向、運動特征等。物體追蹤（Motion Tracking）：偵測到移動物體之后，根據物體的運動

4、情況，自動發送 PTZ（Pan/Tilt/Zoom）等控制指令，使攝像機能夠自動跟蹤物體，在物體超出該攝像機監控范圍之后，自動通知物體所在區域的攝像機繼續進行追蹤。人臉識別（Face Recognition）：自動識別人物的臉部特征，并通過與數據庫檔案進行比較來識別或驗證人物的身份。此類應用又可以細分為“合作型”和“非合作型”兩大類。“合作型”應用需要被監控者在攝像機前停留一段時間，通常與門禁系統配合使用。“非合作型”則可以在人群中識別出特定的個體，此類應用可以在機場、火車站、體育場館等應用場景中發揮很大的作用。車輛識別（Vehicle Identification）：識別車輛的形狀、顏色、車

5、牌號碼等特征，并反饋給監控者。此類應用可以用在被盜車輛追蹤等場景中。非法滯留（Object Persistence）：當一個物體(如箱子、包裹、車輛、人物等)在敏感區域停留的時間過長，或超過了預定義的時間長度就產生報警。典型應用場景包括機場、火車站、地鐵站等。2.非安全相關類應用 除了安全相關類應用之外，智能視頻還可以應用到一些非安全相關類的應用當中。這些應用主要面向零售、服務等行業，可以被看作管理和服務的輔助工具，用以提高服務水平和營業額。此類應用主要包括：人數統計（People Counting）：統計穿越入口或指定區域的人或物體的數量。例如為業主計算某天光顧其店鋪的顧客數量。人群控制（F

6、low Control）：識別人群的整體運動特征，包括速度、方向等等，用以避免形成擁塞，或者及時發現異常情況。典型的應用場景包括超級市場、火車站等人員聚集的地方。 注意力控制（Attention Control）：統計人們在某物體前面停留的時間。可以用來評估新產品或新促銷策略的吸引力，也可以用來計算為顧客提供服務所用的時間。交通流量控制（Traffic Flow）：用于在高速公路或城市環路，根據車流量的變化自適應調整交通信號的閃亮時間，達到智能控制交通的目的。該應用需要提高視頻分析功能模塊的適應性，使之適應更為復雜和多變的現場環境。流量統計區域檢測滯留檢測軌跡跟蹤火災預警人臉識別車牌識別視頻圖

7、像運動目標檢測陰影去除后處理運動目標跟蹤光流法幀差法背景減除法預處理視頻圖像的預處理彩色圖像灰度化圖像的平滑濾波 (1)中值濾波 (2)鄰域均值濾波 (3)高斯濾波運動目標檢測 光流法 幀間差分法 背景減除法 光流法是通過計算圖像的光流場實現運動目標檢測的一種方法。所謂光流場是指空間運動物體被觀測表面上的像素點運動產生的瞬時速度場，一個二維的速度場，包含了物體表面結構和動態行為的重要信息。原理：給圖像中的每一個像素點賦予一個光流矢量(即速度矢量)，當物體和圖像背景存在相對運動時，運動物體所形成的速度矢量必然和鄰域背景速度矢量不同，通過對序列圖像光流場的分析，計算出運動場后，對場景進行分割，從而

8、檢測出運動目標。光流法的核心是求解出運動目標的光流，即速度。 光流法光流法幀間差分法 將連續的兩幀或三幀圖像對應像素點的灰度值相減，當環境亮度變化不大時，如果對應像素值相差很小，則認為此處是靜止的，標記為背景；如果對應像素值相差較大，則認為這是由目標運動引起的，該處像素標記為運動目標。 第n-1幀第n幀背景減除法原理：建立一個無運動目標的背景圖像(第一幀無運動目標的圖像或前N幀無運動目標的圖像的均值或中值)，然后將當前圖像的像素值與背景圖像的像素值相減，通過設置一定的閾值，分割運動目標。優點：算法簡單、實時性較高缺點：對背景的依賴性較高陰影去除 RGB色彩空間的陰影消除算法 在RGB色彩模型空

9、間中，任何一種顏色都可由R、G、B三原色按一定的比例構成，而陰影區域中的像素亮度值一般比非陰影區域要小，特別是R、G 顏色分量一般都較小，所以依據這種差別可進行陰影消除。檢測后處理形態學處理：腐蝕、膨脹 連通域處理、孔洞填充 運動目標跟蹤 所謂目標跟蹤，就是在一段序列圖像的每幅圖像中找到所感興趣的運動目標所處的位置。一個好的目標跟蹤算法滿足的要求是什么？實時性好，算法要費時少魯棒性要強、目標跟蹤的表示方法：(a)質心表示，(b)特征點集表示，(c)矩形框表示，(d)橢圓框表示，(e)關節模型表示，(f) 輪廓表示，(g) 側影表示，(h) 骨架模型表示運動目標的表示方法 基于點的跟蹤 基于區域

10、的跟蹤 基于輪廓的跟蹤 基于模型的跟蹤由簡到繁（采用上述的哪種方法來表示運動目標和不同的應用場合、運動目標的運動特性、以及對跟蹤算法的精度要求等密切相關。）視頻目標跟蹤算法基于對比度分析基于匹配核方法運動檢測其它方法特征匹配貝葉斯跟蹤Mean shift方法光流法“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）簡介“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）簡介核方法mean shift（均值漂移）簡介算法思想：Mean Shift 跟蹤算法反復不斷地把數據點朝向數據質心方向移動，最終收斂到某個概率密度函數的極值點。在Me

11、an Shift 跟蹤算法中，采用彩色直方圖作為匹配特征，采用相似度函數用于刻畫目標模板和候選區域所對應的兩個核函數直方圖的相似性， 用Bhattacharyya 系數描述相似性。因此，這種方法將跟蹤問題轉化為模式匹配問題。優缺點：該方法可以避免目標形狀、外觀或運動的復雜建模，建立相似度的統計測量和連續優化之間的聯系。但是，Mean Shift 算法不能用于旋轉和尺度運動的估計。直觀描述完全相同的桌球分布感興趣區域質心Mean Shift矢量目的：找出最密集的區域直觀描述完全相同的桌球分布感興趣區域質心Mean Shift矢量目的：找出最密集的區域直觀描述Distribution of ide

12、ntical billiard balls感興趣區域質心Mean Shift矢量Objective : Find the densest region直觀描述完全相同的桌球分布感興趣區域質心Mean Shift矢量目的：找出最密集的區域直觀描述完全相同的桌球分布感興趣區域質心Mean Shift矢量目的：找出最密集的區域直觀描述完全相同的桌球分布感興趣區域質心Mean Shift矢量目的：找出最密集的區域直觀描述完全相同的桌球分布感興趣區域質心目的：找出最密集的區域Mean-Shift物體跟蹤當前幀Mean-Shift 物體跟蹤目標表示選擇一個特征空間在當前幀選取一個合適的模板Mean-Shift 物體跟蹤目標定位在下一幀模板附近的區域進行搜索從當前幀模板的位置開始通過算法找到最佳