1、視頻跟蹤概述視頻跟蹤融合了圖像處理、計算機視覺、模式識別、人工智能等學科的技術，是一種應用前景非常廣泛的技術。所謂視頻目標跟蹤，是指對視頻圖像序列中的特定目標進行檢測、提取、識別和跟蹤，獲得目標的位置參數(shù)，如目標質(zhì)心的位置、速度、加速度，或者目標整體所占的圖像區(qū)域，抑或是目標的運動軌跡等等，從而進行后續(xù)深入的處理與分析，以實現(xiàn)對特定目標的行為理解，或完成更高級的任務。一個視頻跟蹤系統(tǒng)通常包括以下幾個環(huán)節(jié)：圖像采集、視頻圖像處理、數(shù)據(jù)通信、傳感器控制與伺服系統(tǒng)等，如圖7.1所示。視頻目標跟蹤在諸如安全與監(jiān)控系統(tǒng)、交通控制系統(tǒng)、定位導航系統(tǒng)、三維重建、視頻傳輸與壓縮、虛擬現(xiàn)實、增強現(xiàn)實等諸多方面均

2、有廣闊的應用，研究視頻目標跟蹤，具有重要的軍事、商業(yè)價值。視頻跟蹤的最終目的是實現(xiàn)智能視頻。隨著大規(guī)模監(jiān)控系統(tǒng)的廣泛應用，工作人員根本無法管理和監(jiān)看成百上千的攝像頭，因而在很大程度失去監(jiān)控系統(tǒng)的預防與積極干預功能。例如倫敦Heathrow國際機場裝配有超過5000個攝像頭，如何管理這些視頻信息，將數(shù)據(jù)在適當?shù)臅r間及時精準地傳遞給需要的工作人員變得非常重要。如果系統(tǒng)具有自動識別和分析圖像所含信息的功能，也就是具備智能，這將大大提高系統(tǒng)的性能。智能視頻技術主要包括對視頻圖像序列自動地進行運動對象的提取、描述、跟蹤、識別和行為分析等方面的內(nèi)容。如果把攝像機看作人的眼睛，而智能視頻系統(tǒng)則可以看作人的大

3、腦。智能視頻監(jiān)控系統(tǒng)能夠識別不同的目標，發(fā)現(xiàn)監(jiān)控畫面中的異常情況，并能夠以最快和最佳的方式發(fā)出警報和提供有用信息，從而能夠更加有效的協(xié)助工作人員處理危機，并最大限度的降低誤報和漏報現(xiàn)象，實現(xiàn)計算機智能分析、描述和理解視頻畫面中的內(nèi)容。1.安全相關類應用2.非安全相關類應用 智能視頻監(jiān)控應用范圍正不斷擴大1.安全相關類應用高級視頻移動偵測（Advanced Video Motion Detection）：在復雜的天氣環(huán)境中(例如雨雪、大霧、大風等)精確的偵測和識別單個物體或多個物體的運動情況，包括運動方向、運動特征等。物體追蹤（Motion Tracking）：偵測到移動物體之后，根據(jù)物體的運動

4、情況，自動發(fā)送 PTZ（Pan/Tilt/Zoom）等控制指令，使攝像機能夠自動跟蹤物體，在物體超出該攝像機監(jiān)控范圍之后，自動通知物體所在區(qū)域的攝像機繼續(xù)進行追蹤。人臉識別（Face Recognition）：自動識別人物的臉部特征，并通過與數(shù)據(jù)庫檔案進行比較來識別或驗證人物的身份。此類應用又可以細分為“合作型”和“非合作型”兩大類。“合作型”應用需要被監(jiān)控者在攝像機前停留一段時間，通常與門禁系統(tǒng)配合使用。“非合作型”則可以在人群中識別出特定的個體，此類應用可以在機場、火車站、體育場館等應用場景中發(fā)揮很大的作用。車輛識別（Vehicle Identification）：識別車輛的形狀、顏色、車

5、牌號碼等特征，并反饋給監(jiān)控者。此類應用可以用在被盜車輛追蹤等場景中。非法滯留（Object Persistence）：當一個物體(如箱子、包裹、車輛、人物等)在敏感區(qū)域停留的時間過長，或超過了預定義的時間長度就產(chǎn)生報警。典型應用場景包括機場、火車站、地鐵站等。2.非安全相關類應用 除了安全相關類應用之外，智能視頻還可以應用到一些非安全相關類的應用當中。這些應用主要面向零售、服務等行業(yè)，可以被看作管理和服務的輔助工具，用以提高服務水平和營業(yè)額。此類應用主要包括：人數(shù)統(tǒng)計（People Counting）：統(tǒng)計穿越入口或指定區(qū)域的人或物體的數(shù)量。例如為業(yè)主計算某天光顧其店鋪的顧客數(shù)量。人群控制（F

6、low Control）：識別人群的整體運動特征，包括速度、方向等等，用以避免形成擁塞，或者及時發(fā)現(xiàn)異常情況。典型的應用場景包括超級市場、火車站等人員聚集的地方。 注意力控制（Attention Control）：統(tǒng)計人們在某物體前面停留的時間。可以用來評估新產(chǎn)品或新促銷策略的吸引力，也可以用來計算為顧客提供服務所用的時間。交通流量控制（Traffic Flow）：用于在高速公路或城市環(huán)路，根據(jù)車流量的變化自適應調(diào)整交通信號的閃亮時間，達到智能控制交通的目的。該應用需要提高視頻分析功能模塊的適應性，使之適應更為復雜和多變的現(xiàn)場環(huán)境。流量統(tǒng)計區(qū)域檢測滯留檢測軌跡跟蹤火災預警人臉識別車牌識別視頻圖

7、像運動目標檢測陰影去除后處理運動目標跟蹤光流法幀差法背景減除法預處理視頻圖像的預處理彩色圖像灰度化圖像的平滑濾波 (1)中值濾波 (2)鄰域均值濾波 (3)高斯濾波運動目標檢測 光流法 幀間差分法 背景減除法 光流法是通過計算圖像的光流場實現(xiàn)運動目標檢測的一種方法。所謂光流場是指空間運動物體被觀測表面上的像素點運動產(chǎn)生的瞬時速度場，一個二維的速度場，包含了物體表面結(jié)構和動態(tài)行為的重要信息。原理：給圖像中的每一個像素點賦予一個光流矢量(即速度矢量)，當物體和圖像背景存在相對運動時，運動物體所形成的速度矢量必然和鄰域背景速度矢量不同，通過對序列圖像光流場的分析，計算出運動場后，對場景進行分割，從而

8、檢測出運動目標。光流法的核心是求解出運動目標的光流，即速度。 光流法光流法幀間差分法 將連續(xù)的兩幀或三幀圖像對應像素點的灰度值相減，當環(huán)境亮度變化不大時，如果對應像素值相差很小，則認為此處是靜止的，標記為背景；如果對應像素值相差較大，則認為這是由目標運動引起的，該處像素標記為運動目標。 第n-1幀第n幀背景減除法原理：建立一個無運動目標的背景圖像(第一幀無運動目標的圖像或前N幀無運動目標的圖像的均值或中值)，然后將當前圖像的像素值與背景圖像的像素值相減，通過設置一定的閾值，分割運動目標。優(yōu)點：算法簡單、實時性較高缺點：對背景的依賴性較高陰影去除 RGB色彩空間的陰影消除算法 在RGB色彩模型空

9、間中，任何一種顏色都可由R、G、B三原色按一定的比例構成，而陰影區(qū)域中的像素亮度值一般比非陰影區(qū)域要小，特別是R、G 顏色分量一般都較小，所以依據(jù)這種差別可進行陰影消除。檢測后處理形態(tài)學處理：腐蝕、膨脹 連通域處理、孔洞填充 運動目標跟蹤 所謂目標跟蹤，就是在一段序列圖像的每幅圖像中找到所感興趣的運動目標所處的位置。一個好的目標跟蹤算法滿足的要求是什么？實時性好，算法要費時少魯棒性要強、目標跟蹤的表示方法：(a)質(zhì)心表示，(b)特征點集表示，(c)矩形框表示，(d)橢圓框表示，(e)關節(jié)模型表示，(f) 輪廓表示，(g) 側(cè)影表示，(h) 骨架模型表示運動目標的表示方法 基于點的跟蹤 基于區(qū)域

10、的跟蹤 基于輪廓的跟蹤 基于模型的跟蹤由簡到繁（采用上述的哪種方法來表示運動目標和不同的應用場合、運動目標的運動特性、以及對跟蹤算法的精度要求等密切相關。）視頻目標跟蹤算法基于對比度分析基于匹配核方法運動檢測其它方法特征匹配貝葉斯跟蹤Mean shift方法光流法“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）簡介“OpenCV2”的camshiftdemo核方法mean shift（均值漂移）簡介核方法mean shift（均值漂移）簡介算法思想：Mean Shift 跟蹤算法反復不斷地把數(shù)據(jù)點朝向數(shù)據(jù)質(zhì)心方向移動，最終收斂到某個概率密度函數(shù)的極值點。在Me

11、an Shift 跟蹤算法中，采用彩色直方圖作為匹配特征，采用相似度函數(shù)用于刻畫目標模板和候選區(qū)域所對應的兩個核函數(shù)直方圖的相似性， 用Bhattacharyya 系數(shù)描述相似性。因此，這種方法將跟蹤問題轉(zhuǎn)化為模式匹配問題。優(yōu)缺點：該方法可以避免目標形狀、外觀或運動的復雜建模，建立相似度的統(tǒng)計測量和連續(xù)優(yōu)化之間的聯(lián)系。但是，Mean Shift 算法不能用于旋轉(zhuǎn)和尺度運動的估計。直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心Mean Shift矢量目的：找出最密集的區(qū)域直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心Mean Shift矢量目的：找出最密集的區(qū)域直觀描述Distribution of ide

12、ntical billiard balls感興趣區(qū)域質(zhì)心Mean Shift矢量Objective : Find the densest region直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心Mean Shift矢量目的：找出最密集的區(qū)域直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心Mean Shift矢量目的：找出最密集的區(qū)域直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心Mean Shift矢量目的：找出最密集的區(qū)域直觀描述完全相同的桌球分布感興趣區(qū)域質(zhì)心目的：找出最密集的區(qū)域Mean-Shift物體跟蹤當前幀Mean-Shift 物體跟蹤目標表示選擇一個特征空間在當前幀選取一個合適的模板Mean-Shift 物體跟蹤目標定位在下一幀模板附近的區(qū)域進行搜索從當前幀模板的位置開始通過算法找到最佳