#智能分析視頻監控系

統設

計方案2015-10目錄一、系統概述2二、系統優勢2三、應用場景3四、系統設計34。1概述34.2技術特點44。2.1技術概要44。2。2人臉抓拍技術44.2.3人臉識別技術64。3系統結構64。3.1系統組網64。4人像系統功能71人臉檢測抓拍7自動識別性別74。4。5圖像記錄防篡改功能7高清錄像功能8數據存儲功能84。4。8數據FTP傳輸與斷點續傳功能84。4。9遠程系統管理維護功能8五、后端管理平臺95。1系統框架95。2后端服務器簡介95.3客戶端功能介紹105。3。1功能架構105.3.2客戶端主要功能介紹105。3.2。1視頻播放105.3.2。2歷史視頻查詢圖片和事件信息顯示圖片和事件關聯視頻查詢115。3.2.5建立重要案事件視頻庫115.3。2.6黑名單布控報警115。3.2.7模糊圖像處理115。3。2。8系統設備狀態監測12六、系統應用12人臉抓拍應用12人像比對應用126。3條件檢索應用126。4視頻關聯人臉應用12黑名單布控應用12一、系統概述“人車抓拍卡口系統”的出現，使對車輛和人員的監控實現實時報警成為了可能，不但可以對車輛進行監控管理，而且同時對人員進行了有效監控管理，對于城市中心區域、城市城中村及中小城市的治安管理系統建設更具有現實作用和意義。同時該系統在機制上實現了無效數據的屏蔽從而可以有效地降低中心存儲的壓力，該系統的數據采集方式可以實現多級檢索,大大提高了系統的使用效率、節省了查詢時間、減少了警力的占用。該系統響應了公安部的要求，符合當前實際的需要，具有時效性及高科技的特點，減少了大系統建設的后顧之憂，必將在推廣后成為公共安全的得力助手，達到“科技強警”的目標.二、系統優勢1、視頻觸發，應用靈活、方便，不需要破路埋設線圈，系統建設簡單、維護方便。2、前端采用高清一體網絡攝像機作為圖像采集設備，成像質量高達300萬像素,圖片質量高.一臺高清攝像機可實現對車輛的抓拍、完成號牌識別、行人抓拍、視頻記錄.設備構成簡單，系統建設、應用簡便,工控機用作前端存儲。3、系統支持后期人臉比對擴展功能，可將前端抓拍人像與人像庫進行實時比對，當比對相似度達到一定閥值,則會自動報警。也支持遺留物檢測、固定物檢測等擴展功能。4、可以實現對重點區域同時提供高清的人像照片、車輛照片和有效高清視頻錄像，實現對重點區域的全天候、大范圍的管理要求，提高了管理水平，在一定程度上極大的制止了不法行為的發生，同時也為相關安全部門的調查取證創造了條件，為后期的案件處理提供可靠、有效的線索和依據。5、領先的車牌識別技術：準確率很高，車牌識別種類齊全，可準確識別車牌字體和車牌底色。6、系統操作簡便、人機界面友好，易于維護。7、多目標系統對地鐵出入口的廣場進行一個全局的監控和細節目標的檢測跟蹤。8、人群密度統計，對廣場區域人群密度進行分析統計，已4種顏色表示密度，但密度超過設定值，立即進行報警.三、應用場景目前本系統主要應用在以下幾個方面：■地鐵站、機場、車站、高速路收費站、城中村、小區等重要的出入口；■公路卡口點、社區、景區、工業園區、政府、軍隊等場所；四、系統設計概述系統是我司自主開發設計的新一代智能卡口系統，同時具有車輛監控管理和人員監控管理功能。它融合了多項專利技術,融合先進的計算機視覺技術、高清視頻圖像處理和神經網絡等關鍵技術于一體，結合網絡和自動控制技術,利用高清晰一體攝像機做檢測傳感器，對進入鏡頭的過往車輛、人員進行實時抓拍，攝像機內置軟件進行分析處理。它既可進行本地獨立工作，也可聯網組成一個強大的安防系統。同時結合多目標系統和人群密度統計分析系統，對廣場區域進行一個全覆蓋的監控以及對人群密度的分析統計。技術特點4。2.1技術概要＞系統結構簡潔，高度集成化，前端高清一體攝像機采集車輛、人臉圖片;攝像機內置軟件完成分析、識別，具有高度集成性,有效降低使用與維護成本。＞可針對性全捕獲機動車、人像，實現過往目標的全面管控。?夜間智能補光，白天無逆光，全天候清晰成像。＞號牌識別平均有效率,在車牌圖像滿足國標要求120像素一180像素的情況下,識別率可達到95%。?識別車牌大小范圍可達到70像素到250像素；識別車牌亮度、對比度動態范圍大。?人臉抓拍大小范圍可達到80像素到500像素。準確率高達92%。＞領先的傾斜車牌識別技術，支持識別車牌一定程度的傾斜，傾斜30°以內。＞系統具備高清錄像功能，錄像的幀率30Fps/秒.4。2.2人臉抓拍技術人臉檢測是指對于任意一幅給定的圖像,采用一定的策略對其進行搜索以確定其中是否含有人臉，如果是則返回人臉的位置、大小和姿態。人臉抓拍的實現需要人臉檢測算法作為支撐,判斷圖像中是否存在人臉。這一項技術最初伴隨人臉識別的研究而逐步發展。人臉檢測是人臉識別智能系統中非常重要的一個環節,只有首先保證人臉抓拍圖像的高效率、高質量,才能在人臉識別系統中做好良好鋪墊。在其他領域也可以用來作為輔助手段，例如,公安機關案件偵查、監控系統輔助抓拍等。人臉檢測是一個復雜的具有挑戰性的模式檢測問題，其主要的難點有兩方面,一方面是由于人臉內在的變化所引起：＞人臉具有相當復雜的細節變化，不同的外貌如臉形、膚色等,不同的表情如眼、嘴的開與閉等；＞人臉的遮擋，如眼鏡、頭發和頭部飾物以及其他外部物體等；另外一方面由于外在條件變化所引起：＞由于成像角度的不同造成人臉的多姿態，如平面內旋轉、深度旋轉以及上下旋轉，其中深度旋轉影響較大；＞光照的影響，如圖像中的亮度、對比度的變化和陰影等.＞圖像的成像條件，如攝像設備的焦距、成像距離，圖像獲得的途徑等等。這些困難都為解決人臉問題造成了難度。如果能找到一些相關的算法并能在應用過程中達到實時，將為成功構造出具有實際應用價值的人臉檢測與跟蹤系統提供保證.國外對人臉檢測問題的研究很多，比較著名的有MIT,CMU等；國內的清華大學、中科院計算所和自動化所、南京理工大學、北京工業大學等都有人員從事人臉檢測相關的研究。而且，MPEG7標準組織已經建立了人臉識別草案小組，人臉檢測算法也是一項征集的內容。隨著人臉檢測研究的深入，國際上發表的有關論文數量也大幅度增長，如IEEE的FG、ICIP\CVPR等重要國際會議上每年都有大量關于人臉檢測的論文，占有關人臉研究論文的1/3之多。由此可以看到世界對人臉檢測技術的重視。人臉檢測算法種類較多,目前國內常用的人臉檢測算法，總的來說主要有子空間法（PCA、ICA）、神經網絡法、SVM、haar/hog/LBP+AdaBoost方法，并將該方法用于其他方面的檢測，比如多視角的人臉檢測,以上研究代表了目前人臉檢測研究的最高水平.但常用的這些算法主要包括檢測速率較慢以及魯棒性差易受環境變化而檢測效果較差等缺點,而難以很好的應用于實際的系統之中.目前，我們采用的是最新的檢測技術,歸一化像素差分法（NormalizedPixelDifference）或NPD，其特征公式如下：該方法特征描述相對簡單，計算復雜度也比其他算法低很多,在檢測效果以及檢測速度上是其他算法無法比及的。目前算法通過對大量正負樣本進行特征提取、機器學習而實現，對于實際應用場景中人臉偏轉角度小于30°以內的人臉都能準確快速的檢測，我們通過對200萬包含正負樣本的測試樣本集進行檢驗，其中FRR（漏檢率）可以達到0.01%（萬級別），FAR（誤檢率）可以達到0。001%（十萬級別），對于大小為640*480的圖片，檢測平均速度可以達到70ms，在國內處于頂尖水平。4.2.3人臉識別技術人臉識別，是基于人的臉部特征信息進行身份識別的一種生物識別技術。用攝像機或攝像頭采集含有人臉的圖像或視頻流，并自動在圖像中檢測和跟蹤人臉，進而對檢測到的人臉進行臉部的一系列相關技術,通常也叫做人像識別、面部識別。人臉與人體的其它生物特征（指紋、虹膜等）一樣與生俱來，它的唯一性和不易被復制的良好特性為身份鑒別提供了必要的前提，與其它類型的生物識別比較人臉識別具有如下特點:＞非強制性：用戶不需要專門配合人臉采集設備，幾乎可以在無意識的狀態下就可獲取人臉圖像，這樣的取樣方式沒有“強制性”；＞非接觸性：用戶不需要和設備直接接觸就能獲取人臉圖像；＞并發性:在實際應用場景下可以進行多個人臉的分揀、判斷及識別；＞除此之外，還符合視覺特性：“以貌識人”的特性，以及操作簡單、結果直觀、隱蔽性好等特點。人臉特征點提取是指對給定且已經對齊的人臉圖片自動的計算出經過抽象且帶有類別區分性以及類間區分性的特征。人臉特征的好壞是整個人臉識別中最重要因素.相似性計算是指計算數據庫中模板人臉與當前抓怕人臉的距離，取一定閾值的距離來作為判斷同一個人的依據.人臉對齊是指通過給定的人臉區域自動的計算出人眼睛，鼻子，嘴巴以及臉部輪廓的位置，計算出人臉偏轉的角度然后自動的把人臉矯正到正臉位置。人臉對齊的準確性是影響人臉比對成功率的一個重要因子。我們使用了基于深度學習的人臉識別算法,整個訓練集達到10萬人次總計800萬訓練樣本。在LFW人臉識別數據庫上，實現了99.2%以上國內頂尖的準確率。4。3系統結構4。3.1系統組網系統由前端信息采集抓拍子系統、網絡傳輸子系統和后端平臺組成。實現對通行車輛信息的采集、傳輸、處理、分析與集中管理，亦實現對過往行人的人像采集、處理、分析等。前端信息采集抓拍子系統前端攝像機實現對車輛、人像綜合信息的采集，包括車輛特征照片、車牌號碼與顏色、車身顏色、過往人像面部特征等。攝像機內置軟件完成圖片信息識別、據緩存以及網傳等功能。工控主機用作數據存儲。網絡傳輸子系統完成系統數據信息的傳輸與交換。可通過FTP方式將車輛圖片、人臉圖片、車輛行人通過信息（時間、地點、車牌號碼、車身顏色等）、設備監測數據等上傳到中心管理系統。后端平臺完成數據信息的接入、比對、記錄、分析與共享，亦可實現查詢統計功能.由服務器安裝平臺軟件模塊組成，包括:數據庫服務器、管理服務器、應用服務器、Web服務器和時鐘服務器，圖片通過視頻存儲服務器進行集中存儲。其中，數據庫服務器安裝數據庫軟件保存系統各類數據信息；管理服務器安裝管理模塊負責系統綜合管理；應用服務器安裝應用處理模塊負責數據處理、布控、比對、報警轉發、上下級通訊等；Web服務器安裝WebServer負責向B/S用戶提供訪問服務；時鐘服務器安裝GPS加NTP校時軟件負責全網設備統一校時。4.4人像系統功能4。4。1人臉檢測抓拍在人行通道出入口架設人臉抓拍一體化攝像機，前端攝像機對通過監測區域的過往行人會自動抓拍一張人像，并會通過自主制定的優選策略選擇角度最佳、圖像最清晰的人臉并且截取標準人像.同時人像信息會寫入關聯數據庫。人像抓拍準確率高達95%。4.4。4自動識別性別前端攝像機對通過監測區域的過往行人抓拍人像后,內置識別軟件可自動識別男女性別,并將識別結果通過網絡發送至后端平臺。4。4.5圖像記錄防篡改功能系統在前端攝像機對圖片進行水印加密，也就是從數據的源頭加密，防止在傳輸、存儲、處理等過程中被人為修改，斷絕了數據篡改的可能性。圖片通過網絡傳輸到中心管理服務器，中心管理軟件自動對每一張圖片進行水印驗證，以保證數據的安全性和真實性。4。4.6高清錄像功能系統在支持抓拍高分辨率圖片的同時，能實現24小時高清視頻錄像功能，分辨率不低于1920*1080。視頻和人像、車輛信息關聯,可以通過視頻檢索到人像和車輛圖片，也可以通過人像和車輛檢索到視頻。4.4。7數據存儲功能系統采集的車輛圖片、人臉圖片、高清錄像等數據支持前端存儲和中心集中存儲。前端存儲設備包括抓拍攝像機內置的SD卡和智能終端管理設備內置的大容量硬盤,系統在前端即可實現數據的備份存儲功能.中心存儲是將數據保存在位于后端中心的集中存儲系統，如大容量磁盤陣列等。4。4.8數據FTP傳輸與斷點續傳功能系統支持多種方式的數據傳輸:可通過FTP方式將車輛圖片、人臉圖片、車輛行人通過信息（時間、地點、車牌號碼、車身顏色等）、設備監測數據等上傳到中心管理系統；也可在中心通過網絡調用或下載操控前端設備存儲的數據.系統支持數據的斷點續傳：如因網絡中斷或其它故障，數據無法上傳至管理中心時,可暫時將數據存儲在前端，待網絡恢復后前端存儲設備自動上傳網絡中斷期間的數據至管理中心。4。4。9遠程系統管理維護功能系統具備故障自動檢測功能，能通過軟硬件自動檢測系統故障并恢復正常工作.具有斷電自動重啟動、自動偵錯報錯、自動監測主要設備和主要運行軟件的工作狀態等功能.系統具備權限管理功能,能夠對不同對象分配不同類型的使用權限。系統具備日志記錄功能。可記錄主要設備、網絡狀態和主要運行軟件的工作日志，還能記錄設備或者網絡狀態改變（重啟、或者重新連接）、主要軟件發生重啟或故障等事件日志。系統具有主動校時功能，24h內設備的計時誤差不超過1.0s。系統具備遠程維護及參數的設置等功能。五、后端管理平臺5。1系統框架后端管理平臺中心業務處理框架圖如下，數據從前端接收進來后分別由以下服務器進行處理，然后經由客戶端進行最終的操作：5.2后端服務器簡介1）視頻存儲服務器前端高清攝像碼流通過數字網絡傳輸，在視頻監控平臺軟件的管理下，直接傳輸至視頻網絡存儲服務器；視頻網絡存儲服務器內置第三方流媒體模塊和錄像模塊，實現前端攝像機的直寫錄像存儲模式。同時視頻網絡存儲服務器支持內置第三方回放模塊，可以接收瀏覽客戶端的回放指令并檢索歷史視頻，然后通過以太網絡發送給客戶端回放。2）數據接收服務器接收前端設備發送回來的車牌號碼、人像數據和圖片，保存到數據庫中。3）比對服務器當中心系統的數據接收服務器收到各個監控點發送回來的車輛車牌號碼及人像后，實時地將數據進行融合存入比對服務器中，自動進行比對報警。如果比對符合，則向客戶端發送報警信息。4）智能分析服務器實時視頻分析:系統前端視頻分析主機即可對多目標智能跟蹤系統前端設備采集的圖像進行智能分析,當某些監控點是普通監控設備，本系統后端管理平臺亦可支持對普通當中心系統的數據接收服務器收到各個監控點發送回來的數據后，實時地將數據進行融合存入智能分析服務器中，智能分析服務器會對監控數據進行分析,能自動分析出各種異常行為,包括非法闖入禁區檢測、異常奔跑檢測、非法逆行檢測、物品遺留檢測、行為驟變檢測、倒地檢測、打架斗毆、人群非法聚集等，如分析出行為類型，將會將結果向客戶端發出報警信息。回放視頻分析:系統支持對原始視頻進行濃縮,實現快速的錄像檢索回放。通過設置濃縮規則，智能分析如禁區入侵、通過絆線、人臉出現等行為，對原始視頻進行濃縮,并生成事件。滿足設定規則的視頻保留，沒有發生事件的視頻剔除。并支持視頻濃縮播放，對發生了制定規則事件的視頻正常播放，對沒有發生事件的視頻快速播放，具體的播放速度可以定制。5）客戶端顯示服務器傳回的數據處理結果，并進行操作.5。3客戶端功能介紹功能架構客戶端主要功能介紹2.1視頻播放系統支持播放前端傳回的實時視頻，也可支持回放任意時間段、任意地點的視頻。并可根據不同的檢索方式搜索視頻。可以按分類選擇只有車、只有人、有車又有人的方式查看視頻記錄2歷史視頻查詢系統支持查詢歷史視頻。可選擇歷史視頻對某一監控點視頻進行歷史視頻回放.首先選擇需要回放的攝像機，然后選擇回放時間段,該時間段不宜過長，最好時半小時以內，然后逐段視頻進行回放.點擊確定后，系統會把該時間段的時間片段全部取出.3圖片和事件信息顯示系統支持可根據圖片查詢到對應事件的信息，并在界面上顯示事件詳細信息，如事件發生地點、時間、事件類型等。通過此功能可快速提取關鍵圖片方便公安刑偵人員對對應事件進行查看，快速尋找案件線索。5。3.2.4圖片和事件關聯視頻查詢同時支持事件縮略圖瀏覽，點擊縮略圖,可查看對應時間的原始關聯圖片和關聯小段視頻。通過此功能可以有效較少冗余視頻，快速提取關鍵視頻方便公安刑偵人員對視頻進行回放,快速尋找案件線索。5。3.2。5建立重要案事件視頻庫監控圖像信息與案事件信息有機組織構成案事件管理業務,方便案事件信息與媒體信息、報警信息的對應關聯與檢索,為大情報分析、案事件等相關系統提供基礎資源以及組織方式。將與案件有關的重要案件視頻錄像和抓拍圖片和案件卷宗相關聯,統一集中存儲到公安案事件視頻庫中,案事件視頻資料來源于接警記錄、歷史案件視頻分析記錄，支持通過案件關鍵信息進行檢索和調閱，為公安各項警務工作提供輔助研判資源和工具。5。3。2。6黑名單布控報警系統可以手工錄入或導入黑名單數據進行布控，當中心系統的數據接收服務器收到前端發送回來的車輛車牌號碼及人像后,實時地將數據進行融合存入數據庫服務器中，與數據庫和重點人員人像庫搜索比對,若發現是黑名單車牌或嫌疑人，則向指定客戶端發送告警信息包，并聯動報警。真正做到嫌疑人與嫌疑車輛在城市里無立足之處。2。7模糊圖像處理使視頻偵查過程中細節特征更清晰，系統支持視頻圖像增強功能，可選擇突出或抑制圖像中的部分特征，通過低照度增強、