1、實(shí)踐報(bào)告人體識(shí)別智能監(jiān)控系統(tǒng)提綱項(xiàng)目簡(jiǎn)介發(fā)展前景心得體會(huì)困難和挑戰(zhàn)完成情況及成果系統(tǒng)模塊分解項(xiàng) 目 簡(jiǎn) 介 智能視頻監(jiān)控是在當(dāng)今計(jì)算機(jī)視覺(jué)領(lǐng)域中較為熱門(mén)的一個(gè)主題. 它可廣泛應(yīng)用于安全敏感的單位，如機(jī)場(chǎng)、博物館和各種軍政單位。 該項(xiàng)目實(shí)現(xiàn)了一套具有人體識(shí)別功能的智能監(jiān)控系統(tǒng)，它應(yīng)該具有以下主要功能： 基本的視頻設(shè)置、監(jiān)控功能 目標(biāo)自動(dòng)跟蹤和識(shí)別功能 自定義報(bào)警閾值和條件 智能存儲(chǔ)系統(tǒng)實(shí)現(xiàn)的主要功能 在軟件提供的用戶(hù)界面里，能夠?qū)崟r(shí)解碼12路MPEG-1圖像并顯示，能夠調(diào)節(jié)圖像亮度、對(duì)比度和色度。能夠進(jìn)行實(shí)時(shí)視頻壓縮存儲(chǔ)，能夠進(jìn)行音頻狀態(tài)設(shè)置。 能夠進(jìn)行運(yùn)動(dòng)檢測(cè)并報(bào)警，并可以設(shè)定運(yùn)動(dòng)報(bào)警的閾值

2、能夠在靜止背景或者光照度穩(wěn)定、充足的條件下進(jìn)行運(yùn)動(dòng)物體的坐標(biāo)跟蹤和人體識(shí)別，即可以區(qū)分人體和其他運(yùn)動(dòng)物體。 實(shí)現(xiàn)了智能視頻摘要存儲(chǔ)。提綱項(xiàng)目簡(jiǎn)介發(fā)展前景心得體會(huì)困難和挑戰(zhàn)完成情況及成果系統(tǒng)模塊分解項(xiàng)目成果 可執(zhí)行程序HRMS.exe 開(kāi)發(fā)了兩個(gè)版本，HRMS V1.0和HRMS V1.01. 其中HRMS V1.01增加了語(yǔ)音報(bào)警和日志功能 發(fā)表論文兩篇一種基于掃描線(xiàn)的邊緣特征檢測(cè)算法 一種基于HIS模型的彩色圖像背景減除快速算法 為國(guó)騰通信(集團(tuán))有限公司設(shè)計(jì)了遠(yuǎn)程視頻智能監(jiān)控系統(tǒng)設(shè)計(jì)方案書(shū) 和 遠(yuǎn)程視頻監(jiān)控系統(tǒng)可行性報(bào)告 為863軟件專(zhuān)家小組做了項(xiàng)目專(zhuān)題報(bào)告，也作為本次創(chuàng)新工程優(yōu)秀項(xiàng)目之一

3、參與了企業(yè)評(píng)選、合作活動(dòng)提綱項(xiàng)目簡(jiǎn)介 發(fā)展前景心得體會(huì)困難和挑戰(zhàn)完成情況及成果系統(tǒng)模塊分解 系統(tǒng)主要分為四個(gè)功能模塊:基本視頻監(jiān)視模塊、圖象處理模塊、運(yùn)動(dòng)檢測(cè)識(shí)別模塊、存儲(chǔ)回放模塊。系統(tǒng)總體框圖如下所示：控制器視頻信號(hào)處理顯示器運(yùn)動(dòng)檢測(cè)識(shí)別閾值設(shè)定智能存儲(chǔ)存儲(chǔ)控制報(bào)警指示跟蹤轉(zhuǎn)臺(tái)攝像頭環(huán)形緩沖區(qū)基本視頻監(jiān)視模塊 該模塊實(shí)現(xiàn)基本的視頻監(jiān)控功能，即產(chǎn)生智能識(shí)別所需要的視頻流。它包含以下幾個(gè)部分： 視頻屬性設(shè)置 監(jiān)控區(qū)域設(shè)定 視頻顯示選擇 音頻狀態(tài)設(shè)置運(yùn)動(dòng)檢測(cè)識(shí)別模塊 運(yùn)動(dòng)檢測(cè)識(shí)別模塊包含三個(gè)漸進(jìn)的過(guò)程 ：運(yùn)動(dòng)檢測(cè)、運(yùn)動(dòng)物體跟蹤、運(yùn)動(dòng)物體識(shí)別（還有活動(dòng)行為描述,但是本項(xiàng)目尚未涉及） 。 運(yùn)動(dòng)檢測(cè) 它

4、負(fù)責(zé)檢測(cè)是否有運(yùn)動(dòng)發(fā)生。這里的運(yùn)動(dòng)指目標(biāo)出現(xiàn)或移動(dòng)。可有兩種實(shí)現(xiàn)方法。基于視頻幀圖象的變化分析 基于壓縮碼流的分析 運(yùn)動(dòng)物體跟蹤 在判斷了物體運(yùn)動(dòng)方向后, 它發(fā)信號(hào)給云臺(tái)控制器，自動(dòng)調(diào)整攝像頭, 跟蹤運(yùn)動(dòng)目標(biāo). 目前，我們考慮的主要實(shí)現(xiàn)方法有兩種： 對(duì)比度跟蹤 圖象相關(guān)跟蹤即圖象匹配 運(yùn)動(dòng)物體識(shí)別 綜合以上信息，系統(tǒng)將能識(shí)別出人和其他物體，并根據(jù)跟蹤判斷的結(jié)果，觸發(fā)報(bào)警裝置。同時(shí)，控制存儲(chǔ)模塊進(jìn)行摘要存儲(chǔ)和寫(xiě)入日志。人體識(shí)別的常用方法有： 影子模式的投影直方圖技術(shù) 基于時(shí)空信息的累加和技術(shù) 基于邊緣檢測(cè)的幾何模型技術(shù) 存儲(chǔ)回放模塊 存儲(chǔ)回放模塊利用了視頻摘要存儲(chǔ)的技術(shù).其基本思想是通過(guò)運(yùn)動(dòng)檢測(cè)

5、來(lái)控制視頻數(shù)據(jù)的存儲(chǔ)。運(yùn)動(dòng)檢測(cè)識(shí)別算法可以控制存儲(chǔ)動(dòng)作，從而大大提供了存盤(pán)效率，有效地節(jié)省了存儲(chǔ)空間, 也使得監(jiān)控員在審核和瀏覽以往的錄像資料時(shí)更加方便、快捷。模塊流程圖如下：是設(shè)置檢測(cè)區(qū)域獲取壓縮視頻流存入緩沖區(qū)運(yùn)動(dòng)條件滿(mǎn)足存盤(pán) 運(yùn)動(dòng)結(jié)束檢測(cè)控制信號(hào)否否是圖象處理模塊 這是一個(gè)獨(dú)立的模塊。它完成圖象處理的各種算法，當(dāng)然可以根據(jù)系統(tǒng)實(shí)際需求進(jìn)行增減。并在此基礎(chǔ)上，應(yīng)用到本系統(tǒng)中來(lái)，對(duì)從視頻流中捕獲的位圖進(jìn)行處理。具體地，我們的系統(tǒng)中完成了以下圖象處理算法： 高斯濾波去噪 拉普拉斯算子的圖象增強(qiáng) 圖象分割和邊緣輪廓線(xiàn)提取 灰度化和32位色轉(zhuǎn)256位色 平均時(shí)間圖象背景減除算法 膚色模型建模和檢測(cè)

6、算法 基于7*7窗口的全局搜索圖象匹配算法系統(tǒng)初始化，各參數(shù)調(diào)節(jié)捕獲穩(wěn)定后的背景位圖并存儲(chǔ)判斷監(jiān)控區(qū)域是否有運(yùn)動(dòng)啟動(dòng)智能跟蹤識(shí)別線(xiàn)程啟動(dòng)視頻壓縮存儲(chǔ)捕獲運(yùn)動(dòng)位圖放入共享環(huán)形緩沖區(qū)判斷運(yùn)動(dòng)是否消除或恢復(fù)靜止背景取得運(yùn)動(dòng)坐標(biāo)進(jìn)行物體跟蹤通知子線(xiàn)程終止檢測(cè)寫(xiě)系統(tǒng)日志，恢復(fù)系統(tǒng)狀態(tài)否是緩沖區(qū)指針P加1等待緩沖區(qū)有效取回緩沖區(qū)中的位圖，并使P1加一計(jì)算周長(zhǎng)2/面積能否成功進(jìn)行邊界跟蹤發(fā)出人體入侵預(yù)警是否屬于正常人體范圍發(fā)出人體入侵報(bào)警并將人體臉部信息寫(xiě)入日志能否檢測(cè)到人體臉部及膚色特征發(fā)出異常報(bào)警初始化子線(xiàn)程共享緩沖區(qū)指針P1P1P？否否否是是是否是系統(tǒng)總體處理流程提綱項(xiàng)目簡(jiǎn)介發(fā)展前景心得體會(huì)困難和挑戰(zhàn)

7、完成情況及成果系統(tǒng)模塊分解解決的關(guān)鍵技術(shù)問(wèn)題背景減除(運(yùn)動(dòng)目標(biāo)提取)難點(diǎn)：動(dòng)態(tài)場(chǎng)景的變化復(fù)雜，光照變化、背景混亂運(yùn)動(dòng)的干擾對(duì)算法影響極大解決：時(shí)間圖像統(tǒng)計(jì)建模和邊緣檢測(cè)相結(jié)合的算法。 時(shí)間圖像統(tǒng)計(jì)建模算法 利用最小、最大強(qiáng)度值和最大時(shí)間差分值為場(chǎng)景中每個(gè)像素進(jìn)行統(tǒng)計(jì)建模，并且進(jìn)行周期性地背景更新；用該模型可以區(qū)分出背景點(diǎn) 邊緣檢測(cè)算法用于定位運(yùn)動(dòng)目標(biāo)。 彩色圖像的邊緣檢測(cè)算法！參見(jiàn)論文一種基于HIS模型的彩色圖像背景減除快速算法解決的關(guān)鍵技術(shù)問(wèn)題(續(xù)) 采用二次曲線(xiàn)特征算法解決了物體邊緣特征識(shí)別問(wèn)題參見(jiàn)論文一種基于掃描線(xiàn)的邊緣特征檢測(cè)算法 在對(duì)特定人種進(jìn)行膚色建摸的基礎(chǔ)上，解決了人體臉部特征判

8、定和提取問(wèn)題，為以后的面部識(shí)別打下了基礎(chǔ)原理：采用YUV空間的相位角 和YIQ空間的I分量作為特征，能夠聯(lián)合確定人臉膚色的色度信息分布范圍，由此建立人臉膚色模型。經(jīng)過(guò)多次實(shí)踐證明，如果p點(diǎn)同時(shí)滿(mǎn)足條件：1050= =1500和30= I =100，則p是膚色點(diǎn)解決的關(guān)鍵技術(shù)問(wèn)題(續(xù)) 解決了多線(xiàn)程協(xié)同工作和實(shí)時(shí)處理的問(wèn)題 解決了位圖字節(jié)流和MFC中的位圖類(lèi)(CDib)的相互轉(zhuǎn)換問(wèn)題問(wèn)題及原因 運(yùn)動(dòng)物體跟蹤只能在攝像頭所拍攝的區(qū)域內(nèi)進(jìn)行，而不能按照預(yù)先設(shè)定的那樣進(jìn)行攝像頭實(shí)時(shí)轉(zhuǎn)動(dòng)跟蹤。 原因：由于項(xiàng)目資金的短缺，使得我們不可能購(gòu)買(mǎi)一整套完整的監(jiān)控設(shè)備。項(xiàng)目開(kāi)發(fā)所需的監(jiān)控設(shè)備是從電子科技大學(xué)英特爾

9、互聯(lián)網(wǎng)交換架構(gòu)實(shí)驗(yàn)室借得，缺乏必要的硬件說(shuō)明書(shū)和開(kāi)發(fā)指南，這造成了我們開(kāi)發(fā)小組不能控制云臺(tái)的轉(zhuǎn)動(dòng)，從而不能對(duì)運(yùn)動(dòng)物體進(jìn)行攝像頭跟蹤。 問(wèn)題及原因（續(xù)） 在人體識(shí)別上，由于時(shí)間和開(kāi)發(fā)經(jīng)費(fèi)的限制，使得我們沒(méi)能很好地解決在各種姿態(tài)下的人體識(shí)別問(wèn)題。只能識(shí)別正常步態(tài)和行為的運(yùn)動(dòng)人體。事實(shí)上，國(guó)內(nèi)外的同行都沒(méi)能很完美地解決這一問(wèn)題，對(duì)人體識(shí)別的研究仍處于不斷發(fā)展和進(jìn)步中。所以，我們項(xiàng)目組也愿意和希望以后能繼續(xù)有機(jī)會(huì)從事這一領(lǐng)域的深入研究。 問(wèn)題及原因（續(xù)） 子線(xiàn)程如何判斷中止條件？來(lái)自主線(xiàn)程的信號(hào)？或者本線(xiàn)程中的識(shí)別結(jié)果？ 速度和性能上的考慮 在實(shí)踐中，我們發(fā)現(xiàn)由子線(xiàn)程捕獲位圖的方法不能滿(mǎn)足實(shí)時(shí)的要求，

10、故改為由主線(xiàn)程實(shí)時(shí)捕獲位圖，存入緩沖區(qū)。主線(xiàn)程和子線(xiàn)程構(gòu)成一個(gè)消費(fèi)者和生產(chǎn)者問(wèn)題。 經(jīng)歷了一次人體入侵報(bào)警后，如果環(huán)境狀態(tài)因此發(fā)生了改變，如何讓系統(tǒng)回歸初始狀態(tài)？提綱項(xiàng)目簡(jiǎn)介發(fā)展前景心得體會(huì)困難和挑戰(zhàn)完成情況及成果系統(tǒng)模塊分解科研價(jià)值 人運(yùn)動(dòng)的視覺(jué)分析是近年來(lái)計(jì)算機(jī)視覺(jué)領(lǐng)域備受關(guān)注的前沿方向，屬于圖像分析和理解的范疇。從技術(shù)角度而言，人的運(yùn)動(dòng)分析的研究?jī)?nèi)容相當(dāng)豐富，主要涉及模式識(shí)別、圖像處理、計(jì)算機(jī)視覺(jué)、人工智能等學(xué)科知識(shí)；同時(shí)，動(dòng)態(tài)場(chǎng)景中運(yùn)動(dòng)的快速分割、人體的非剛性運(yùn)動(dòng)、人體自遮擋和目標(biāo)之間互遮擋的處理也為人的運(yùn)動(dòng)分析研究帶來(lái)了一定的挑戰(zhàn)。 智能監(jiān)控（Smart Surveillance）

11、智能監(jiān)控系統(tǒng)的需求主要來(lái)自對(duì)安全要去敏感的場(chǎng)合，如銀行、商店、停車(chē)場(chǎng)等。也可用在訪(fǎng)問(wèn)控制場(chǎng)合。在自動(dòng)售貨機(jī)、ATM機(jī)、交通管理、公共場(chǎng)所行人的擁擠狀態(tài)分析及商店中消費(fèi)者流量統(tǒng)計(jì)等方面也有著廣泛應(yīng)用 感知接口（Perceptual Interface） 在高級(jí)用戶(hù)接口應(yīng)用領(lǐng)域中，我們希望未來(lái)的機(jī)器象人一樣與我們更容易和便捷地交流。并可結(jié)合人的面部表情、身體姿態(tài)和手勢(shì)等與人進(jìn)行相應(yīng)地交流廣泛的應(yīng)用廣泛的應(yīng)用（續(xù)） 運(yùn)動(dòng)分析（Motion Analysis） 分割圖象中地人體部分并在圖像序列中跟蹤分析感興趣地關(guān)節(jié)運(yùn)動(dòng)，可以應(yīng)用在體育運(yùn)動(dòng)、舞蹈訓(xùn)練中。還可用在醫(yī)學(xué)步態(tài)分析中 虛擬現(xiàn)實(shí)（Virtual

12、Reality） 目前許多電腦游戲中人的形體、運(yùn)動(dòng)和行為交互的設(shè)計(jì)逼真性實(shí)際得益于物理空間中人的運(yùn)動(dòng)分析，包括人體模型和關(guān)節(jié)運(yùn)動(dòng)機(jī)制的獲取及姿勢(shì)的恢復(fù)等學(xué)術(shù)價(jià)值 1997年美國(guó)國(guó)防高級(jí)研究項(xiàng)目署設(shè)立以卡內(nèi)基梅隆大學(xué)為首、麻省理工學(xué)院等高校參與的視覺(jué)監(jiān)控重大項(xiàng)目VSAM，主要研究用于戰(zhàn)場(chǎng)及普通民用場(chǎng)景進(jìn)行監(jiān)控的自動(dòng)視頻理解技術(shù) 英國(guó)的雷丁大學(xué)已開(kāi)展了對(duì)車(chē)輛和行人的跟蹤及其交互作用識(shí)別的相關(guān)研究 國(guó)際一些權(quán)威期刊如IJCV、CVIU、PAMI、IVC等將人的運(yùn)動(dòng)分析研究作為主題內(nèi)容之一我們的目標(biāo)和方向適應(yīng)各種惡劣的環(huán)境。目前系統(tǒng)只支持室內(nèi)背景和穩(wěn)定的室外背景。下一步的目標(biāo)可以讓系統(tǒng)在各種環(huán)境，特別是大面積的噪聲污染下也可以正常使用實(shí)現(xiàn)多人的跟蹤，使其能夠識(shí)別各種姿勢(shì)下的人體，包括多個(gè)重疊和交叉人體在人體識(shí)別的基礎(chǔ)上，探討基于攝像機(jī)的面相辨別及手勢(shì)或步態(tài)等生物特征識(shí)別技術(shù)研究三維跟蹤和識(shí)別。對(duì)物體進(jìn)行3D重建，使其能夠精確測(cè)量運(yùn)動(dòng)物體的位置和大小提綱項(xiàng)