人體行為識別概述第一頁，共三十四頁，編輯于2023年，星期六行為識別現狀VSAM(VisualSurveillanceandMonitoring)1997IVPL實驗室(TheImageandVideoProcessingLaboratory)AIRVL實驗室(ArtificialIntelligence，Robotics，andVisionLaboratory)LPAC實驗室(LaboratoryforPerception，ActionandCognition)KNIGHT系統ISCAPs(IntegratedSurveillanceofCrowdedAreasforPublicSecurity)REASON(RobustMethodsforMonitoringandUnderstandingPeopleinPublicspaces)CANTATA(ContentAwareNetworkedsystemsTowardsAdvancedandTailoredAssistance)中國科學院自動化所的生物識別與安全技術研究中心CBSR微軟亞洲研究院參考文獻：監控視頻中的人體異常行為檢測研究2第二頁，共三十四頁，編輯于2023年，星期六行為識別前景high-levelvideoindexingandretrieval“smart”videosurveillancesystems

自動檢測異常行為，輔助檢索一個特定的事件。Theanalysisofsportvideos

幫助教練進行戰略分析。識別不同的游泳風格。Handgesturerecognition

虛擬現實Human-ComputerInteraction(HCI)systems

kidsRoom、Smartroom、Facialaction用于分析精神病病人的情感行為。roboticsmedicalarea

輔助診斷病人的運動問題。另一個是對老年人提供遠程協助。參考文獻：ActionRecognitioninVideos:fromMotionCaptureLabstotheWeb3第三頁，共三十四頁，編輯于2023年，星期六行為識別的流程參考文獻：運動人體行為分析

視頻中的人體運動分析及其應用研究

目標的運動特征，可以用于運動表述，是行為理解等高層部分的基礎。常見的運動表述方法有：運動軌跡、時空圖表述和光流。4第四頁，共三十四頁，編輯于2023年，星期六行為識別的流程。5第五頁，共三十四頁，編輯于2023年，星期六目錄目標檢測01目標分類02特征提取04行為理解05目標跟蹤036第六頁，共三十四頁，編輯于2023年，星期六運動目標檢測參考文獻：視頻中的人體運動分析及其應用研究.nh

運動目標跟蹤算法研究綜述.pdf對于不依賴先驗知識的目標跟蹤來講，運動檢測是實現跟蹤的第一步運動檢測即為從序列圖像中將變化區域從背景圖像中提取出來。7第七頁，共三十四頁，編輯于2023年，星期六目標檢測——時間差分法在連續的圖像序列中兩幅或三幅相鄰幀之間采用基于像素的時間差分，并對差分結果進行閾值化處理以提取圖像中的前景運動區域。缺點：前景、背景區域的確定與閾值的選取有很大的關系當灰度圖像序列對比度較低時，由于相鄰兩幀的差(前景與背景之差)的范圍很小，閾值難以選取，影響前景目標的分割結果。區域灰度值變化較為平坦時，容易在人體二值圖像內產生空洞現象，給后續的目標分類、跟蹤和識別造成不便。優點：對于動態環境有較強的自適應性8第八頁，共三十四頁，編輯于2023年，星期六目標檢測——光流法基于光流法的運動檢測，是利用運動物體隨時間變化在圖像中表現的光流特性，通過計算位移向量光流場來提取運動目標。光流是空間運動物體在觀測成像面上對應像素運動的瞬時速度，是空間物體可見點的三維速度矢量在成像平面上的投影，它攜帶了豐富的運動和結構信息。優點：即使在攝像機運動的情況下也能檢測出獨立的運動目標。缺點：由于噪聲、多光源、陰影和遮擋等原因，計算出的光流場分布并不十分可靠和準確。多數光流法計算復雜、耗時，在實際的系統中沒有特殊的硬件支持時，很難實現實時檢測。9第九頁，共三十四頁，編輯于2023年，星期六目標檢測——背景減除法最常用且有效的是背景減除法。背景減除法最簡單的實現方法是預先選取不含前景運動目標的背景圖像，然后將當前圖像幀與背景圖像相減得到前景目標。背景減除法通常在攝像機固定的情況下使用，關鍵是建立隨場景變化不斷更新的背景模型。有兩類常用的背景更新方法:1、建立背景模型并采用自適應方法對模型參數進行調整，從而獲得新背景圖像;2、從過去的一組觀測圖像中按一定的假設選擇像素值構成當前背景圖像。10第十頁，共三十四頁，編輯于2023年，星期六目標分類參考文獻：視頻中的人體運動分析及其應用研究11第十一頁，共三十四頁，編輯于2023年，星期六人體描述參考文獻：HumanMotion:ModelingandRecognitionofActionsandInteractions

?12第十二頁，共三十四頁，編輯于2023年，星期六運動跟蹤參考文獻：運動目標跟蹤算法研究綜述運動目標的跟蹤，即通過目標的有效表達，在圖像序列中尋找與目標模板最相似候選目標區位置的過程。就是在序列圖像中為目標定位。范例13第十三頁，共三十四頁，編輯于2023年，星期六四種跟蹤方法的比較。14第十四頁，共三十四頁，編輯于2023年，星期六運動目標的特征參考文獻：自動目標識別與跟蹤技術研究綜述15第十五頁，共三十四頁，編輯于2023年，星期六運動表征。16第十六頁，共三十四頁，編輯于2023年，星期六行為識別人的行為理解與描述是指對人的運動模式進行分析和識別,并用自然語言等加以描述.可以簡單地認為是時變數據的分類問題，即將測試序列與預先標定的代表典型行為的參考序列進行匹配.行為理解的關鍵問題是如何從學習樣本中獲取參考行為序列,并且學習和匹配的行為序列能夠處理在相似的運動模式類別中空間和時間尺度上輕微的特征變化.17第十七頁，共三十四頁，編輯于2023年，星期六行為識別方法18第十八頁，共三十四頁，編輯于2023年，星期六基于模板匹配的方法首先將圖像序列轉換成一組靜態形狀模式然后在識別過程中用輸入圖像序列提取的特征與在訓練階段預先存儲的動作行為模板進行相似度比較，在比較數據可以有輕微變化下識別人體行為。M

H

V(MotionHistory

Volumes)19第十九頁，共三十四頁，編輯于2023年，星期六基于模板匹配的方法之DTWDTW（dynamictimewarping）——動態時間規整DTW是一種時變數據序列匹配方法DTW優點：概念簡單、算法魯棒，能夠對圖像序列進行分類。DTW缺點：算法計算量較大，缺乏考慮相鄰時序之間的動態特性，而在實際中，運動序列中相鄰序列在時間和空間上有高度的相關性。

20第二十頁，共三十四頁，編輯于2023年，星期六基于狀態空間的方法將圖像序列中的每個靜態姿勢或運動狀態作為一個狀態節點，這些狀態節點之間由給定的概率聯系起來。任何的動作序列可以認為是這些靜態動作在不同狀態節點中的一次遍歷過程，計算這個遍歷過程的聯合概率，取其最大值作為分類標準。基于狀態空間的方法已經被廣泛應用于預測、估計和檢測時間序列。21第二十一頁，共三十四頁，編輯于2023年，星期六基于狀態空間的方法——HMM隱馬爾可夫模型的基本結構22第二十二頁，共三十四頁，編輯于2023年，星期六基于狀態空間的方法——DBNs動態貝葉斯網絡(dynamicBayesiannetworks，DBNs)

由于HMMs不能有效處理三個或三個以上獨立的過程，作為HMMs的推廣方法。是一種對隨機過程描述的有向圖解利用先驗知識建立視覺特征之間的因果關系來處理視頻處理中固有的不確定性問題。優點：可以任意改變拓撲結果或增刪變量以反映變量間各種不同的關聯關系，而不影響訓練算法本身，因此具有良好的可解釋性，其拓撲結構具有精確及易于理解的概率語義。相比馬爾可夫鏈，貝葉斯網絡訓練比較復雜。23第二十三頁，共三十四頁，編輯于2023年，星期六基于狀態空間的方法——ANN人工神經網絡是由人工建立的以有向圖為拓撲結構的動態系統，它通過對連續或斷續的輸入作狀態響應而進行信息處理，在分析時變數據時具有很大的優勢。缺點：需要用大量的數據來訓練網絡TDNN(time-delayneuralnetwork)——時延神經網絡是在多層前饋感知器神經網絡模型中引入時延單元使得神經網絡增加記憶功能；時變序列的前述值被用來預測下一個值。由于大量數據集成為可能，時延神經網絡的重點就可以放在時分信息的表達這樣由此導出的神經網絡模型適合應用于處理序列數據。24第二十四頁，共三十四頁，編輯于2023年，星期六基于狀態空間的方法——SVM支持向量機(supportvectormachine，SVM)優點：能夠較好地解決常見的非線性分類問題中的小樣本、非線性、高維數和局部極小點等實際問題可以避免神經網絡結構選擇和局部極小點問題25第二十五頁，共三十四頁，編輯于2023年，星期六兩種方法比較模板匹配方法的優點是計算復雜度低、操作和實現簡單，但缺乏考慮運動序列中相鄰時序之間的動態特性，對于噪聲和運動時間間隔的變化相當敏感。狀態空間方法雖然能克服模板匹配的缺點，但通常涉及到復雜的迭代運算，算法的步驟較為復雜，難以應用到實際工作中。26第二十六頁，共三十四頁，編輯于2023年，星期六基于語義的描述方法用一種形式化的語法格式：主語（人）、謂語（人的動作）、賓語（實物），將場景中人的活動情況用填空的形式填入語法格式中，產生對場景的自然語言描述。基于語義描述的方法是對在一段持續時間內場景內容的分析過程目前還處于對場景中人體行為的簡單語義解釋對復雜場景中人體復雜行為有效的充分的語義描述還有相當艱巨的工作要做27第二十七頁，共三十四頁，編輯于2023年，星期六行為的分層模型常用的概念pose、actions、activitiesaction/motorprimitivesHumanactionrecognitionMotionanalysisActiondetectionAutomaticTargetRecognitionBehaviorunderstandingvisualanalysis28第二十八頁，共三十四頁，編輯于2023年，星期六行為識別難點運動分割（MotionSegmentation）人體建模遮擋問題多攝像機的使用運動特征選擇與表達行為識別高層行為與場景理解性能評估29第二十九頁，共三十四頁，編輯于2023年，星期六行為識別的熱點音頻與視覺相結合的多模態接口行為理解與生物特征識別相結合人的運動分析向行為理解與描述高層處理的轉變30第三十頁，共三十四頁，編輯于2023年，星期六常用數據庫KTHhumanmotiondatasetWeizmannhumanactiondatasetINRIAXMASmulti-viewdatasetUCFsportsactiondatasetHollywoodhumanactiondatasetCASIA31第三十一頁，共三十四頁，編輯于2023年，星期六頂級會議ICCV(IEEEInternationalConferenceOnComputerVision)ICPR(IEEEConferenceonComputerVisionandPatternRecognition)ECCV(EuropeanConferenceonComputerVision)IJCV(International30umalofComputerVision)PAMI(IEEETransactionsonPatternAnalysisandMachineIntelligence)IEEEInternationalWorkshopPerformanceEvaluationofTrackingandSurveillance每年還提供PETS數據庫用來評估智能監控系統的性能。智能視覺監控學術會議模式識別會議等參考文獻：監控視頻中的人體異常行為檢測研究32第三十二頁，共三十四頁，編輯于2023年，星期六參考文獻Asurveyofadvances