1、課程論丈步態識別學號：12426009班級：通估122:婪舒琦目錄搞要3 背景介紹4學習資二. 相關研克4三. 主題C算出丿53.1墓于筑圖糅型的動態特征提取63.2墓于整體的修態特征靈取 83.3 天另90、實瞼9五. 結果討論12六. 總結12七. 應用的景13'、技術難點及鮮決變徑148.1枝術難,6 148.2鮮決途後15九.參考丈故16學習資摘要步態識別是一科新興的生揚特征識別技術，旨疫通過人們走珞的婁態迸.行身份識別，與 其他的生場釵別枝術相比.步態識別具有非接紘遠距離和不彖易偽裝的優點。在相能視頻盂 技領城，比面像識別靈具優勢。對步態幟別的優缺6以及步東釵別所診及刊的運劫

2、分劉.特 征提取與選擇.核式識別算由進行了殊述，并對步態識別中存A的問題與未來的研克方向進 行了討論。關笙訶：生暢特征欽劇；鄉志很劇;特征圾取;運助分劉；場態時間規正學習資步態是指人們行走對的方式，這是一科復雜的行為特征。罪犯或許會給角己化裝，不讓 fl己身上的哪治一根毛發掉疫作親現場，但有揮東西他們是很難柱制的這就是走路的姿勢。 英國南妥普敢大學電子與計算機糸的馬丸尼克松放授的研丸顯示.人人都冇札然不同的走 珞婁勢，因為人們疫肌肉的力量.肌腿和苛骼長皮.骨粘溼皮.視覺的靈致程度、協調能力. 5、體重.重心.肌肉戎骨骼受根的程度、生理條件以及個人走瘩的”此格”上都存疫細徼 差異。對一個人來說，

3、要偽裝走跆類勢非常困難.不管罪犯是丟帶舟而具旬然地走向銀行出 納員還是從犯罪現場逃跑，他們的步態就可以讓他們空出馬腳。人類勺身很于進行步態幟別，疫一岌距青之外都有經瞼能鑼根據人的步態辨別出氣悉 的人。步態識別的輸入是一段行走的視頻國像序刃，因此其數據釆集與而像識別類似，具有 非佞犯性和可接受性。但是，由于序列圖像的數據量較大，因此步態積別的計算復雜性比較 壽，處理起來也比較困難。盡管生楊力學中對于步態進行了大量的研丸工作，駅于步態的身 份墨別的研兗工作卻是創創開妗。步態幟別主要提取的特征是人體每個關節的運劫。列目詢 為止，還沒有商業化的晟于步態的身份鑒別糸統。二、相關研究信息融合：感知融合是人

4、類感知外部世并的本能之一。人類可以非常勺然地運用這一能 力把來勺人體冬個感知森倉服耳皐凹肢的傳息圖像宗音味觸覺俎合起來并使用丸驗知識 去估計理解和識別周囲的環境以及正A發生的爭情。馳合理論正是對人類這一本能的棋仿旨 疫利用計算機技術對按時序莪得的多源觀測傳息在一走準則下加以勺動分析綜合以兜成所 常的決策和代計任務而遺行的信息戲理過程0信息翳合的晟本慮理就像人腦練今戍理傳息一樣丸分利用多源傳息通過對這些多源的觀測 傳息的合理支配和使用把多源傳息A杳間或肘間上的冗余或互補依煽禁種準則來進行俎合 以茨得認測對象的一致性鮮掙戎福述。按腮信息抽象的個層次可將傳息妙令分為3級C像素 級馳仝特征級融仝和決策

5、級妙合丿。 像素級馳今是在采集到的慮始數4®上遺行的馳合是慮始測報未經預處理之祈就進行的綜仝和分析是呆低屋次的馳令。學習資 特征級融今為于中間屋次它丸對慮始傳息遺行特征提取然后對特征傳息進行關聯處理 和殊合分析呆終用于n標枳別。一般來說燙取的持征信息應該是這一目標的丸分表示量 并且去除了一支的冗余信息。其優點是實現了可觀的信息莊縮冇利于實肘的目標識別。特征級馳今算法的一般流程如團1所示。同 L物HH特征“監督分類目標識別一:天聯n0HUU圖1苗征級馳仝算法一般流程 決策級融金是一科高屋次妙令。丸將多港傳薦信息對目標厲性進行衣立決策。再對各il得到的決策結果進行妙合以莪得整體一孜的決策

6、。其優點赴具冇很強的彖錯性和很好的開放性。幷且處理對間較怨）難點疫于分類特征組仝與表達的機理難以量化和疣一圖2 給出了決策級融合算比的一般減程。決策級砂合必須從具體決策的賣際需求出發。充分 利用特征級融仝所提取的測量對象的冬類特征信息。采用適生的融合技術來賣觀。常用的方法包據k/n :隹則.Bayes準則和Dempster-Shafer理論等。同事物特征提取f決弟f f決策ff將征提取特征提取f決第f圖2決策級妙令算比一般澆程三、圭題C算出丿傳息融合在共他生楊特征識別領域已經取得了很好的敢栗。也為步態識別性能的進一步 靈壽提供了可能的方出。疫步態釵別領城中。常釆用特征級融合和決策級馳仝兩類方出

7、。馳 合的特征包括不同類的步態特征（多特征馳合）.步態苗征和其他生楊特征（多核態椅征馳仝） 以及不同角皮攝像機柏攝的步態箱征（多視角融合）尋。在決策級融合中。通常假設冬個特征 之間具備統計獨立性。別冬個分類森得到的區配分值可用Bayes理論D-S證據理論.表決出.學習資聚類分析.樣板出.棋糊集合論.神經阿絡.焙比尋進行金并。通常後用的合并規則冇加出 規則.乘法規刪呆丸規則.釆小規則.中值規則和多數投票規則尋。為了進一步研丸妙金理論疫步態識別中的應用。我們靈出一科基于線國棋型和錚態特征 的步態幟別算出.靜態椅征主要用于反映人體目標的全貌。例如形體壽度辭痩尋。線圖旅空 主要用于反映人體目標的運動特

8、點。如行走過程中主要關節Alii的雯化(肢體間角度的支 化等.本丈分別研克了使用特征級和決策級妙合'加比規則和乘法規刪理論進行步態識別的 方出.算法流程如圖3圖4所示。在視頻序刃分析中。首丸要將運動目標從背景圖像中分制出來.通過背景減除二值化及 陰彩請除后。可以得刊步態序刃中每幀圖像的單連通人體運動區城.為了去除圖像中存在的 大量冗余信息并減小計算foil-步使用圖像樓核化枝術將目標編放刊固主大小的團像核板中(見國6 fa；)步態的績態和動態特征都是從二值化側彩的目標按板中靈取的。® 3特征級融合策咯克程圖圖4決策級妙令策咯流程國3.1基于線圖模型的動態特征提取首丸軸取出二值

9、側彩團像的苛架傳息。然后抿據該骨架信息和鮮別學知識共同得列冬個 關節點的住置及相互間形成的角皮。親后使用這些佞更和角度信息形成步態的動態特征.算 法的具體步躱如下：步驟1利用因像戎理技術中的中牡雯換方法提取二值側彩國像的苛殺圖.它是一種可適支 換。阮能壓編圖像傳息。又能由中軸及其數值恢復慮圖像、提取方法如下：1) D農示慮圖區威中像素6的集合Q (D)表示其邊.邪Eu(D)表示其外邊.界上(D)儀承區域D 及其8連通區域的所有像素點.令Dm=D學習資2）一步細化之居得列的結果區域如下：D喚=S（DQU% - E,（九）u竝（S（久d ）n D（tld3）如果Dn“=°"d，

10、終止迭代，跳轉列笫4）步杏則，令9“d =9葉，并跳轉到笫2丿步。4）D喚即為所求區城的骨架像素的集仝。步駿2根據解劉學中人體冬部分肢體占身爲的比例關糸。來提取人體的關節點住逍、即對人 體脅架進行扣福。扣描線與人體苛架的交又點即為關節點的住置.這樣可以得列人體的8 個關節A:hcad * y headneck' neck sliouldwr9 shoulder ' pelvis5）聞嘯）9（“'加恥kneel kneel 3 kneel 9anklel，ankle!）* ankell，y ankle!） 連接這8個關節點，得列人體的脅骼化糅型，圖5示出簡化的人體比例關糸

11、。圖5簡化的人體比例關糸圖步驟3進一步計算出骨骼化樓型中冬部分肢體所形成的角皮.這里取肢體與豎直線的角皮） 這7個角度分別包據。0hea（i, &M儀，back，&th儀h 1，Qhifth 2»xhinl，Qhin 2 »人體亍架及苛骼化娠黑' 以及肢體夾角示意圖如團6所示。令（勺，兒）和（* X）分別為肢體而羯的關節點所心伐 L 則肢體夾角計算如下:& = awtan、一"（2）X 一 Jo學習資和圧""龍tB 3""池出圖6人體骨需及苛骼化棧世步驟4確岌步態洪數）通過上述討論，可以看出點

12、骨骼化模型中一共有23維煤數特征.關節 點住置2*8=16維，肢體角度7維。關節點住置中的x值通常是固災不雯的、為了簡化運算. 可以將其去除.需下關節點的y值信息及肢體角度信息共同構成15維參救特程的步態樓式J 進一步.為了請除空間尺度不同帶來的彩響.需要桿這些參數特征歸一化到區間tt/2,3tt/2 中。3.2基于整體的普志特征提取側彩的寬度和爲度信息是決岌目標形狀的兩個重要因素，寬度代儀了運劫目標的鮮疫程 2 高度則代表了運動目標的身離）身壽和辭疫是人類視覺糸統進行身份識別的主要依據之 一.但是這兩個參數常常隨著攝像機柏攝距離的變化而雯化）例如.同揮焦距下.一個離個 孑目標由于柏扱距富較遠

13、會顯得比近處的綾個子目標還要換小）寬度所代表的鮮疫信息也是 如此）因此.它們都不可以單獨作為形體特征來進行步態識別）為了請徐這種謀差.本丈算出W釆用了側彩的伸長度作為墓于整體的形態箱征.即：E = （3）式中W代農側H彩的寬度,H代哀側彩的離度。皺而.伸長度中的徐法運算常常會諂徐掉一些有用的信息.例如一個柏攝距窗軼遠的又 爲又胖的人可能會和一個柏扱距離較近的又換又疫的人犧冇同揮的伸長度.因此單獨使用仲 長度很難將目標區分開來）為了克服上述抉點.又引入了空間度苗 征：S =：/（，_/）,P（i,j） e （0,1）（4）空間度代 U 側彩目標中祈景像素的數目。同樣.兩科靜態參斂特征也需要進行幅

14、度上的歸一化運算。學習資3-3識別本算法采用K近鄰分類森進行核無分類）由于步態散據具冇周期性）循環性的特征.因此 相似性度量采用圧于周期的方法.具體步驟如下：1）令訓練序刃為Xk=Xr，Xr.2，,X&.N ,測試序列為Xp=XpA,XpXp.,NsAr和叫 分別痕示兩序列的幀如Xj j表斥笫i個序刃中的笫j個特征矣量。2）對任克一個序刃X =XpX2V., XjV）計算出它的步態周期n（n<N）是它的幀救，并桿其分 成N/n個子序刃.其中，笫k個子序列可4示為X （k） = X&+1, Xz，X亦。3）對于測忒集中的笫K個子序刃和訓練集中任盤以L為起妗輪的子序刃計算它們

15、之間的距冑: 心 Q = Y；Jx 宀-X 爲|（4）4）得刊 整個測忒序刃和訓練序列之間的相似 度:Sim（X“Xg） = l f 工二mlnSEx用必）（/） （5）式中 K=m/Np。I 為訓練樣 本序刃中和測洪眸本子序刃進行比較的起妗輪l=0,1,.,n-/Vg o相彼度Sim的值越九說期 而個序刃越相妝。我們分別對僅駅于整體形狀特征的算法）僅墓于動態旅型苗征的算比）坯征級融合算比 以及運用了加出和乘法規則的決策級融仝算出進行了實瞼和比較C見圖7圖10丿實臉數據 采用了來勺于卡時基梅隆大學的CMU jk據庫。該數據庫包令25人.毎人6個視角4科走 爆姿勢。快走）慢走）上坡和抱球共24個

16、序列，毎個序刃340輪左右、重點測洪了步速對算 法的性能彩響。算比評價采用CMS和ROS曲線。為了便于進行評價（需要將數據庫中每個樣本序列按照 步態周期柝分為若干子序列.毎個快步走序刃丸約包含8個步態周期（每個慢步走序刃丸約 包含7個步態周期）（屛為毎人隨機抽取一個步態周期作為測式集（其余步態周期序刃作為訓 練罪（來進行步態識別。另外（為了測試算法對行走速度的牧疸性（本丈分別以快步走和慢步學習資走數據互為訓練和識別禪本、未柝分序列）迸.行了實瞼。算出幟別率采用5階CMS結杲的平均值。實驗結采如表1所列實驗洌練測洪基于形狀基于棧炎特征級決策級融.合算法編號樣本樣本特性特征融合算出加法規則乘法規則

17、25個剩余快走快走1步態步冬82.7427682.0684.887.31周期周期25個剩余慢走慢走2步態步態72.66476.13484.6782.6783.6周期周期25個25個3快走慢走39.279.282.483.276序列序列25個25個4慢走快走33.667.271.266.44&8序刊序列學習資料.510152025階次廠遊徐 iL.l.L.L；100908070605040302010 次、濟靈搭(a)實驗1識別性能的CMS曲線(b)實驗1校驗性能的ROC曲線圖7實瞼1,(CMU數據庫.Train:fast;lest:fast)的識別校瞼性能曲統100908060刃403

18、020100。 衣、*寶轉Bee;:i;III1J* * *9: 1111-斗t£茨令及策枚毆合如弦規刈)107060/%轟40示309(1(a)實驗2識別性能的CMS曲線(b)實驗2校驗性能的ROC曲線圖8賣瞼2(CMU數據4，Train:slov/;lest:slow)的識別校瞼性能曲線 °07060*50*40301010090801015階次202510090807060504030201000 10 20 30 40 50 60 70 «0 90 100示警率/%(a)實驗3識別性能的CMS曲線(h)實驗3校驗性能的ROC曲線圖9實瞼3(CMU數據庫，T

19、rain:fast;7est:slow)的釵別校瞼性能曲線學習資 僅決JEQ皺飲加汝現則） 決竇圾甌令（兎法規也）9080706050<4030(2010OO2015次階10示警率/%9080706050403020mu叢、？k割卑25（a）實驗4識別性能的CMS曲線 （b）實臉4校驗性能的R（）C曲線圖10實驗4（CMU jk據庫，Train:slov/;7est:fast）的識別校驗性能曲統五、佶果討論1）融合算比確實比單一箱征算比的幟別率冇所提為。2）對于相同步速的賣驗來說（使用決策級馳仝算法結果更好（而且乘法規則期顯優于加法規 則。3）對于不同步速的賣撿（僅晟于形狀的步態特征識別

20、率下陣呆多（疑于橈童的算出識別率支 化不丸（可見形狀苗征對步送變化不具冇魯棒性。4）特征級馳金算比在步速變化的實瞼中得刊了呆好的幟別結果（說期決策級翳合算出性能的 靈離靈彖易受特征算出識別結果的彩響。氏、總結步態識別的標準數據庫以及算出統一評價準則還沒有制定。目祈的數堀庫規核軼小且不 夠全而。一科步態識別方法在不同縱煽庫上的識別結果可能會不同，使用不同評價標:隹對毎 種算出進行評價所得刊的評價結果也是不同的，也不具冇可比性。基于1身數據量丸.計算 復雜的特點，不可能將所冇步態釵別算法A每個數堤庫上進行測試。所以，如何涼觀評估步 態識別算法的性能，是步態幟別的研丸難點，也是亟需解決的問題。彩響步

21、態諒別正確率的因索很多，如何釆取扣應的冊施丸服冬種因索的彩響.以達刊期 望的性能仍旻研丸的難點。學習資擁擠狀態下，運動目標的1這桔以及目標之間的互遮檔問題難于丈理。可以用統計的方 法從己有圖像信息中進行人體類勢.後置尋的估計和預測。另外，利用多換像機多視角跟瞧 柏攝來鮮決遮檔問題的方比也是很冇潛力的一科方出。隨舟對步態識別中融仝妓術靈灤入的研丸.如何選擇性能互補的特征.如何優化具有冗 余傳息的特征.如何采用不同雇次的馳合策咯來靈升算比性能也亟常進一步研丸。七、應用肯'素隨舟我們逐晰辺入散字射代，基于步態箱征的身份識別技術念加顯示出它的價值。對于 諸如軍爭駅地.停車場.機場、離檔社區等重

22、要場所，出于管理和安全的需要,人們必須知道 孩區城發生的爭件，并有效:隹確地識別人、快遠檢測戒脅并且提供不同人員的進入權限級別， 于是釆用親科苗定方出來監視該場景。特別是場景中的人，人臉、指紋和如朕尋生理特征幟 別不再it用，而步態識別作為有敗的行為特征，不常要任何交互性接竝就可以賣現遠距富情 況下的身份識別。英國國防爲級研克計劃署(DARPA)濟助的邊距離身份識別HID(Human卜 dentification at a Distance)計劃，其任務就是開發多娠 扎、丸(9的視免監拉技術以實現運距 富條件下的檢測.分類和識別，從而增強國陸、氏用尋場合免受恐怖裘擊的自動保護能力。 美國五角大

23、犢也正心擬岌釆用步態識別技術進行反恐。英國9 - 11恐怖菱擊以后，人們己經 克識列安全的臆弱性，目祈冬國都富度重視這揮一個問幾，即如何對國家重要安全部門和牧 威場所迸.行全天候.fi動、賣肘的運距青監柱和身份識別。而駅于步態特征的身份識別技術 就是鮮決這一問題的有效手段之一。雖然目詢步態識別技術的敗果還不盡如人如糸統的準 確率不侈壽，而且成本較壽，個這頊枝術有舟*好的應用術景。預計5年后，步態釵別機將賣 現商化。屆時，世并冬國均可享受到這一新世識別技術的好處,A冬國機場及其他重要場所 的出入d安裝這種機森，結成一無形的反恐叵阿，增強人類社會的安全度，構筑一個和讒.妥 全的人類家囲。在略床工作

24、中，對人體行走方式進行獄觀訶錄并對步行功能進行糸統評價，是康復評走 的求要組成部分。現賣中有很多疾病會引起步態變化，即產生走爆類態異常。為此可通過對 步行規律的研丸，分析人體脅骼、關節的三維空間定住以及生楊力李特性,;隹確評價人體冬部 佞在運動過瘦中的動態支化，從而掲示步態異常的病理慮因。步態評價也是神經病學.風謖 病學.舔形學和康復醫學A q常臨床賣戌中的重要方面。對患有神經糸統戎脅骼肌肉糸統疾學習資 病而可能影響行走能力的總者需要進行步態分析，以評仕患者是否存在異常步態以及步態異 常的性質和程度,從而為分析異常步態廉因和琳正異常步態.制主治療方親靈供必要的依據。 通過步態分析還可以理鮮步態

25、并常的怎本過程和機制，從而對力.關節角度和肌肉活動遺行 詳細分析，進而進行相關的醫學研丸。另外，步態幟別問題是人的運動分析的一個子問題，因而步態釵別問題的研兗成果冇可 能護展應用于鮮決計算機視覺領城里的其他問題，如區分不同的運動（走珞、跑步.打阿球的 擊球動作）.手語的鮮粹尋。入、技術堆點及解決遼徑步態識別是計算機視覺和錢式識別絞城一個非常新的研丸方向，近10年來，研丸者在這 方而取得了許多成績，但是要設計并實現一個賣用性強的步態識別糸統非常復雜并1L困難。 由于人的行走婁勢受冬科因素的彩響，A不同環境條件下行走婁勢冇戎多戎少的變化，因此 步態識別的計算較復雜，識別的準確度還不緲高。目術孩糸統

26、的準確率疫80 o90。，準確 性低于笫一代身份識別枝術。許多瘵觀因素的存品，給步態的浚終釵別帶來了困難，如何更準確地識別步態特征，是步 態幟別領城面臨的難題。然而，篋學研丸所確定的特征，或者因為特征本身沒有可重復性，或 者由于觀疼角度的限制和勺遽拾問題，并不迨于墓于計算機視覺的糸統去提取。從計算的角 度來看，從低質量和沒有標記的視頻序刃中對運動腸體進行跟琮和分劉的算比的不新確性導 致了所提取特征的不可素性，而由換像機灤度和角度不同度成的遺視的彩響使苗征提取工作 變得十分繁重。&勺技術難點復雜皆景的干擾：運動目標的有效檢測對于目標識別跟琮和行為理鮮等后期的處理是 非常重要的。步態序刃國

27、像是一個復雜.具冇非常壽維數的視覺棧式o圖像荻取過程中的不 確沱性，使得步態識別過程必然會受到各科外尿因素的干擾，從而使得復雜背景圖像中的n 標檢測非常困難。如何諂除復雜背景的彩響，準確提取運動人體的ti標特征， 成為步態特征提取以及后續處理的關鍵。釵別算法問題：目祈己有幾種常用的侯式分類森應用于步態識別，但是離且處于賣瞼研學習資 兗階段，沒有一種兜美無缺的算比。常見的方出冇呆近鄰(Nearestneighbor,NN)分類.人工 神絞阿絡(Artificial neural network,ANN)及隱馬金可夫棧童(Hidden markov model,HAAM) 尋，這些方法有許多弱點。

28、其中呆近鄰分類森是根據歐幾里得距窗對己知向量和待識別量進 行比對，該方出沒有探入艷握數握部包含的變化傳息，即：哪種散堀支化厲于同一個體部變化 信息引起的，哪科變化旻由于不同個體之間的差別凌成的。其次,呆近鄰分類枝術對于權求丸 小的分紀具有不可靠性，這疫步態釵別以及數據融合中是非常重要的因素。對步態數據遺行 簡單的融合也會嚴或彩響步態識別半。而人工神經冋絡和隱馬金可夫按禮的理論基礎是經典 統計學，釆用的是拝本數目竣于無窮大時的漸進理論。然而疫步態識別的實際研丸中，擇本救 q往往冇限，故這些亦理論上冇顯箸長處的分類方法在實際應用中卻可能不盡人意。另外，由 于這些算出本身存A的問幾，就會出現隨著樣本數的增多，釵別率會冇所下陣。這是因為，樣 本數量越丸，出錯的機會就越多；根據步態識別的特征來看，揮本散的增加導致箱征空間出現 擁捺現象，個體之間的差別就令編小。如何鮮決這個問題，一直困擾著許多研克者。環境因素干擾：影響步態識別的外界因素也很多。