多生物特征融合識別

內容提要一、多特征融合的基本方法二、多特征融合的可行性分析三實驗方案與性能評價四下一步工作一多特征融合的基本方法1.1、研究背景隨著單生物特征（包括語音，人臉，指紋，虹膜和簽名等）識別技術的不斷成熟，人們開始將研究轉移到多特征融合上以進一步提高識別的精度和準確度。成為一個新興領域，它融合了多個學科的知識，近幾年已有不少學者致力于多特征融合的研究。一多特征融合的基本方法1.2、多特征融合的基本策略多特征融合技術的一個核心問題就是融合策略問題，即選擇在哪個層次級別上融合的問題。根據生物特征識別的基本方法，目前多特征融合在四個層次上進行。即數據層，特征層，匹配層和決策層。也有人將在較高層次融合的匹配層和決策層統稱為決策層融合。一多特征融合的基本方法1.2、多特征融合的處理流程圖（圖一所示）圖一二多特征融合的可行性分析2.1各層融合[1,2]的基本特點

數據層的融合:在生物特征樣本的采集中利用數據融合的方法，對采集的樣本進行評估以獲得更加有效(或者更加可信)的生物特征樣本。

特征層的融合:對來自不同源的多個生物特征樣本(不同種類、不同個體、不同采集器或者不同采集條件等等)分別提取特征;或者對單一的生物特征樣本利用不同的特征提取算法來獲取樣本的特征(全局的、局部的或者紋理的、細節的),然后利用數據融合的方法對這些特征進行處理，得到一個修正的、更加魯棒的特征模板。二多特征融合的可行性分析2.1各層融合的基本特點

決策層的融合:對采集層、特征層和匹配層的處理分別進行評估，然后利用數據融合的方法將評估結果在匹配層進行表達，使得各層的處理效果(有效性或者可靠性)在最后的匹配計算中得到體現，獲得更加客觀的識別結果。該層通常和匹配層的融合合并在一起稱之為決策層融合，對于簡單生物特征識別(或者稱之為單生物特征識別)來說，匹配層輸出的結果往往是單一的(相似度、匹配百分數、漢明距)某種距離的表達，然后根據一個確定的閾值，作出是與非的判別;但是對于多生物特征的識別來說，匹配輸出的結果往往是一個多維的向量，向量中的每一個成員都表示一個不同來源的匹配結果，決策層融合算法的研究目的就是在這樣的一個向量空間做類內和類間的劃分。目前在決策層融合技術[3]研究最多的就是基于貝葉斯網絡、基于D-S證據理論和基于神經網絡的融合算法。二多特征融合的可行性分析2.2生物特征的選取

在多特征融合方案中，根據不同的應用場合選取兩個或多個生物特征進行融合；此外，不同的生物特征識別率也存在著區別，這是多生物特征識別融合必須考慮的問題。考慮在遠距離視頻監控和目標識別應用場合中，選取較為易于獲取的生物特征進行融合將會獲得更好的識別效果。這些生物特征包括人臉、語音和步態。在前面開發的模式識別自主學習系統中，已經實現了人臉識別，語音識別和步態識別模塊，這也是進行多生物特征融合的基礎。

二多特征融合的可行性分析2.3融合策略分析（決策層的融合）

對于語音和人臉的融合，由于人臉識別和語音識別在單生物特征識別的條件下，已經獲得了較高的識別率，這時采取在較高層次的決策層融合比原始數據層次的融合效果更好。這個時候最簡單有效的是采用加權融合[4,5]的方法，融合流程如下：1、對于語音和人臉通道分別通過相應的識別器進行識別。人臉識別采用算法成熟且效率高的PCA方法，采用距離分類器進行類別判決，而語音采用GMM算法最后得到概率，通過概率大小進行判決。

二多特征融合的可行性分析2.3融合策略分析（決策層的融合）2、把距離和概率歸一化。由于每個模塊的匹配模型不一樣，輸出的匹配分數形式也不同，像后驗概率、距離等。必須把這些量綱進行歸一化，統一到【0，1】區間。對于人臉識別，假設有N個歐式距離值{dn}，n=1，2...N,根據最大最小歸一化方法，利用公式（一）得到每個對應模板的匹配分數score（i），i=1，2，…..N。

二多特征融合的可行性分析2.3融合策略分析（決策層的融合）

公式一匹配分數計算公式二多特征融合的可行性分析2.3融合策略分析（決策層的融合）生物特征識別在實際應用中主要有一對一的身份驗證和一對多的身份識別。在身份識別中，我們假設待識別樣本是數據庫中的其中一個，那么必然滿足

這時候的匹配分數可以看作測試樣本與模板數據庫中的每個樣本之間的相似度。同理可以對聲音和步態的識別結果使用類似的方法進行匹配結果歸一化，得到語音和步態的響應的匹配分數。二多特征融合的可行性分析2.3融合策略分析（決策層的融合）3、融合權重的分配。在得到人臉識別子系統和語音及步態的輸出匹配分數后，如何分配權重是整個融合系統的核心問題。這里存在兩個方面的權重分配問題：一、如何分配各個子系統所占的權重，即人臉識別子系統得到的匹配分數與語音和步態子系統得到的匹配分數哪個占的權重大些。二、如何分配每個子系統內部各個識別結果所占的權重。

二多特征融合的可行性分析2.3融合策略分析（決策層的融合）3、融合權重的分配。

這里權重的分配所遵循的原則是匹配分數大的所占權重越大，反而越小。加權后的測試樣本最終的匹配分數計算方法如公式（二）所示：公式（二）二多特征融合的可行性分析2.3融合策略分析（決策層的融合）3、融合權重的分配。在上面公式中，

表示聯合匹配分數，這個結果表征了待測樣本與模板之間的聯合相似度，相似度越高表示待測樣本屬于這個類的可能性越大，反之可能性越小。這里的關鍵問題是如何選取合適的策略來分配權重，即如何確定三個參數的值權重的選取遵循下面的原則：要能夠有效地對不同類別和同一類內不同模板之間進行很好的區分。二多特征融合的可行性分析2.3融合策略分析（決策層的融合）

4、融合系統權重的算法設計。一般來說，如果一個識別模型分類后排在第一的類別得到一個很高的匹配分數，而其他的類別匹配分數都相對比較低，那么我們認為這個識別系統的可靠性比較高，如果每個類別的匹配分數相差不大，那么系統的可靠性就比較低。根據這個原則，擬