1、第七章第七章 多傳感器信息融合技術多傳感器信息融合技術u概概 述述u傳感器信息融合的分類和結構傳感器信息融合的分類和結構 u傳感器信息融合的一般方法傳感器信息融合的一般方法 u傳感器信息融合的實例傳感器信息融合的實例 第一節第一節 概概 述述 傳感器信息融合又稱數據融合，是對多種信息的獲傳感器信息融合又稱數據融合，是對多種信息的獲取、表示及其內在聯系進行綜合處理和優化的技術。傳取、表示及其內在聯系進行綜合處理和優化的技術。傳感器信息融合技術從多信息的視角進行處理及綜合，得感器信息融合技術從多信息的視角進行處理及綜合，得到各種信息的內在聯系和規律，從而剔除無用的和錯誤到各種信息的內在聯系和規律，

2、從而剔除無用的和錯誤的信息，保留正確的和有用的成分，最終實現信息的的信息，保留正確的和有用的成分，最終實現信息的優優化化。它也為智能信息處理技術的研究提供了新的觀念。它也為智能信息處理技術的研究提供了新的觀念。定義定義：將經過集成處理的多傳感器信息進行合成，形成將經過集成處理的多傳感器信息進行合成，形成一種對外部環境或被測對象某一特征的表達方式一種對外部環境或被測對象某一特征的表達方式。單一。單一傳感器只能獲得環境或被測對象的部分信息段，而多傳傳感器只能獲得環境或被測對象的部分信息段，而多傳感器信息經過融合后能夠完善地、準確地反映環境的特感器信息經過融合后能夠完善地、準確地反映環境的特征。經過

3、融合后的傳感器信息具有以下特征：征。經過融合后的傳感器信息具有以下特征：信息冗余信息冗余性、信息互補性、信息實時性、信息獲取的低成本性性、信息互補性、信息實時性、信息獲取的低成本性。一、概念一、概念二、意義及應用二、意義及應用信息融合技術的實現和發展以信息電子學的原理、方法、技術為基礎。信息融合系統要采用多種傳感器收集各種信息，包括聲、光、電、運動、視覺、觸覺、力覺以及語言文字等。信息融合技術中的分布式信息處理結構通過無線網絡無線網絡、有線網絡有線網絡，智能網絡智能網絡，寬帶智能綜合數字寬帶智能綜合數字網絡網絡等匯集信息，傳給融合中心進行融合。除了自然(物理)信息外，信息融合技術還融合社會類信

4、息，以語言文字為代表，涉及到大規模漢語資料庫、語言知識的獲取理論與方法、機器翻譯、自然語言解釋與處理技術等，信息融合采用分形分形、混沌混沌、模糊推理模糊推理、人工神經網絡人工神經網絡等數學和物理的理論及方法。它的發展方向是對非線性、復雜環境因素的不同性質的信息進行綜合、相關，從各個不同的角度去觀察、探測世界。1 1、在信息電子學領域、在信息電子學領域 2 2、在計算機科學領域、在計算機科學領域 在計算機科學中，目前正開展著并行數據庫并行數據庫、主動主動數據庫數據庫、多數據庫多數據庫的研究。信息融合要求系統能適應變化的外部世界，因此，空間、時間數據庫的概念應運而生，為數據融合提供了保障。空間意味

5、著不同種類的數據來自于不同的空間地點不同種類的數據來自于不同的空間地點，時間意味著數據庫能隨時間的變化適應客觀環境的相應變化數據庫能隨時間的變化適應客觀環境的相應變化。信息融合處理過程要求有相應的數據庫原理和結構，以便融合隨時間、空間變化了的數據。在信息融合的思想下，提出的空間、時間數據庫，是計算機科學的一個重要的研究方向。3 3、在自動化領域、在自動化領域以各種控制理論為基礎，信息融合技術采用模糊控制模糊控制、智能控制智能控制、進化計算進化計算等系統理論，結合生物、經濟、社會、軍事等領域的知識，進行定性、定量分析。按照人腦的功能和原理進行視覺、聽覺、觸覺、力覺、知覺、注意、記憶、學習和更高級

6、的認識過程，將空間、時間的信息進行融合，對數據和信息進行自動解釋，對環境和態勢給予判定。目前的控制技術，已從程序控制進入了建立在信息融合基礎上的智能控制。智能控制系統不僅用于軍事，還應用于工廠企業的生產過程控制和產供銷管理、城市建設規劃、道路交通管理、商業管理、金融管理與預測、地質礦產資源管理、環境監測與保護、糧食作物生長監測、災害性天氣預報及防治等涉及宏觀、微觀和社會的各行各業。 三、優點三、優點增加了系統的生存能力增加了系統的生存能力擴展了空間覆蓋范圍擴展了空間覆蓋范圍擴展了時間覆蓋范圍擴展了時間覆蓋范圍提高了可信度提高了可信度降低了信息的模糊度降低了信息的模糊度改善了探測性能改善了探測性

7、能提高了空間分辨率提高了空間分辨率增加了測量空間的維數增加了測量空間的維數第二節第二節 傳感器信息融合分類和結構傳感器信息融合分類和結構 1、組合組合：由多個傳感器組合成：由多個傳感器組合成平行平行或或互補方式互補方式來獲得多組數據輸來獲得多組數據輸出的一種處理方法，是一種最基本的方式，涉及的問題有輸出方式出的一種處理方法，是一種最基本的方式，涉及的問題有輸出方式的的協調協調、綜合綜合以及以及傳感器的選擇傳感器的選擇。在硬件這一級上應用。在硬件這一級上應用。2、綜合綜合：信息優化處理中的一種獲得明確信息的有效方法。：信息優化處理中的一種獲得明確信息的有效方法。例：在虛擬現實技術中，使用兩個分開

8、設置的攝像機同時拍攝到一例：在虛擬現實技術中，使用兩個分開設置的攝像機同時拍攝到一個物體的不同側面的兩幅圖像，綜合這兩幅圖像可以復原出一個準個物體的不同側面的兩幅圖像，綜合這兩幅圖像可以復原出一個準確的有立體感的物體的圖像。確的有立體感的物體的圖像。3、融合融合：當將傳感器數據組之間進行相關或將傳感器數據與系統：當將傳感器數據組之間進行相關或將傳感器數據與系統內部的知識模型進行相關，而產生信息的一個新的表達式。內部的知識模型進行相關，而產生信息的一個新的表達式。4、相關相關：通過處理傳感器信息獲得某些結果，不僅需要單項信息：通過處理傳感器信息獲得某些結果，不僅需要單項信息處理，而且需要通過相關

9、來進行處理，獲悉傳感器數據組之間的關處理，而且需要通過相關來進行處理，獲悉傳感器數據組之間的關系，從而得到正確信息，剔除無用和錯誤的信息。系，從而得到正確信息，剔除無用和錯誤的信息。相關處理的相關處理的目的目的：對識別、預測、學習和記憶等過程的信息進行綜：對識別、預測、學習和記憶等過程的信息進行綜合和優化。合和優化。一、傳感器信息融合分類一、傳感器信息融合分類二、信息融合的結構二、信息融合的結構信息融合的結構分為串聯和并聯兩種信息融合的結構分為串聯和并聯兩種 Sn S2 S1Y1Y2YnC1C2CnYSC1C2Cn(a) 串聯(b) 并聯C1，C2，Cn表示n個傳感器S1,S2,，Sn表示來自

10、各個傳感器信息融合中心的數據y1，y2，yn表示融合中心。 三、信息融合系統結構的實例三、信息融合系統結構的實例一種雷達測量的信息融合結構局部局部處理器處理器局部局部處理器處理器 外部邏輯外部邏輯中央中央處理器處理器傳感器信號傳感器信號先驗信息修正信息先驗信息修正信息傳感器故障檢測系統第三節第三節 傳感器信息融合的一般方傳感器信息融合的一般方法法 由多種傳感器所獲得的客觀環境(即被測對象)的多組數據就是客觀環境按照某種映射關系映射關系形成的像像，信息融合就是通過像求解原像像求解原像，即對客觀環境加以了解。用數學語言描述就是，所有傳感器的全部信息，也只能描述環境的某些方面的特征，而具有這些特征的

11、環境卻有很多，要使一組數據對應惟一的環境(即上述映射為一一映射)，就必須對映射的原像和映射本身加約束條件，使問題能有惟一的解。嵌入約束法最基本的方法：Bayes估計估計和卡爾曼濾波卡爾曼濾波嵌入約束法、證據組合法、人工神經網絡法嵌入約束法、證據組合法、人工神經網絡法 一、嵌入約束法一、嵌入約束法1.Bayes估計估計是融合靜態環境中多傳感器低層數據融合靜態環境中多傳感器低層數據的一種常用方法。其信息描述為概率分布，適用于具有可加高斯噪聲的不可加高斯噪聲的不確定性信息確定性信息。假定完成任務所需的有關環境的特征物用向量f表示，通過傳感器獲得的數據信息用向量d來表示，d和f都可看作是隨機向量。信息

12、融合的任務就是由數據d推導和估計環境f。假設p(f，d)為隨機向量f和d的聯合概率分布密度函數，則)()|()()|(),(fpdfpdpdfpdfpp(f|d)表示在已知d的條件下，f關于d的條件概率密度函數p(f|d)表示在已知f 的條件下，d關于f的條件概率密度函數p(d)和p(f)分別表示d和f的邊緣分布密度函數已知d時，要推斷f，只須掌握p(f|d)即可，即)(/ )()|()|(dpfpfdpdfp上式為概率論中的Bayes公式，是嵌入約束法的核心。信息融合通過數據信息數據信息d做出對環境f的推斷，即求解p(f|d)。由Bayes公式知，只須知道p(f|d)和p(f)即可。因為p(

13、d)可看作是使p(f|d)p(f)成為概率密度函數的歸一化常數，p(d|f)是在已知客觀環境變量f的情況下，傳感器得到的d關于f的條件密度。當環境情況和傳感器性能已知時，p(f|d)由決定環境和傳感器原理的物理規律完全確定。而p(f)可通過先驗知識先驗知識的獲取和積累，逐步漸近準確地得到，因此，一般總能對p(f)有較好的近似描述。在嵌入約束法中，反映客觀環境和傳感器性能與原理的各種約束條件主要體現在p(f|d) 中，而反映主觀經驗知識的各種約束條件主要體現在p(f)中。在傳感器信息融合的實際應用過程中，通常的情況是在某一時刻從多種傳感器得到一組數據信息d，由這一組數據給出當前環境的一個估計f。

14、因此,實際中應用較多的方法是尋找最大后驗估計g，即即最大后驗估計是在已知數據為d的條件下，使后驗概率密度p(f)取得最大值得點g，根據概率論，最大后驗估計g滿足當p(f)為均勻分布時，最大后驗估計g滿足 此時，最大后驗概率最大后驗概率也稱為極大似然估計。當傳感器組的觀測坐標一致時，可以用直接法對傳感器測量數據進行融合。在大多數情況下，多傳感器從不同的坐標框架對環境中同一物體進行描述，這時傳感器測量數據要以間接的方式采用Bayes估計進行數據融合。間接法要解決的問題是求出與多個傳感器讀數相一致的旋轉矩陣R和平移矢量H。）（）（dfpdgpf|max）（）（）（）（fpfdpgpdgpf|max）

15、（）（fdpfgpf|max在傳感器數據進行融合之前，必須確保測量數據代表在傳感器數據進行融合之前，必須確保測量數據代表同一實物，即要對傳感器測量進行一致性檢驗。常用同一實物，即要對傳感器測量進行一致性檢驗。常用以下距離公式來判斷傳感器測量信息的一致：以下距離公式來判斷傳感器測量信息的一致：式中式中x1和和x2為兩個傳感器測量信號，為兩個傳感器測量信號，C為與兩個傳感為與兩個傳感器相關聯的方差陣，當距離器相關聯的方差陣，當距離T小于某個閾值時，兩個小于某個閾值時，兩個傳感器測量值具有一致性。這種方法的實質是剔除傳感器測量值具有一致性。這種方法的實質是剔除處于誤差狀態的傳感器信息而保留處于誤差狀

16、態的傳感器信息而保留“一致傳感器一致傳感器”數據計算融合值。數據計算融合值。 21121)(21xxCxxTT2.卡爾曼濾波卡爾曼濾波(KF)用于實時融合動態的低層次冗余傳感器數據實時融合動態的低層次冗余傳感器數據，該方法用測量模型的統計特性，遞推決定統計意義下最優融合數據合計。如果系統具有線性動力學模型，且系統噪聲和傳感器噪聲可用高斯分布的白噪聲模型來表示，KF為融合數據提供惟一的統計意義下的最優估計，KF的遞推特性使系統數據處理不需大量的數據存儲和計算。KF分為分散卡爾曼濾波散卡爾曼濾波(DKF)和擴展卡爾曼濾波擴展卡爾曼濾波(EKF)。DKF可實現多傳感器數據融合完全分散化，其優點優點：

17、每個傳感器節點失效不會導致整個系統失效。而EKF的優點優點：可有效克服數據處理不穩定性或系統模型線性程度的誤差對融合過程產生的影響。嵌入約束法傳感器信息融合的最基本方法之一，其缺點缺點：需要對多源數據的整體物理規律有較好的了解，才能準確地獲得p(d|f)，但需要預知先驗分布p(f)。二、證據組合法二、證據組合法證據組合法認為完成某項智能任務是依據有關環境某方面的信息做出幾種可能的決策幾種可能的決策，而多傳感器數據信息在一定程度上反映環境這方面的情況。因此，分析每一數據作為支持某種決策證據的支持程度，并將不同傳感器數據的支持程度進行組合，即證據組合，分析得出現有組合證據支持程度最大的決策作為信息

18、融合的結果。證據組合法是對完成某一任務的需要而處理多種傳感器的數據信息，完成某項智能任務，實際是做出某項行動決策。它先對單個傳感器數據信息每種可能決策的支持程度給出度量(即數據信息作為證據對決策的支持程度)，再尋找一種證據組合方法或規則，在已知兩個不同傳感器數據(即證據)對決策的分別支持程度時，通過反復運用組合規則，最終得出全體數據信息的聯合體對某決策總的支持程度。得到最大證據支持決策，即信息融合的結果。證據組合法較嵌入約束法優點：(1)對多種傳感器數據間的物理關系不必準確了解，即無須準確地建立多種傳感器數據體的模型；(2)通用性好，可以建立一種獨立于各類具體信息融合問題背景形式的證據組合方法

19、，有利于設計通用的信息融合軟、硬件產品；(3)人為的先驗知識可以視同數據信息一樣，賦予對決策的支持程度，參與證據組合運算。常用證據組合方法：l概率統計方法概率統計方法lDempster-Shafer證據推理證據推理利用證據組合進行數據融合的關鍵關鍵在于：u選擇合適的數學方法描述證據證據、決策決策和支持程度支持程度等概念u建立快速、可靠并且便于實現的通用證據組合算法結構算法結構1.概率統計方法概率統計方法假設一組隨機向量x1，x2，xn分別表示n個不同傳感器得到的數據信息，根據每一個數據xi可對所完成的任務做出一決策di。xi的概率分布為pai(xi)，ai為該分布函數中的未知參數，若參數已知時

20、，則xi的概率分布就完全確定了。用非負函數L(ai，di)表示當分布參數確定為ai時，第i個信息源采取決策dj時所造成的損失函數。在實際問題中，ai是未知的，因此，當得到xi時，并不能直接從損失函數中定出最優決策。先由xi做出ai的一個估計，記為ai(xi)，再由損失函數L ai(xi),di決定出損失最小的決策。其中利用xi估計ai的估計量ai(xi) 有很多種方法。概率統計方法適用于分布式傳感器目標識別分布式傳感器目標識別和跟蹤信跟蹤信息融合問題息融合問題2.Dempster-Shafer證據推理證據推理(簡稱簡稱D-S推理推理)假設F為所有可能證據所構成的有限集，為集合F中的某個元素即某

21、個證據，首先引入信任函數B(f)0，1表示每個證據的信任程度：1)(FB0）（BijinnjiinAABAABABAAAB)() 1()()()(1121從上式可知，信任函數是概率概念的推廣，因為從概率論的知識出發，上式應取等號。1)()(ABAB 1)(0FAAmm 引入基礎概率分配函數m(f)0，1ACCmAB),()( FCA, 由基礎概率分配函數定義與之相對應的信任函數：當利用N個傳感器檢測環境M個特征時，每一個特征為F中的個元素。第i個傳感器在第k-1時刻所獲得的包括k1時刻前關于第j個特征的所有證據，用基礎概率分配函數表示，其中i=1，2，m。第i個傳感器在第k時刻所獲得的關于第j

22、個特征的新證據用基礎概率分配函數表示。由和可獲得第i個傳感器在第k時刻關于第j個特征的聯合證據。類似地，利用證據組合算法，由和可獲得在k時刻關于第j個特征的第i個傳感器和第i+1個傳感器的聯合證據。如此遞推下去，可獲得所有N個傳感器在k時刻對j特征的信任函數，信任度最大的即為信息融合過程最終判定的環境特征。D-S證據推理優點優點：算法確定后，無論是靜態還是時變的動態證據組合，其具體的證據組合算法都有一共同的算法結構。但其缺點缺點：當對象或環境的識別特征數增加時，證據組合的計算量會以指數速度增長。三、人工神經網絡法三、人工神經網絡法通過模仿人腦的結構和工作原理，設計和建立相應的機器和模型并完成一

23、定的智能任務智能任務。神經網絡根據當前系統所接收到的樣本的相似性，確定分類標準。這種確定方法主要表現在網絡權值網絡權值分布上，同時可采用神經網絡特定的學習算法學習算法來獲取知識，得到不確定性推理機制。神經網絡多傳感器信息融合的實現，分三個重要步驟：n根據智能系統要求及傳感器信息融合的形式，選擇其拓撲結構；n各傳感器的輸入信息綜合處理為一總體輸入函數，并將此函數映射定義為相關單元的映射函數,通過神經網絡與環境的交互作用把環境的統計規律反映網絡本身結構；n對傳感器輸出信息進行學習、理解，確定權值的分配，完成知識獲取信息融合，進而對輸入模式做出解釋，將輸入數據向量轉換成高層邏輯(符號)概念。基于神經網絡的傳感器信息融合特點：u具有統一的內部知識表示形式，通過