4盲信號分離及其應用一個有趣的現(xiàn)象雞尾酒會效應

CocktailPartyEffect

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

在某個聚會上，我們正在相互交談，當然同一時刻同一場景下其他人的交談也在同時進行著，可能還有樂隊的音樂伴奏，這時整個會場上是一片嘈雜。但是非常奇妙的是，作為交談對象的雙方，我們能夠在這混亂的眾多聲音中很清晰的聽到對方的話語，當然，如果我們偶爾走神，將精力放在樂隊奏出的音樂時，我們也同樣可以聽清楚音樂的主旋律，或許還可以記起它的名字呢。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

這種可以從由許多聲音所構(gòu)成的混合聲音中選取自己需要的聲音而忽視其他聲音的現(xiàn)象就是雞尾酒會效應。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室信號處理領(lǐng)域中其他類似的應用在陣列信號處理技術(shù)中僅僅憑借傳感器的觀測信號估計未知信號源的波形

在生物醫(yī)學信號中提取有效信號

在無線通信中利用一個信道實現(xiàn)多用戶通信服務(wù)

在語音識別中達到“雞尾酒會效應”

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

如何在這種從觀察到的混合信號中分離出源信號的問題就是所謂的盲分離（BlindSignalSeparation,BSS）問題，有時也被稱為盲源分離（BlindSourceSeparation）問題[1][2]

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲的含義源信號的形式是未知的

源信號的混合方式也是未知的

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲信號分離簡介盲信號分離的基本分類盲信號分離的發(fā)展狀況合肥工業(yè)大學計算機與信息學院圖像信息處理研究室分類線性瞬時混合線性卷積混合非線性混合單通道信號盲分離

多通道信號盲分離

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室發(fā)展狀況盲信號分離是一種功能強大的信號處理方法

對其研究始于二十世紀八十年代中后期

有關(guān)的理論和算法都已經(jīng)取得了較大的發(fā)展

對于線性瞬時混合信號的分離問題、卷積混合信號的分離問題以及非線性混合信號的分離問題都做了深入的研究，提出了許多經(jīng)典算法

用于語音信號分離、圖像特征提取和醫(yī)學腦電信號的分離等方面

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室本次講座的主要內(nèi)容盲分離的基本理論

解決盲分離問題的典型算法

盲分離的應用、研究現(xiàn)狀和發(fā)展趨勢

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室基本理論盲信號分離的數(shù)學建模盲信號分離的可解性與獨立性分析盲信號分離的目標函數(shù)盲信號分離的優(yōu)化算法合肥工業(yè)大學計算機與信息學院圖像信息處理研究室數(shù)學建模線性瞬時混合盲信號分離的數(shù)學建模

線性卷積混合盲信號分離的數(shù)學建模非線性（Post-Nonlinear,PNL）混合盲信號分離的數(shù)學建模

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室線性瞬時混合盲信號分離的數(shù)學建模S1(t)，S2(t)…Sn(t)是一個隨機的時間序列，用m個話筒表示接收到的混合信號，用X1(t)，X2(t)…Xm(t)來表示。它們有如下關(guān)系：合肥工業(yè)大學計算機與信息學院圖像信息處理研究室其中{aij}是混合系數(shù)，{aij}也是未知的，在線性瞬時混合中，一般假定{aij}是未知的常數(shù)矩陣合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

盲分離問題需要解決的問題就是如何從接收到的觀察信號中，估計出源信號S1(t)，S2(t)…Sn(t)和混合矩陣的過程。實際上式還應該存在一個干擾存項，如果考慮到噪聲的迅在，那么上式可以推廣到更一般的情況，即為：合肥工業(yè)大學計算機與信息學院圖像信息處理研究室X(t)=(X1(t)，X2(t)…Xm(t))T為接收到的m維隨機向量，又稱為觀察向量，也是唯一可以利用的條件，S(t)=(S1(t)，S2(t)…Sn(t))T是n維獨立的源信號組成的向量，又稱為隱含向量，因為它們是未知的觀察不到的向量，有時也稱為獨立分量，n(t)為噪聲向量，A是{aij}系數(shù)組成的混合矩陣。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

盲分離問題就是求得一個分離矩陣W，通過W就可以僅從觀察信號X(t)中恢復出源信號S(t)。設(shè)y(t)是源信號的估計矢量，則分離系統(tǒng)可由下式表示：返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室卷積混合盲信號分離的數(shù)學建模

更為一般的情況考慮到延遲和濾波的混迭信號的線性混合。這通常被稱為卷積混合。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室x(t)=

這里x(t)和s(t)分別代表觀察信號和源信號。A(k)為混疊矩陣，又稱為沖激響應。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲反卷積（BlindDeconvolusion,BD）的數(shù)學模型y(t)=

盲反卷積又被稱為盲均衡(BlindEqualization)，其中W(k)被稱為均衡器系數(shù)矩陣。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室因為傳輸?shù)难訒r以及接收系統(tǒng)頻響的差異，瞬時混合系統(tǒng)盲分離算法一般不能夠處理卷積混合問題。一類很有研究前景的方法就是頻域盲源分離算法[116]，利用頻域算法可以提高BSS方法的收斂速度和學習速度，另外時域卷積問題可以變換為頻域相乘問題。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室非線性混合盲信號分離的數(shù)學建模

主要介紹一種研究最為廣泛的非線性混合模型——后非線性混合信號的盲分離。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

即將源信號線性混合后再通過一個非線性函數(shù)得到觀察信號

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室求解分兩個步驟：1.尋找一個非線性函數(shù)g()，使得g()=f–1()，即非線性的校正階段。2.與線性瞬時混合的盲分離求解一樣尋找一個分離矩陣，求得源信號的近似。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室可解性與獨立性分析可解性分析獨立性分析合肥工業(yè)大學計算機與信息學院圖像信息處理研究室為了簡單起見，我們考慮無噪（noisefree）情況，即n(t)很小，可以忽略不計

方程的個數(shù)小于未知量的個數(shù)，因此以數(shù)學觀點看來，這是個無解的問題。已經(jīng)證明了在滿足一定假設(shè)的條件下，仍然可以通過某些方法來求解上述問題合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲分離問題的假設(shè)條件：源信號S1(t)，S2(t)…Sn(t)在統(tǒng)計上是相互獨立的A是列滿秩的常數(shù)矩陣源信號是非高斯信號且至多有一個是高斯信號合肥工業(yè)大學計算機與信息學院圖像信息處理研究室即若能夠找到分離矩陣W，使得輸出信號

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室且Y(t)的各個分量之間也滿足相互獨立，則Y(t)就是原始信號矢量S(t)的完好恢復，此時矩陣乘積WA與某一廣義交換矩陣G相等，盲分離問題的框圖如圖6.1所示。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲信號分離的框圖合肥工業(yè)大學計算機與信息學院圖像信息處理研究室Tong指出，當參數(shù)化盲信號分離問題的滿秩矩陣可以分解為一個滿秩的對角矩陣和排列矩陣（即初等矩陣）的乘積時，此時源信號的波形可以得到恢復，并由此定義了盲信號分離問題的可解性。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室事實上，在盲分離過程中，源信號的分離還具有模糊性，混合矩陣的辨識是有關(guān)病態(tài)（ill-posed）的問題。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室主要表現(xiàn)盡管可以正確的將源信號分離開來，但是我們并不知道它們的排列順序，這就相當于同時交換輸入信號和混合矩陣與之對應的列的位置后，所得到的觀察信號仍然是相同的。一個信號和與之對應的混合矩陣的列之間互換一個固定的比例因子，對觀察向量不產(chǎn)生任何影響。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室即盲信號分離的模糊性表現(xiàn)為分離信號排列的不確定性和波形振幅的不確定性。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室但是源信號中幾乎所有的信息都已經(jīng)包含在我們分離出來的波形中，它能夠滿足我們進行下一步的分析研究。所以這兩種不確定性并不影響盲分離技術(shù)應用。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室獨立性分析如果能夠找到矩陣W使得其輸出Y(t)=WX(t)的各個分量之間也兩兩獨立，則Y(t)就是原始信號S(t)的完好的恢復，此時矩陣乘積WA與某一廣義交換矩陣G相等。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室獨立性的定義設(shè)p(y1,y2)是y1(t),y2(t)的聯(lián)合概率密度，假設(shè)y1(t)與

y2(t)的邊緣概率密度分別p1(y1)和p2(y2)，如果有以下關(guān)系：p2(y2)也有上述相似的關(guān)系式成立，那么稱y1(t)與

y2(t)為相互獨立。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

由于隨機變量的概率密度一般都是未知的，另外一個角度來理解獨立的概念合肥工業(yè)大學計算機與信息學院圖像信息處理研究室對于兩個隨機變量y1(t)和y2(t)，如果Cov(y1,y2)=E[y1y2]-E[y1]E[y2]=0，那么y1和y2不相關(guān)；如果E[y1py2q]-E[y1p]E[y2q]=0，p和q對任何整數(shù)都成立，則y1和y2統(tǒng)計獨立

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室衡量獨立性的測度

在BSS問題中，用某一個目標函數(shù)來測定，通常的ICA算法就是選定某個目標函數(shù)，然后用某種方法來進行優(yōu)化[9]。即獨立分量分析＝目標函數(shù)＋優(yōu)化算法

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室算法的一致性、魯棒性等依賴于目標函數(shù)的選擇算法特性如收斂性、數(shù)值穩(wěn)定性則依賴于優(yōu)化算法

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲信號分離的目標函數(shù)負熵高階累積量互信息Kullback-Leibler（K-L）散度返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室在信號的平均功率受限時，具有高斯分布信號的熵最大所以為了描述同高斯信號有相同的功率的非高斯信號的熵的情況，定義負熵這樣的概念。任意信號y的負熵J(y)可以表示為：

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室其中ygauss為高斯分布函數(shù)，它同變量y有相同的期望和方差，即負熵表示兩個具有相同均值和方差的隨機向量的差熵的差值。在方差恒定的情況下，高斯分布的隨機變量的差熵最大，用高斯分布的隨機向量的差熵作為上式的第一項，所以負熵總是非負的，而且負熵具有在正交變換下的不變性。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室同時由于負熵是兩個熵的差，因而能夠滿足尺度不變原理。負熵的最大化，相當于Y的差熵是最遠離高斯分布的差熵。注意負熵是在隨機向量的方差一定的情況下推倒出來的，所以在計算負熵時必須先固定方差。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室負熵的近似：

利用標準化的累積量去近似表示這些概率密度

Gram-Charlier展開Edgeworth展開返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室高階累積量的定義高階累積量是非高斯性測量的一個重要方法。

設(shè)隨機變量x的概率密度函數(shù)為f(x)，則x的特征函數(shù)為：

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室合肥工業(yè)大學計算機與信息學院圖像信息處理研究室合肥工業(yè)大學計算機與信息學院圖像信息處理研究室累積量的物理意義一階累積量是隨機變量的數(shù)學期望，大致地描述了概率分布的中心二階累積量是方差，它反映的是概率分布的離散程度三階累積量是三階中心矩，描述的是概率分布的非對稱性四階累積量描述的是概率函數(shù)同高斯分布的偏離程度合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

非高斯性的測量可以用4階累積量的絕對值或平方值為零的是高斯變量，大于零的為非高斯變量

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室在信息論中假設(shè)一個隨機系統(tǒng)中輸入為X，輸出為Y，當X和Y為離散隨機變量時，X和Y之間的互信息I(X;Y)被定義為：合肥工業(yè)大學計算機與信息學院圖像信息處理研究室I(X;Y)=H(X)-H(X|Y)

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室互信息與熵之間的關(guān)系互信息的最小化和熵的最大化即可獲得最大的獨立性

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

如果Y中各個元素相互獨立，那么也就是滿足聯(lián)合概率密度函數(shù)是各個邊緣概率密度函數(shù)積的形式，那么要衡量聯(lián)合概率密度函數(shù)和各個邊緣概率密度函數(shù)積之間的差，就是要考慮系統(tǒng)整個空間的關(guān)系，我們利用Kullback-Leibler（K-L）散度來表示合肥工業(yè)大學計算機與信息學院圖像信息處理研究室定義設(shè)兩個隨機變量的概率密度函數(shù)分別為fx(x)和fy(y)，

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室優(yōu)化算法大致分為兩類批處理成對旋轉(zhuǎn)法；MAXKURT法、JADE法、SHIBBS法等自適應處理自然梯度算法返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室解決BSS問題的經(jīng)典算法H-J算法最大熵算法最小互信息算法最大似然算法定點算法非線性PCA算法其他模型的算法概述合肥工業(yè)大學計算機與信息學院圖像信息處理研究室H-J算法Herault和Jutten可能是最早對盲信號分離問題進行研究的[30]，他們引進了仿神經(jīng)的方法[61]

。他們的算法為逐步調(diào)整權(quán)重的神經(jīng)網(wǎng)絡(luò)合肥工業(yè)大學計算機與信息學院圖像信息處理研究室合肥工業(yè)大學計算機與信息學院圖像信息處理研究室運用梯度下降法，HeraultandJutten提出了如下的學習規(guī)則：和是非線性奇函數(shù)，μ是學習率

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室H-J算法中使用了非線性函數(shù)，這里一般將f()和g()用以下的函數(shù)表示：或者合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

算法的實質(zhì)就是引入了信號的高階統(tǒng)計信息，其學習規(guī)則是Hebb學習規(guī)則在高階意義下的推廣，不過由于學習每一步過程中都要對矩陣（I+W）求逆，導致運算量增加。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室H-J算法中非線形函數(shù)的選取具有隨意性，在理論上沒有給出令人滿意的收斂性證明，但是在實際應用中的收斂性相當不錯。不過需要注意的是H-J算法僅用于觀察信號數(shù)目與源信號數(shù)目相同的情況下，仍然具有一定的局限性。

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室最大熵算法從信息理論角度來考慮，盲信號分離問題就是一個以分離系統(tǒng)最大熵為準則，利用神經(jīng)網(wǎng)絡(luò)或自適應算法，通過非線性函數(shù)來間接獲得高階累積量的過程。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室這種方法的思想就是當神經(jīng)元輸出Z的各個分量zi相互獨立時，其熵最大，所以這種方法又稱為最大熵(MaximumEntropy,ME)方法。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

Bell和Sejnowski的這種方法[25]是將Linskers的信息傳輸最大化理論[17][62]推廣到非線性單元來處理任意分布的輸入信號。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室這一原理具體內(nèi)容如下：假設(shè)信號通過S型函數(shù)傳輸時，如果該S型函數(shù)的斜率部分與信號的高密部分保持一致時，則可以實現(xiàn)信息的最大化傳輸。這一原理可以使用梯度下降法通過自適應方式來實現(xiàn)。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室由最大熵原理可以知道，當輸出熵最大時，互熵也最大，即有最多的信息通過了可逆變換從輸入端傳輸?shù)捷敵龆恕?/p>

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室這時輸入變量的概率密度函數(shù)和可逆變換G之間的關(guān)系由Linsker的最多信息原理（InfomaxPrinciple）描述：當函數(shù)G的最陡部分與輸入變量的最陡概率部分向重合時，最大的信息從輸入端傳導了輸出端。所以有時候也把Bell和Sejnowski的這種方法稱為Infomax算法。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室最大熵算法網(wǎng)絡(luò)結(jié)構(gòu)示意圖合肥工業(yè)大學計算機與信息學院圖像信息處理研究室對于最大熵算法所處理的最基本的問題就是要使得一個神經(jīng)網(wǎng)絡(luò)處理單元的輸出Y(t)中包含的關(guān)于其輸入X(t)的互信息最大。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室互信息定義如下：

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室其中H(Y)是輸出的熵，H(Y|X)則是輸出中不是從輸入產(chǎn)生的熵，稱為條件熵。在沒有噪聲的情況下（或者說我們不知道什么是噪聲，什么是輸入信號），X和Y之間的映射是確定的，并且H(Y|X)有它的最低值，趨于。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室單輸入單輸出的情況以輸出y的差熵作為目標函數(shù)，利用梯度下降法合肥工業(yè)大學計算機與信息學院圖像信息處理研究室當傳遞函數(shù)g(x)為如下形式的型函數(shù)，即其中w0為偏置權(quán)值

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室單輸入單輸出網(wǎng)絡(luò)的學習規(guī)則合肥工業(yè)大學計算機與信息學院圖像信息處理研究室多輸入多輸出網(wǎng)絡(luò)的學習規(guī)則合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

理論和試驗已經(jīng)證明了，這個算法只能夠分離出超高斯信號的混合，這個限制的重要原因是因為在算法中使用了非線性函數(shù)logistic，非線性函數(shù)是logistic就相當于強加一個先驗知識超高斯分布給源信號。

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室對于該算法不能夠同時分離出超高斯信號和亞高斯信號混合信號，Lee.M.Girolami和T.J.Sejnowski.提出了一種擴展的Infomax算法，它能夠彌補以上算法的不足[33]。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室最小互信息算法最小互信息（MinimumMutualInformation,MMI）的基本思想是選擇神經(jīng)網(wǎng)絡(luò)的權(quán)值矩陣W，使得輸出Y的各個分量之間的相關(guān)性最小化。這里的信號間的相互依賴關(guān)系可以用Y的概率密度函數(shù)及其各個邊緣概率密度函數(shù)的乘積間的K-L散度來表示。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室PierrieComon早在1994年就證明了互信息是獨立分量分析的代價函數(shù)[5]。在使用互信息作為信號分離的代價函數(shù)時，對輸出的各個分量無需使用非線性變換這種預處理手段。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室由隨機梯度算法得到其中為學習率，函數(shù)的選取與獨立元的本身性質(zhì)有關(guān)。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

參數(shù)化系統(tǒng)的隨機梯度優(yōu)化方法的主要缺點是其收斂的速度比較慢。

如果將一可逆的矩陣G-1作用于隨機梯度算法中，合肥工業(yè)大學計算機與信息學院圖像信息處理研究室于是隨機梯度算法可以改進為合肥工業(yè)大學計算機與信息學院圖像信息處理研究室函數(shù)的選取對于整個算法的性能有很大的影響，如果我們知道了真正的概率密度函數(shù)，最好的選擇就是使用它們，但是實際中我們很難知道這些知識，只能夠進行概率密度的自適應估計，所以對這個關(guān)鍵的非線性函數(shù)進行研究，也是一個值得關(guān)注的問題。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室最大似然算法最大似然估計（MaximumLikelihoodEstimation,MLE）是利用已經(jīng)獲得的觀測樣本來估計樣本的真實概率密度。具有諸如一致性、方差最小性以及全局最優(yōu)性等很多優(yōu)點，但是最大似然估計需要知道關(guān)于輸入信號概率分布函數(shù)的先驗知識，這是很難滿足的，所以必須盡量避開它。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室最大似然估計首先是由Girolami和Fyfe于1996年提出用于盲分離問題[63]，而Pearlmutter和Parra從最大似然估計推導出通用的ICA學習規(guī)則[64]。目前，最大似然算法是解決盲分離問題的一個非常普遍的方法。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室通過推導可以得到標準化的最大似然函數(shù)

由此式我們可以發(fā)現(xiàn)最大似然函數(shù)是由Kullback-Leibler散度和熵值得到的，而第二項的熵不依賴于參數(shù)，相當于一個常數(shù)項。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室Cardoso將上式轉(zhuǎn)化為一個盲源分離問題[35]：px

(x)為x的概率分布函數(shù)，混合信號由X=AS給出，為所要求的未知的混合矩陣，參數(shù)集是一組可逆的N×N的矩陣。這樣由上式可以得到最大似然估計的代價函數(shù)就變成

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室由以上的介紹可知，極大似然估計算法對于概率密度估計的準確性相當嚴格，如果不準確的話，則會出現(xiàn)完全錯誤的結(jié)果，因此使用時需要注意。

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室定點算法：快速ICA(FastICA)均衡逼近算法

運用一種修正法則，能夠?qū)λ械莫毩⒎至窟M行同時分離的分離矩陣進行修正

緊縮逼近算法

分別對分離矩陣的每一列進行更新，每一次找到一個獨立分量

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室這兩種算法都可以運用幾乎任何的非平方的代價函數(shù)來獲得對獨立性的估計，最原始的算法運用峭度，而新近發(fā)展為雙曲正切、指數(shù)函數(shù)等。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

定點學習算法中需要找一個方向，即一個權(quán)值w，使得投影wTx是具有最大的非高斯性，這里的非高斯性由負熵來量度。負熵的近似式用峭度來表示，但是用峭度的方法對數(shù)據(jù)比較敏感，所以Hyvarinen和其他研究人員提出了用一種更穩(wěn)健和速度更快的方法來計算負熵。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室FastICA算法的的流程為：對輸入數(shù)據(jù)進行預處理（白化處理），得到零均值單位方差的信號，得到神經(jīng)網(wǎng)絡(luò)的數(shù)據(jù)。初始化權(quán)矢量W，并歸一化。對權(quán)值W進行迭代更新，即

歸一化權(quán)值W=W+/||W+||合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

在實際中FastICA算法中所用到的期望都必須用它們的估計所代替，當然最自然的估計是相應的樣本均值，理想的應該是用所有的數(shù)據(jù)，但這樣計算量會很大。樣本的數(shù)目多少會對估計的精度產(chǎn)生影響，如果收斂效果不是很好，可以適當增加樣本的數(shù)目。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室FastICA算法具有非常快的收斂速度。對于一元FastICA算法，獨立分量是被一個個分別估計出來，這大致等價于射影追蹤（projectionpursuit）[37]，這在探索性數(shù)據(jù)分析中非常有用。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室由于該算法對觀察數(shù)據(jù)進行了白化處理，因此在源信號混合比強弱大小相差大的情況下算法失效。定點算法對于各類數(shù)據(jù)都適用，也可用于分析高維數(shù)據(jù)，具有較為廣泛的應用價值。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室非線性PCA算法

主分量分析PCA[3]是以輸入數(shù)據(jù)協(xié)方差矩陣的最大特征值以及相應的特征向量定義的常規(guī)的統(tǒng)計信號處理方法，標準的PCA方法僅僅用到了輸入數(shù)據(jù)的二階統(tǒng)計量，輸出數(shù)據(jù)之間滿足互不相關(guān)。將高階統(tǒng)計量引入標準的PCA方法中就稱為非線性PCA（NonlinearPCA,NLPCA）方法[26][27][38][39][40]，利用非線性PCA可以完成對輸入信號的盲分離。高階統(tǒng)計量是以隱含的方式引入計算的，算法采用自適應迭代的方法，易于工程實現(xiàn)。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室非線性PCA有以下優(yōu)點：輸入－輸出間的映射是非線性的，而標準PCA只能夠?qū)崿F(xiàn)線性映射。非線性PCA在處理輸入數(shù)據(jù)時，考慮了高階統(tǒng)計量，而不僅僅是其二階統(tǒng)計量，這個特性對于盲信號處理是特別有用的。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室非線性PCA的代價函數(shù)為：

這里的權(quán)值W是m×m的矩陣，是對矢量的非線性函數(shù)，在非線性準則里，通常是一些奇函數(shù)，如g(t)=tanh(t)，g(t)=t3等。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

可以通過隨機梯度下降方法求得，得出權(quán)值W的更新公式：

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室這里的是正的學習率。上面的學習算法首先由Oja等[26]提出，非線性PCA子空間學習規(guī)律在文[27][40]獨立推導出來，具體的細節(jié)以及相關(guān)的算法參見本節(jié)的參考文獻。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室算法的統(tǒng)一性與相關(guān)性MI、MLE和Informax算法均屬于基于信息理論準則的自適應盲源分離算法，因此從信息理論的意義上分析三者在本質(zhì)上沒有區(qū)別。

返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室其它模型的算法概述盲反卷積算法

非線性盲分離算法

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲反卷積算法Yellin和Weinstein于1994年首先將獨立分量分析引入盲卷積中[117]Ngyuen和Jutten于1995年給出了基于高階累積量和高階譜多通道盲反卷積方法，通過遞歸特征分解可以同時進行盲系統(tǒng)的參數(shù)辨識和盲反卷積，由于用到高階累積量和高階譜，所以該方法的運算量很大[118]Thi和Jutten[119]同樣利用四階累積量給出卷積混迭信號盲源分離的自適應訓練方法

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室文[121]中推導出一種基于最大熵原則的常數(shù)模型，通過自適應過程來得到所需要的分離信號Lee，Bell和Lamber在1997年將盲源分離問題擴展到全反饋和全前饋系統(tǒng)，基于信息最大化傳輸或最大似然估計方法得出的盲源分離訓練算法變換到頻域，并利用FIR多項式代數(shù)技術(shù)進行盲源分離，提出的算法可以成功分離實時環(huán)境下的語音信號[116]合肥工業(yè)大學計算機與信息學院圖像信息處理研究室Torkkola于1996年推導出一種基于信息最大化的反饋網(wǎng)絡(luò)結(jié)構(gòu)形式，完成對線性卷積混合系統(tǒng)的盲源分離[120]返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室非線性混合的算法研究一類是將現(xiàn)有的線性混合方法通過引入非線性進行擴展，這類算法主要解決后非線性的問題。另一類就是通過獲取非線性特征等直接進行盲分離，這類算法不受混合模型的限制，可用于完全非線性混合的情況。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲信號分離的應用語音信號處理生物醫(yī)學信號處理金融數(shù)據(jù)分析圖像處理特征提取及其在人臉識別中的應用陣列信號處理以及在移動通信中的應用合肥工業(yè)大學計算機與信息學院圖像信息處理研究室語音信號處理Bell和Sejnoski于1995年提出了最大熵算法，并且給出了語音信號分離的試驗，證實了該方法的可行性和有效性[25]。

Lee和Bell將基于自然梯度的信息最大傳輸盲源分離算法進行盲反卷積，并用于真實環(huán)境的語音信號分離，試驗證實分離后，可以提高語音識別率[48]。返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室生物醫(yī)學信號處理由于生理信號常常是由若干獨立成分的加權(quán)（例如，誘發(fā)腦電總是被自發(fā)腦電所淹沒，且常常伴隨有心電、眼動、頭皮肌電等干擾），用獨立分量分析技術(shù)來分解，所得到的結(jié)果更具有生理意義，并有利于去除干擾等。

腦電圖EEG腦磁圖MEG功能性核磁共振fMRI返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室金融數(shù)據(jù)分析

Back和Weigend于1998年利用獨立分量分析對日本三年中每天的股票的portfolio進行分析，假設(shè)得到的多維時間序列（例如每天股票的returns）是反映了一個系統(tǒng)（股票市場）的一些統(tǒng)計獨立的時間序列相互作用的結(jié)果，并同PCA獲得的結(jié)果進行比較。返回

結(jié)果顯示，應用ICA分解得到的獨立成分能夠?qū)善钡膬r格完好的重建[53]。因此ICA是PCA的一種有效的補充工具，它允許數(shù)據(jù)的基本結(jié)構(gòu)能更輕易的觀察得到。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室圖像處理去除噪聲自然圖像的獨立分量是邊緣濾波

圖像分離適用于盲水印方案返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室基于BSS的盲水印方案原始圖像水印圖像原始圖像中嵌入水印后的所得到的水印化圖像提取出的水印圖像返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室特征提取及其在人臉識別中的應用

與PCA相比，ICA是從訓練信號中去高階統(tǒng)計量的相關(guān)性；ICA基向量比PCA基向量在空間熵更加局部化，這在人臉表示上極為重要；而實驗表明，ICA基向量識別精度高于PCA；ICA適于作為模式識別的一個預處理步驟返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室陣列信號處理以及在移動通信中的應用

一未知的有限的帶寬信道的頻率響應經(jīng)常會帶來碼間干擾（IntersymbolInterference,ISI），當輸入未知時，要消除這種干擾，得到信道的傳輸函數(shù)，就必須要進行“盲”處理。在移動通信中“盲”處理顯得格外重要。在移動通信中，由于時變多徑衰落會產(chǎn)生很嚴重的碼間干擾。為了得到正確的實時的信息流，就必須對信道的時變特性進行辨識和均衡。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

雖然有很多技術(shù)，如碼分多址訪問（CodeDivisionMultipleAccess,CDMA）等的發(fā)展和應用使得信道的容量增大，但是由于進行辨識與均衡的部分所占的比例仍然很可觀。

如果我們不使用訓練序列，而采用盲信道辨識，從接收信號直接估計信道的特征，就會大大節(jié)省信道容量，提高信道容量的利用率。利用盲分離技術(shù)可以成功的實現(xiàn)多用戶信號的分離[60]。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲信號分離的研究現(xiàn)狀與發(fā)展趨勢

盲信號分離的研究現(xiàn)狀

盲信號分離的發(fā)展趨勢

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室研究現(xiàn)狀國際上，對于盲源分離問題研究的主要機構(gòu)和學者國際學術(shù)會議各種模型的算法研究國內(nèi)的研究狀況合肥工業(yè)大學計算機與信息學院圖像信息處理研究室美國的SalkInstitutes神經(jīng)計算實驗室的（ComputationalNeurobiologyLab：/）的學者Sejnowski（其文章：rmatik.uni-trier.de/~ley/db/indices/a-tree/s/Sejnowski:Terrence_J=.html）和Bell，日本的學者Amari(主頁：http://www.mns.brain.riken.go.jp/~amari/home-E.html)合肥工業(yè)大學計算機與信息學院圖像信息處理研究室和Cichowski(http://www.open.brain.riken.go.jp/~cia/)，芬蘭的Oja(http://www.cis.hut.fi/~oja/)，法國學者Comon（http://www.i3s.unice.fr/~comon/）Cardoso（http://www.tsi.enst.fr/~cardoso/）等。在他們的個人主頁上有他們發(fā)表的關(guān)于盲分離以及相關(guān)的文章，有興趣的讀者可以下載查閱參考。合肥工業(yè)大學計算機與信息學院圖像信息處理研究室

最近幾年的國際聲學、語音和信號處理大會（IEEEInt.Conf.Acoust.,Speech,SignalProcessing-ICASSP）上，每次都有關(guān)于盲信號處理的專題，而且信號處理界的權(quán)威刊物IEEETransactiononSignalProcessing以及SignalProcessing中，盲信號處理的文章也頻繁出現(xiàn)。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室從1999年，國際上分別舉辦了四次獨立分量分析和盲信號分離國際會議（InternationalWorkshoponINDEPENDENTCOMPONENTANALYSISandBLINDSIGNALSEPARATION），1999

年一月11-15在法國的Aussois，2000年六月19-22在芬蘭的首都赫爾辛基（Helsinki），2001年十二月9-12在美國的圣地亞哥。ICA2003,第四次國際會議于2003年四月1-4在日本的奈良（Nara）舉行。

合肥工業(yè)大學計算機與信息學院圖像信息處理研究室基本的用于解決線性瞬時混合問題的算法發(fā)展較為迅速非線性盲分離問題同樣得到了極大的發(fā)展：后非線性局部線性BSS作為線性BSS和非線性BSS的一個折中正受到越來越多的關(guān)注[88]~[90]合肥工業(yè)大學計算機與信息學院圖像信息處理研究室清華大學的張賢達《時間序列分析－高階統(tǒng)計量方法》1996年張賢達和保錚綜述了盲信號分離的理論、方法以及應用徐雷提出貝葉斯陰陽理論用于盲源分離問題[105]，具有比較大的影響返回合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲分離的發(fā)展趨勢首先其理論體系尚未完整，實際中采用的處理算法或多或少都帶有一些經(jīng)驗知識，對于算法的穩(wěn)定性和收斂性的證明不夠充分，同時，可分離性的問題也是一個值得深入研究的方面。在算法研究方面，具有以下幾個研究重點方向合肥工業(yè)大學計算機與信息學院圖像信息處理研究室能夠在非平穩(wěn)環(huán)境（其性質(zhì)未知）情況下下工作信號個數(shù)未知時能夠工作，源信號的數(shù)目如何有效的估計源信號的數(shù)目大于觀察信號的數(shù)目時，如何進行有效的盲分離的問題在混合過程或信道是非線性情況下，盲分離和盲反卷積的理論和實際中的限制是什么？如何能夠在非線性混合情況下工作有效的工作合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲分離和盲卷積問題的必要和充分條件是什么？實際的限制又是什么？在統(tǒng)計上相互獨立的條件不能夠滿足的條件下，以及在奇異混合情況下如何擴展和修正已有的算法準則合肥工業(yè)大學計算機與信息學院圖像信息處理研究室如何有效地利用一些先驗的信息（關(guān)于線性或非線性的動力學系統(tǒng)）來成功分離或提取出源信號；進一步發(fā)展計算高效的分離、卷積、均衡的自適應系統(tǒng)的算法對于實時應用是很有必要的加噪盲分離問題的研究合肥工業(yè)大學計算機與信息學院圖像信息處理研究室盲分離可同其它學科有機結(jié)合在硬件實現(xiàn)方面，盲分離問題也存在著極大的發(fā)展余地就應用方面而言，BSS在很多領(lǐng)域內(nèi)都具有很大的應用潛力合肥工業(yè)大學計算機與信息學院圖像信息處理研究室[1]C.Jutten,J.Herault.BlindSeparationofSources,PartI:AnAdaptiveAlgorithmBasedonNeuromimeticArchitecture.SignalProcessing,1991,24(1):1-1[2]P.Comon,C.Jutten,J.Herault.BlindSeparationofSources,PartII:ProblemsStatement.SignalProcessing,1991,24(1):11-20參考文獻合肥工業(yè)大學計算機與信息學院圖像信息處理研究室[116]T-W.Lee,A.J.BellandR.Lambert.BlindSeparationofDelayedandConvolvedSources.AdvancesinNeuralInformationProcessingSystems9,1997,MITPress,CambridgeMA,758-764[9]A.Hyv?rinen.SurveyonIndependentComponentAnalysis.NeuralComputingSurveys1999,2:94-128[30]C.Jutten,J.Herault.BlindSeparationofSources,PartI:AnAdaptiveAlgorithmBasedonNeuromimetic.SignalProcessing,1991,24(1):1-10合肥工業(yè)大學計算機與信息學院圖像信息處理研究室[30]C.Jutten,J.Herault.BlindSeparationofSources,PartI:AnAdaptiveAlgorithmBasedonNeuromimetic.SignalProcessing,1991,24(1):1-10[61]C.Jutten,J.Herault.SpaceorTimeAdaptiveSignalProcessingbyNeuralNetworkModels.inIntern.Conf.onNeuralNetworksforComputing,Snowbird(Utah,USA),1986,206--211[25]A.J.BellandT.J.Sejnowski.AnInformation-MaximizationApproachtoBlindSeparationandBlindDeconvolution.NeuralComputation,1995,7(6):1129—1159合肥工業(yè)大學計算機與信息學院圖像信息處理研究室[5]P.Comon.IndependentComponentAnalysis:ANewConcept?.SignalProcessing.1994.36(3):287-314[63]M.Gaeta,J.L.Lacoume.SourcesSeparationwithoutaPrioriK