1、極大似然獨立成分分析算法一、似然度極大似然估計可以解釋為：采納那些使觀測向量具有最大概率的估計參數值。設是對觀測向量的概率密度的估計，源信號的概率密度函數為，根據線性變換下兩個概率密度函數之間的關系，觀測數據的概率密度函數的估計與源信號概率密度函數滿足對于給定的模型，觀測數據的似然函數是模型參數的函數，定義為當模型參數為分離矩陣時，對數似然函數為式中，為獨立同分布觀測數據的樣本數，最大化此似然函數就可獲得關于參數的最優估計。二、Infomax算法Infomax算法即為信息傳輸極大化算法。圖1 Infomax算法框圖由圖1可知，Infomax算法是一種基于信息論的前向反饋自組織神經網絡的算法，其

2、中為多路觀測信號向量，它是由個獨立源線性混合而成，網絡輸出是對真實源的逼近。為可逆單調非線性函數，非線性輸出為。獨立性判據為最大信息傳輸準則，即通過對分離矩陣 (神經網絡的連接權值矩陣)的調整尋找優化的，使網絡輸出和輸入之間的互信息達到最大。由信息論可知式中，為網絡聯合輸出熵；為輸出的條件熵。若系統存在噪聲，即，有，則上式可表示為于是，和之間的互信息最大等價于網絡聯合輸出熵最大(噪聲與系統無關)。以網絡輸出的聯合熵作為目標函數，由信息熵理論可知式中，為非線性輸出的邊緣熵；為非線性輸出之間的互信息，其值總是非負的，只有當非線性輸出之間彼此相互獨立時，。由互信息可知，單調可逆非線性映射對互信息沒有

3、影響，所以取最小值0時，也同時達到最小值零，于是各成分間相互統計獨立，ICA問題得以解決。此時式中，為輸出的概率密度函數，因此最大化包含了最大化邊緣熵和最小化互信息兩個內容。選擇熵作為目標函數是因為熵是一個隨機變量無序性的度量及信息量大小(不確定信息的多少)的測度，的各成分統計獨立性越高則相應的熵越大，所含信息也越多。可以證明，當非線性函數為源的概率密度函數的積分累積分布函數時，邊緣熵最大。由于在系統中，所以其中，為分離矩陣的雅克比行列式的絕對值，即得到由上式可知，當已知時，的大小隨而變，即隨權值矩陣而變，將代入上式并求梯度，可得 (1)對于(1)式的第一項，將權值按行展開為，為對應元素的代數

4、余子式，由于所以式中，表示的伴隨矩陣。對于(1)式的第二項，可以將對數項展開，而對于某一個，展開項中只有一個與其相關，令顯然，第二項與有關，這樣得到分離矩陣調整算法公式為可以選擇取值在0,1之間的單調遞升函數，如Sigmod函數和tanh函數等。考慮語音信號一般為超高斯信號，采用固定形式為函數的非線性函數參數調節公式為 (2) (3)式中，為迭代次數；為學習率(通常是一個小于1的正數)。Infomax算法就按式(2)和(3)進行分離矩陣的迭代求解，知道算法收斂。采用自然梯度(或相對梯度)對式(2)進行化簡，即在其右邊乘以，于是式(2)化為 (4)由于為正定矩陣，并不影響隨機梯度下降算法的收斂，

5、同時式(4)避免了矩陣的求逆過程，因而計算量明顯降低，收斂速度加快。缺點：由于Sigmod函數的微分所表示的概率分布函數是超高斯的(峰度為正)，因此Infomax算法只適用于超高斯源信號的盲分離。三、擴展Infomax算法實際觀測信號通常是超高斯源和亞高斯源的混合信號，因此在傳統Infomax算法基礎上采用雙概率模型，并在盲分離算法迭代過程中，根據分離結果的統計特性變化，動態切換概率模型，最終實現概率模型與真實源信號概率分布類型的統一，實現最佳的盲分離效果。圖2所示為擴展Infomax算法的原理框圖，其中亞高斯概率密度模型為 (5)圖2 擴展Infomax算法原理框圖令，由式(5)及雙曲正切函數的定義，可以得到令及，則上式可以簡化為于是，分離矩陣的更新規則為圖2中的單峰超高斯概率密度模型為式中，為具有零均值、單位方差的高斯密度函數；同理，可計算出非線性函數為因此，分離矩陣的更新規則為引入維對角矩陣，稱為概率密度切換矩陣，對角元素為峰度符號，取值根據歸一化峰度的符號變化來確定。根據峰度的定義，有對于高斯信號，；對于超高斯信號，；對于亞高斯信號，。擴展Infomax算法的分離矩陣的更新規則為其中，超高斯信號：；亞高斯信號：。總結，擴展Infomax算法