1、    基于GA和神經網絡的非線性特征變換        齊春亮, 馬義德 時間:2008年09月01日     字 體: 大 中 小        關鍵詞:        摘要：關鍵詞： GA 神經網絡 特征選擇 特征變換在機器學習和KDD領域,事物的屬性和屬性取值反映了事物的

2、本質和度量，為了描述一致，統稱為模式特征。在傳統文獻中，模式特征一般分為物理特征、結構特征和數學特征12n=A1,A2,，An,直接提取即從Un中挑選出有利于分類的特征子集： 其中，dn,UdUn，特征空間的維數得到了壓縮。(2)間接提取(特征變換)：通過映射或變換的方法，把高維空間Un的高維特征轉化為低維空間Ud的低維特征： Te:Und 其中，dn，在特征空間變換過程中，特征維數得到了壓縮，但是壓縮的前提是保證樣本的分類性質保持不變。Te可以采用線性或者非線性變換模型。特征選擇的主要算法包括枚舉法、分支定界搜索法、逐個特征比較法等啟發式方法345。另外，啟發式算法的求解結果對噪音比較敏感，

3、影響了特征子集的魯棒性和適應性。在概念學習或者更為廣泛的模式識別領域，特征提取是一個非常復雜的問題，所表示的模型求解基本上是NP類問題67，一般需要綜合考慮分類錯誤、特征簡單性和計算時間資源等因素。傳統的特征提取方法通常采用線性變換,使得判別準則函數最大或者最小(熵函數和類內類間距離函數是經常采用的兩個準則函數,1),即Y=A*X其中,A*為d×n維的變換矩陣,將n維特征的原始樣本空間X變換為d維特征的樣本空間。這就是傳統特征提取的統計與代數方法。在這兩種方法中存在著強烈的統計假設和矩陣非奇異假設，而在實際環境中，這些要求很難得到滿足。對于大規模的實際問題，通常采用專家干預的方法進行

4、調整，使得計算過程變得非常繁瑣，導致這兩類方法的實用性受到很大的限制。尤其是面對非線性可分的樣本空間時，傳統的統計與代數方法顯得更加無能為力，難以實現分類模式的獲取。因此許多專家提出了各種各樣的非線性特征提取方法，例如基于K-L展開式的KLT方法1、神經網絡方法8、小波分析9等。KLT是最小均方誤差準則下的最佳K-L變換方法，不受樣本分布性質的限制，但是不存在快速算法，計算量是維數的指數函數，當維數比較高時，計算量難以承受。在實際中經常采用傅立葉變換(DFT)或者離散沃爾什變換(DWT)等代替。這些變換均存在相應的快速算法，但僅能得到次優的結果。小波分析與KLT方法具有相同的特點，也存在類似的

5、問題。模式分類是神經網絡的一個重要應用領域，在輸入存在或數據不完整的情況下，神經網絡也具有良好的分類能力10121 基于GA和神經網絡的非線性特征變換算法1.1 神經網絡結構設置根據神經網絡理論，三層感知器可以形成任意復雜的決策區域8，11,對于特征提取來講，將第三層作為特征輸出層，并要求輸出二進制類型數據作為特征數據。網絡模型為：隱層節點的激勵函數選擇連續型Sigmoid函數f(x)=，輸出層節點的激勵函數選擇f(yk)=sgn()，(k=1,2,d),輸出-1,1,向量轉化為0,1作為新的特征向量。1.2 GA方案安排1:a1a2a(2n+1)；輸入節點到隱層節點的連接權重編碼s2:b11

6、b12b1nb21b22b2nb(2n+1)|b(2n+1)2b(2n+1)n；隱層節點到輸出節點的連接權重編碼s3:c11c12c1(2n+1)c21c22c2(2n+1)cd1cd2cd(2n+1)；隱層節點激勵函數的閾值編碼s4:d1d2d(2n+1)；輸出函數的閾值編碼s5:e1e2ed。將上述五個部分連接在一起就構成了整個模型的編碼。其中連接權重和閾值編碼限定范圍是1，1。(2)適應值函數遺傳算法在搜索進化過程中一般不需要其他的外部信息，僅用適應度來評價個體的優劣，并以此作為遺傳操作的依據。設計一個好的適應度函數對于遺傳算法的執行效率和結果有著至關重要的影響，本文以熵函數(見式(1)

7、為基礎，并考慮網絡結構的簡單性，構造出本算法的適應值函數(式(2)。?其中、為熵函數值與神經網絡結構之間的平衡系數，第二項要求網絡中隱層節點數越少越好，第三項要求網絡中連接數越少越好，以提高網絡的穩定性。(3) 選擇采用適應度比例方法，并保留每一代的最佳個體。(4) 交叉交叉互換能產生不同于母體的后代，交叉的概率越高，群體中新結構引入越快；如果交叉概率太低，收斂速度可能降低，導致搜索阻滯。在此，采用雙點交叉，交叉概率設置為0.6。(5) 變異變異操作是保持群體多樣性的有效手段。變異概率太小，可能是某些基因位過早丟失的信息無法恢復；變異概率過高，遺傳搜索將變成隨機搜索。在此，采用基本變異算子，變

8、異概率設置為0.001。(6) 種群規模若種群規模過大，則適應度評估次數增加，計算量增大；種群規模過小，可能會引起未成熟收斂現象。因此種群規模的設置應該合理。在此，種群規模取為6000，最大繁殖代數(進化代數)設置為500。(7) 終止準則任何算法設計的最后一步都要分析其收斂條件。在本文中算法執行滿足下列條件之一時，算法終止：·最大的適應度值在連續四代之內變化小于0.001,算法終止。·上述條件不滿足時，算法執行到最大進化代數時自動終止。保證算法收斂的策略：采用杰出人才保持模型，即用每一代內的最優個體替代下一代內的最差個體，從而使得算法完全收斂。1.3 算法描述網絡參數設置

9、：輸入節點數n1=22,隱層節點數n2=45,輸出節點數d=13,輸入節點到隱層節點的連接數900,隱層節點到輸出節點的連接數580。GA參數設置：位串長度=12705,群體規模=6000，交叉概率pc=0.6,變異概率pm=0.001,進化代數為500，每個實數參數的二進制編碼長度設為8。算法主要流程：(1) 初始化：設置群體規模N=6000,進化代數G=500，交叉概率Pc=0.6和變異概率Pm=0.001，染色體長度chromlength=12705，隨機產生初始種群;(2) 令G=1,進入循環;(3) 對30個個體進行解碼，代入神經網絡模型，根據適應值函數(見式(2)計算個體的適應度;

10、(4) 進行遺傳操作：精英選擇、雙點交叉、基本變異；(5) G=G+1,判斷是否滿足終止準則；(6) 不滿足，轉到第(3)步；滿足，進化(循環)終止,輸出最佳個體。2 應用實例將上述方法應用到一水輪發電機的仿真機上進行實踐。對原始數據表中的屬性進行特征抽取和變換,原始數據表(含12個屬性和3000行對應的屬性值)數據量很大, 由于篇幅有限不予列出13, 屬性及其值域的表格如表1所示。采用文中提出的方法提取的特征結果形式如表2所示，其中提取的特征屬性為溫度t、電流和電壓，對應的屬性值為概括后的特征值(假設表示發電機的線圈溫度，i表示其定子電流，u表示定子電壓，s表示其工作狀態)，t、i、u對應的1表示正常，0表示異常；對應的1表示正常狀態；2可表示異常狀態。為了測試本文算法，將其與傳統的貝葉斯方法進行比較，如表3、表4所示。從上表實驗數據可以看出，經過GA與神經網絡的結合，二者的優越性都得以發揮，學習誤差和預測誤差都有所下降，且運行時間減少；分類精度要高于傳統的貝葉斯統計方法20%左右,且學習誤差和預測誤差降低了將近50%。通過對比,可以看出GA-NN相結合進行的特征變換達到一般特征提取的精度要求，在相同的評價體系下，本文提出的算法是有效且可信的。神經網絡用于特征提取是一個規模非常龐大的優化問題，系統結構中含有大量的冗余節點和連接，獲得可行解的速