仿生嗅覺系統中的模式識別系統對目標氣體進行識別和分析：通過基于統計學和仿生學的方法對氣味數據進行分類；用定性和定量的模式識別算法分析數據特性；用有監督和無監督的識別技術確定氣味成分模式分析常用技術主成分分析（PCA）技術：展示已知的氣味，研究含復合傳感器的氣味空間中數據的聚類，并對其線性可分性進行評估多層感知機人工神經網絡（MLP

ANN）技術：提供了一種對未知氣體向量的預分類預分類器：標準BP網絡人工神經網絡（ANN）——能獲取、存儲和利用經驗知識的物理細胞系統一種并行的分布式信息處理結構，通過稱為連接的單向信號通路將一些處理單元(具有局部存儲并能執行局部信息處理能力)相互連接而組成具有非線性映射能力；不需要精確的數學模型；擅長從輸入輸出數據中學習有用知識；容易實現并行運算；由大量的簡單計算單元組成，容易用軟硬件實現ANN的工作過程學習期對神經網絡連接權值進行修改工作期對于給定的輸入進行計算，得到識別結果6.1神經網絡模型ANN的學習規則監督型無監督型

強化學習型6.1神經網絡模型神經元模型：1943，McCulloch

&

Pitts,ANN研究的開端神經元:神經網絡操作的基本信息處理單位神經元模型:人工神經網絡的設計基礎，基于模擬生物神經元信息的傳遞特性，即輸入和輸出關系簡單神經元模型多輸入單輸出一組連接（對應于生物神經元的突觸）為負表示抑制求和單元

非線性激活函數合）求取各輸入連接強度由各連接上的權值

起非線性映射作用信號的加權表示，權值為正表示激活，

并將神經元輸出幅度和（線性組限制在一定范圍內：偏置 ，作用：添加新的固定輸入，添加新的等于偏置的突觸權值：神經元的輸入，即是來自前級n個神經元的軸突信息的權值連接，：固定輸入+1（或-1）：分別是i神經元對即突觸的傳遞效率：是激活函數（也稱傳遞函數），決定i神經元受到輸入的共同作用達到閾值時以何種方式輸出：i神經元的輸出，一個神經元輸出的正常幅度范圍可寫成單位閉區間[0,1]或者另一種區間[-1,+1]激活函數階躍型激活函數線性單元S型傳遞函數激活函數6.1神經網絡模型2.神經網絡模型（1）不含反饋的前向網絡：神經元分層排列，組成輸入層、隱含層和輸出層，每一層神經元只接受前一層神經元的輸出，輸入模式經過各層的順次變換后，得到輸出層的輸出。2.神經網絡模型（2）輸出層到輸入層有反饋的前向網絡：它用于存儲某種形式序列，神經認知屬于此類。6.1神經網絡模型2.神經網絡模型（3）內互連的前向網絡：它通過層內神經元的相互結合，可實現同一層神經元之間的橫向抑制和興奮機制，以實現同一層神經元之間的能同時動作的神經元個數，或者把每層內的神經元分為若干組，讓每一組成為一個整體來動作。6.1神經網絡模型2.神經網絡模型（4）結合型網絡

：在任意兩個神經元之間都可能有連接，在相互結合網絡中，信號要在神經元之間反復往返傳遞，網絡處在一種不斷改變狀態的過程中有可能進入周期震蕩或其他如混沌之類的平衡狀態。6.1神經網絡模型3.神經網絡的種類◆按照網絡的結構區分，有前向網絡和反饋網絡；◆按照學習方式區分，有有導師學習和無導師學習型；◆按照網絡性能區分，有連續型和離散型，隨機型和確定型；◆按照突觸性質區分，有一階線性關聯和高階非線性關聯型；◆按照對生物神經系統的層次模擬區分，有神經元層次模型、組合式模型、網絡層次模型、神經系統層次模型和智能型模型。6.1神經網絡模型6.1神經網絡模型3.神經網絡的種類用于模式識別的神經網絡類型①BP網絡：1986，D.E.Rumelhart等，基于BP(BackPropagation)誤差反向傳播算法的多層前饋神經網絡，每個神經元只前饋到其下一層的所有神經元，沒有層內聯結、各層聯結和反饋聯結，采用Sigmoid型傳遞函數。②Hopfield網絡：一種反饋網絡，網絡中的每一個神經元都將自己的輸出通過連接權傳遞給所有其他神經元，同時又接收其它神經元傳遞過來的信息，所以該系統具有系統的動態性能，一般用于聯想記憶和優化計算。③徑向基函數網絡(RBF網絡)：這也是一種前饋網絡。

網絡的學習速度和收斂較快，但是，所需訓練樣本要多一些。RBF網絡采用高斯型傳遞函數。6.2反向傳播多層前饋神經網絡6.2.1

反向傳播神經網絡結構多層前饋網絡（應用最多、最成功）多層感知機（MLP）——采用反向傳播(BP)學習算法徑向基函數網絡（RBF）概率神經網絡（PNN）……6.2反向傳播多層前饋神經網絡反向傳播神經網絡結構BP網：Back—Propagation

Neural

Network基于BP誤差反向傳播算法的多層前饋神經網絡90％的神經網絡應用采用BP主要應用于函數逼近、模式識別、分類、數據壓縮三層BP網絡的典型結構BP算法的兩階段6.2反向傳播多層前饋神經網絡6.2.1

反向傳播神經網絡結構MLP：有監督學習，其BP算法是基于誤差的梯度下降準則（即LMS算法）的一種自然延伸。權值首先被初始化為隨機值，然后向誤差減小的方向調整反向傳播：允許對每一個隱單元計算有效誤差，并由此推導出一個輸入層到隱含層權值的學習規則第二階段（反向傳播），輸出誤差逐層向前算出隱層各單元的誤差，并用此誤差修正前層權值第一階段(正向)，輸入信息從輸入層經隱層逐層計算各單元的輸出值可以選取為0嗎？為什么？6.2反向傳播多層前饋神經網絡反向傳播神經網絡結構BP網絡一般有以下兩種應用方式多輸出型BP網絡每一個輸入節點對應樣本一個特征，而輸出節點卻只有一個單輸出型BP網絡每一個輸入點對應樣本一個特征，而輸出層節點數相應等于類別數BP網絡的優點：學習算法的簡便性、模型選擇的簡易性以及容易嵌入各種啟發式信息和約束條件6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法1.BP學習算法輸入層為M，任一輸入信號用m表示隱層1有I個神經元，任一個神經元用i表示隱層2有J個神經元，任一個神經元用j表示輸出層為P，任一輸出信號用p表示隱層J與輸出層P之間的突觸權值(1)正向傳播過程(The

Forward

Phase)神經元輸入輸入層M與隱層I的突觸權值神經元輸出隱層I與隱層J之間的突觸權值輸出層所有神經元的誤差能量總和為6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法正向傳播過程(The

Forward

Phase)輸出層第p個神經元的誤差信號為6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法(2)反向傳播過程(The

Backward

Phase)①隱層J與輸出層P之間的權值修正量為當激勵函數為邏輯函數時，即則下一次迭代時隱層J上任一節點與輸出層P上任一節點之間的權值為6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法(2)反向傳播過程(The

Backward

Phase)②隱層I與隱層J之間的權值修正量為下一次迭代時隱層I上任一節點與隱層J上任一節點之間的權值為其中③輸入層M與隱層I之間的權值修正量為下一次迭代時輸入層M上任一節點與隱I上任一節點之間的權值為6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法2.步驟2.初始化各層權值1.設置變量和參量。3.隨機輸入樣本X4.對輸入樣本計算滿足要求Yes通過輸出期望和實際輸出計算誤差，與目標值比較判斷不滿足要求判斷n是否到達最大迭代次數No對輸入樣本反向計算每層的局部梯度計算每層的權值修正量并修正權值，迭代次數自動加1判斷是否已經學完所有訓練樣本NoYesEND輸入向量、各層連接權值、實際輸出量、期望輸出、收斂判斷標準、學習速率、迭代次數等W(0)：較小的隨機非零值從正向過程計算出每層神經元的輸入和輸出信號2.步驟6.2反向傳播多層前饋神經網絡6.2.2

BP學習算法3.BP學習算法的局限性和改進方法局限性：平坦區出現麻痹現象；BP網絡訓練失敗可能性大；網絡結構的選擇無統一而完整的理論指導，只能由經驗選定……改進：加入動量法、盡量使用順序訓練代替批處理方式、用奇函數做激勵函數、統一輸入信號的模式、充分利用方差和對稱性等先驗信息、統籌調整神經元的學習速度6.3其他神經網絡遺傳神經網絡1.

遺傳算法（Genetic

Algorithm,

GA）分析 Prof

J.

Holland,

Adaptation

in

Nature

and Artificial

Systems,

1975借鑒生物界自然選擇和自然遺傳機制的隨機化搜索算法6.3.1

遺傳神經網絡1.遺傳算法（Genetic

Algorithm,GA）分析標準遺傳算法的描述（Simple

GeneticAlgorithms，簡稱SGA，又稱簡單遺傳算法或基本遺傳算法）,Goldberg提出五大要素：參數編碼、初始群體的設定、適應度函數的設計、遺傳操作的設計（選擇、交叉、變異）控制參數的設定。以編碼空間代替問題的參數空間，以適應度函數為評價依據，以編碼群體為進化基礎，以群體中個體位串的遺傳操作實現選擇和遺傳機制，建立一個迭代過程。在這一過程中，通過隨機重組編碼位串中重要的基因，使新一代的位串集合優于老一代的位串集合，群體的個體不斷進化，逐漸接近最優解，最終達到求解問題的目的。6.3.1

遺傳神經網絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程6.3.1

遺傳神經網絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程遺傳算法的特點：群體搜索，易于并行化處理；不是盲目窮舉，而是啟發式搜索；適應度函數不受連續、可微等條件的約束，適用范圍很廣6.3.1遺傳神經網絡標準遺傳算法的描述1）標準遺傳算法（SGA）的基本流程遺傳算法的運行過程為一個典型的迭代過程，其必須完成的工作內容和基本步驟如下：選擇編碼策略，把參數集合X和域轉換為位串結構空間S；定義適應度函數F(X)；

確定遺傳策略，包括選擇群體大小n，選擇、交叉、變異方法，以及確定交叉概率PC、變異概率PM等遺傳參數；隨機初始化生成群體P；計算群體中個體位串解碼后的適應值F(X)；

按照遺傳策略，運用選擇、交叉和變異算子作用于群體，形成下一代群體；

判斷群體性能是否滿足某一指標，或者已完成預定迭代次數，不滿足則返回步驟f），或者修改遺傳策略再返回步驟f）。6.3.1遺傳神經網絡(1)標準遺傳算法的描述2）遺傳算法的幾個術語a)

編碼b)初始種群c)

適應度函數d)

選擇算子e)

輪盤賭選擇方法f)

交叉算子g)

變異算子h)

基本位變異算子i)

運行參數a）編碼GA是通過某種編碼機制把對象抽象為由特定符號按一定順序排成的串。完備性（問題空間的所有可能解都能表示為所設計的基因鏈碼形式）、健全性（任何一個基因鏈碼都對應于一個可能解）和非冗余性（問題空間和表達空間一一對應）二進制編碼（SGA使用）、Gray編碼、動態編碼、實數編碼、有序串編碼、多參數映射編碼、可變長編碼、二維染色體編碼等SGA編碼a）編碼函數優化示例：求一元函數的最大值，求解結果精確到6位小數。由于區間長度為3，求解結果精確到6位小數，因此可將自變量定義區間劃分為3×106等份。又因為221≤3×106

≤222，所以本例的二進制編碼長度至少需要22位，本例的編碼過程實質上是將區間[-1,2]內對應的實數值轉化為一個二進制串BACKb)

初始種群SGA采用隨機方法生成若干個個體的集合，該集合稱為初始種群。初始種群中個體的數量稱為種群規模。適應度函數適應度函數定義了候選假設的排序準則，并且是以概率方法選擇下一代群體的準則。遺傳算法在優化搜索中基本上不用外部信息，僅用適應度函數為尋優依據。遺傳算法對一個個體（解）的好壞用適應度函數值來評價，適應度函數值越大，解的質量越好。適應度函數是遺傳算法進化過程的驅動力，也是進行自然選擇的唯一標準，它的設計應結合求解問題本身的要求而定。BACKd)

選擇算子遺傳算法使用選擇運算來實現對群體中的個體進行優勝劣汰操作：適應度高的個體被遺傳到下一代群體中的概率大；適應度低的個體，被遺傳到下一代群體中的概率小。選擇操作的任務就是按某種方法從父代群體中選取一些個體，遺傳到下一代群體。SGA中選擇算子采用輪盤賭選擇方法。BACKe) 輪盤賭選擇方法輪盤賭選擇又稱比例選擇算子，它的基本思想是：各個個體被選中的概率與其適應度函數值大小成正比。設群體大小為n，個體i的適應度為Fi，則個體i被選中遺傳到下一代群體的概率為：輪盤賭選擇方法的實現步驟：計算群體中所有個體的適應度函數值（需要解碼）；利用比例選擇算子的公式，計算每個個體被選中遺傳到下一代群體的概率；采用模擬賭盤操作（即生成0到1之間的隨機數與每個個體遺傳到下一代群體的概率進行匹配）來確定各個個體是否被遺傳到下一代群體中。BACKf)

交叉算子交叉算子從兩個雙親串中通過復制選定位產生兩個新的后代。所謂交叉運算，是指對兩個相互配對的染色體依據交叉概率Pc按某種方式相互交換其部分基因，從而形成兩個新的個體。交叉運算是遺傳算法區別于其他進化算法的重要特征，它在遺傳算法中起關鍵作用，是產生新個體的主要方法。SGA中交叉算子采用單點交叉算子。單點交叉運算：交叉后：00000|0000011111100010111100|01110000000010000交叉前：00000|0111000000001000011100|00000111111000101BACKg)

變異算子變異運算：依據變異概率Pm

將個體編碼串中的某些基因值用其它基因值來替換，從而形成一個新的個體。遺傳算法中的變異運算是產生新個體的輔助方法，它決定了遺傳算法的局部搜索能力，同時保持種群的多樣性。交叉運算和變異運算的相互配合，共同完成對搜索空間的全局搜索和局部搜索。SGA中變異算子采用基本位變異算子。BACKh)

基本位變異算子基本位變異算子是指對個體編碼串隨機指定的某一位或某幾位基因作變異運算。對于基本遺傳算法中用二進制編碼符號串所表示的個體，若需要進行變異操作的某一基因座上的原有基因值為0，則變異操作將其變為1；反之，若原有基因值為1，則變異操作將其變為0基本位變異算子的執行過程：變異前：0000011100

0000010000變異后：000001110001000010000BACKi)

運行參數遺傳算法運行參數有4個，即群體大小M、遺傳運算的終止進化代數T、交叉概率Pc和變異概率Pm。群體大小M太小時難以求出最優解，太大則增長收斂時間。一般M＝30～160。交叉概率Pc太小時難以向前搜索，太大則容易破壞高適應值的結構。一般取Pc=0.25～

0.75。變異概率Pm太小時難以產生新的基因結構，太大使遺傳算法成了單純的隨機搜索。一般取Pm＝0.01～0.2。BACK6.3.1

遺傳神經網絡1.遺傳算法（Genetic

Algorithm,GA）分析(2)遺傳算法的原理特點

從問題解的中集開始搜索，而不是從單個解開始；

求解時使用特定問題的信息極少，容易形成通用算法程序；有極強的容錯能力；

選擇、交叉和變異都是隨機操作，而不是確定的精確規則；具有隱含的并行性。6.3.1

遺傳神經網絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進1）遺傳算法的收斂性分析遺傳算法要實現全局收斂，首先要求任意初始種群經有限步驟都能到達全局最優解，其次算法必須由保優操作來防止最優解的遺失。與算法收斂性有關的因素主要包括種群規模、選擇操作、交叉概率和變異概率。6.3.1

遺傳神經網絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進1）遺傳算法的收斂性分析遺傳算法要實現全局收斂，首先要求任意初始種群經有限步驟都能到達全局最優解，其次算法必須由保優操作來防止最優解的遺失。與算法收斂性有關的因素主要包括種群規模、選擇操作、交叉概率和變異概率。6.3.1

遺傳神經網絡1.遺傳算法（Genetic

Algorithm,GA）分析（3）遺傳算法的收斂性分析及改進2)遺傳算法的改進對編碼方式的改進對遺傳算子的改進對控制參數的改進對執行策略的改進a）對編碼方式的改進二進制編碼優點在于編碼、解碼操作簡單，交叉、變異等操作便于實現，缺點在于精度要求較高時，個體編碼串較長，使算法的搜索空間急劇擴大，遺傳算法的性能降低。格雷編碼克服了二進制編碼的不連續問題，浮點數編碼改善了遺傳算法的計算復雜性。對遺傳算子的改進通過進行排序選擇、均勻交叉和逆序變異來達到對遺傳算子的改進。BACKc）對控制參數的改進Schaffer建議的最優參數范圍是：M

=20~100，T

=100~500，Pc

=0.4~0.9，Pm

=0.001~0.01。Srinvivas等人提出自適應遺傳算法，即Pc和Pm能夠隨適應度自動改變，當種群的各個個體適應度趨于一致或趨于局部最優時，使二者增加，而當種群適應度比較分散時，使二者減小，同時對適應值高于群體平均適應值的個體，采用較低的Pc和Pm

，使性能優良的個體進入下一代，而低于平均適應值的個體采用較高的

Pc和Pm

，使性能較差的個體被淘汰。BACKd）對執行策略的改進采用混合遺傳算法、免疫遺傳算法、小生境遺傳算法、單親遺傳算法和并行遺傳算法等實現對執行策略的改進。BACK6.3.1

遺傳神經網絡遺傳神經網絡遺傳算法在神經網絡中的應用主要反映在三個方面：網絡的學習、網絡的結構設計和網絡的分析。遺傳算法在網絡學習中的應用1)學習規則的優化用遺傳算法對神經網絡學習規則實現自動優化，從而提高學習速率。2)網絡權系數的優化用遺傳算法的全局優化及隱含并行性的特點提高權系數優化速度。6.3.1

遺傳神經網絡遺傳神經網絡遺傳算法在網絡設計中的應用用遺傳算法設計一個優秀的神經網絡結構，首先是要解決網絡結構的編碼問題；然后才能以選擇、交叉、變異操作得出最優結構。編碼方法主要有下列3種：1)直接編碼法這是把神經網絡結構直接用二進制串表示，在遺傳算法中，“染色體”實質上和神經網絡是一種映射關系。通過對“染色體”的優化就實現了對網絡的優化。6.3.1

遺傳神經網絡遺傳神經網絡遺傳算法在網絡設計中的應用2)參數化編碼法把神經網絡結構直接用二進制串表示，在遺傳算法中，“染色體”和神經網絡是一種映射關系。通過對“染色體”的優化就實現了對網絡的優化。參數化編碼采用的編碼較為抽象，編碼包括網絡層數、每層神經元數、各層互連方式等信息。一般對進化后的優化

“染色體”進行分析，然后產生網絡的結構。3)繁衍生長法把簡單的生長語法規則編碼入“染色體”中；然后，由遺傳算法對這些生長語法規則不斷進行改變，最后生成適合所解的問題的神經網絡。與自然界生物地生長進化相一致。6.3.1

遺傳神經網絡2.遺傳神經網絡（3）遺傳算法在網絡分析中的應用神經網絡分析酒類氣體識別實驗中的傳感器陣列的篩選……6.3其他神經網絡6.3.2

徑向基函數神經網絡徑向基函數RBF(RadialBasisFunction)神經網絡在一定程度上可以克服局部最小和效率低等問題,在函數逼近方面與BP神經網絡相比有著明顯的優勢。1.RBF神經網絡拓撲結構RBF神經網絡是一種性能良好的三層前向網絡，由輸入層、中間層(隱層)和輸出層組成輸入層僅對數據信息進行傳遞,而不進行任何變換。隱層神經元的核函數(或稱作用函數)通常取為高斯函數,對輸入信息進行空間映射變換。輸出層神經元的作用函數為Sigmoid函數,對隱層神經元輸出的信息進行線性加權后輸出,作為網絡的輸出結果。一般采用監督學習的方法訓練神經網絡,以確定網絡的中心、寬度和調節權重。6.3.2

徑向基函數神經網絡1.RBF神經網絡拓撲結構設輸入層、中間層(隱層)和輸出層的神經元數分別是N、M、R，輸入信息模式（或向量）記為X，則；輸出信息模式（或向量）記為Y，。隱層第j個神經元的輸入輸出關系為：隱層第j個神經元的輸出值隱層第j個神經元的中心向量，由隱層第j個神經元對應于輸入層所有神經元的中心分量構成，隱層第j個神經元的寬度向量，與Cj對應，為歐式范數6.3.2

徑向基函數神經網絡1.RBF神經網絡拓撲結構輸出層神經元的輸入輸出關系表達式為：輸出層第k個神經元的輸出值是輸出層第k個神經元與隱層第j個神經元間的調節權重RBF神經網絡具有很強的生物學背景：在人的大腦皮層區域中，局部調節及交疊的感受野（receptivefield）是人腦反應的特點，而隱層神經元的核函數取為高斯函數時也具有這種特點，核函數只在某個神經元中心周圍的一部分區域內產生較強的反應，體現了大腦皮層的反應特點。6.3.2

徑向基函數神經網絡RBF神經網絡拓撲結構關鍵問題：隱層神經元中心參數的合理確定①直接計算法②自組織學習選取RBF中心法③有導師學習選取RBF中心法④正交最小二乘法選取RBF中心法⑤基于高斯核的RBF學習算法直接計算法：隨機選取RBF中心，是一種最簡單的方法。隱層神經元的中心通過來隨機地在輸入樣本中選取，且中心固定。一旦中心固定下來后，隱層神經元的輸出便是已知的，這樣神經網絡的連接權值就可以通過求線性方程組來確定。自組織學習選取RBF中心法：一種混合的學習方法。因為RBF中心是可以變化的，通過自組織學習確定其位置，而輸出層的線性權重通過有監督學習來確定。主要采用k-均值聚類法來選擇RBF的中心，屬于無監督（導師）的學習方法。有導師學習選取RBF中心法：RBF中心及其它參數都是通過有導師的學習來確定的。常用的學習迭代方法是梯度下降法。正交最小二乘法選取RBF中心法：思想來源于線性回歸模型。神經網絡的輸出實際上是隱層神經元某種響應參數（稱為回歸算子）和隱層-輸出層之間連接權重的線性組合。所有隱層神經元上的回歸算子構成回歸向量，正交最小二乘法的任務就是通過神經網絡的學習來獲取合適的回歸向量。學習過程主要是回歸向量的正交化過程。基于高斯核的RBF學習算法:是有監督學習選取RBF神經網絡中心的學習方法，是最一般的學習形式。在很多實際問題中，RBF神經網絡隱層神經元的中心并非是某些樣本點或樣本的聚類中心，需要通過學習的方法獲取，使所得到的中心能夠更好地反映訓練集數據所包含的信息。6.3.3 概率神經網絡PNN一種非參數的概率密度估計方法首先將訓練樣本歸一化，將連接輸入單元和模式層單元的連接初始化為

，然后從模式層的第一單元到類別層中代表所屬類別的那個單元之間建立一個連接。對剩下的各個模式單元都重復進行得到一個輸入層與模式層之間完全連通，而模式層到類別層之間稀疏連接的網絡。6.3其他神經網絡訓練好的網絡就可以用