人工神經網絡

(ArtificialNeuralNetwroks

-----ANN)

1神經網絡講解與實例1.1人工神經網絡發展概況人工神經網絡(ArtificialNeuralNetworks，ANN)：簡稱神經網絡。模擬人腦神經細胞的工作特點：*單元間的廣泛連接；*并行分布式的信息存貯與處理；*自適應的學習能力等。優點：(1)較強的容錯性;(2)很強的自適應學習能力；(3)可將識別和若干預處理融為一體進行；2神經網絡講解與實例(4)并行工作方式；(5)對信息采用分布式記憶，具有魯棒性。四個發展階段：第一階段：啟蒙期，始于1943年。形式神經元的數學模型提出。第二階段：低潮期，始于1969年。《感知器》(Perceptions)一書出版，指出局限性。第三階段：復興期，從1982年到1986年。Hopfield的兩篇論文提出新的神經網絡模型；《并行分布處理》出版，提出反向傳播算法。第四個階段：1987年至今，趨于平穩。回顧性綜述文章“神經網絡與人工智能”。3神經網絡講解與實例人工神經網絡的基本特點

（1）可處理非線性（2）并行結構．對神經網絡中的每一個神經元來說；其運算都是同樣的．這樣的結構最便于計算機并行處理．

（3）具有學習和記憶能力．一個神經網絡可以通過訓練學習判別事物；學習某一種規律或規則．神經網絡可以用于聯想記憶．（4）對數據的可容性大．在神經網絡中可以同時使用量化數據和質量數據（如好、中、差、及格、不及格等）．（5）神經網絡可以用大規模集成電路來實現．如美國用256個神經元組成的神經網絡組成硬件用于識別手寫體的郵政編碼．4神經網絡講解與實例1.2神經網絡基本概念1.2.1生物神經元1．生物神經元的結構細胞體、樹突、軸突和突觸。5神經網絡講解與實例2．生物神經元的工作機制興奮和抑制兩種狀態。抑制狀態的神經元由樹突和細胞體接收傳來的興奮電位產生輸出脈沖輸入興奮總量超過閾值神經元被激發進入興奮狀態由突觸傳遞給其它神經元6神經網絡講解與實例1.2.2人工神經元及神經網絡人工神經元：生物神經元的簡化模擬。人工神經元間的互連：信息傳遞路徑軸突-突觸-樹突的簡化；連接的權值：兩個互連的神經元之間相互作用的強弱。圖8.2人工神經元模型接收的信息(其它神經元的輸出)

互連強度/權值

作比較的閾值n維輸入向量X

輸出輸出函數7神經網絡講解與實例神經元的動作：輸出函數f：也稱作用函數，非線性。閾值型S型偽線性型f為閾值型函數時：設，點積形式：式中，8神經網絡講解與實例1.2.3神經網絡的學習學習：

同一個訓練集的樣本輸入輸出模式反復作用于網絡，網絡按照一定的訓練規則自動調節神經元之間的連接強度或拓撲結構，使實際輸出滿足期望的要求或者趨于穩定。實質：1．Hebb學習規則典型的權值修正方法：Hebb學習規則、δ誤差修正學習

如果神經網絡中某一神經元與另一直接與其相連的神經元同時處于興奮狀態，那么這兩個神經元之間的連接強度應該加強。神經網絡的最重要特征之一。9神經網絡講解與實例wij(t+1)：修正一次后的某一權值；η：學習因子，表示學習速率的比例常數；yj(t)，yi(t)：分別表示t時刻第j個和第i個神經元的狀態（輸出）。由有：

神經元間的連接10神經網絡講解與實例2.δ學習規則（3）更新權值，閾值可視為輸入恒為（－1）的一個權值；（1）選擇一組初始權值wij(1)；（2）計算某一輸入模式對應的實際輸出與期望輸出的誤差；式中，（4）返回(2)，直到對所有訓練模式網絡輸出均能滿足要求。dj，yj(t)：第j個神經元的期望輸出與實際輸出；xi(t)：第j個神經元的第i個輸入。神經網絡的學習體現在：權值變化；網絡結構變化。η：學習因子；11神經網絡講解與實例1.3前饋神經網絡1.3.1感知器感知器（Perceptron）：F．Rosenblatt于1957年提出。

感知器結構示意圖*雙層（輸入層、輸出層）；*兩層單元之間為全互連；*連接權值可調。結構特點：*輸出層神經元個數等于類別數（兩類問題時輸出層為一個神經元）。12神經網絡講解與實例設輸入模式向量，，共M類。輸出層第j個神經元對應第j個模式類，θj：第j個神經元的閾值；wij：輸入模式第i個分量與輸出層第j個神經元間的連接權。令。取

有輸出為

輸出單元對所有輸入數值加權求和，經閾值型輸出函數產生一組輸出模式。13神經網絡講解與實例M類問題判決規則(神經元的輸出函數)為*正確判決的關鍵：輸出層每個神經元必須有一組合適的權值。

*感知器采用監督學習算法得到權值；*權值更新方法：δ學習規則。算法描述第一步：設置初始權值wij(1)，w(n+1)j(1)為第j個神經元的閾值。第二步：輸入新的模式向量。第三步：計算神經元的實際輸出。14神經網絡講解與實例設第k次輸入的模式向量為Xk，與第j個神經元相連的權向量為第j個神經元的實際輸出為第四步：修正權值。dj：第j個神經元的期望輸出。第五步：轉到第二步。當全部學習樣本都能正確分類時，學習過程結束。經驗證明，當η隨k的增加而減小時，算法一定收斂。15神經網絡講解與實例1.3.2BP網絡BP網絡主要用于1）函數逼近：用輸入向量和相應的輸出向量訓練一個網絡逼近一個函數。2）模式識別：用一個特定的輸出向量將它與輸入向量聯系起來。3）分類：把輸入向量以所定義的合適方式進行分類。4）數據壓縮：減少輸出向量維數以便于傳輸或存儲。目前，在人工神經網絡的實際應用中，絕大部分的神經網絡模型是采用BP網絡和它的變化形式，它也是前饋網絡的核心部分，并體現了人工神經網絡最精華的部分。16神經網絡講解與實例BP網絡：采用BP算法（Back-PropagationTrainingAlgorithm）的多層感知器。誤差反向傳播算法認識最清楚、應用最廣泛。性能優勢：識別、分類1．多層感知器

針對感知器學習算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網絡；結構：只允許一層連接權可調。17神經網絡講解與實例2．BP算法兩個階段正向傳播階段：逐層狀態更新反向傳播階段：誤差BP算法的學習過程設：某層任一神經元j的輸入為netj，輸出為yj；相鄰低一層中任一神經元i的輸出為yi。jiwij：神經元i與j之間的連接權；f(?)：神經元的輸出函數。18神經網絡講解與實例S型輸出函數：θj：神經元閾值；h0：修改輸出函數形狀的參數。設：輸出層中第k個神經元的實際輸出為yk，輸入為netk；與輸出層相鄰的隱層中任一神經元j的輸出為yj。19神經網絡講解與實例

對輸入模式Xp，若輸出層中第k個神經元的期望輸出為dpk，實際輸出為ypk。輸出層的輸出方差：若輸入N個模式，網絡的系統均方差為：當輸入Xp時，wjk的修正增量：其中，由式得到：20神經網絡講解與實例令，可得輸出單元的誤差：輸出單元的修正增量：

對于與輸出層相鄰的隱層中的神經元j和該隱層前低一層中的神經元i

：

輸出層中神經元輸出的誤差反向傳播到前面各層，對各層之間的權值進行修正。21神經網絡講解與實例BP算法建模步驟：第一步：對權值和神經元閾值初始化：(0，1)上分布的隨機數。第二步：輸入樣本，指定輸出層各神經元的希望輸出值。第三步：依次計算每層神經元的實際輸出，直到輸出層。第四步：從輸出層開始修正每個權值，直到第一隱層。若j是輸出層神經元，則：若j是隱層神經元，則：第五步：轉到第二步，循環至權值穩定為止。22神經網絡講解與實例改進的權值修正：——收斂快、權值平滑變化α：平滑因子，0<α<1。BP算法存在問題：*存在局部極小值問題；*算法收斂速度慢；*隱層單元數目的選取無一般指導原則；*新加入的學習樣本影響已學完樣本的學習結果。23神經網絡講解與實例24神經網絡講解與實例25神經網絡講解與實例3．應用之例：蚊子的分類已知的兩類蚊子的數據如表1：

翼長觸角長類別1.781.14Apf1.961.18Apf1.861.20Apf1.721.24Af2.001.26Apf2.001.28Apf1.961.30Apf1.741.36Af目標值0.90.90.90.10.90.90.90.1

翼長觸角長類別

1.641.38Af1.821.38Af1.901.38Af1.701.40Af1.821.48Af1.821.54Af2.081.56Af目標t0.10.10.10.10.10.10.1

26神經網絡講解與實例輸入數據有15個，即,p=1,…,15;j=1,2;對應15個輸出。建模：（輸入層，中間層，輸出層，每層的元素應取多少個？）建立神經網絡27神經網絡講解與實例規定目標為：當t(1)=0.9時表示屬于Apf類，t(2)=0.1表示屬于Af類。設兩個權重系數矩陣為：為閾值

其中28神經網絡講解與實例分析如下：

為第一層的輸出，同時作為第二層的輸入。其中，為閾值，為激勵函數若令

（作為一固定輸入）（閾值作為固定輸入神經元相應的權系數）

29神經網絡講解與實例則有：取激勵函數為=則同樣，取

30神經網絡講解與實例（1）隨機給出兩個權矩陣的初值；例如用MATLAB軟件時可以用以下語句：

令p=0具體算法如下：=rand(2,3);=rand(1,3);(2)根據輸入數據利用公式算出網絡的輸出

=31神經網絡講解與實例取（3）計算因為所以

（4）取

（或其他正數，可調整大小）

32神經網絡講解與實例(5)計算

和

j=1,2,3,i=1,2,3,計算

j=1,2,3j=1,2,333神經網絡講解與實例(6)p=p+1，轉（2）

注：僅計算一圈（p=1，2，…，15）是不夠的，直到當各權重變化很小時停止，本例中，共計算了147圈，迭代了2205次。最后結果是：34神經網絡講解與實例即網絡模型的解為：

=35神經網絡講解與實例4.BP網絡建模特點：非線性映照能力：神經網絡能以任意精度逼近任何非線性連續函數。在建模過程中的許多問題正是具有高度的非線性。并行分布處理方式：在神經網絡中信息是分布儲存和并行處理的，這使它具有很強的容錯性和很快的處理速度。自學習和自適應能力：神經網絡在訓練時，能從輸入、輸出的數據中提取出規律性的知識，記憶于網絡的權值中，并具有泛化能力，即將這組權值應用于一般情形的能力。神經網絡的學習也可以在線進行。數據融合的能力：神經網絡可以同時處理定量信息和定性信息，因此它可以利用傳統的工程技術（數值運算）和人工智能技術（符號處理）。多變量系統：神經網絡的輸入和輸出變量的數目是任意的，對單變量系統與多變量系統提供了一種通用的描述方式，不必考慮各子系統間的解耦問題。36神經網絡講解與實例2023/7/21375.BP神經網絡的設計分析1、產生數據樣本集包括原始數據的收集、數據分析、變量選擇以及數據的預處理

首先要在大量的原始測量數據中確定出最主要的輸入模式。

在確定了最重要的輸入量后，需進行尺度變換和預處理。尺度變換常常將它們變換到[-1,1]或[0,1]的范圍。在進行尺度變換前必須先檢查是否存在異常點（或稱野點），這些點必須刪除。通過對數據的預處理分析還可以檢驗其是否存在周期性、固定變換趨勢或其它關系。對數據的預處理就是要使得經變換后的數據對于神經網絡更容易學習和訓練。

37神經網絡講解與實例2023/7/2138對于一個問題應該選擇多少數據，這也是一個很關鍵的問題。系統的輸入輸出關系就包含在數據樣本中。一般來說，取的數據越多，學習和訓練的結果便越能正確反映輸入輸出關系。但選太多的數據將增加收集、分析數據以及網絡訓練付出的代價選太少的數據則可能得不到正確的結果。事實上數據的多數取決于許多因素，如網絡的大小、網絡測試的需要以及輸入輸出的分布等。其中網絡的大小最關鍵。通常較大的網絡需要較多的訓練數據。一個經驗規則是：訓練模式應是連接權總數的5至10倍。38神經網絡講解與實例2023/7/2139最簡單的方法是：將收集到的可用數據隨機地分成兩部分，比如其中三分之二用于網絡的訓練。另外三分之一用于將來的測試。隨機選取的目的是為了盡量減小這兩部分數據的相關性。影響數據大小的另一個因素是輸入模式和輸出結果的分布，對數據預先加以分類可以減小所需的數據量。相反，數據稀薄不勻甚至覆蓋則勢必要增加數據量。在神經網絡訓練完成后，需要有另外的測試數據來對網絡加以檢驗，測試數據應是獨立的數據集合。39神經網絡講解與實例2023/7/21402、確定網絡的類型和結構神經網絡的類型很多，需根據問題的性質和任務的要求來合適地選擇網絡類型。一般從已有的網絡類型中選用一種比較簡單而又能滿足要求的網絡，新設計一個網絡類型來滿足問題的要求往往比較困難。若主要用于模式分類，尤其是線性可分的情況，則可采用較為簡單的感知器網絡。若主要用于函數估計，則可應用BP網絡在網絡的類型確定后，要是選擇網絡的結構和參數。以BP網絡為例，需選擇網絡的層數、每層的節點數、初始權值、閾值、學習算法、數值修改頻度、結點變換函數及參數、學習率等參數。40神經網絡講解與實例2023/7/2141對于網絡層數的選取：理論上早已證明：具有偏差和至少一個S型隱含層加上一個線性輸出層的網絡，能夠逼近任何有理函數。增加層數主要可以更進一步降低誤差，提高精度，但同時也使網絡復雜化，從而增加了網絡權值的訓練時間。而誤差精度的提高實際上也可以通過增加隱含層中的神經元數目來獲得，其訓練效果也比增加層數更容易觀察和調整，所以，一般情況下，應優先考慮增加隱含層中的神經元數。41神經網絡講解與實例2023/7/2142對于具體問題若確定了輸入和輸出變量后，網絡輸入層和輸出層的節點個數也便隨之確定了。

具體選擇可采用如下方法：先設較少的節點，對網絡進行訓練，并測試網絡的逼近誤差，然后逐漸增加節點數，直到測試的誤差不再有明顯的減少為止。

隱層節點數對網絡的泛化能力有很大的影響。節點數太多，傾向于記住所有的訓練數據，包括噪聲的影響，反而降低了泛化能力；節點數太少，不能擬和樣本數據，沒有較好的泛化能力。原則：選擇盡量少的節點數以實現盡量好的泛化能力。

對于每層節點數的選取：42神經網絡講解與實例2023/7/2143由于系統是非線性的，初始值對于學習是否達到局部最小、是否能夠收斂以及訓練時間的長短關系很大。初始權值的選取：如果初始值太大，使得加權后的輸入落到激活函數的飽和區，從而導致其導數非常小，而在計算權值的修正公式中，修正量正比與其導數，從而使調節過程幾乎停頓下來。一般總是希望經過初始加權后的每個神經元的輸出值都接近于零，這樣可以保證每個神經元的權值都能夠在他們的S型激活函數變化最大之處進行調節，所以，一般取初始權值在(-1,1)之間的隨機數。43神經網絡講解與實例2023/7/2144學習速率的選取：學習速率決定每一次循環訓練中所產生的權值變化量。大的學習速率可能導致系統的不穩定小的學習速率會導致訓練較長，收斂速度很慢。不過能保證網絡的誤差值不跳出表面的低谷而最終趨于最小誤差值。一般情況下，傾向于選取較小的學習速率以保證系統的穩定性。學習速率一般的選取范圍為0.01－0.8。和初始權值的選取過程一樣，在一個神經網絡的設計中，網絡要經過幾個不同的學習速率的訓練。通過觀察每一次訓練后的誤差平方和的下降速率來判斷選定的學習速率是否合適。如果下降很快，說明學習速率合適。若出現振蕩，則說明學習速率過大。對于較復雜的網絡，為了減小尋找學習速率的訓練次數以及訓練時間，比較合適的方法是采用自適應學習速率。44神經網絡講解與實例2023/7/21453、訓練和測試對所有樣本數據正向運行一次并反向修改連接權一次稱為一次訓練(或一次學習)。通常訓練一個網絡需要成百上千次。并非訓練的次數越多，越能得到正確的輸入輸出的映射關系。由于所收集的數據都是包含噪聲的，訓練的次數過多，網絡將包含噪聲的數據都記錄了下來，在極端情況下，訓練后的網絡可以實現相當于查表的功能。但是對于新的輸入數據卻不能給出合適的輸出，即并不具備很好的泛化能力。訓練網絡的目的在于找出蘊含在樣本數據中的輸入和輸出之間的本質聯系，從而對于未經訓練的輸入也能給出合適的輸出，即局部泛化能力。網絡的性能主要是用它的泛化能力來衡量，它不是用對訓練數據的擬和程度來衡量，而是用一組獨立的數據來加以測試和檢驗。45神經網絡講解與實例2023/7/2146訓練次數均方誤差訓練數據測試數據實際操作時應該訓練和測試交替進行，即每訓練一次，同時用測試數據測試一遍，畫出均方誤差隨訓練次數的變換曲線在用測試數據檢驗時，均方誤差開始逐漸減小，當訓練次數再增加時，測試檢驗誤差反而增加，誤差曲線上極小點所對應的即為恰當的訓練次數，若再訓練即為“過渡訓練”了。46神經網絡講解與實例6.MATLAB神經網絡工具箱的應用在網絡訓練過程中使用的是Matlab7.0forWindows軟件，對于BP神經元網絡的訓練可以使用NeuralNetworksToolboxforMatlab。美國的Mathwork公司推出的MATLAB軟件包既是一種非常實用有效的科研編程軟件環境，又是一種進行科學和工程計算的交互式程序。MATLAB本身帶有神經網絡工具箱，可以大大方便權值訓練，減少訓練程序工作量，有效的提高工作效率.47神經網絡講解與實例7.BP網絡——應用實例銀行數據如表1所示，要求根據存款金額、及時還貸情況、貸款次數，將這些記錄按信用分為“良好”和“差”兩類。步驟1：預處理在開始訓練之前，先將各樣本的每一屬性值都限定在[0,1]上，并將信用類別重新編碼，用0表示“良好”，用1表示“差”規范化后的數據如表2所示。4848神經網絡講解與實例步驟2：設計網絡結構根據分析，該例的網絡結構如圖1所示。步驟3：初始化該網絡的權值和偏差網絡的初始權值和偏差一般是用隨機函數生成的介于[-1,1]的小數,該例的初始權值和偏差如表3所示4949神經網絡講解與實例步驟4：進行訓練將學習效率（學習因子）η設為0.7依次將表2中的樣本輸入網絡，計算出個神經元的輸入、輸出和誤差計算反向傳播所得誤差，更新權值和偏差，所有樣本輸入完畢后，判斷是否滿足終止條件，不滿足則進行下一輪迭代，滿足則迭代結束。第1次掃描迭代中,計算出各神經元的凈輸入、輸出、誤差、權值和偏差更新值如表4所示。步驟5：實現分類通過上述訓練后，該BP網絡可提取關于輸入(存款金額、貸款次數、及時還貸率)和輸出類(信用等級)的關聯規則。利用這些規則即可實現對現有客戶信用等級的分類,并據此做出客戶貸款償付預測,進行客戶信用政策分析。5050神經網絡講解與實例5151神經網絡講解與實例結束52神經網絡講解與實例

例:BP神經網絡水（處理）系統的模擬與預測等方面獲得了廣泛的應用。光催化臭氧氧化處理自來水工藝神經網絡模型應用舉例53神經網絡講解與實例

樣本54神經網絡講解與實例檢驗樣本55神經網絡講解與實例隱層神經元數的選擇隱層神經元數的選擇是一個十分復雜的問題。因為沒有很好的解析式表示，可以說隱層神經元數與問題的要求、輸入層與輸出層神經元的數量、訓練樣本的數量等都有直接關系。事實上隱層神經元太少不可能將網絡訓練出來，但太多又使學習時間過長，使網絡不“不強壯”，泛化能力下降，即不能識別以前沒有直接接收到的樣本，容錯性差。當隱層數為20×10和8×4時的訓練結果:隱層數為2節點數8×4隱層數為2節點數20×10圖6-2相同隱層數不同節點數訓練誤差曲線56神經網絡講解與實例

神經網絡模型的各層節點數分別為：輸入層2個；第一隱層12個；第二隱層6個；輸出層1個。綜合以上研究內容，建立光催化臭氧氧化處理自來水工藝神經網絡模型如圖6-3所示。輸入層輸出層隱層圖6-3BP網絡模型臭氧濃度入口UV254UV254去除率57神經網絡講解與實例1．學習率η和動量因子αBP算法本質上是優化計算中的梯度下降法，利用誤差對于權、閥值的一階導數信息來指導下一步的權值調整方向，以求最終得到誤差最小。為了保證算法的收斂性，學習率η必須小于某一上限，一般取0<η<1而且越接近極小值，由于梯度變化值逐漸趨于零，算法的收斂就越來越慢。在網絡參數中，學習率η和動量因子α是很重要的，它們的取值直接影響到網絡的性能，主要是收斂速度。為提高學習速度，應采用大的η。但η太大卻可能導致在穩定點附近振蕩，乃至不收斂。針對具體的網絡結構模型和學習樣本，都存在一個最佳的學習率門和動量因子α，它們的取值范圍一般0～1之間，視實際情況而定。在上述范圍內通過對不同的η和α的取值進行了考察，確定本文神經網絡模型的參數為：η＝0.7，α＝0.9。58神經網絡講解與實例2．初始權值的選擇在前饋多層神經網絡的BP算法中，初始權、閾值一般是在一個固定范圍內按均勻分布隨機產生的。一般文獻認為初始權值范圍為-1～＋1之間，初始權值的選擇對于局部極小點的防止和網絡收斂速度的提高均有一定程度的影響，如果初始權值范圍選擇不當，學習過程一開始就可能進入“假飽和”現象，甚至進入局部極小點，網絡根本不收斂。初始權、閾值的選擇因具體的網絡結構模式和訓練樣本不同而有所差別，一般應視實際情況而定。本文考察了不同初始權、閾值的賦值范圍對網絡收斂速度的影響，確定本文神經網絡模型的初始權和閾值的隨機賦值范圍為－0.5～+0.5。59神經網絡講解與實例3．收斂誤差界值Emin

在網絡訓練過程中應根據實際情況