1、2021/4/2612021/4/262人工神經網絡人工神經網絡 是是生物神經網絡生物神經網絡的某種模型的某種模型( (數學模型數學模型) ) 是對生物神經網絡的模仿是對生物神經網絡的模仿 基本處理單元為基本處理單元為人工神經元人工神經元2021/4/263 大量大量的廣泛、復雜連接，形成的廣泛、復雜連接，形成實現各種智能活動實現各種智能活動 2021/4/264 2021/4/265(2)(2)生物神經元的基本特征生物神經元的基本特征 神經元之間彼此神經元之間彼此 神經元之間的神經元之間的連接強度連接強度決定決定的強弱的強弱 神經元之間的神經元之間的可以可以 學習、遺忘、疲勞學習、遺忘、疲勞

2、 -神經網絡中各神經元之間神經網絡中各神經元之間，按外部的，按外部的激勵信號做激勵信號做 信號可以起信號可以起作用，也可以起作用，也可以起作用作用 一個神經元接受信號的一個神經元接受信號的決定該神經元的決定該神經元的 每個神經元可以有一個每個神經元可以有一個2021/4/266是是對對的的模模擬擬。 大大量量簡簡單單的的以以某某種種形形式式連連接接，形形成成一一個個. . 其其中中某某些些因因素素，如如: :連連接接連連接接，其其大大小小決決定定信信號號傳傳遞遞強強弱弱) ); ; , ,神神經經元元的的輸輸入入輸輸出出特特性性) ); ;甚甚至至等等， 可可依依某某種種規規則則隨隨外外部部數

3、數據據 進進人人工工神神經經網網絡絡計計算算單單元元（結結點點，神神經經元元）網網絡絡強強度度行行適適當當調調整整，最最終終實實現現某某種種功功能能。 ( (權權值值結結點點 神神經經網網絡絡計計算算特特性性( (激激活活特特性性網網絡絡結結的的計計算算通通過過網網絡絡結結構構實實現現； 生生 物物神神經經 構構系系 統統 不不同同網網絡絡結結構構可可以以體體現現各各種種不不同同的的功功能能； 網網絡絡結結構構的的是是通通過過逐逐漸漸參參數數學學習習修修正正的的。2021/4/267McCulloch-PittsMcCulloch-Pitts神經元模型神經元模型輸入信號；鏈接強度與權向量；輸入

4、信號；鏈接強度與權向量；信號累積信號累積激活與抑制激活與抑制2021/4/26800權值，激活 連接權值，突觸連接強度權值，抑制 輸入信號關于神經元突觸的線性加權 將神經元的輸出信號限制在有限范圍內 一組連接 一個加法器一個激勵函數人工神經元模型的三要素 :2021/4/269,.,.,1n1ni= xx=,維輸入向量 是來自其它 個神經元的輸出； 也可以是來自外部的輸入信號維權向量 相當于突觸的連接強度。TTnxxnnWR輸輸 入入信信號號權權向向量量2021/4/26101()iinetxynet 單調增函數，通常為非線性函數網絡輸入 -神經元的輸入興奮總量是多個輸入的代數和 其中輸出 標

5、量 -執行該神經元所獲得的網絡輸入的變換niW xf 轉轉移移函函數數, ,激激勵勵 激激活活 函函數數 傳傳輸輸函函數數，輸輸出出函函數數，限限幅幅函函數數 將將可可能能的的無無線線域域變變換換到到指指定定的的有有限限范范圍圍輸輸出出。-單單輸輸出出()()傳傳遞遞函函數數9、 人的價值，在招收誘惑的一瞬間被決定。2022-3-62022-3-6Sunday, March 06, 202210、低頭要有勇氣，抬頭要有低氣。2022-3-62022-3-62022-3-63/6/2022 8:05:24 PM11、人總是珍惜為得到。2022-3-62022-3-62022-3-6Mar-226

6、-Mar-2212、人亂于心，不寬余請。2022-3-62022-3-62022-3-6Sunday, March 06, 202213、生氣是拿別人做錯的事來懲罰自己。2022-3-62022-3-62022-3-62022-3-63/6/202214、抱最大的希望，作最大的努力。2022年3月6日星期日2022-3-62022-3-62022-3-615、一個人炫耀什么，說明他內心缺少什么。2022年3月2022-3-62022-3-62022-3-63/6/202216、業余生活要有意義，不要越軌。2022-3-62022-3-6March 6, 202217、一個人即使已登上頂峰，也仍

7、要自強不息。2022-3-62022-3-62022-3-62022-3-62021/4/2612(1) (1) 基本的人工神經元模型基本的人工神經元模型1()iinetbpbynet若帶偏置量，則有 標量niW pf-單單輸輸出出()()2021/4/2613(2) (2) 輸出函數輸出函數f0,f net = k net+cnetf netnetnetnet ： 為常數，稱飽和值，是該神經單元的最大輸出； 輸出函數值限制在范圍內。(Ramp Function)bkbbb bA.線性函數B.非線性斜數 函 面2021/4/2614(2) (2) 輸出函數輸出函數f, ,1 net0f net

8、 = sgn net =-1 net 0hardlims netf net =- net 型函數，不可微；對稱硬極限函數； 雙極函數 函數 其中非負實數 signmatlabC.符號函數D.閾值函數2021/4/2615(2) (2) 輸出函數輸出函數f210112()11.11netnetnetnetnetnetlogsignetnet 一些重要的學習算法要求輸出函數可微 ， 值域， 對數S型函數雙曲 函數： 值域， 函正切S數型函數netfematlabeeftheE sigmoidSeematlab函數型函數連續可微tansig：非線性，單調； 無限次可微較小時(權值較小)，可近似線性函

9、數 -高增益區處理小信號較大時(權值較大)，可近似閾值函數. -低增益區處理大信號netnet2021/4/2616()網絡結構或拓撲(連接形式)神經元的計算特性 傳遞函數學習規則上述要素不同組合，形成各種神經網絡模型3. 人工神經網絡三個要素2021/4/2617 23HopfieldSOM.1 網絡 神經網絡feedfroward networkfeedback networkcompetitive learning network4 神經網絡三種基本前饋型模神經網絡-反饋網絡競爭學習重點介紹網絡型多多層層感感知知器器 B BP P網網絡絡 R RB BF F網網絡絡2021/4/2618

10、 自學習 自適應 并行處理 分布表達與計算回歸 狀態預測 可應用到眾多領域,如： 優化計算；信號處理；智能控制； 模式識別；機器視覺；等等。神經網絡特點神經網絡應用神神經經網網絡絡本本質質上上，可可以以理理解解為為函函數數逼逼近近2021/4/26192021/4/2620 各神經元接受來自前級的輸入，并產生輸出到下一級，各神經元接受來自前級的輸入，并產生輸出到下一級，可用一有向無環圖表示。，可用一有向無環圖表示。 網絡中的節點分兩類：網絡中的節點分兩類： 節點按層節點按層(layer)(layer)組織組織 ： 第第i i層的輸入只與第層的輸入只與第i i-1 -1層的輸出相連。層的輸出相連

11、。 輸入信號由輸入層輸入輸入信號由輸入層輸入, ,由第一層節點輸出，傳向下層，由第一層節點輸出，傳向下層，。- (input layer) (input layer) 輸入節點所在層，無計算能力輸入節點所在層，無計算能力 (output layer) (output layer) 節點為神經元節點為神經元 中間層，節點為神經元中間層，節點為神經元2021/4/26212021/4/26222. 2. 感知器神經網絡感知器神經網絡( (感知器感知器) )、感知器神經元、感知器神經元2021/4/26231 net0f net = sgn net =-1 net 0hardlims1 net0ha

12、rdlim net =0 net 0對稱硬極限函數 函數 matlab符號函數2. 2. 感知器神經網絡、感知器神經元感知器神經網絡、感知器神經元( (續續) )2021/4/2624 單個閾值神經元可以實現的與與、或或及、邏輯門。 任何邏輯函數可由兩層前饋網絡（一層計任何邏輯函數可由兩層前饋網絡（一層計算單元）實現算單元）實現。 多層感知器的適用范圍大大超過單層網絡。2021/4/26252021/4/2626 0111,.,iji0ji=kk1xgygnetvv c 第 個隱含層的第 個節點的凈輸入輸出層的第 個節點的凈輸入類，c個判別函數 可表達更為復雜的非線性函數不一定為符號函數 nk

13、kjkkjjmkxxkc輸出單元的輸出隱含層單一般的前饋運算 元 激活函數 常要求激活函數是連續可微的輸出層與隱含層的激活函數可以不同，并且輸出層各單元的激活函數可有所區別2021/4/2627 2Kolmogorov 按照定理,任何一個判決均可用前式所示的三層神經網絡實現。即： 只要給定足夠數量的隱含層單元、適當的非線性函數、以及權值， 任何由輸入向輸出的連續映射函數均可用一個實現。三層前饋神經多層網網絡能力絡的表達2021/4/26282021/4/26292021/4/26302021/4/2631 1011,20121301,.,14B,.,P-1=維輸入向量 層神經網絡層號 輸入層層

14、號 隱含層層號 輸出層各層節點 輸入節點，計算節點 數目， 輸入層輸出層相鄰層連接權值 來自與第層的當前的連接節點第 層節點權值TnlLlijnxxxLllLlLnlLnnnliljm算法訓練過程描述約定：標準化2021/4/2632 1115111,.,1,.,1,.,i, j,kjOijjkBP：第 層為當前處理層； 其前一層、當前層 、后一層的計算單元序號為； 位于當前層第 個計算單元的輸出為， 前層第 個單元到本層第 個單元的連接權值為 本層第 個單元到后層第 個單元的連接權值為注：采用修正權值，輸出函數應連續可微，選ljllijlljkllllljninknsigm算法訓練過程描述假

15、假定定梯梯度度法法函數。oid2021/4/2633 111,1,. ,111. jjnetOOn tle-=+從樣本集內取出一個樣本,將 各分量從輸入層輸入至網絡,由前向后，逐層得到各的：對于的第 個計算單元, 該單元的 ljlnlnllljijiilljjetllljjjx Dxyefnetf netf netnf1 1 輸入信號的正向傳遞過計算單元實際輸出當前層凈輸入實際輸出程若當前層為111,.,jyyydyy，則計算單元預測輸出 且給定輸出 TljjmTjmlLOyD實際輸出輸輸理想出出層2021/4/2634 122122111111,.,112211221xx-=最小誤差平方和。

16、 某樣本在網絡產生的為 樣本集內所有樣本關于該網絡的 輸出層節點 的 TnmjjjmmLLjjjjjjtotalLLjijxEDydydOdf netEElLjnetO2 誤差反向傳播過程I 輸出誤差準則函數 輸出層 各節點輸出誤差總輸出誤差凈輸入2121111-+ LjLnLinetiLjeO實際輸出2021/4/2635 2211212211111121,.,11,.,121122=隱含層 輸出層 輸出層與前一層的實際輸出 輸出誤差 輸出層誤差計算元的單LLLiLjLinLLjjiimmjjjjjLjjjLjnetEnLinetLjLLOyffOdydfnmII 輸出層的權調值調整 連接整

17、權值 111111局部梯度 LjLjLjjjLjjlljjjjjjjjjyEydfnetynetydf netf nEnetyydeyt2021/4/2636 212111111111111211111.1= 修正應使誤差 最快減 續小 LLijLjLiLijLjjjjjLjLjLjLjLijnLiiLijLijLLijijLijLiLjjEyydynetOEnetEnetnEAtOEeII 輸出層的權值調整權值對誤差 的影響輸出層的權值調整 修正量 221111.11 LLiiLLLLijijijijjjjjydyttyOOBt修正方式 2021/4/2637111111111,.,1,.,

18、11節點后層中的節點 的輸出 輸出層誤差 關于隱含層 的節點 凈輸入的局對后層全部節點部梯度：均有 影響 llllijnnlllkjkjkjjlkllllljljjjkinljljlIIInf nkOfffEnetnenelkOljEEttetne隱含層 當前層當調整 值前層的權111111111111111= llllljllljjlknknnllllkjkkjkkknliiljljjiljljnetOOfnetOetOOn t2021/4/263811111111111111111,.,1, .,1.= llllllijnljlkjnnllllkjkkjkkllljllljjjlljljl

19、jknliilklkjijiinljEnetnOOneIIInnetfnetOOEnetOett當前層隱含層的權 權值值調整 11111111 權值修正 lllilijnlllllijjjjkjlljljklkijlllijijlilijijijOEnnetOetOEEOOttt對誤差 的影響2021/4/2639 ()11 續 ijijijijjiijttttOt為為加加快快收收斂斂速速度度，往往往往在在權權值值 修修正正量量中中加加上上前前次次的的權權值值修修正正 量量，稱稱為為。2引入慣性誤差反向傳播過程慣性項項： 權值修正2021/4/2640,00011.3.10.3.9BP 輸入向

20、量,期望輸出 ，如 小隨機數 如：之間 通常固定之間；也可動態調整 通常之間包括 輸入層節點數；隱含層數目；各隱含層節點數目； 輸出層節點數；各神經元節點的激活函數最大可允許迭代ppxDSTEP訓練樣本權值初始化首先明確學習步長慣性算法步驟樣本集的標準化沖量 項系數確定神經網絡結構，設定終止條件：處理；0次數 硬條件 ； 訓練精度 軟條件記訓練時間時間t以小隨機數初始化網絡權值；2021/4/2641 111121121,2,1mj=1yfy DBP：按隨機或任意順序從訓練集中抽取1個訓練樣本 計算輸入 時，當前網絡的續TnnTmmTnl LlrsrjknliisjiSTEPx DxxxRdd

21、Rxyyffx重復如下過程直至滿足算法終止條件 樣本輸入 期望輸出 實際輸 出算法步驟 2121,.,1111 激活函數其中Lnrmfeefffe2021/4/2642 11311,.,1,.,111,., BP -1 對于第 層，修正權值 權值修正項 輸出層 ，具體為 間層：中lllijijijllllijiljjjjljjltttinjntxlLyydyjml算法步權驟調整值從從 輸輸出出層層開開始始 1111111,., lnllllljjjkjkklLxxtjn2021/4/2643 41B1P1213 更新全部權值，對所有訓練樣本重新計算輸出； 計算更新后網絡輸出與期望輸出的誤差；

22、檢查算法若不滿足終止條件，則 ,轉向若條件滿足，則終止，轉向：算法結束.輸出各層連接權值。可以是如下之一：網絡實際輸出與期望輸出 最近 輪訓練中所有權值變化 算法達到最大允tt +1STEP3STEP3終止條件 終止條件總誤差最大值算法步驟閾值閾值2= 許的 閾值3 總訓練次數2021/4/26442021/4/2645。2021/4/26462021/4/2647 建模前輸入輸出數據的預處理建模前輸入輸出數據的預處理正向標準化正向標準化 建模后輸入輸出數據的后處理建模后輸入輸出數據的后處理反向標準化反向標準化特征的平移特征的平移特征的尺度調整特征的尺度調整0,1,-1,1,-0,1,-1,1

23、,-a,aa,a,0,a0,a 2021/4/2648 11,1,., ,1,.1.,0,1min1,.,maxminmin1maxminxxyy給定樣本集 標準化處理后的樣本集 TdiiidiiTmiiimiiikjkikjkjkikjkikjkjkxRxyinyRxyinxxxkdxxyyykyyA. 線性映回歸模型中的輸入 / 輸出數射至據的預處理,.,m2021/4/26491,12min1,.,maxmin2min1,.,maxmin1,.,1,. 1 1 ikjkikjkjkikjkikjkjkikjkikjkikjkikjkxxxkdxxyyykmyyxmean xxkdxyme

24、an yykyB.線性映射至C.基于樣本標準差及樣本均值的線性映射,m2021/4/2650 1,0,1 maxminmin1,.2.,yyyy給定標準化處理之后的某個輸入樣本神經網絡回歸模型關于該輸入產生預測輸出對進行反向標準化后處理得最終預測輸出 下面給出具體的后處理方式。 Tmkkjkjkjkxxyyyyyyykm回歸模型中的輸出A. 若標準數據化為線性后處理預處理式的模映射至2021/4/2651 1,1maxmin 1min21,.,1,.2.,yy+=+ jkjkkkjkkkjkjkyyykmyyymean ykmB. 若輸出的標準化為線性映射至C.基于樣本標準差及樣本均值的反向線

25、性映射回歸模型中的輸出后處理預處理數據的模式2021/4/2652 1,1,., ,1,.,1,2.,0,11,10,1min1,.,maxminyxx-給定樣本集 標準化處理后的樣本集，或或 iiTdiiidiiiikjkikjkjkxinxRxyinyCxxxkdxxA.預 輸出的標準化處理 B. 將輸入各分量線性映射3 狀態預測模型 分類模型 中的輸入 / 輸的處理出至數據2021/4/26531,12min1,.,maxmin1,., 1 ikjkikjkjkikjkikjkxxxkdxxxmean xxkdxC.將輸入各分量線性線性映射至D.基于樣本標準差及樣本均值的輸入各分量線性映

26、射2021/4/2654對多層網絡要確定選用幾個隱含層？對多層網絡要確定選用幾個隱含層？19881988年年CybenkoCybenko指出，若各節點均采用指出，若各節點均采用S S型函型函數，則數，則 一個隱含層一個隱含層足以實現任意判決分類問題；足以實現任意判決分類問題； 兩個隱含層兩個隱含層足以實現輸入圖形的任意輸出足以實現輸入圖形的任意輸出2021/4/26552021/4/2656取決于取決于: : 輸出的表示方法輸出的表示方法; ; 類別數目；類別數目； 待逼近的函數數目。待逼近的函數數目。(3)(3)輸出節點數是待逼近的函數個數輸出節點數是待逼近的函數個數2021/4/26572

27、021/4/26582,1010logIoHIHHIoHn nnnnnnnaann輸入,輸出層節點數隱含層節點數 2021/4/26592021/4/26601.狀態預測狀態預測-參考參考MATLAB神經網絡神經網絡30個案例分析個案例分析例例.基于基于BP神經網絡的數據分類神經網絡的數據分類四類語音特征信號分析四類語音特征信號分析每組語音信號為24維輸入；四類語音信號：民歌、古箏、搖滾、流形共計2000組語音信號要求：基于BP網絡設計一個語音信號類別預測模型代碼：見案例12021/4/26612021/4/26622. 回歸估計回歸估計例：基于例：基于BP神經網絡的公路運量神經網絡的公路運量(客運量、貨運量客運量、貨運量)預測預測公路運量與該地區人數、機動車數量、公路面積有關。已知某地區20年的公路運量有關數據，對于未來某兩年，若明確該地區人數、機動車數量、公路面積，要求：預測該地區的公路運量。分析：(1)明確模型輸入輸出關系(2)建模： 原始數據讀取；數據標準化處理；網絡訓練；(3)模型評價：