1、2021/4/261 主要內容 生物神經元生物神經元 人工神經元人工神經元 人工神經網絡的網絡結構人工神經網絡的網絡結構 人工神經網絡的訓練人工神經網絡的訓練 2021/4/262 什么是人工神經網絡什么是人工神經網絡 人工神經網絡（人工神經網絡（Artificial Neural Networks， 簡記作簡記作ANN），是對人類大腦系統的一階），是對人類大腦系統的一階 特性的一種描述。簡單地講，它是一個特性的一種描述。簡單地講，它是一個數數 學模型學模型，可以用，可以用電子線路電子線路來實現，也可以來實現，也可以 用用計算機程序計算機程序來模擬，是人工智能研究的來模擬，是人工智能研究的 一

2、種方法。一種方法。 2021/4/263 人工神經網絡的概念人工神經網絡的概念 1） 一組處理單元一組處理單元（PE或或AN）；）； 2） 處理單元的處理單元的激活狀態激活狀態（ai）；）； 3） 每個處理單元的每個處理單元的輸出函數輸出函數（fi）；）； 4） 處理單元之間的處理單元之間的聯接模式聯接模式； 5） 傳遞規則傳遞規則（wijoi）；）； 6） 把處理單元的輸入及當前狀態結合起來產生把處理單元的輸入及當前狀態結合起來產生 激活值的激活值的激活規則激活規則（Fi）；）； 7） 通過經驗修改聯接強度的通過經驗修改聯接強度的學習規則學習規則； 8） 系統運行的環境（系統運行的環境（樣本

3、樣本集合）。集合）。 2021/4/264 人工神經網絡的概念人工神經網絡的概念 Simpson（1987年）年） 人工神經網絡是一個非線性的有向圖，圖人工神經網絡是一個非線性的有向圖，圖 中含有可以通過改變權大小來存放模式的中含有可以通過改變權大小來存放模式的 加權邊，并且可以從不完整的或未知的輸加權邊，并且可以從不完整的或未知的輸 入找到模式。入找到模式。 2021/4/265 生物神經元模型 2021/4/266 神經元的生物學解剖 2021/4/267 神經元模型 1 細胞體 細胞體是由很多分子形成的綜合體，內部 含有一個細胞核、核糖體、原生質網狀結 構等，它是神經網絡活動的能量供應地

4、， 并進行新陳代謝等各種生化過程。 2 樹突 細胞體的伸延部分產生的分支稱為樹突， 樹突是接受從其他神經元傳入信息的入口。 2021/4/268 神經元模型 3 軸突 細胞體突起的最長的外伸管狀纖維稱為軸 突，最長可達1m以上。軸突是將神經元興 奮的信息傳到其他神經元的出口。 4 突觸 一個神經元與另一個神經元之間相聯系并 進行信息傳送的結構稱為突觸。 神經元是構成神經網絡的最基本單元（構神經元是構成神經網絡的最基本單元（構 件）。件）。 2021/4/269 生物神經網生物神經網 六個基本特征：六個基本特征： 1）神經元及其聯接）神經元及其聯接； 2）神經元之間的聯接強度決定信號傳遞的強弱；

5、）神經元之間的聯接強度決定信號傳遞的強弱； 3）神經元之間的聯接強度是可以隨訓練改變的；）神經元之間的聯接強度是可以隨訓練改變的； 4）信號可以是起刺激作用的，也可以是起抑制作）信號可以是起刺激作用的，也可以是起抑制作 用的；用的； 5）一個神經元接受的信號的累積效果決定該神經）一個神經元接受的信號的累積效果決定該神經 元的狀態；元的狀態； 6) 每個神經元可以有一個每個神經元可以有一個“閾值閾值”。 2021/4/2610 人工神經元 9、 人的價值，在招收誘惑的一瞬間被決定。2021-5-192021-5-19Wednesday, May 19, 2021 10、低頭要有勇氣，抬頭要有低氣

6、。2021-5-192021-5-192021-5-195/19/2021 8:28:58 PM 11、人總是珍惜為得到。2021-5-192021-5-192021-5-19May-2119-May-21 12、人亂于心，不寬余請。2021-5-192021-5-192021-5-19Wednesday, May 19, 2021 13、生氣是拿別人做錯的事來懲罰自己。2021-5-192021-5-192021-5-192021-5-195/19/2021 14、抱最大的希望，作最大的努力。2021年5月19日星期三2021-5-192021-5-192021-5-19 15、一個人炫耀什

7、么，說明他內心缺少什么。2021年5月2021-5-192021-5-192021-5-195/19/2021 16、業余生活要有意義，不要越軌。2021-5-192021-5-19May 19, 2021 17、一個人即使已登上頂峰，也仍要自強不息。2021-5-192021-5-192021-5-192021-5-19 2021/4/2612 人工神經元人工神經元 人工神經元模型應該具有生物神經元的六人工神經元模型應該具有生物神經元的六 個基本特性。個基本特性。 xn wn x1 w1 x2 w2 net=XW 2021/4/2613 人工神經元的基本構成人工神經元的基本構成 人工神經元模

8、擬生物神經元的人工神經元模擬生物神經元的一階特性一階特性。 輸入：輸入：X=（x1，x2，xn） 聯接權：聯接權：W=（w1，w2，wn）T 網絡輸入：網絡輸入： net=xiwi 向量形式：向量形式： net=XW xn wn x1 w1 x2 w2 net=XW 2021/4/2614 激活函數激活函數(Activation Function) 激活函數激活函數執行對該神經元所獲得的網執行對該神經元所獲得的網 絡輸入的變換，也可以稱為激勵函數、活絡輸入的變換，也可以稱為激勵函數、活 化函數：化函數： o=f（net） 1、線性函數（、線性函數（Liner Function） f（net）=

9、k*net+c net o o c 2021/4/2615 2、非線性斜面函數、非線性斜面函數(Ramp Function) if net f（net）= k*netif |net|0為一常數，被稱為飽和值，為該神經元為一常數，被稱為飽和值，為該神經元 的最大輸出。的最大輸出。 2021/4/2616 2、非線性斜面函數（、非線性斜面函數（Ramp Function） - - net o 2021/4/2617 3、閾值函數（、閾值函數（Threshold Function）階躍函數）階躍函數 if net f（net）= -if net 、均為非負實數，均為非負實數，為閾值為閾值 二值形式：

10、二值形式： 1if net f（net）= 0if net 雙極形式：雙極形式： 1if net f（net）= -1if net 2021/4/2618 3、閾值函數（、閾值函數（Threshold Function）階躍函數）階躍函數 - o net 0 2021/4/2619 4、S形函數形函數 壓縮函數（壓縮函數（Squashing Function）和邏輯斯特）和邏輯斯特 函數（函數（Logistic Function）。）。 f（net）=a+b/(1+exp(-d*net) a，b，d為常數。它的飽和值為為常數。它的飽和值為a和和a+b。 最簡單形式為：最簡單形式為： f（net

11、）= 1/(1+exp(-d*net) 函數的飽和值為函數的飽和值為0和和1。 S形函數有較好的增益控制形函數有較好的增益控制 2021/4/2620 4、S形函數形函數 a+b o (0,c)net a c=a+b/2 2021/4/2621 聯接模式 2021/4/2622 聯接模式 層次層次（又稱為（又稱為“級級”）的劃分，導致了神）的劃分，導致了神 經元之間的三種不同的經元之間的三種不同的互連模式互連模式： 1、 層（級）內聯接層（級）內聯接 層內聯接又叫做區域內（層內聯接又叫做區域內（Intra-field）聯）聯 接或側聯接（接或側聯接（Lateral）。）。 用來加強和完成層內神

12、經元之間的競爭用來加強和完成層內神經元之間的競爭 2 2、 循環聯接循環聯接 反饋信號。反饋信號。 2021/4/2623 聯接模式聯接模式 3、層（級）間聯接、層（級）間聯接 層間（層間（Inter-field）聯接指不同層中的神）聯接指不同層中的神 經元之間的聯接。這種聯接用來實現層經元之間的聯接。這種聯接用來實現層 間的信號傳遞間的信號傳遞 2021/4/2624 ANN的網絡結構 2021/4/2625 網絡的分層結構網絡的分層結構 簡單單級網簡單單級網 x1 x2 xn o1 o2 om wnm w11 w1m w2m wn1 輸出層輸出層 輸入層輸入層 2021/4/2626 簡單

13、單級網簡單單級網 W=（wij） 輸出層的第輸出層的第j個神經元的網絡輸入記為個神經元的網絡輸入記為 netj： netj=x1w1j+x2w2j+xnwnj 其中其中, 1 j m。取。取 NET=（net1，net2，netm） NET=XW O=F（NET） 2021/4/2627 單級橫向反饋網單級橫向反饋網 輸出層輸出層 x1 o1 w11 w1m x2o2 w2m xn om wn1 輸入層輸入層 V 2021/4/2628 單級橫向反饋網單級橫向反饋網 V=（vij） NET=XW+OV O=F（NET） 時間參數時間參數神經元的狀態在主時鐘的控制下同神經元的狀態在主時鐘的控制下

14、同 步變化步變化 考慮考慮X總加在網上的情況總加在網上的情況 NET（t+1）=X（t）W+O（t）V O(t+1)=F(NET(t+1) O（0）=0 考慮僅在考慮僅在t=0時加時加X的情況。的情況。 穩定性判定穩定性判定 2021/4/2629 多級網多級網 輸出層輸出層隱藏層隱藏層輸入層輸入層 o1 o2 om x1 x2 xn 2021/4/2630 層次劃分層次劃分 信號只被允許從較低層流向較高層。信號只被允許從較低層流向較高層。 層號確定層的高低：層號較小者，層次層號確定層的高低：層號較小者，層次 較低，層號較大者，層次較高。較低，層號較大者，層次較高。 輸入層輸入層：被記作第：被

15、記作第0層。該層負責接收來層。該層負責接收來 自網絡外部的信息自網絡外部的信息 輸出層輸出層隱藏層隱藏層輸入層輸入層 o1 o2 om x1 x2 xn 2021/4/2631 第第j層層：第：第j-1層的直接后繼層（層的直接后繼層（j0），它直接），它直接 接受第接受第j-1層的輸出。層的輸出。 輸出層輸出層：它是網絡的最后一層，具有該網絡的：它是網絡的最后一層，具有該網絡的 最大層號，負責輸出網絡的計算結果。最大層號，負責輸出網絡的計算結果。 隱藏層隱藏層：除輸入層和輸出層以外的其它各層叫：除輸入層和輸出層以外的其它各層叫 隱藏層。隱藏層不直接接受外界的信號，也不隱藏層。隱藏層不直接接受外

16、界的信號，也不 直接向外界發送信號直接向外界發送信號 輸出層輸出層隱藏層隱藏層輸入層輸入層 o1 o2 om x1 x2 xn 2021/4/2632 約定約定 : 輸出層的層號為該網絡的層數：輸出層的層號為該網絡的層數：n層網絡，或層網絡，或n級級 網絡。網絡。 第第j-1層到第層到第j層的聯接矩陣為第層的聯接矩陣為第j層聯接矩陣，輸層聯接矩陣，輸 出層對應的矩陣叫輸出層聯接矩陣。今后，在需出層對應的矩陣叫輸出層聯接矩陣。今后，在需 要的時候，一般我們用要的時候，一般我們用W（ （j）表示第 表示第j層矩陣層矩陣。 輸出層輸出層隱藏層隱藏層輸入層輸入層 o1 o2 om x1 x2 xn W

17、(1)W(2)W(3)W(h) 2021/4/2633 多級網多級網h層網絡層網絡 輸出層輸出層隱藏層隱藏層輸入層輸入層 o1 o2 om x1 x2 xn W(1)W(2)W(3)W(h) 2021/4/2634 循環網循環網 x1o1 輸出層輸出層隱藏層隱藏層輸入層輸入層 x2 o2 omxn 2021/4/2635 循環網循環網 如果將輸出信號反饋到輸入端如果將輸出信號反饋到輸入端,就可構成一個多層就可構成一個多層 的循環網絡。的循環網絡。 輸入的原始信號被逐步地輸入的原始信號被逐步地“加強加強”、被、被“修復修復”。 大腦的大腦的短期記憶特征短期記憶特征看到的東西不是一下子看到的東西不

18、是一下子 就從腦海里消失的。就從腦海里消失的。 穩定穩定：反饋信號會引起網絡輸出的不斷變化。我：反饋信號會引起網絡輸出的不斷變化。我 們希望這種變化逐漸減小，并且最后能消失。當們希望這種變化逐漸減小，并且最后能消失。當 變化最后消失時，網絡達到了平衡狀態。如果這變化最后消失時，網絡達到了平衡狀態。如果這 種變化不能消失，則稱該網絡是不穩定的。種變化不能消失，則稱該網絡是不穩定的。 2021/4/2636 人工神經網絡的訓練人工神經網絡的訓練 2021/4/2637 人工神經網絡的訓練人工神經網絡的訓練 人工神經網絡最具有吸引力的特點是它的人工神經網絡最具有吸引力的特點是它的 學習能力。學習能力

19、。 1962年，年，Rosenblatt給出了人工神經網絡著給出了人工神經網絡著 名的學習定理：人工神經網絡可以學會它名的學習定理：人工神經網絡可以學會它 可以表達的任何東西。可以表達的任何東西。 人工神經網絡的表達能力大大地限制了它人工神經網絡的表達能力大大地限制了它 的學習能力。的學習能力。 人工神經網絡的學習過程就是對它的訓練人工神經網絡的學習過程就是對它的訓練 過程過程 2021/4/2638 無導師學習無導師學習 無導師學習無導師學習(Unsupervised Learning)與無導與無導 師訓練師訓練(Unsupervised Training)相對應相對應 無導師訓練方法不需要

20、目標，其訓練集中無導師訓練方法不需要目標，其訓練集中 只含一些輸入向量，訓練算法致力于修改只含一些輸入向量，訓練算法致力于修改 權矩陣，以使網絡對一個輸入能夠給出相權矩陣，以使網絡對一個輸入能夠給出相 容的輸出，即相似的輸入向量可以得到相容的輸出，即相似的輸入向量可以得到相 似的輸出向量。似的輸出向量。 抽取樣本集合中蘊含的統計特性抽取樣本集合中蘊含的統計特性，并以神，并以神 經元之間的聯接權的形式存于網絡中。經元之間的聯接權的形式存于網絡中。 2021/4/2639 無導師學習無導師學習 Hebb學習律、競爭與協同（學習律、競爭與協同（Competitive and Cooperative）

21、學習、隨機聯接系統）學習、隨機聯接系統 （Randomly Connected Learning）等。）等。 Hebb算法算法D. O. Hebb在在1961年年的核心：的核心： 當兩個神經元同時處于激發狀態時被加當兩個神經元同時處于激發狀態時被加 強，否則被減弱。強，否則被減弱。 數學表達式表示：數學表達式表示： Wij（t+1）=Wij（t）+oi（t）oj（t） 2021/4/2640 有導師學習有導師學習 有導師學習有導師學習(Supervised Learning)與有導師訓練與有導師訓練 (Supervised Training)相對應。相對應。 輸入向量與其對應的輸出向量構成一個

22、輸入向量與其對應的輸出向量構成一個“訓練訓練 對對”。 有導師學習的訓練算法的主要步驟包括：有導師學習的訓練算法的主要步驟包括： 1） 從樣本集合中取一個樣本（從樣本集合中取一個樣本（Ai，Bi）；）； 2） 計算出網絡的實際輸出計算出網絡的實際輸出O； 3） 求求D=Bi-O； 4） 根據根據D調整權矩陣調整權矩陣W； 5 5） 對每個樣本重復上述過程，直到對整個樣本集來對每個樣本重復上述過程，直到對整個樣本集來 說，誤差不超過規定范圍。說，誤差不超過規定范圍。 2021/4/2641 Delta規則規則 Widrow和和Hoff的寫法的寫法： Wij( (t+1) )=Wij( (t) )

23、+( (yj- aj( (t)oi( (t) ) 也可以寫成：也可以寫成： Wij( (t+1) )=Wij( (t) )+ Wij( (t) ) Wij(t)(t)=joi(t)(t) j=yj- aj(t)(t) Grossberg的寫法為：的寫法為： Wij(t)=a(t)=ai i(t)(o(t)(oj j(t)-W(t)-Wij ij(t) (t) 更一般的更一般的Delta規則為：規則為： Wij( (t) )=g( (ai(t)，yj，oj( (t) )，Wij( (t) 2021/4/2642 相關參數 上述式子中，上述式子中， Wij( (t+1) )、Wij( (t) )分

24、別表示神分別表示神 經元經元ANANi i到到ANANj j的聯結在時刻的聯結在時刻t+1t+1和時刻和時刻t t的強的強 度，度， oi( (t) ) 、 oj( (t) )為這兩個神經元在時刻為這兩個神經元在時刻 t t的輸出，的輸出，yj為神經元為神經元ANANj j 的理想輸出，的理想輸出，aj( (t) )、 aj( (t) )分別為神經元分別為神經元ANANi i 和和ANANj j 的激活狀態，的激活狀態， 為給定的學習率。為給定的學習率。 9、 人的價值，在招收誘惑的一瞬間被決定。21.5.1921.5.19Wednesday, May 19, 2021 10、低頭要有勇氣，抬頭要有低氣。*5/19/2021 8:28:58 PM 11、人總是珍惜為得到。21.5.19*May-2119-May-2