1、2022/9/81人工神經網絡 Artificial Neural Networks2022/9/82蔣宗禮軟件學科部聯系電話：67392508Email：辦公地點：信息北樓2142022/9/83教材書名：人工神經網絡導論出版社：高等教育出版社出版日期：2001年8月定價：12.4元作者：蔣宗禮2022/9/84主要參考書目1、Philip D. Wasserman， Neural Computing: Theory and Practice，Van Nostrand Reinhold，19892、胡守仁、余少波、戴葵，神經網絡導論，國防科技大學出版社，1993年10月3、楊行峻、鄭君里，人

2、工神經網絡，高等教育出版社，1992年9月4、聞新、周露、王丹力、熊曉英，MATLAB神經網絡應用設計，科學出版社，2001.5. 2022/9/85課程目的和基本要求 作為人工神經網絡的入門課程，用于將學生引入人工神經網絡及其應用的研究領域。介紹人工神經網絡及其基本網絡模型，使學生了解智能系統描述的基本模型掌握人工神經網絡的基本概念、單層網、多層網、循環網等各種基本網絡模型的結構、特點、典型訓練算法、運行方式、典型問題掌握軟件實現方法。2022/9/86課程目的和基本要求了解人工神經網絡的有關研究思想，從中學習開拓者們的部分問題求解方法。通過實驗進一步體會有關模型的用法和性能，獲取一些初步的

3、經驗。查閱適當的參考文獻，將所學的知識與自己未來研究課題（包括研究生論文階段的研究課題）相結合起來，達到既豐富學習內容，又有一定的研究和應用的目的。2022/9/87主要內容 智能及其實現ANN基礎PerceptronBPCPN統計方法Hopfield網與BAMART2022/9/810主要內容第三章 感知器 感知器與人工神經網絡的早期發展；單層網能解決線性可分問題，而無法解決線形不可分問題，要想解決這一問題，必須引入多層網；Hebb學習律，Delta規則，感知器的訓練算法。實驗：實現一個感知器。 2022/9/811主要內容第四章 向后傳播BP（Backpropagation）網絡的構成及其

4、訓練過程；隱藏層權調整方法的直觀分析，BP訓練算法中使用的Delta規則（最速下降法）的理論推導；算法的收斂速度及其改進討論；BP網絡中的幾個重要問題。實驗：實現BP算法。 2022/9/812主要內容第五章 對傳網生物神經系統與異構網的引入；對傳網的網絡結構，Kohonen層與Grossberg層的正常運行，對傳網的輸入向量的預處理，Kohonen層的訓練算法及其權矩陣的初始化方法；Grossberg層的訓練；完整的對傳網。實驗：實現基本的對傳網。 2022/9/816第1章 引言主要內容：智能與人工智能；ANN的特點；歷史回顧與展望重點：智能的本質；ANN是一個非線性大規模并行處理系統難點

5、：對智能的刻畫 2022/9/817第1章 引言1.1 人工神經網絡的提出1.2 人工神經網絡的特點1.3 歷史回顧2022/9/818第1章 引言人類對人工智能的研究可以分成兩種方式對應著兩種不同的技術：傳統的人工智能技術心理的角度模擬基于人工神經網絡的技術生理的角度模擬2022/9/8191.1 人工神經網絡的提出 人工神經網絡（Artificial Neural Networks，簡記作ANN），是對人類大腦系統的一階特性的一種描述。簡單地講，它是一個數學模型，可以用電子線路來實現，也可以用計算機程序來模擬，是人工智能研究的一種方法。 2022/9/8231.1 人工神經網絡的提出作為5

6、種能力綜合表現形式的3種能力發現、發明、創造、創新的能力 實時、迅速、合理地應付復雜環境的能力 預測、洞察事物發展、變化的能力 2022/9/8241.1 人工神經網絡的提出二、人工智能人工智能：研究如何使類似計算機這樣的設備去模擬人類的這些能力。研究人工智能的目的增加人類探索世界，推動社會前進的能力進一步認識自己三大學術流派符號主義（或叫做符號/邏輯主義）學派聯接主義（或者叫做PDP）學派進化主義（或者叫做行動/響應）學派2022/9/8251.1 人工神經網絡的提出1.1.2 物理符號系統 人腦的反映 形式化現實 信息 數據 物理系統 物理符號系統 表現智能2022/9/8261.1 人工

7、神經網絡的提出Newell和Simon假說 ：一個物理系統表現智能行為的充要條件是它有一個物理符號系統概念：物理符號系統需要有一組稱為符號的實體組成，它們都是物理模型，可以在另一類稱為符號結構的實體中作為成分出現，以構成更高級別的系統 2022/9/8271.1 人工神經網絡的提出困難：抽象舍棄一些特性，同時保留一些特性形式化處理用物理符號及相應規則表達物理系統的存在和運行。局限：對全局性判斷、模糊信息處理、多粒度的視覺信息處理等是非常困難的。2022/9/8281.1 人工神經網絡的提出1.1.3 聯接主義觀點 核心：智能的本質是聯接機制。 神經網絡是一個由大量簡單的處理單元組成的高度復雜的

8、大規模非線性自適應系統 ANN力求從四個方面去模擬人腦的智能行為物理結構 計算模擬 存儲與操作 訓練 2022/9/8291.1 人工神經網絡的提出1.1.4 兩種模型的比較心理過程 邏輯思維 高級形式（思維的表象）生理過程 形象思維 低級形式（思維的根本） 仿生人工神經網絡聯結主義觀點物理符號系統2022/9/8301.1 人工神經網絡的提出物理符號系統和人工神經網絡系統的差別 項目物理符號系統人工神經網絡處理方式邏輯運算模擬運算執行方式串行并行動作離散連續存儲局部集中全局分布2022/9/8311.1 人工神經網絡的提出兩種人工智能技術的比較項目傳統的AI技術 ANN技術 基本實現方式 串

9、行處理；由程序實現控制 并行處理；對樣本數據進行多目標學習；通過人工神經元之間的相互作用實現控制 基本開發方法 設計規則、框架、程序；用樣本數據進行調試（由人根據已知的環境去構造一個模型） 定義人工神經網絡的結構原型，通過樣本數據，依據基本的學習算法完成學習自動從樣本數據中抽取內涵（自動適應應用環境） 適應領域 精確計算：符號處理，數值計算非精確計算：模擬處理，感覺，大規模數據并行處理模擬對象 左腦（邏輯思維）右腦（形象思維）2022/9/8341.2.1 人工神經網絡的概念（1）HechtNielsen（1988年）（續）處理單元的輸出信號可以是任何需要的數學模型，每個處理單元中進行的操作必

10、須是完全局部的。也就是說，它必須僅僅依賴于經過輸入聯接到達處理單元的所有輸入信號的當前值和存儲在處理單元局部內存中的值。2022/9/8351.2.1 人工神經網絡的概念強調： 并行、分布處理結構； 一個處理單元的輸出可以被任意分枝，且大小不變； 輸出信號可以是任意的數學模型； 處理單元完全的局部操作 2022/9/8361.2.1 人工神經網絡的概念（2） Rumellhart，McClelland，Hinton的PDP 1） 一組處理單元（PE或AN）；2） 處理單元的激活狀態（ai）；3） 每個處理單元的輸出函數（fi）；4） 處理單元之間的聯接模式；5） 傳遞規則（wijoi）；6）

11、把處理單元的輸入及當前狀態結合起來產生激活值的激活規則（Fi）；7） 通過經驗修改聯接強度的學習規則；8） 系統運行的環境（樣本集合）。 2022/9/8371.2.1 人工神經網絡的概念（3） Simpson（1987年）人工神經網絡是一個非線性的有向圖，圖中含有可以通過改變權大小來存放模式的加權邊，并且可以從不完整的或未知的輸入找到模式。 2022/9/8381.2.1 人工神經網絡的概念2、關鍵點（1） 信息的分布表示（2） 運算的全局并行與局部操作（3） 處理的非線性特征3、對大腦基本特征的模擬1） 形式上：神經元及其聯接；BN對AN2） 表現特征：信息的存儲與處理2022/9/839

12、1.2.1 人工神經網絡的概念4、別名人工神經系統（ANS）神經網絡（NN）自適應系統（Adaptive Systems）、自適應網（Adaptive Networks）聯接模型（Connectionism）神經計算機（Neurocomputer）2022/9/8401.2.2 學習（Learning）能力 人工神經網絡可以根據所在的環境去改變它的行為自相聯的網絡異相聯的網絡：它在接受樣本集合A時，可以抽取集合A中輸入數據與輸出數據之間的映射關系。“抽象”功能。不同的人工神經網絡模型，有不同的學習/訓練算法2022/9/8411.2.3 基本特征的自動提取 由于其運算的不精確性，表現成“去噪音

13、、容殘缺”的能力，利用這種不精確性，比較自然地實現模式的自動分類。普化（Generalization）能力與抽象能力 2022/9/8421.2.4 信息的分布存放信息的分布存提供容錯功能由于信息被分布存放在幾乎整個網絡中，所以，當其中的某一個點或者某幾個點被破壞時，信息仍然可以被存取。系統在受到局部損傷時還可以正常工作。并不是說可以任意地對完成學習的網絡進行修改。也正是由于信息的分布存放，對一類網來說，當它完成學習后，如果再讓它學習新的東西，這時就會破壞原來已學會的東西。 2022/9/8431.2.5適應性(Applicability)問題 擅長兩個方面：對大量的數據進行分類，并且只有較少

14、的幾種情況；必須學習一個復雜的非線性映射。目前應用：人們主要將其用于語音、視覺、知識處理、輔助決策等方面。在數據壓縮、模式匹配、系統建模、模糊控制、求組合優化問題的最佳解的近似解（不是最佳近似解）等方面也有較好的應用。 2022/9/8441.3 歷史回顧 1.3.1 萌芽期（20世紀40年代）人工神經網絡的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發表于數學生物物理學會刊Bulletin of Methematical Biophysics1949年，心理學家D. O

15、. Hebb提出神經元之間突觸聯系是可變的假說Hebb學習律。 2022/9/8451.3.2 第一高潮期（19501968） 以Marvin Minsky，Frank Rosenblatt，Bernard Widrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。 2022/9/8461.3.3 反思期（19691982） M. L. Minsky和S. Papert，Perceptron，MIT Press，1969年 異或”運算不可表示 二十世紀70年代和80年代早

16、期的研究結果 認識規律：認識實踐再認識 2022/9/8471.3.4 第二高潮期（19831990） 1982年，J. Hopfield提出循環網絡用Lyapunov函數作為網絡性能判定的能量函數，建立ANN穩定性的判別依據闡明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網絡中神經元的聯接上 2022/9/8481.3.4 第二高潮期（19831990）2）1984年， J. Hopfield設計研制了后來被人們稱為Hopfield網的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejno

17、wsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網絡中引入了隨機機制，提出所謂的Boltzmann機。 2022/9/8491.3.4 第二高潮期（19831990）4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網絡的學習算法BP算法，較好地解決了多層網絡的學習問題。（Paker1982和Werbos1974年）國內首屆神經網絡大會是1990年12月在北京舉行的。 2022/9/8501.3.5 再認識與應用研究期（1991） 問題：1）應用面還不夠寬2）結果不夠精確3）存在可信度的問題 2022/9/8511.3.5

18、再認識與應用研究期（1991） 研究：1）開發現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。2）充分發揮兩種技術各自的優勢是一個有效方法3）希望在理論上尋找新的突破，建立新的專用/通用模型和算法。4）進一步對生物神經系統進行研究，不斷地豐富對人腦的認識。 2022/9/852第2章 人工神經網絡基礎主要內容：BN與AN；拓撲結構；存儲；訓練重點：AN；拓撲結構；訓練難點：訓練2022/9/853第2章 人工神經網絡基礎2.1 生物神經網 2.2 人工神經元 2.3 人工神經網絡的拓撲特性 2.4 存儲與映射 2.5 人工神經網絡的訓練202

19、2/9/8542.1 生物神經網1、構成胞體(Soma)枝蔓（Dendrite）胞體(Soma) 軸突（Axon）突觸（Synapse）2、工作過程2022/9/8552.1 生物神經網3、六個基本特征：1）神經元及其聯接；2）神經元之間的聯接強度決定信號傳遞的強弱；3）神經元之間的聯接強度是可以隨訓練改變的；4）信號可以是起刺激作用的，也可以是起抑制作用的；5）一個神經元接受的信號的累積效果決定該神經元的狀態；6) 每個神經元可以有一個“閾值”。2022/9/8562.2 人工神經元 神經元是構成神經網絡的最基本單元（構件）。人工神經元模型應該具有生物神經元的六個基本特性。 2022/9/8

20、572.2.1 人工神經元的基本構成 人工神經元模擬生物神經元的一階特性。輸入：X=（x1，x2，xn）聯接權：W=（w1，w2，wn）T網絡輸入：net=xiwi向量形式：net=XWxn wnx1 w1x2 w2net=XW2022/9/8582.2.2 激活函數(Activation Function) 激活函數執行對該神經元所獲得的網絡輸入的變換，也可以稱為激勵函數、活化函數： o=f（net） 1、線性函數（Liner Function） f（net）=k*net+c netooc2022/9/8592、非線性斜面函數(Ramp Function) if netf（net）= k*n

21、etif |net|0為一常數，被稱為飽和值，為該神經元的最大輸出。 2022/9/8602、非線性斜面函數（Ramp Function） - - net o 2022/9/8613、閾值函數（Threshold Function）階躍函數if netf（net）=-if net 、均為非負實數，為閾值二值形式：1if netf（net）=0if net 雙極形式：1if netf（net）=-1if net 2022/9/8623、閾值函數（Threshold Function）階躍函數 -onet02022/9/8634、S形函數 壓縮函數（Squashing Function）和邏輯斯特

22、函數（Logistic Function）。f（net）=a+b/(1+exp(-d*net)a，b，d為常數。它的飽和值為a和a+b。最簡單形式為：f（net）= 1/(1+exp(-d*net) 函數的飽和值為0和1。S形函數有較好的增益控制 2022/9/8644、S形函數 a+b o(0,c)netac=a+b/22022/9/8652.2.3 M-P模型 x2 w2fo=f（net）xn wnnet=XWx1 w1McCullochPitts（MP）模型，也稱為處理單元（PE） 2022/9/866上次課內容回顧擅長兩個方面目前應用語音、視覺、知識處理數據壓縮、模式匹配、系統建模、模

23、糊控制、求組合優化問題的最佳解的近似解（不是最佳近似解）輔助決策預報與智能管理通信自適應均衡、回波抵消、路由選擇、ATM中的呼叫接納、識別與控制空間科學對接、導航、制導、飛行程序優化2022/9/867上次課內容回顧發展過程萌芽期（20世紀40年代）M-P模型Hebb學習律第一高潮期（19501968）Perceptron的興衰反思期（19691982）第二高潮期（19831990）4個標志性成果再認識與應用研究期（1991）2022/9/868上次課內容回顧生物神經網六個基本特征神經元及其聯接、信號傳遞、訓練、刺激與抑制、累積效果、 “閾值”。人工神經元的基本構成xn wnx1 w1x2 w

24、2net=XW2022/9/869上次課內容回顧激活函數與M-P模型 線性函數、非線性斜面函數、閾值函數 S形函數 M-P模型x2 w2fo=f（net）xn wnnet=XWx1 w12022/9/8702.3 人工神經網絡的拓撲特性 連接的拓撲表示 ANiwijANj 2022/9/8712.3.1 聯接模式 用正號（“+”，可省略）表示傳送來的信號起刺激作用，它用于增加神經元的活躍度；用負號（“-”）表示傳送來的信號起抑制作用，它用于降低神經元的活躍度。層次（又稱為“級”）的劃分，導致了神經元之間的三種不同的互連模式： 2022/9/8722.3.1 聯接模式 1、 層（級）內聯接層內聯

25、接又叫做區域內（Intra-field）聯接或側聯接（Lateral）。用來加強和完成層內神經元之間的競爭2、 循環聯接反饋信號。 2022/9/8732.3.1 聯接模式3、層（級）間聯接 層間（Inter-field）聯接指不同層中的神經元之間的聯接。這種聯接用來實現層間的信號傳遞前饋信號反饋信號 2022/9/8742.3.2 網絡的分層結構 單級網 簡單單級網 2022/9/875簡單單級網x1x2xno1o2omwnmw11w1mw2mwn1輸出層輸入層2022/9/876簡單單級網W=（wij）輸出層的第j個神經元的網絡輸入記為netj：netj=x1w1j+x2w2j+xnwnj

26、其中, 1 j m。取NET=（net1，net2，netm）NET=XWO=F（NET）2022/9/877單級橫向反饋網輸出層x1o1w11w1mx2o2w2mxnomwn1輸入層V2022/9/878單級橫向反饋網 V=（vij）NET=XW+OVO=F（NET）時間參數神經元的狀態在主時鐘的控制下同步變化考慮X總加在網上的情況NET（t+1）=X（t）W+O（t）VO(t+1)=F(NET(t+1)O（0）=0考慮僅在t=0時加X的情況。 穩定性判定2022/9/879多級網輸出層隱藏層輸入層o1o2omx1x2xn2022/9/880層次劃分 信號只被允許從較低層流向較高層。層號確定

27、層的高低：層號較小者，層次較低，層號較大者，層次較高。輸入層：被記作第0層。該層負責接收來自網絡外部的信息輸出層隱藏層輸入層o1o2omx1x2xn2022/9/881第j層：第j-1層的直接后繼層（j0），它直接接受第j-1層的輸出。輸出層：它是網絡的最后一層，具有該網絡的最大層號，負責輸出網絡的計算結果。隱藏層：除輸入層和輸出層以外的其它各層叫隱藏層。隱藏層不直接接受外界的信號，也不直接向外界發送信號輸出層隱藏層輸入層o1o2omx1x2xn2022/9/882約定 :輸出層的層號為該網絡的層數：n層網絡，或n級網絡。第j-1層到第j層的聯接矩陣為第j層聯接矩陣，輸出層對應的矩陣叫輸出層聯

28、接矩陣。今后，在需要的時候，一般我們用W（j）表示第j層矩陣。輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2022/9/883多級網h層網絡輸出層隱藏層輸入層o1o2omx1x2xnW(1)W(2)W(3)W(h)2022/9/884多級網非線性激活函數 F(X)=kX+CF3(F2(F1(XW(1)W(2)W(3)2022/9/885循環網x1o1輸出層隱藏層輸入層x2o2omxn2022/9/886循環網 如果將輸出信號反饋到輸入端,就可構成一個多層的循環網絡。輸入的原始信號被逐步地“加強”、被“修復”。大腦的短期記憶特征看到的東西不是一下子就從腦海里消失的。

29、穩定：反饋信號會引起網絡輸出的不斷變化。我們希望這種變化逐漸減小，并且最后能消失。當變化最后消失時，網絡達到了平衡狀態。如果這種變化不能消失，則稱該網絡是不穩定的。 2022/9/8872.4 存儲與映射 空間模式（Spatial Model）時空模式（Spatialtemporal Model）空間模式三種存儲類型1、 RAM方式（Random Access Memory）隨機訪問方式是將地址映射到數據。2、 CAM方式（Content Addressable Memory）內容尋址方式是將數據映射到地址。3、 AM方式（Associative Memory）相聯存儲方式是將數據映射到數據。

30、 2022/9/8882.4 存儲與映射后續的兩種方式是人工神經網絡的工作方式。在學習/訓練期間，人工神經網絡以CAM方式工作；權矩陣又被稱為網絡的長期存儲（Long Term Memory，簡記為LTM）。網絡在正常工作階段是以AM方式工作的；神經元的狀態表示的模式為短期存儲（Short Term Memory，簡記為STM）。 2022/9/8892.4 存儲與映射自相聯（Auto-associative）映射：訓練網絡的樣本集為向量集合為A1，A2，An在理想情況下，該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合。 2022/9/8902.4 存儲與映射異相聯（Hetero-a

31、ssociative）映射（A1，B1），（A2，B2），（An，Bn） 該網絡在完成訓練后，其權矩陣存放的將是上面所給的向量集合所蘊含的對應關系。當輸入向量A不是樣本的第一的分量時，樣本中不存在這樣的元素（Ak，Bk），使得AiAkA或者AAkAj且此時有AiAAj則向量B是Bi與Bj的插值。 2022/9/8912.5 人工神經網絡的訓練 人工神經網絡最具有吸引力的特點是它的學習能力。1962年，Rosenblatt給出了人工神經網絡著名的學習定理：人工神經網絡可以學會它可以表達的任何東西。人工神經網絡的表達能力大大地限制了它的學習能力。人工神經網絡的學習過程就是對它的訓練過程2022/9

32、/8922.5.1無導師學習 無導師學習(Unsupervised Learning)與無導師訓練(Unsupervised Training)相對應 抽取樣本集合中蘊含的統計特性，并以神經元之間的聯接權的形式存于網絡中。2022/9/8932.5.1無導師學習Hebb學習律、競爭與協同（Competitive and Cooperative）學習、隨機聯接系統（Randomly Connected Learning）等。Hebb算法D. O. Hebb在1961年的核心：當兩個神經元同時處于激發狀態時被加強，否則被減弱。數學表達式表示：Wij（t+1）=Wij（t）+oi（t）oj（t）20

33、22/9/8942.5.2 有導師學習 有導師學習(Supervised Learning)與有導師訓練(Supervised Training)相對應。輸入向量與其對應的輸出向量構成一個“訓練對”。有導師學習的訓練算法的主要步驟包括：1） 從樣本集合中取一個樣本（Ai，Bi）；2） 計算出網絡的實際輸出O； 3） 求D=Bi-O；4） 根據D調整權矩陣W； 5） 對每個樣本重復上述過程，直到對整個樣本集來說，誤差不超過規定范圍。 2022/9/895Delta規則 Widrow和Hoff的寫法：Wij(t+1)=Wij(t)+(yj- aj(t)oi(t)也可以寫成：Wij(t+1)=Wij

34、(t)+ Wij(t) Wij(t)=joi(t)j=yj- aj(t)Grossberg的寫法為： Wij(t)=ai(t)(oj(t)-Wij(t)更一般的Delta規則為： Wij(t)=g(ai(t)，yj，oj(t)，Wij(t)2022/9/896其它再例學習外部環境對系統的輸出結果給出評價，學習系統通過強化受獎的動作來改善自身性能。學習規則誤差糾錯學習Hebb學習競爭學習2022/9/897練習題P29 1、4、6、10、15 2022/9/898上次課內容回顧:網絡的分層結構聯接模式刺激聯接與抑制聯接前饋信號與反饋信號層（級）內聯接循環聯接層（級）間聯接 簡單單級網： NET=

35、XW； O=F(NET)單級橫向反饋網: NET=XW+O(t)V;O (t) =F(NET)2022/9/899上次課內容回顧:網絡的分層結構非循環多級網層次劃分非線性激活函數： F3(F2(F1(XW1)W2)W3)循環網短期記憶特征及其對輸入信號的修復作用時間參數與主時鐘穩定性2022/9/8100上次課內容回顧：存儲與映射模式空間模式時空模式模式三種存儲類型RAM 、CAM、AM模式的存儲與運行CAMLTM訓練AMSTM運行相聯：自相聯映射、異相聯映射2022/9/8101上次課內容回顧：訓練Rosenblatt的學習定理無導師學習抽取樣本集合中蘊含的統計特性樣本集：A1，A2，AnH

36、ebb算法：Wij(t+1)=Wij(t)+oi(t)oj(t)有導師學習抽取樣本蘊含的映射關系樣本集： (A1,B1)，(A2,B2)，(An,Bn) 訓練算法Delta規則2022/9/8102第3章 感知器 主要內容：感知器與人工神經網絡的早期發展；線性可分問題與線性不可分問題；Hebb學習律；Delta規則;感知器的訓練算法。重點：感知器的結構、表達能力、學習算法難點：感知器的表達能力 2022/9/8103第3章 感知器3.1 感知器與人工神經網絡的早期發展 3.2 感知器的學習算法 3.2.1 離散單輸出感知器訓練算法 3.2.2 離散多輸出感知器訓練算法3.2.3 連續多輸出感知

37、器訓練算法3.3 線性不可分問題3.3.1 異或(Exclusive OR)問題 3.3.2 線性不可分問題的克服 實現！問題的發現與解決！2022/9/81043.1 感知器與ANN的早期發展McCulloch 和Pitts 1943年，發表第一個系統的ANN研究閾值加權和(M-P)數學模型。1947年，開發出感知器。1949年，提出Hebb學習律。單輸出的感知器(M-P模型)x2 x1o xn2022/9/81053.1 感知器與ANN的早期發展1962年，Rosenblatt宣布：人工神經網絡可以學會它能表示的任何東西 o1多輸出感知器x1x2o2omxn輸入層輸出層2022/9/810

38、63.2 感知器的學習算法 感知器的學習是有導師學習 感知器的訓練算法的基本原理來源于著名的Hebb學習律 基本思想：逐步地將樣本集中的樣本輸入到網絡中,根據輸出結果和理想輸出之間的差別來調整網絡中的權矩陣 2022/9/81073.2.1離散單輸出感知器訓練算法 二值網絡：自變量及其函數的值、向量分量的值只取0和1函數、向量。權向量：W=(w1，w2，wn)輸入向量：X=(x1，x2，xn)訓練樣本集：(X，Y)|Y為輸入向量X對應的輸出 2022/9/8108算法3-1離散單輸出感知器訓練算法 1. 初始化權向量W；2. 重復下列過程，直到訓練完成：2.1 對每個樣本（X，Y），重復如下過

39、程：2.1.1 輸入X；2.1.2 計算o=F（XW）；2.1.3 如果輸出不正確，則當o=0時，取 W=W+X，當o=1時，取 W=W-X 2022/9/81093.2.2離散多輸出感知器訓練算法 樣本集：(X,Y)|Y為輸入向量X對應的輸出輸入向量：X=(x1,x2,xn)理想輸出向量：Y=(y1,y2,ym)激活函數：F 權矩陣W=(wij)實際輸出向量：O=(o1,o2,om)o1多輸出感知器x1x2o2omxn輸入層輸出層2022/9/8110算法3-2離散多輸出感知器訓練算法 1.初始化權矩陣W；2.重復下列過程，直到訓練完成： 2.1 對每個樣本（X，Y），重復如下過程：2.1.

40、1 輸入X；2.1.2 計算O=F（XW）；2.1.3 for j=1 to m do 執行如下操作：if oj yj then if oi = 0 then for i = 1 to n wij=wij+xi else for i= 1 to n do wij=wij-xi2022/9/8111算法3-2離散多輸出感知器訓練算法算法思想：將單輸出感知器的處理逐個地用于多輸出感知器輸出層的每一個神經元的處理。第1步，權矩陣的初始化：一系列小偽隨機數。 2022/9/8112算法3-2離散多輸出感知器訓練算法第2步，循環控制。方法1：循環次數控制法：對樣本集執行規定次數的迭代改進分階段迭代控制：

41、設定一個基本的迭代次數N，每當訓練完成N次迭代后，就給出一個中間結果2022/9/8113算法3-2離散多輸出感知器訓練算法方法2：精度控制法：給定一個精度控制參數精度度量：實際輸出向量與理想輸出向量的對應分量的差的絕對值之和；實際輸出向量與理想輸出向量的歐氏距離的和 “死循環”：網絡無法表示樣本所代表的問題2022/9/8114算法3-2離散多輸出感知器訓練算法方法3：綜合控制法：將這兩種方法結合起來使用 注意：精度參數的設置。根據實際問題選定；初始測試階段，精度要求低，測試完成后，再給出實際的精度要求。2022/9/81153.2.3 連續多輸出感知器訓練算法 用公式wij=wij+（yj

42、-oj）xi取代了算法3-2 第2.1.3步中的多個判斷yj與oj之間的差別對wij的影響由（yj-oj）xi表現出來好處：不僅使得算法的控制在結構上更容易理解，而且還使得它的適應面更寬 2022/9/8116算法3-3 連續多輸出感知器訓練算法 1用適當的小偽隨機數初始化權矩陣W；2. 初置精度控制參數，學習率，精度控制變量d=+1；3While d do 3.1 d=0； 3.2 for 每個樣本（X，Y）do3.2.1 輸入X（=(x1，x2，xn)）；3.2.2 求O=F（XW）；3.2.3 修改權矩陣W：for i=1 to n，j=1 to m dowij=wij+(yj-oj)x

43、i；3.2.4 累積誤差for j = 1 to m dod=d+(yj-oj)22022/9/8117算法3-3 連續多輸出感知器訓練算法 1、程序實現:、d、i、j、n、m為簡單變量來表示，W為n行m列的二維數組。樣本集二維數組2、系統的調試3、Minsky在1969年證明，有許多基本問題是感知器無法解決4、問題線性可分性可能與時間有關5、很難從樣本數據集直接看出問題是否線性可分6、未能證明，一個感知器究竟需要經過多少步才能完成訓練。2022/9/81183.3 線性不可分問題 3.3.1 異或(Exclusive OR)問題 g（x，y）y01x0011102022/9/8119用于求解

44、XOR的單神經元感知器 xyo單神經元感知器的圖像ax+by=1yx1(0,0)(1,1)2022/9/8120線性不可分函數變量函數及其值xyf1f2f3f4f5f6f7f8f9f10f11f12f13f14f15f160000000000111111110100001111000011111000110011001100111101010101010101012022/9/8121線性不可分函數R. O. Windner 1960年 自變量個數函數的個數線性可分函數的個數144216143256104465,536188254.3*10994,57261.8*10195,028,13420

45、22/9/81223.3.2 線性不可分問題的克服 用多個單級網組合在一起，并用其中的一個去綜合其它單級網的結果，我們就可以構成一個兩級網絡，該網絡可以被用來在平面上劃分出一個封閉或者開放的凸域來一個非凸域可以拆分成多個凸域。按照這一思路，三級網將會更一般一些，我們可以用它去識別出一些非凸域來。解決好隱藏層的聯接權的調整問題是非常關鍵的 2022/9/8123兩級單輸出網在n維空間中劃分出m邊凸域 x1ANmAN1ANoxno2022/9/8124第1次課堂測試（5分*4）Newell和Simon的物理符號系統所基于的假說是什么？它在什么層面上如何實現對人類智能的模擬？聯接主義觀點所基于的假說

46、是什么？它在什么層面上如何實現對人類智能的模擬？畫出有導師算法的流程圖。證明：一個激活函數為線性函數的3級非循環網等價于一個單級網。2022/9/8125習題P38 1、62022/9/8126第1次課堂測試解答要點Newell和Simon的物理符號系統所基于的假說是什么？它在什么層面上如何實現對人類智能的模擬？要點：物理符號系統；心理；符號對事務及變換的描述聯接主義觀點所基于的假說是什么？它在什么層面上如何實現對人類智能的模擬？要點：聯接機制；生理；模式、聯接權的調整與對變換的表示2022/9/8127第1次課堂測試解答要點畫出有導師學習算法的流程圖。要點：如何處理精度與樣本集兩層循環證明：

47、一個激活函數為線性函數的3級非循環網等價于一個單級網。要點：一級網與多級網的的數學模型2022/9/8128上次課內容回顧:學習算法離散單輸出感知器訓練算法W=W+X;W=W-XW=W+(Y-O)X離散多輸出感知器訓練算法Wj=Wj+(yj-oj)X連續多輸出感知器訓練算法wij=wij+(yj-oj)xi2022/9/8129上次課內容回顧:線性不可分問題ax+by=1yx1(0,0)(1,1)線性不可分問題的克服兩級網絡可以劃分出封閉或開放的凸域多級網將可以識別出非凸域隱藏層的聯接權的調整問題是非常關鍵2022/9/8130第4章 BP網絡 主要內容：BP網絡的構成隱藏層權的調整分析Del

48、ta規則理論推導算法的收斂速度及其改進討論BP網絡中的幾個重要問題 重點：BP算法難點：Delta規則的理論推導 2022/9/8131第4章 BP網絡4.1 概述 4.2 基本BP算法 4.3 算法的改進 4.4 算法的實現 4.5 算法的理論基礎 4.6 幾個問題的討論 2022/9/81324.1 概述 1、BP算法的出現非循環多級網絡的訓練算法UCSD PDP小組的Rumelhart、Hinton和Williams1986年獨立地給出了BP算法清楚而簡單的描述1982年，Paker就完成了相似的工作1974年，Werbos已提出了該方法2、弱點：訓練速度非常慢、局部極小點的逃離問題、算

49、法不一定收斂。3、優點：廣泛的適應性和有效性。2022/9/81334.2 基本BP算法 4.2.1 網絡的構成 神經元的網絡輸入：neti=x1w1i+x2w2i+xnwni神經元的輸出：2022/9/8134輸出函數分析0.5f (net)0.25o0 11（0,0.5）net（0,0）o應該將net的值盡量控制在收斂比較快的范圍內可以用其它的函數作為激活函數，只要該函數是處處可導的2022/9/8135網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxnW(1)W(2)W(3)W(L)2022/9/8136網絡的拓撲結構 BP網的結構輸入向量、輸出向量的維數、網絡隱藏層的層數和各個隱

50、藏層神經元的個數的決定實驗：增加隱藏層的層數和隱藏層神經元個數不一定總能夠提高網絡精度和表達能力。BP網一般都選用二級網絡。2022/9/8137網絡的拓撲結構x1o1輸出層隱藏層輸入層x2o2omxnWV2022/9/81384.2.2 訓練過程概述 樣本：(輸入向量，理想輸出向量)權初始化：“小隨機數”與飽和狀態；“不同”保證網絡可以學。1、向前傳播階段：（1）從樣本集中取一個樣本(Xp，Yp)，將Xp輸入網絡；（2）計算相應的實際輸出Op：Op=Fl(F2(F1(XpW(1)W(2)W(L)2022/9/81394.2.2 訓練過程概述 2、向后傳播階段誤差傳播階段：（1）計算實際輸出O

51、p與相應的理想輸出Yp的差；（2）按極小化誤差的方式調整權矩陣。（3）網絡關于第p個樣本的誤差測度：（4） 網絡關于整個樣本集的誤差測度：2022/9/81404.2.3 誤差傳播分析 1、輸出層權的調整wpq= wpq+wpqwpq=qop=fn (netq)(yq-oq)op=oq(1-oq) (yq-oq)op wpqANpANq第L-1層第L層wpq2022/9/81412、隱藏層權的調整 ANpANqANhvhppk-11kwp1wpqqkwpmmk第k-2層第k層第k-1層2022/9/81422、隱藏層權的調整pk-1的值和1k，2k，mk 有關不妨認為pk-1通過權wp1對1k

52、做出貢獻，通過權wp2對2k做出貢獻，通過權wpm對mk做出貢獻。pk-1= fk-1(netp) (wp11k+ wp22k+ wpmm k)2022/9/81432、隱藏層權的調整vhp=vhp+vhp vhp=pk-1ohk-2 =fk-1 (netp)( wp11k+ wp22k+ wpmmk)ohk-2=opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-2ANpANqANhvhppk-11kwp1wpmqkwpqmk第k-2層第k層第k-1層2022/9/8144上次課內容回顧基本BP算法neti=x1w1i+x2w2i+xnwni2022/9/8145

53、上次課內容回顧x1o1輸出層隱藏層輸入層x2o2omxnWV2022/9/8146上次課內容回顧樣本權初始化向前傳播階段Op=Fn(F2(F1(XpW(1)W(2)W(n)誤差測度2022/9/8147上次課內容回顧向后傳播階段誤差傳播階段輸出層權的調整wpq= qop =fn (netq)(yq-oq)op =oq(1-oq) (yq-oq)op隱藏層權的調整ANpANqANhvhppk-11kwp1wpqqkwpmmkvhp =opk-1(1-opk-1)( wp11k+ wp22k+ wpmmk)ohk-22022/9/81484.2.4 基本的BP算法 樣本集：S=(X1,Y1),(X

54、2,Y2),(Xs,Ys) 基本思想 ：逐一地根據樣本集中的樣本(Xk,Yk)計算出實際輸出Ok和誤差測度E1，對W(1) ，W(2) ，W(L)各做一次調整，重復這個循環，直到Ep do 4.1 E=0; 2022/9/8150算法4-1 基本BP算法 4.2 對S中的每一個樣本（Xp,Yp）： 4.2.1 計算出Xp對應的實際輸出Op； 4.2.2 計算出Ep； 4.2.3 E=E+Ep； 4.2.4 根據相應式子調整W(L)； 4.2.5 k=L-1； 4.2.6 while k0 do 4.2.6.1 根據相應式子調整W(k)； 4.2.6.2 k=k-1 4.3 E=E/2.0 20

55、22/9/81514.3 算法的改進 1、BP網絡接受樣本的順序對訓練結果有較大影響。它更“偏愛”較后出現的樣本2、給集中的樣本安排一個適當的順序，是非常困難的。3、樣本順序影響結果的原因：“分別”、“依次” 4、用(X1,Y1)，（X2,Y2），（Xs,Ys）的“總效果”修改W(1) ，W(2) ，W(L)。w(k)ij=p w(k)ij2022/9/8152算法4-2 消除樣本順序影響的BP算法 1 for k=1 to L do1.1 初始化W(k)；2 初始化精度控制參數；3 E=+1;4 while E do 4.1 E=0;4.2 對所有的i，j，k： w (k)ij=0； 202

56、2/9/81534.3 對S中的每一個樣本（Xp,Yp）：4.3.1 計算出Xp對應的實際輸出Op；4.3.2 計算出Ep；4.3.3 E=E+Ep；4.3.4 對所有i，j根據相應式子計算p w (L)ij；4.3.5 對所有i，j： w (L)ij= w (L)ij+p w (L)ij；4.3.6 k=L-1；4.3.7 while k0 do4.3.7.1 對所有i,j根據相應式子計算p w (k)ij；4.3.7.2 對所有i,j： w (k)ij= w (k)ij+p w (k)ij；4.3.7.3 k=k-1 4.4 對所有i，j，k：w (k)ij= w (k)ij+ w (k)

57、ij;4.5 E=E/2.0 2022/9/8154算法4-2 分析 較好地解決了因樣本的順序引起的精度問題和訓練的抖動問題 收斂速度：比較慢偏移量：給每一個神經元增加一個偏移量來加快收斂速度 沖量：聯接權的本次修改要考慮上次修改的影響，以減少抖動問題 2022/9/8155算法4-2 分析沖量設置Rumelhart等人1986年wij=joi+wijwij為上一次的修改量，為沖量系數，一般可取到0.9 Sejnowski與Rosenberg ，1987年wij=(1-)joi+wij) wij也是上一次的修改量，在0和1之間取值 2022/9/81564.4 算法的實現 主要數據結構WH，m

58、輸出層的權矩陣；Vn，H輸入（隱藏）層的權矩陣；om輸出層各聯接權的修改量組成的向量；hH隱藏層各聯接權的修改量組成的向量；O1隱藏層的輸出向量；O2輸出層的輸出向量；(X，Y)一個樣本。 2022/9/8157算法的主要實現步驟 用不同的小偽隨機數初始化W，V；初始化精度控制參數；學習率 ； 循環控制參數E=+1；循環最大次數M；循環次數控制參數N=0； while E & N0，此時wij0取E0wij2022/9/8165而其中的 所以， 最速下降法，要求E的極小點2022/9/8166令所以wij=joi為學習率最速下降法，要求E的極小點2022/9/8167ANj為輸出層神經元 oj

59、=f(netj) 容易得到 從而 2022/9/8168ANj為輸出層神經元2022/9/8169所以，故，當ANj為輸出層的神經元時，它對應的聯接權wij應該按照下列公式進行調整：ANj為輸出層神經元2022/9/8170ANj為隱藏層神經元 函數2022/9/8171ANj為隱藏層神經元netk= ojo2o1oHhnetk是 oj下一級的神經元的網絡輸入2022/9/8172ANj為隱藏層神經元2022/9/8173ANj為隱藏層神經元2022/9/8174ANj為隱藏層神經元2022/9/81754.6 幾個問題的討論 收斂速度問題 局部極小點問題 逃離/避開局部極小點：修改W、V的初

60、值并不是總有效。逃離統計方法；Wasserman，1986將Cauchy訓練與BP算法結合起來，可以在保證訓練速度不被降低的情況下，找到全局極小點。 2022/9/81764.6 幾個問題的討論 網絡癱瘓問題 在訓練中，權可能變得很大，這會使神經元的網絡輸入變得很大，從而又使得其激活函數的導函數在此點上的取值很小。根據相應式子，此時的訓練步長會變得非常小，進而將導致訓練速度降得非常低，最終導致網絡停止收斂 穩定性問題 用修改量的綜合實施權的修改連續變化的環境，它將變成無效的 2022/9/81774.6 幾個問題的討論 步長問題 BP網絡的收斂是基于無窮小的權修改量步長太小，收斂就非常慢步長太