.,第4章人工神經網絡,內容：教材109-119、191-200頁,4.1基礎知識（補充）4.2神經元與神經網絡4.3反向傳播神經網絡4.4離散的Hopfield網絡,.,4.1基礎知識1最速下降法（梯度法）2Matlab程序設計語言與神經網絡工具箱,.,1最速下降法,最速下降法（又稱梯度法）是1847年Cauchy提出來的最優化算法，用于求解非線性函數的局部最小值（最小點）,.,回顧高等數學中一元函數的求極值問題：,極小點的條件是：,.,n元函數極小點的條件：,矩陣是半正定的,Hesse矩陣,梯度,.,自然而然想到的求極小值的方法令梯度為零，通過解非線性方程組，求出一組極值點根據每一個極值點處的矩陣是否為半正定，來判斷極小值點,.,在實際中，這一方法是不可行的：變量的個數多不易求解非線性方程組不易判斷矩陣是否半正定,.,在最優化技術中，采用迭代的方法求出其中的一個解,不同的初始值可能對應于不同的解，并求出局部極值,.,在最速下降法中，以負梯度方向作為極小化算法的下降方向迭代格式為,梯度,.,是迭代步長，可以用一維搜索來確定,終止準則：,向量的2范數：,.,最速下降法的計算步驟：1：給定初始點x1，允許誤差，置k=12：計算搜索方向g(xk)=f(xk),.,3：如果|g(x)|2，則終止計算，算法找到解。否則，從xk出發，沿-g(xk)進行一維搜索，求出k，使得f(xk-kg(xk)=minf(xk-g(xk)4：置xk+1=xk-kg(xk)，k=k+1，轉到步2,.,.,說明：在編程時，還需要設置最大允許迭代次數，以提前終止迭代過程在人工神經網絡的算法中經常人為地設定迭代步長（學習率）（常量或者單調減?。?.,梯度法的特點：一般來說，只能找到一個局部最小點（多解）收斂速度較慢算法結構簡單，易于用各種編程語言來實現,.,2Matlab程序設計語言與神經網絡工具箱,(1)Matlab簡介,Matlab（MatrixLaboratory）是美國MathWorks公司的產品，是一種功能強大、效率高、便于進行科學和工程計算的交互式軟件包。當前使用的版本：Matlab6.1、Matlab6.5和Matlab7.0,.,Matlab的特點：高效方便的矩陣和數組運算例如：求Ax=b，語句是x=Ab求特征值，語句是e=eig(A)編程效率高Matlab語言簡潔緊湊，使用靈活方便，程序書寫形式自由。庫函數豐富,.,結構化/面向對象當前Matlab版本采用C+編寫的，既有結構化的控制語句（for,while,break,continue,if），又有面向對象編程的特性方便的繪圖功能能夠繪制各種二維、三維圖件,.,用戶使用方便使用方式有命令行和.m文件（腳本M文件、函數M文件）。后者作為編譯型語言使用：編輯-編譯-連接-執行與調試功能強大的工具箱近三十個工具箱,.,擴充能力強用戶可以自己編寫函數，建立新的庫函數和擴充庫函數。核心文件和工具箱文件都是可讀可寫的源文件，用戶可以修改。可以與C，C+語言混合編程計算速度比C語言慢，易學會難精通,.,(2)Matlab語言的要點,注釋行注釋行的開頭是“”,.,變量變量命名規則是：區分大小寫長度最多不能超過19個字符變量名必須以字母開頭，由字母、數字和下劃線組成,.,數組數組是一系列數的有序排列，用方括號“”表示數組的下標從1開始元素之間用“空格”或“逗號”分開,.,例：x=0,1,2,3,4,5,6;（行向量）x(1)：第一個元素x(1:5)：第一到第五個元素x(3:-1:1)：第三到第一個元素,.,注意：如果語句最后沒有“；”，則顯示x的所有值有分號則不顯示,.,矩陣矩陣用“方括號”來表示同一行的數據用“空格”或“逗號”隔開不同行的數據用“分號”隔開,.,例：A=1,0,0;0,1,0;0,0,1;引用一個元素可以用兩個下標來表示例A(i,j)引用多個元素可以用冒號來表示例A（：，j）：第j列的所有元素,.,4.1.2.3神經網絡工具箱,神經網絡工具箱包含了人工神經網絡中的主要模型與算法，具體有：感知器神經網絡（Perceptron，Rosenblatt，1957）線性神經網路（Adaline,Widrow和Hoff，1960）BP神經網絡（BP，Rumelhart和McCelland，1986）,.,自組織網絡（SOM，Kohonen，1980）離散的Hopfield網絡（Hopfield，1986）,.,第4章人工神經網絡,4.1基礎知識（補充）4.2神經元與神經網絡4.3反向傳播神經網絡4.4離散的Hopfield網絡,.,4.2.1生理神經元4.2.2人工神經元4.2.3神經網絡,.,4.2.1生理神經元1生理神經元的結構2生理神經元的工作原理,.,典型的神經元分成：細胞體(cellbody)突(process),1生理神經元的結構,軸突(axon)樹突(dendrite),生理神經元的組成,.,軸突是個突出部分，長度可達lm，把本神經元的輸出發送到與其相連接的其它神經元,生理神經元的組成,輸出端,.,樹突是突出部分，但一般較短，且分枝很多，與其它神經元的軸突相連，以接收來自其它神經元的生物信號,生理神經元的組成,輸入端,輸出端,.,突觸是軸突的末端與樹突進行信號傳遞的界面,生理神經元的組成,接口,輸出端,輸入端,輸入端,.,2神經元的工作原理,只有神經元所有輸入的總效應達到閾值電平后，神經元才會產生一個全強度的輸出窄脈沖，從細胞體經軸突進入軸突分枝。此時，稱為神經元的觸發（抑制轉化為興奮）,.,神經元通過突觸形成的網絡，傳遞神經元間的興奮與抑制；大腦的全部神經元構成極其復雜的拓撲網絡群體，用于實現記憶與思維,.,4.2.2人工神經元,人工神經元是生理神經元的數學模型，由McCulloch與Pitts在1943年首先建立的，現在的模型經過后人適當的改進與完善,.,在人工神經元模型中：用權值和乘法器模擬突觸特性用加法器模擬樹突的互聯作用用與閾值比較來模擬細胞體內電化學作用產生的開關特性,.,n個輸入xiR(i=1,n)，相當于其它神經元的輸出值，其中n是輸入（信號）的數目（即，與其相連的其他神經元的個數）,人工神經元模型,.,n個連接權系數（權值）wjiR(i=1,n)，相當于突觸的連接強度（對于激發狀態取正值，對于抑制狀態取負值）,.,j：神經元的閾值，相當于動作電平的閾值,.,總輸入：輸入信號的加權和，即,單輸出y為：,.,f稱為激發函數、作用函數、激勵函數、變換函數、轉換函數、傳遞函數,.,激發函數f的常用形式,閾值函數或者階躍函數（非線性函數，不可微）,.,符號函數（非線性函數，不可微）,.,線性函數（線性函數、1階可微）,.,Sigmoid函數（非線性函數，任意階可微）,.,.,Sigmoid函數的特點：第一、非線性、單調性（單調增）第二、無限次可微第三、當值很大時，可以近似閾值函數或符號函數第四、當值很小時，可以近似線性函數,.,神經元的動作：求加權和與閾值比較用激發函數得到輸出,.,公式表示上的簡化令wj0=-j，并記wj=(wj0,wj1,wjn)Tx=(1,x1,xn)T則有yj=f(wjTx),注意：有些神經元可能不包含閾值,.,圖形表示上的簡化將神經元簡化為圓圈或者實心元,閾值,.,4.2.3神經網絡,人工神經網絡是由大量處理單元（人工神經元）相互連結組成的非線性、大規模、自適應的動力系統。它是在現代神經科學研究成果的基礎上提出的，試圖通過模擬大腦神經網絡處理、記憶信息的方式，設計出一種新的機器使之具有像人腦那樣的信息處理能力,.,人工神經網絡的特點并行分布處理神經網絡具有高度的并行結構和并行實現能力，因而具有較好的容錯能力和較快的總體處理能力，所以特別適于實時和動態處理,.,非線性映射神經網絡具有高度非線性映射（變換）能力，是處理非線性問題的一種有效手段,.,學習能力神經網絡通過樣本數據完成學習或訓練。訓練后的神經網絡具有推廣或者泛化能力（對未來數據的預測能力）。因此，神經網絡能夠解決數學模型或規則難以處理的問題（類似于黑盒子）,.,適應性與集成性神經網絡可以用于在線處理，并能同時進行定量和定性操作。神經網絡的強適應和信息融合能力使得它可以同時輸入大量不