1、會計學1matlab神經網絡工具箱簡介和函數神經網絡工具箱簡介和函數(hnsh)及示例及示例第一頁，共25頁。第十一章第十一章 神經網絡工具神經網絡工具箱函數箱函數(hnsh)(hnsh)第1頁/共24頁第二頁，共25頁。MATLABMATLAB的神經網絡工具箱簡介的神經網絡工具箱簡介(jin ji)(jin ji)l 構造典型神經網絡的激活函數，使設計者對所選網絡輸出的構造典型神經網絡的激活函數，使設計者對所選網絡輸出的計算變成對激活函數的調用。計算變成對激活函數的調用。l 根據各種典型的修正網絡權值的規則，再加上網絡的訓練過根據各種典型的修正網絡權值的規則，再加上網絡的訓練過程，利用程，利

2、用matlab編寫各種網絡設計和訓練的子程序。編寫各種網絡設計和訓練的子程序。l 設計人員可以根據自己的需要去調用工具箱中有關的設計和設計人員可以根據自己的需要去調用工具箱中有關的設計和訓練程序，將自己從繁瑣的編程中解脫出來訓練程序，將自己從繁瑣的編程中解脫出來(ch li)，提高工作，提高工作效率。效率。第2頁/共24頁第三頁，共25頁。神經網絡工具箱函數神經網絡工具箱函數(hnsh)(hnsh)l 神經網絡函數神經網絡函數l 權值函數權值函數l 網絡的輸入網絡的輸入(shr)函數函數l 傳遞函數傳遞函數l 初始化函數初始化函數l 性能函數性能函數l 學習函數學習函數l 自適應函數自適應函數

3、l 訓練函數訓練函數第3頁/共24頁第四頁，共25頁。神經網絡函數神經網絡函數(hnsh)newff(hnsh)newff功能功能(gngnng)： Create a feed-forward backpropagation network格式格式(g shi)： net = newff(PR,S1 S2.SNl,TF1.TFNl,BTF,BLF,PF)第4頁/共24頁第五頁，共25頁。例子例子(l zi)1:(l zi)1: help newff help newff 第5頁/共24頁第六頁，共25頁。 以一個以一個(y )單隱層的單隱層的BP網絡設計為例，介紹利用神經網絡設計為例，介紹利用

4、神經網絡工具箱進行網絡工具箱進行BP網絡設計及分析的過程網絡設計及分析的過程1. 問題問題(wnt)描述描述P=-1:0.1:1;T=-0.9602 -0.577 -0.0729 0.3771 0.6405 0.6600 0.4609 0.1336 -0.2013 -0.4344 -0.5000 -0.3930 -0.1647 0.0988 0.3072 0.3960 0.3449 0.1816 -0.0312 -0.2189 -0.3201; 通過對函數通過對函數(hnsh)進行采樣得到了網絡的輸進行采樣得到了網絡的輸入變量入變量P和目標變量和目標變量T：例子例子2:2:設計一個隱含層神經元

5、數目神經元個數設計一個隱含層神經元數目神經元個數第6頁/共24頁第七頁，共25頁。2. 網絡網絡(wnglu)的設的設計計 網絡的輸入層和輸出層的神經元個數均為網絡的輸入層和輸出層的神經元個數均為1，網絡，網絡的隱含的隱含(yn hn)神經元個數應該在神經元個數應該在38之間。之間。網絡網絡(wnglu)設計及運行的代碼：設計及運行的代碼：s=3:8;res=1:6;for i=1:6; net=newff(minmax(P),s(i) 1,tansig logsig,traingdx); net.trainParam.epochs=2000; net.trainParam.goal=0.00

6、1; net=train(net,P,T) y=sim(net,P) error=y-T; res(i)=norm(error);end第7頁/共24頁第八頁，共25頁。代碼運行結果代碼運行結果(ji gu)：網絡網絡(wnglu)訓練誤差訓練誤差結論結論(jiln)：隱含層節點設為：隱含層節點設為8 第8頁/共24頁第九頁，共25頁。BPBP網絡訓練網絡訓練(xnlin)(xnlin)步驟步驟步驟步驟1: 初始化初始化步驟步驟2:計算網絡各層輸出矢量計算網絡各層輸出矢量(shling)步驟步驟3:計算網絡各層反向傳播的誤差變化計算網絡各層反向傳播的誤差變化,并計算各并計算各 層層權值的修正值

7、及修正值權值的修正值及修正值步驟步驟4:再次計算權值修正后的誤差再次計算權值修正后的誤差 平方和平方和步驟步驟5:檢查誤差檢查誤差 平方和是否小于平方和是否小于 誤差期望值誤差期望值,若是若是,停止停止訓練訓練,否則繼續否則繼續.第9頁/共24頁第十頁，共25頁。 目前，神經網絡工具箱中提供目前，神經網絡工具箱中提供(tgng)的神經網絡模型的神經網絡模型主要應用于：主要應用于：l 函數逼近和模型擬合函數逼近和模型擬合(n h)l 信息處理和預測信息處理和預測l 神經網絡控制神經網絡控制l 故障診斷故障診斷第10頁/共24頁第十一頁，共25頁。神經網絡實現神經網絡實現(shxin)(shxin

8、)的具體操作過的具體操作過程：程：確定信息表達方式；確定信息表達方式；網絡網絡(wnglu)模型的模型的確定；確定；網絡網絡(wnglu)參數的參數的選擇；選擇；訓練模式的確定；訓練模式的確定；網絡網絡(wnglu)測試測試第11頁/共24頁第十二頁，共25頁。確定確定(qudng)信息表達方式：信息表達方式： 將領域問題將領域問題(wnt)抽象為適合于網絡求解所能接抽象為適合于網絡求解所能接受的某種數據形式。受的某種數據形式。 問題問題(wnt)形式的種類：形式的種類：l 數據樣本已知；數據樣本已知；l 數據樣本之間相互關系不明確；數據樣本之間相互關系不明確；l 輸入輸入/輸出模式為連續的或

9、者離散的；輸出模式為連續的或者離散的；l 輸入數據按照模式進行分類，模式可能會具有平輸入數據按照模式進行分類，模式可能會具有平移、旋轉或者伸縮移、旋轉或者伸縮(shn su)等變化形式；等變化形式；l 數據樣本的預處理；數據樣本的預處理；l 將數據樣本分為訓練樣本和測試樣本將數據樣本分為訓練樣本和測試樣本第12頁/共24頁第十三頁，共25頁。網絡模型網絡模型(mxng)的確的確定定 主要是根據問題的實際情況，選擇模型的類型主要是根據問題的實際情況，選擇模型的類型、結構等。另外，還可以在典型網絡模型的基礎上，、結構等。另外，還可以在典型網絡模型的基礎上，結合問題的具體情況，對原網絡進行變形、擴充

10、結合問題的具體情況，對原網絡進行變形、擴充(kuchng)等，同時還可以采用多種網絡模型的組等，同時還可以采用多種網絡模型的組合形式。合形式。網絡網絡(wnglu)參數的參數的選擇選擇 確定網絡的輸入輸出神經元的數目，如果是多層網確定網絡的輸入輸出神經元的數目，如果是多層網絡，還需要進一步確定隱含層神經元的個數。絡，還需要進一步確定隱含層神經元的個數。第13頁/共24頁第十四頁，共25頁。訓練訓練(xnlin)模式的確定模式的確定 包括選擇包括選擇(xunz)合理的測試樣本，對網絡進行合理的測試樣本，對網絡進行測試、或者將網絡應用于實際問題，檢驗網絡性能。測試、或者將網絡應用于實際問題，檢驗網

11、絡性能。網絡網絡(wnglu)測試測試 選擇合理的測試樣本，對網絡進行測試，或者將選擇合理的測試樣本，對網絡進行測試，或者將網絡應用于實際問題，檢驗網絡性能。網絡應用于實際問題，檢驗網絡性能。第14頁/共24頁第十五頁，共25頁。MATLABMATLAB的神經網絡工具箱函數的神經網絡工具箱函數(hnsh)(hnsh)函數類型函數名稱函數用途仿真函數仿真函數SIM針對給定的輸入，得到網絡輸出訓練函數訓練函數train調用其它訓練函數，對網絡進行訓練trainh對權值和閾值進行訓練adapt自適應函數學習函數learn網絡權值和閾值的學習初始化函數int對網絡進行初始化intlay對多層網絡初始化

12、通用通用(tngyng)函數函數第15頁/共24頁第十六頁，共25頁。函數類型函數名稱函數用途輸入函數輸入函數netsum輸入求和函數netprcd輸入求積函數 concur使權值向量和閾值向量的結構一致其它dotprod權值求積函數第16頁/共24頁第十七頁，共25頁。BPBP網絡網絡(wnglu)(wnglu)的神經網絡的神經網絡(wnglu)(wnglu)工具箱函數工具箱函數函數類型函數名稱函數用途前向網絡創建函數 傳遞函數學習函數第17頁/共24頁第十八頁，共25頁。函數類型函數名稱函數用途性能函數性能函數顯示函數第18頁/共24頁第十九頁，共25頁。一、一、BP網絡創建網絡創建(ch

13、ungjin)函數函數 1）newcf 用于創建用于創建(chungjin)級聯前向級聯前向BP網絡網絡調用調用(dioyng)格式：格式：net=newcf net=newcf（PR,S1 S2.SN,TF1 TF2.TFN,BTF,BLF,PF）PR:由每組輸入（共有由每組輸入（共有R組輸入）元素的最大值和最小值組成的組輸入）元素的最大值和最小值組成的R*2維的矩陣維的矩陣Si：第第i層的長度，共計層的長度，共計N層；層； TFi：第第i層的傳遞函數，默認為層的傳遞函數，默認為“tansig”BTF：BP網絡的訓練函數，默認為網絡的訓練函數，默認為“trainlm”BLF：權值和閾值的權值

14、和閾值的BP學習算法，默認為學習算法，默認為learngdm PF：網絡的性能函數，默認為網絡的性能函數，默認為“mse”第19頁/共24頁第二十頁，共25頁。l 參數參數TFi可以采用任意的可微傳遞函數，比如可以采用任意的可微傳遞函數，比如transig，logsig和和purelin等；等；l 訓練訓練(xnlin)函數可以是任意的函數可以是任意的BP訓練訓練(xnlin)函數，如函數，如trainm，trainbfg，trainrp和和traingd等。等。BTF默認采用默認采用trainlm是因為函數的速度很快，但該函數的一個重要缺陷是運行過程會消耗大量的內存資源。如果計算機內存不夠大

15、，不建議用是因為函數的速度很快，但該函數的一個重要缺陷是運行過程會消耗大量的內存資源。如果計算機內存不夠大，不建議用trainlm，而建議采用訓練，而建議采用訓練(xnlin)函數函數trainbfg或或trainrp。雖然這兩個函數的運行速度比較慢，但它們的共同特點是內存占用量小，不至于出現訓練。雖然這兩個函數的運行速度比較慢，但它們的共同特點是內存占用量小，不至于出現訓練(xnlin)過程死機的情況。過程死機的情況。說明說明(shumng)：第20頁/共24頁第二十一頁，共25頁。二、神經元上的傳遞函數二、神經元上的傳遞函數 傳遞函數是傳遞函數是BP網絡的重要組成部分，必須是連續網絡的重要

16、組成部分，必須是連續(linx)可微的，可微的，BP網絡常采用網絡常采用S型的對數或正切函數和型的對數或正切函數和線性函數。線性函數。Logsig 傳遞函數為傳遞函數為S型的對數函數。型的對數函數。調用格式為：調用格式為：A=logsig（N） N：Q個個S維的輸入列向量維的輸入列向量(xingling)；A：函數返回值，位于區間：函數返回值，位于區間(0,1) 中中第21頁/共24頁第二十二頁，共25頁。 info=logsig（code）依據依據code值的不同返回不同的信息，包括值的不同返回不同的信息，包括(boku)：deriv返回微分函數的名稱；返回微分函數的名稱；name返回函數全

17、程；返回函數全程；output返回輸出值域；返回輸出值域；active返回有效的輸入區間返回有效的輸入區間例如：例如：n=-10：0.1: 10;a=logsig(n);plot(n,a)matlab按照來計算對數傳遞函數的值：按照來計算對數傳遞函數的值：n=2/(1+exp(-2n)函數函數logsig可將神經元的輸入（范圍為整個實數集）映射可將神經元的輸入（范圍為整個實數集）映射(yngsh)到區間（到區間（0，1）中。）中。第22頁/共24頁第二十三頁，共25頁。learngd 該函數為梯度下降權值該函數為梯度下降權值/閾值學習閾值學習(xux)函數，通過神函數，通過神經元的輸入和誤差，以及權值和閾值的學習經元的輸入和誤差，以及權值和閾值的學習(xux)速速率，來計算權值或閾值的變化率。率，來計算權值或閾值的變化率。三、三、BP網絡學習網絡學習(xux)函數函數 dW,ls=learngd(W,P,Z,N,A,T,E,gW,gA,D