BP神經網絡基本原理簡介

BP神經網絡基本原理簡介

1數模智能算法—BP神經網絡基本原理簡介課件x1o1輸出層隱藏層輸入層x2o2omxn…………一個神經網絡的典型結構：x1o1輸出層隱藏層輸入層x2o2omxn…………一個神經網一.什么是人工神經網絡“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經神經系統對真實世界物體所作出的交互反應”。人工神經網絡(ANN)具有自學習、自組織、較好的容錯性和優良的非線性逼近能力。在實際應用中，80%～90%的人工神經網絡模型是采用誤差反傳算法或其變化形式的網絡模型。一.什么是人工神經網絡“人工神經網絡是由具有適應性的簡單單元二.ANN能干什么？擬合預測分類聚類分析(函數逼近)數學近似映射二.ANN能干什么？擬合預測分類三.神經網絡模型和網絡結構神經元模型激活函數網絡結構工作狀態學習方式三.神經網絡模型和網絡結構神經元模型四、建立和應用神經網絡的步驟（1）網絡結構的確定 包含網絡的拓撲結構和每個神經元相應函數的選取；（2）權值和閾值的確定 通過學習得到，為有指導的學習，也就是利用已知的一組正確的輸入、輸出數據，調整權和閾值使得網絡輸出與理想輸出偏差盡量小；（3）工作階段 用帶有確定權重和閾值的神經網絡解決實際問題的過程，也叫模擬（simulate）。

四、建立和應用神經網絡的步驟（1）網絡結構的確定神經元大腦可視作為1000多億神經元組成的神經網絡

圖1神經元的解剖圖神經元大腦可視作為1000多億神經元組成的神經網絡圖1神經元神經元神經元信息傳遞神經元的信息傳遞和處理是一種電化學活動．樹突由于電化學作用接受外界的刺激；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。神經元信息傳遞神經元的信息傳遞和處理是一種電化學活動．樹突由人工神經元的模型作為神經網絡的基本元素，神經元的模型如下：x1~xn是從其他神經元傳來的輸入信號wij表示表示從神經元j到神經元i的連接權值θ表示一個閾值(threshold)，或稱為偏置(bias)。人工神經元的模型作為神經網絡的基本元素，神經元的模型如下：x人工神經元的模型若用X表示輸入向量，用W表示權重向量：則神經元的輸出與輸入的關系為：凈激活量激活函數人工神經元的模型若用X表示輸入向量，用W表示權重向量：神經元激活函數激活函數是對凈激活量與輸出進行映射的函數。一些常用的激活函數,由于輸入數據與期望值之間可能并不是量級一樣，所以需要激活。線性函數 S形函數閾值函數雙極S形函數激活函數激活函數是對凈激活量與輸出進行映射的函數。一些常用的激活函數S形和雙極S形函數圖像為：

S形和雙極S形函數的導函數均為連續函數。激活函數S形和雙極S形函數圖像為：網絡模型根據網絡中神經元的互聯方式的不同，網絡模型分為：前饋神經網絡只在訓練過程會有反饋信號，而在分類過程中數據只能向前傳送，直到到達輸出層，層間沒有向后的反饋信號反饋神經網絡從輸出到輸入具有反饋連接的神經網絡，其結構比前饋網絡要復雜得多自組織網絡通過自動尋找樣本中的內在規律和本質屬性，自組織、自適應地改變網絡參數與結構。網絡模型根據網絡中神經元的互聯方式的不同，網絡模型分為：網絡模型前饋神經網絡反饋神經網絡自組織網絡網絡模型前饋神經網絡反饋神經網絡自組織網絡工作狀態神經網絡的工作狀態分為學習和工作兩種狀態學習利用學習算法來調整神經元間的連接權重，使得網絡輸出更符合實際工作神經元間的連接權值不變，可以作為分類器或者預測數據之用。工作狀態神經網絡的工作狀態分為學習和工作兩種狀態學習方式學習分為有導師學習與無導師學習有導師學習將一組訓練集送入網絡，根據網絡的實際輸出與期望輸出間的差別來調整連接權例如：BP算法無導師學習抽取樣本集合中蘊含的統計特性，并以神經元之間的聯接權的形式存于網絡中。例如：Hebb學習率學習方式學習分為有導師學習與無導師學習神經網絡的學習方式有教師學習(監督學習)神經網絡的學習方式有教師學習(監督學習)19有教師學習(監督學習)有教師學習(監督學習)BP算法(BackPropagation)采用BP學習算法的前饋神經網絡稱為BP神經網絡BP算法(BackPropagation)采用BP學習算法BP算法(BackPropagation)BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。信號的正向傳播&誤差的反向傳播BP算法(BackPropagation)BP算法基本原理BP算法(BackPropagation)正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出不符誤差反傳誤差以某種形式在各層表示－－－修正各層單元的權值網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止BP算法(BackPropagation)正向傳播：BP算法(BackPropagation)假設輸入層有n個神經元，隱含層有p個神經元，輸出層有q個神經元符號定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;誤差函數BP算法(BackPropagation)假設輸入層有n個BP算法(BackPropagation)首先，計算各層神經元的輸入和輸出BP算法(BackPropagation)首先，計算各層神BP算法(BackPropagation)第二步利用網絡期望輸出和實際輸出，計算誤差函數對輸出層的各神經元的偏導數。BP算法(BackPropagation)第二步利用網絡期BP算法(BackPropagation)第三步：利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數。

BP算法(BackPropagation)第三步：利用隱含BP算法(BackPropagation)BP算法(BackPropagation)BP算法(BackPropagation)第四步，利用輸出層各神經元的和隱含層各神經元的輸出來修正連接權值。是設置的學習率。BP算法(BackPropagation)第四步，利用輸出BP算法(BackPropagation)第五步，利用隱含層各神經元的和輸入層各神經元的輸入修正連接權。BP算法(BackPropagation)第五步，利用隱含BP算法(BackPropagation)第六步，計算全局誤差第七步，判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回進入下一輪學習。BP算法(BackPropagation)第六步，計算全局神經網絡的應用(1)圖像處理。對圖像進行邊緣監測、圖像分割、圖像壓縮和圖像恢復。(2)信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應用。(3)模式識別。已成功應用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。(4)機器人控制。對機器人眼手系統位置進行協調控制，用于機械手的故障診斷及排除、智能自適應移動機器人的導航。(5)衛生保健、醫療。比如通過訓練自主組合的多層感知器可以區分正常心跳和非正常心跳、基于BP網絡的波形分類和特征提取在計算機臨床診斷中的應用。(6)焊接領域。國內外在參數選擇、質量檢驗、質量預測和實時控制方面都有研究，部分成果已得到應用。(7)經濟。能對商品價格、股票價格和企業的可信度等進行短期預測。(8)另外，在數據挖掘、電力系統、交通、軍事、礦業、農業和氣象等方面亦有應用。神經網絡的應用2.1訓練

BP網絡的訓練就是通過應用誤差反傳原理不斷調整網絡權值使網絡模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。雖然理論上早已經證明：具有1個隱層（采用Sigmoid轉換函數）的BP網絡可實現對任意函數的任意逼近。但遺憾的是，迄今為止還沒有構造性結論，即在給定有限個（訓練）樣本的情況下，如何設計一個合理的BP網絡模型并通過向所給的有限個樣本的學習（訓練）來滿意地逼近樣本所蘊含的規律（函數關系，不僅僅是使訓練樣本的誤差達到很小）的問題，目前在很大程度上還需要依靠經驗知識和設計者的經驗。因此，通過訓練樣本的學習（訓練）建立合理的BP神經網絡模型的過程，在國外被稱為“藝術創造的過程”，是一個復雜而又十分煩瑣和困難的過程。2.1訓練Matlab編程講解軟件條件：Matlab2012a以上實驗操作：神經網絡工具箱，編程，推薦使用編程語言Matlab編程講解訓練函數：訓練方法訓練函數梯度下降法traingd有動量的梯度下降法traingdm自適應lr梯度下降法lr梯度下降法traingda自適應lr動量梯度下降法lr動量梯度下降法traingdx彈性梯度下降法trainrpFletcher-Reeves共軛梯度法共軛梯度法traincgfPloak-Ribiere共軛梯度法共軛梯度法traincgpPowell-Beale共軛梯度法共軛梯度法traincgb量化共軛梯度法trainscg擬牛頓算法trainbfg一步正割算法trainossLevenberg-Marquardttrainlm訓練函數：訓練方法訓練函數梯度下降法traingd有動量的梯1.BP網絡構建

（1）生成BP網絡net=newff(PR,[S1S2...SNl]),{TF1TF2...TFNl},BTF)：PR:由R維的輸入樣本最小最大值構成的R*2維矩陣。：[S1S2...SNl]各層的神經元個數。：{TF1TF2...TFNl}各層的神經元傳遞函數。：BTF訓練用函數的名稱。（2）網絡訓練

net=train(net,P,T)（3）網絡仿真

Y2=sim(net,P2)1.BP網絡構建（1）生成BP網絡pn=p1';tn=t1';[m,n]=size(t);[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingd');%設置網絡,建立相應的BP網絡net.trainParam.show=50;%訓練網絡net.trainParam.lr=0.01;net.trainParam.epochs=1000;net.trainParam.goal=1e-5;[net,tr]=train(net,pn,tn);anewn=sim(net,pn);%對BP網絡進行仿真figure;holdonplot(anewn,'b',tn,'r');wucha=sum(abs(b-r))/n;%誤差輸出pn=p1';tn=t1';%traingdclear;clc;P=[-1-1224;05057];T=[-1-111-1];%利用minmax函數求輸入樣本范圍net=newff(minmax(P),[7,1],{'tansig','purelin'},'trainlm');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=1000;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隱層權值net.b{1}%隱層閾值net.lw{2,1}%輸出層權值net.b{2}%輸出層閾值y3=sim(net,P);BP網絡舉例BP網絡舉例clear;clc;X=-1:0.1:1;D=[-0.9602-0.5770-0.07290.37710.64050.66000.4609...0.1336-0.2013-0.4344-0.5000-0.3930-0.1647-.0988...0.30720.39600.34490.1816-0.312-0.2189-0.3201];figure;plot(X,D,'*');%繪制原始數據分布圖（附錄：1-1）net=newff(minmax(X),[51],{'tansig','tansig'});net.trainParam.epochs=100;%訓練的最大次數net.trainParam.goal=0.005;%全局最小誤差net=train(net,X,D);O=sim(net,X);figure;plot(X,D,X,O,'r');%繪制訓練后得到的結果和誤差曲線V=net.iw{1,1}%輸入層到中間層權值theta1=net.b{1}%中間層各神經元閾值W=net.lw{2,1}%中間層到輸出層權值theta2=net.b{2}%輸出層各神經元閾值clear;案例：地下水安全性評價與分析1.1地下水安全性概念

地下水的安全性主要包含兩個方面的內容，一是地下水本身的自然屬性,也就是所謂的固有脆弱性,即地下水抵御外界干擾的能力,如地下水的含水層厚度、含水層介質和包氣帶、土壤類型等,都會影響外來物質在地下水中的去向。二是地下水安全的社會屬性,即由于人類活動的激勵,地下水系統會相應做出的一些響應,如水質污染、水位下降、海水入侵、地表沉降及塌陷等。近年來，隨著我國經濟的高速發展，地下水環境變化格局十分劇烈，對地下水安全的研究成為熱點。實現對地下水安全性的分析和研究，對于掌握地下水的變化規律，進行地下水的安全保護有著極其重要的意義。案例：地下水安全性評價與分析1.1地下水安全性概念

圖1濟寧市行政區劃圖

本研究所用的分析數據分為遙感數據和統計數據。遙感數據包含有LandsatTM5和濟寧市DEM數據。輔助數據包括濟寧市《統計年鑒》數據、濟寧市各水文監測站監測數據和1:400萬國家行政矢量等數據。數據名稱數據來源數據格式數據描述LandsatTM5地理空間數據云柵格數據2013年7月影像濟寧市DEM地理空間數據云柵格數據數字高程影響，獲取地面坡度濟寧市年平均降水量氣象科學數據共享中心矢量數據研究區日平均降水量濟寧市包氣帶數據山東省水利局矢量數據含水層巖性濟寧市農業生產污染源濟寧市統計年鑒矢量數據研究區主要農業污染源及污染量濟寧市工業生產影響濟寧市統計年鑒矢量數據工業生產對地下水主要反應指標山東省地下水埋深山東省水文中心柵格數據地下水埋深深度變化濟寧市地下水日均離子濃度濟寧市監測站矢量數據地下水水質，地下水礦化度等

本研究所用的分析數據分為遙感數據和統計數據。遙感數據

1.3評價標準的制定由于各個指標的量綱不同，其評價的標準也不同，為了將各個指標合成一個綜合評價結果，首先必須將每個指標進行無量綱化處理，即將指標與其標準值相比較。因此，指標標準值在評價過程中是一組很重要的量，它是衡量人們對被評價對象的指標值滿意程度的標準。本文根據地下水安全性研究的基本理論和濟寧市地下水環境本質屬性及特殊屬性的實際情況,在參考關于指標體系評價標準建立的基礎上制定了濟寧市地下水環境安全性分級標準。1.3評價標準的制定序號指標強（I）較強（II）中等(III)弱(IV)1人口增長率（‰）‰）<33-55--8>82含水層厚度（mm）mm）<1515-2525-35>353多年平均降水量(mm)(mm)>750550-750350-550<3504單位人均GDP（萬元）GDP（萬元）>32-30.7-2<0.75地下水埋深(m)(m)>3015-303-15<36含水層巖性中細砂（10）10）細砂（8）8）粉細砂（6）6）淤土（2）2）7地面坡度<4(10)4-10(8)10-20(6)>20(3)8人均水資源擁有量（mm）mm）>30001500-3000700-1500<7009地表植被覆蓋率(%)(%)>6040-6020-40<2010農業區有效灌溉面積比重(%)(%)>8050-8020-50<2011平均化肥使用量（kg/kmkg/km）<300300-600600-1000>100012平均農藥使用量（kg/kmkg/km）<5050-150150-200>20013主要污染源類型生活垃圾（10）10）釀造也，農業污染（8）8）皮革，化工冶金釀造業（6）6）垃圾填埋場（3）3）14地下水水質狀況I(10)II(8)III(6)IV(3)15工業萬元產值取水量（mm/萬元）萬元）<1010-4040-70>7016地下水礦化度（mg/L）mg/L）<10001000-20002000-3000>300017工業用水重復利用率>9070-9050-70<5018地面沉降等級I(10)II(8)III(6)IV(3)序號指標強（I）較強（II）中等(III)弱(IV)1人口增關鍵腳本語言為：clcclearallnet=newff(minmax(p),[18,1],{'tansig','purelin'});/p為評價體系net.trainParam.show=50;net.trainParam.lr=0.01;net.trainParam.epochs=300;/設置訓練次數。net.trainParam.goal=1e-2;/設置訓練誤差。net=train(net,p,t);/t為期望輸出值。V=net.iw{1,1}%輸入層到中間層權值theta1=net.b{1}%中間層各神經元閾值W=net.lw{2,1}%中間層到輸出層權值theta2=net.b{2}%輸出層各神經元閾值關鍵腳本語言為：數模智能算法—BP神經網絡基本原理簡介課件1.4采樣點的選取在進行濟寧市地下水安全性分析時，主要有兩種方法進行整個區域的安全性評價與分析，一種是以量化柵格為處理單元，一種是以隨機采樣點為處理單元。采樣點指能表示一定區域范圍相關屬性的代表點。前者主要適用于進行研究區相對較小，對評價結果的精度要求較高。后者主要適用于區域較大，若按照第一種方法的話將使使得計算量過大，同時等級評價結果過于細化，從而影響對結果的評價分析。本文研究區面積較大，宜采用第二種方式。采樣數量N依據二項式概率理論，N可以通過如下公式計算。

式中,p是整幅圖的期望百分比精度，q=100–p；E允許誤差；Z=2表示1.96的標準正態誤差,95%的雙側置信度。選取期望精度為85%,而允許誤差為15%(即準確率為85%)，可以得到采樣點數量為27。通過ArcGis軟件隨機采樣工具進行采樣。1.4采樣點的選取數模智能算法—BP神經網絡基本原理簡介課件12345678910111213141516171814.3436231.867610120027.9876714178829.4107262824.3296561.86566120026.5856714178628.7109358634.3187001.878610120024.3896714178332.7125871345.5525401.81261047926.97510242178647.247962855.5595701.84761047925.37710242178638.798257663.9126101.898833430.2784213198647.6187272373.9145801.87118833431.3824213198643.5176968886.7216902.361381021921.29420324233356157282396.7246802.391481021920.997203242336791678778106.9237002.531381041930.689317817686481428823116.9276702.54381041928.78731781768354172676312385501.6178636540.25367213466281070528133125601.6398436542.3456721346636572573143.8346602.574210207921.18717912766681082716153.8346602.574210207921.18717912766681082716166.5325401.911221027628.67280219686252073478176.5475601.921321027627.97980219686271826426183.8226302.41888307226.98389231786822123746193.8306202.571288207227.88989231786782196628204.7315402.4586845029.67942251786481536576214.7345702.4556645029.7724225178642636628224.7365302.56761045030.5744225178651723646235.5216201.79388584187623349666561582703245.5245801.78481058417.97823349666581478616256.2495601.86881030025.78289642366591926523266.2435561.8478830025.38789642368641376606276.2385531.761481030024.2858964236871107872312345678910111213141516171814.clcfz=sim(net,pp);編號輸出值等級編號輸出值等級編號輸出值等級編號輸出值等級10.1904III8-1.1764IV151.4082I22-0.3165IV2-0.4125IV9-1.3982IV160.0130IV23-0.5811IV3-0.7706IV10-1.3864IV170.3231III24-1.0091IV40.4299III11-1.2086IV181.8007I250.1912III50.4349III12-1.1596IV191.0741I260.1389IV6-1.0885IV13-0.3691IV20-0.3593IV27-0.3502IV7-1.0237IV141.6820I21-0.4002IV

clc編號輸出值等級編號輸出值等級編號輸出值等級編號輸出值等

圖3ＢＰ仿真值空間插值分布圖圖3ＢＰ仿真值空間插值分布圖

圖4地下水安全性等級分布圖圖4地下水安全性等級分布圖圖5濟寧市各縣市地下水安全等級比例圖圖6濟寧市人文影響數值分析圖圖6濟寧市人文影響數值分析圖經過對研究結果的定性分析，結合研究區實際情況，得出以下結論。(1)從人為和自然兩方面出發，綜合已有相關研究成果，建立了影響地下水安全性的評價指標體系，利用神經網絡技術完成了對濟寧市地下水的安全性評價，得到了較為全面準確的濟寧市地下水安全性分布圖。(2)研究結果表明，BP神經網絡得到的等級評價結果并非完全正確，所以當前對BP評定結果直接采用的評價方法是比較片面的，應該借助其他相關的評定方法進行驗證和調整，本研究借助了自組織神經網絡的技術和方法。(3)濟寧市各縣市化肥和農藥使用量均較高，尤其是農業發展程度較高的區域，例如市中區，任城區等，農業面源污染的主要污染物就是化肥農業污染，會造成地下水的毒素超標，影響人類的正常生活。(4)鄒城市，泗水縣等濟寧市東北部地區工業節水力度較低，同時人均水資源擁有量較低，相關企業應有傳統工業向新型環保節水工業轉變，同時政府部門應加大水資源處理力度，合理興修水利工程，以解決當地水資源較少的問題。經過對研究結果的定性分析，結合研究區實際情況，得出以下結論。

謝謝觀看

BP神經網絡基本原理簡介

BP神經網絡基本原理簡介

57數模智能算法—BP神經網絡基本原理簡介課件x1o1輸出層隱藏層輸入層x2o2omxn…………一個神經網絡的典型結構：x1o1輸出層隱藏層輸入層x2o2omxn…………一個神經網一.什么是人工神經網絡“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經神經系統對真實世界物體所作出的交互反應”。人工神經網絡(ANN)具有自學習、自組織、較好的容錯性和優良的非線性逼近能力。在實際應用中，80%～90%的人工神經網絡模型是采用誤差反傳算法或其變化形式的網絡模型。一.什么是人工神經網絡“人工神經網絡是由具有適應性的簡單單元二.ANN能干什么？擬合預測分類聚類分析(函數逼近)數學近似映射二.ANN能干什么？擬合預測分類三.神經網絡模型和網絡結構神經元模型激活函數網絡結構工作狀態學習方式三.神經網絡模型和網絡結構神經元模型四、建立和應用神經網絡的步驟（1）網絡結構的確定 包含網絡的拓撲結構和每個神經元相應函數的選取；（2）權值和閾值的確定 通過學習得到，為有指導的學習，也就是利用已知的一組正確的輸入、輸出數據，調整權和閾值使得網絡輸出與理想輸出偏差盡量小；（3）工作階段 用帶有確定權重和閾值的神經網絡解決實際問題的過程，也叫模擬（simulate）。

四、建立和應用神經網絡的步驟（1）網絡結構的確定神經元大腦可視作為1000多億神經元組成的神經網絡

圖1神經元的解剖圖神經元大腦可視作為1000多億神經元組成的神經網絡圖1神經元神經元神經元信息傳遞神經元的信息傳遞和處理是一種電化學活動．樹突由于電化學作用接受外界的刺激；通過胞體內的活動體現為軸突電位，當軸突電位達到一定的值則形成神經脈沖或動作電位；再通過軸突末梢傳遞給其它的神經元．從控制論的觀點來看；這一過程可以看作一個多輸入單輸出非線性系統的動態過程。神經元信息傳遞神經元的信息傳遞和處理是一種電化學活動．樹突由人工神經元的模型作為神經網絡的基本元素，神經元的模型如下：x1~xn是從其他神經元傳來的輸入信號wij表示表示從神經元j到神經元i的連接權值θ表示一個閾值(threshold)，或稱為偏置(bias)。人工神經元的模型作為神經網絡的基本元素，神經元的模型如下：x人工神經元的模型若用X表示輸入向量，用W表示權重向量：則神經元的輸出與輸入的關系為：凈激活量激活函數人工神經元的模型若用X表示輸入向量，用W表示權重向量：神經元激活函數激活函數是對凈激活量與輸出進行映射的函數。一些常用的激活函數,由于輸入數據與期望值之間可能并不是量級一樣，所以需要激活。線性函數 S形函數閾值函數雙極S形函數激活函數激活函數是對凈激活量與輸出進行映射的函數。一些常用的激活函數S形和雙極S形函數圖像為：

S形和雙極S形函數的導函數均為連續函數。激活函數S形和雙極S形函數圖像為：網絡模型根據網絡中神經元的互聯方式的不同，網絡模型分為：前饋神經網絡只在訓練過程會有反饋信號，而在分類過程中數據只能向前傳送，直到到達輸出層，層間沒有向后的反饋信號反饋神經網絡從輸出到輸入具有反饋連接的神經網絡，其結構比前饋網絡要復雜得多自組織網絡通過自動尋找樣本中的內在規律和本質屬性，自組織、自適應地改變網絡參數與結構。網絡模型根據網絡中神經元的互聯方式的不同，網絡模型分為：網絡模型前饋神經網絡反饋神經網絡自組織網絡網絡模型前饋神經網絡反饋神經網絡自組織網絡工作狀態神經網絡的工作狀態分為學習和工作兩種狀態學習利用學習算法來調整神經元間的連接權重，使得網絡輸出更符合實際工作神經元間的連接權值不變，可以作為分類器或者預測數據之用。工作狀態神經網絡的工作狀態分為學習和工作兩種狀態學習方式學習分為有導師學習與無導師學習有導師學習將一組訓練集送入網絡，根據網絡的實際輸出與期望輸出間的差別來調整連接權例如：BP算法無導師學習抽取樣本集合中蘊含的統計特性，并以神經元之間的聯接權的形式存于網絡中。例如：Hebb學習率學習方式學習分為有導師學習與無導師學習神經網絡的學習方式有教師學習(監督學習)神經網絡的學習方式有教師學習(監督學習)75有教師學習(監督學習)有教師學習(監督學習)BP算法(BackPropagation)采用BP學習算法的前饋神經網絡稱為BP神經網絡BP算法(BackPropagation)采用BP學習算法BP算法(BackPropagation)BP算法基本原理利用輸出后的誤差來估計輸出層的直接前導層的誤差，再用這個誤差估計更前一層的誤差，如此一層一層的反傳下去，就獲得了所有其他各層的誤差估計。信號的正向傳播&誤差的反向傳播BP算法(BackPropagation)BP算法基本原理BP算法(BackPropagation)正向傳播：輸入樣本－－－輸入層－－－各隱層－－－輸出層判斷是否轉入反向傳播階段：若輸出層的實際輸出與期望的輸出不符誤差反傳誤差以某種形式在各層表示－－－修正各層單元的權值網絡輸出的誤差減少到可接受的程度進行到預先設定的學習次數為止BP算法(BackPropagation)正向傳播：BP算法(BackPropagation)假設輸入層有n個神經元，隱含層有p個神經元，輸出層有q個神經元符號定義輸入向量;隱含層輸入向量；隱含層輸出向量;輸出層輸入向量;輸出層輸出向量;期望輸出向量;誤差函數BP算法(BackPropagation)假設輸入層有n個BP算法(BackPropagation)首先，計算各層神經元的輸入和輸出BP算法(BackPropagation)首先，計算各層神BP算法(BackPropagation)第二步利用網絡期望輸出和實際輸出，計算誤差函數對輸出層的各神經元的偏導數。BP算法(BackPropagation)第二步利用網絡期BP算法(BackPropagation)第三步：利用隱含層到輸出層的連接權值、輸出層的和隱含層的輸出計算誤差函數對隱含層各神經元的偏導數。

BP算法(BackPropagation)第三步：利用隱含BP算法(BackPropagation)BP算法(BackPropagation)BP算法(BackPropagation)第四步，利用輸出層各神經元的和隱含層各神經元的輸出來修正連接權值。是設置的學習率。BP算法(BackPropagation)第四步，利用輸出BP算法(BackPropagation)第五步，利用隱含層各神經元的和輸入層各神經元的輸入修正連接權。BP算法(BackPropagation)第五步，利用隱含BP算法(BackPropagation)第六步，計算全局誤差第七步，判斷網絡誤差是否滿足要求。當誤差達到預設精度或學習次數大于設定的最大次數，則結束算法。否則，選取下一個學習樣本及對應的期望輸出，返回進入下一輪學習。BP算法(BackPropagation)第六步，計算全局神經網絡的應用(1)圖像處理。對圖像進行邊緣監測、圖像分割、圖像壓縮和圖像恢復。(2)信號處理。能分別對通訊、語音、心電和腦電信號進行處理分類；可用于海底聲納信號的檢測與分類，在反潛、掃雷等方面得到應用。(3)模式識別。已成功應用于手寫字符、汽車牌照、指紋和聲音識別，還可用于目標的自動識別和定位、機器人傳感器的圖像識別以及地震信號的鑒別等。(4)機器人控制。對機器人眼手系統位置進行協調控制，用于機械手的故障診斷及排除、智能自適應移動機器人的導航。(5)衛生保健、醫療。比如通過訓練自主組合的多層感知器可以區分正常心跳和非正常心跳、基于BP網絡的波形分類和特征提取在計算機臨床診斷中的應用。(6)焊接領域。國內外在參數選擇、質量檢驗、質量預測和實時控制方面都有研究，部分成果已得到應用。(7)經濟。能對商品價格、股票價格和企業的可信度等進行短期預測。(8)另外，在數據挖掘、電力系統、交通、軍事、礦業、農業和氣象等方面亦有應用。神經網絡的應用2.1訓練

BP網絡的訓練就是通過應用誤差反傳原理不斷調整網絡權值使網絡模型輸出值與已知的訓練樣本輸出值之間的誤差平方和達到最小或小于某一期望值。雖然理論上早已經證明：具有1個隱層（采用Sigmoid轉換函數）的BP網絡可實現對任意函數的任意逼近。但遺憾的是，迄今為止還沒有構造性結論，即在給定有限個（訓練）樣本的情況下，如何設計一個合理的BP網絡模型并通過向所給的有限個樣本的學習（訓練）來滿意地逼近樣本所蘊含的規律（函數關系，不僅僅是使訓練樣本的誤差達到很小）的問題，目前在很大程度上還需要依靠經驗知識和設計者的經驗。因此，通過訓練樣本的學習（訓練）建立合理的BP神經網絡模型的過程，在國外被稱為“藝術創造的過程”，是一個復雜而又十分煩瑣和困難的過程。2.1訓練Matlab編程講解軟件條件：Matlab2012a以上實驗操作：神經網絡工具箱，編程，推薦使用編程語言Matlab編程講解訓練函數：訓練方法訓練函數梯度下降法traingd有動量的梯度下降法traingdm自適應lr梯度下降法lr梯度下降法traingda自適應lr動量梯度下降法lr動量梯度下降法traingdx彈性梯度下降法trainrpFletcher-Reeves共軛梯度法共軛梯度法traincgfPloak-Ribiere共軛梯度法共軛梯度法traincgpPowell-Beale共軛梯度法共軛梯度法traincgb量化共軛梯度法trainscg擬牛頓算法trainbfg一步正割算法trainossLevenberg-Marquardttrainlm訓練函數：訓練方法訓練函數梯度下降法traingd有動量的梯1.BP網絡構建

（1）生成BP網絡net=newff(PR,[S1S2...SNl]),{TF1TF2...TFNl},BTF)：PR:由R維的輸入樣本最小最大值構成的R*2維矩陣。：[S1S2...SNl]各層的神經元個數。：{TF1TF2...TFNl}各層的神經元傳遞函數。：BTF訓練用函數的名稱。（2）網絡訓練

net=train(net,P,T)（3）網絡仿真

Y2=sim(net,P2)1.BP網絡構建（1）生成BP網絡pn=p1';tn=t1';[m,n]=size(t);[pn,minp,maxp,tn,mint,maxt]=premnmx(p,t);net=newff(minmax(pn),[5,1],{'tansig','purelin'},'traingd');%設置網絡,建立相應的BP網絡net.trainParam.show=50;%訓練網絡net.trainParam.lr=0.01;net.trainParam.epochs=1000;net.trainParam.goal=1e-5;[net,tr]=train(net,pn,tn);anewn=sim(net,pn);%對BP網絡進行仿真figure;holdonplot(anewn,'b',tn,'r');wucha=sum(abs(b-r))/n;%誤差輸出pn=p1';tn=t1';%traingdclear;clc;P=[-1-1224;05057];T=[-1-111-1];%利用minmax函數求輸入樣本范圍net=newff(minmax(P),[7,1],{'tansig','purelin'},'trainlm');net.trainParam.show=50;%net.trainParam.lr=0.05;net.trainParam.epochs=1000;net.trainParam.goal=1e-5;[net,tr]=train(net,P,T);net.iw{1,1}%隱層權值net.b{1}%隱層閾值net.lw{2,1}%輸出層權值net.b{2}%輸出層閾值y3=sim(net,P);BP網絡舉例BP網絡舉例clear;clc;X=-1:0.1:1;D=[-0.9602-0.5770-0.07290.37710.64050.66000.4609...0.1336-0.2013-0.4344-0.5000-0.3930-0.1647-.0988...0.30720.39600.34490.1816-0.312-0.2189-0.3201];figure;plot(X,D,'*');%繪制原始數據分布圖（附錄：1-1）net=newff(minmax(X),[51],{'tansig','tansig'});net.trainParam.epochs=100;%訓練的最大次數net.trainParam.goal=0.005;%全局最小誤差net=train(net,X,D);O=sim(net,X);figure;plot(X,D,X,O,'r');%繪制訓練后得到的結果和誤差曲線V=net.iw{1,1}%輸入層到中間層權值theta1=net.b{1}%中間層各神經元閾值W=net.lw{2,1}%中間層到輸出層權值theta2=net.b{2}%輸出層各神經元閾值clear;案例：地下水安全性評價與分析1.1地下水安全性概念

地下水的安全性主要包含兩個方面的內容，一是地下水本身的自然屬性,也就是所謂的固有脆弱性,即地下水抵御外界干擾的能力,如地下水的含水層厚度、含水層介質和包氣帶、土壤類型等,都會影響外來物質在地下水中的去向。二是地下水安全的社會屬性,即由于人類活動的激勵,地下水系統會相應做出的一些響應,如水質污染、水位下降、海水入侵、地表沉降及塌陷等。近年來，隨著我國經濟的高速發展，地下水環境變化格局十分劇烈，對地下水安全的研究成為熱點。實現對地下水安全性的分析和研究，對于掌握地下水的變化規律，進行地下水的安全保護有著極其重要的意義。案例：地下水安全性評價與分析1.1地下水安全性概念

圖1濟寧市行政區劃圖

本研究所用的分析數據分為遙感數據和統計數據。遙感數據包含有LandsatTM5和濟寧市DEM數據。輔助數據包括濟寧市《統計年鑒》數據、濟寧市各水文監測站監測數據和1:400萬國家行政矢量等數據。數據名稱數據來源數據格式數據描述LandsatTM5地理空間數據云柵格數據2013年7月影像濟寧市DEM地理空間數據云柵格數據數字高程影響，獲取地面坡度濟寧市年平均降水量氣象科學數據共享中心矢量數據研究區日平均降水量濟寧市包氣帶數據山東省水利局矢量數據含水層巖性濟寧市農業生產污染源濟寧市統計年鑒矢量數據研究區主要農業污染源及污染量濟寧市工業生產影響濟寧市統計年鑒矢量數據工業生產對地下水主要反應指標山東省地下水埋深山東省水文中心柵格數據地下水埋深深度變化濟寧市地下水日均離子濃度濟寧市監測站矢量數據地下水水質，地下水礦化度等

本研究所用的分析數據分為遙感數據和統計數據。遙感數據

1.3評價標準的制定由于各個指標的量綱不同，其評價的標準也不同，為了將各個指標合成一個綜合評價結果，首先必須將每個指標進行無量綱化處理，即將指標與其標準值相比較。因此，指標標準值在評價過程中是一組很重要的量，它是衡量人們對被評價對象的指標值滿意程度的標準。本文根據地下水安全性研究的基本理論和濟寧市地下水環境本質屬性及特殊屬性的實際情況,在參考關于指標體系評價標準建立的基礎上制定了濟寧市地下水環境安全性分級標準。1.3評價標準的制定序號指標強（I）較強（II）中等(III)弱(IV)1人口增長率（‰）‰）<33-55--8>82含水層厚度（mm）mm）<1515-2525-35>353多年平均降水量(mm)(mm)>750550-750350-550<3504單位人均GDP（萬元）GDP（萬元）>32-30.7-2<0.75地下水埋深(m)(m)>3015-303-15<36含水層巖性中細砂（10）10）細砂（8）8）粉細砂（6）6）淤土（2）2）7地面坡度<4(10)4-10(8)10-20(6)>20(3)8人均水資源擁有量（mm）mm）>30001500-3000700-1500<7009地表植被覆蓋率(%)(%)>6040-6020-40<2010農業區有效灌溉面積比重(%)(%)>8050-8020-50<2011平均化肥使用量（kg/kmkg/km）<300300-600600-1000>100012平均農藥使用量（kg/kmkg/km）<5050-150150-200>20013主要污染源類型生活垃圾（10）10）釀造也，農業污染（8）8）皮革，化工冶金釀造業（6）6）垃圾填埋場（3）3）14地下水水質狀況I(10)II(8)III(6)IV(3)15工業萬元產值取水量（mm/萬元）萬元）<1010-4040-70>7016地下水礦化度（mg/L）mg/L）<10001000-20002000-3000>300017工業用水重復利用率>9070-9050-70<5018地面沉降等級I(10)II(8)III(6)IV(3)序號指標強（I）較強（II）中等(III)弱(IV)1人口增關鍵腳本語言為：clcclearallnet=newff(minmax(p),[18,1],{'tansig','purelin'});/p為評價體系net.trainParam.show=50;net.trainParam.lr=0.01;net.trainParam.epochs=300;/設置訓練次數。net.trainParam.goal=1e-2;/設置訓練誤差。net=train(net,p,t);/t為期望輸出值。V=net.iw{1,1}%輸入層到中間層權值theta1=net.b{1}%中間層各神經元閾值W=net.lw{2,1}%中間層到輸出層權值theta2=net.b{2}%輸出層各神經元閾值關鍵腳本語言為：數模智能算法—BP神經網絡基本原理簡介課件1.4采樣點的選取在進行濟寧市地下水安全性分析時，主要有兩種方法進行整個區域的安全性評價與分析，一種是以量化柵格為處理單元，一種是以隨機采樣點為處理單元。采樣點指能表示一定區域范圍相關屬性的代表點。前者主要適用于進行研究區相對較小，對評價結果的精度要求較高。后者主要適用于區域較大，若按照第一種方法的話將使使得計算量過大，同時等級評價結果過于細化，從而影響對結果的評價分析。本文研究區面積較大，宜采用第二種方式。采樣數量N依據二項式概率理論，N可以通過如下公式計算。

式中,p是整幅圖的期望百分比精度，q=100–p；E允許誤差；Z=2表示1.96的標準正態誤差,95%的雙側置信度。選取期望精度為85%,而允許誤差為15%(即準確率為85%)，可以得到采樣點數量為27。通過ArcGis軟件隨機采樣工具進行采樣。1.4采樣點的選取數模智能算法—BP神經網絡基本原理簡介課件12345678910111213141516171814.3436231.867610120027.9876714178829.4107262824.3296561.86566120026.5856714178628.7109358634.3187001.878610120024.3896714178332.7125871345.5525401.81261047926.97510242178647.247962855.5595701.84761047925.37710242178638.798257663.9126101.898833430.2784213198647.6187272373.9145801.87118833431.3824213198643.5176968886.7216902.361381021921.29