人工神經網絡人工神經網絡1緒論定義：人工神經網絡是對人腦或自然的神經網絡若干基本特性的抽象和模擬。神經網絡信息處理的基本特征：分布存貯與容錯性并行處理性信息處理與貯存的合二而一性可塑性與自組織性層次性與系統性緒論定義：人工神經網絡是對人腦或自然的神經網絡若干基本特性的2神經網絡研究、發展的歷史1943年：WarrenMcCulloch和W.pittsM－P模型。1949年：Hebb提出學習規則。1962年：Rosenblattperceptron（感知機）特點：并行處理，分布式存貯。1967年：GrossbergAvalanche網絡。功能：語言識別，控制機器人手臂的運動。1969年：Minsky和papert出版perceptron（書）神經網絡研究、發展的歷史1943年：WarrenMcCul31982年：JohnHopfieldHopfield網絡優點：聯想記憶，容錯分類，自動尋優。1986年：Rumelhart和McCelland《paralleldistributedprocessing》《并行分布信息處理》，對Errorbackpropagation（誤差逆傳播算法）進行了詳細討論。二十世紀九十年代：神經網絡在信息處理，模式識別，自動控制，專家系統及機器人控制等方面得到了廣泛的應用。1982年：JohnHopfieldHopfi4神經網絡的研究分以下幾個方面：大腦和神經系統的信息處理原理構造能實現信息處理的神經網絡原理能實現信息處理基本原理的技術研究－神經計算機神經網絡的研究分以下幾個方面：大腦和神經系統的信息處理原理5生物神經元的特性：神經元是一個多輸入、單輸出元件；神經元是一個具有非線性輸入/輸出特性的元件；神經元具有可塑性；神經元的輸出響應是各個輸入的綜合作用的結果，即所有輸入的累加作用。生物神經元的特性：神經元是一個多輸入、單輸出元件；6人工神經網絡課件7

上述表達式為最終的生物神經元模型，其數學表達式為：上述表達式為最終的生物神經元模型，其數學表達式為：8輸入/輸出函數有兩種基本形式：階躍響應函數和S型響應函數。其響應特征如圖所示：01yx輸入/輸出函數有兩種基本形式：01yx9設神經元輸入向量為：相應的權值向量為：設該神經元的閾值為，輸出為y，則

式中或者采用符號函數M－P模型設神經元輸入向量為：M－P模型10M－Ｐ模型原理簡單，但它對生物神經元進行了完整的數學描述，其缺點是只能實現線性分類。M－Ｐ模型原理簡單，但它對生物神經元進行了完整的數學描述，其11神經網絡的學習方式可分為兩類：教師示教學習方式

比較教師示教（希望輸出）實際輸出學習系統輸入神經網絡神經網絡的學習方式可分為兩類：教師示教學習方式比較教師示教12無教師示教方式

學習系統輸入神經網絡自我比較實際輸出無教師示教方式學習系統輸入神經網絡自我比較實際輸出13學習過程的結束標志：學習次數誤差均方誤差式中M為樣本模式對的個數，Q為輸出單元的個數誤差平方和學習過程的結束標志：學習次數14感知機模型感知機模型15感知機模型由感知層S(Sensory)、連接層A(Association)、反應層R(Response)三層構成。單層感知機網絡的一般拓撲結構如圖所示：………………………………感知機模型由感知層S(Sensory)、連接層A(Assoc16設網絡輸入模式向量為：對應的輸出為：,由A層至輸出層R的連接權向量為：網絡按如下規則進行學習初始化將A層至R層的連接權向量及輸出單元的閾值賦予(－1，＋1)區間內的隨機值。連接權的修正每個輸入模式對完成如下計算。設網絡輸入模式向量為：17計算網絡輸出：式中，為雙極值階躍函數，且計算輸出層單元希望輸出與實際輸出之間的誤差：修正A層各單元與輸出層R之間的連接權與閾值：

式中，為學習回數；、為正常數，稱學習率。計算網絡輸出：18對個輸入模式重復步驟2，直到誤差趨于零或小于預先給定的誤差限。對個輸入模式重復步驟2，直到誤差19BP網絡學習過程BP網絡學習過程20人工神經網絡課件21設輸入模式向量為：希望輸出向量：隱含層各單元的輸入向量為：隱含層各單元的輸出向量為：輸出層各單元的輸入向量為：輸出層各單元的輸出向量為：輸入層至中間層連接權：中間層至輸出層連接權：中間層各單元輸出閾值：輸出層各單元輸出閾值：設輸入模式向量為：22首先介紹網絡響應函數——S函數的一個重要性質，即該函數的導數可用其自身來表示。S函數的表達式可表示為：其一階導數：首先介紹網絡響應函數——S函數的一個重要性質，即該函數的導數23對于第k個學習模式，網絡希望輸出與實際輸出的差定義為：的均方值：為使隨連接權的修正按梯度下降，則需求對網絡實際輸出的偏導

對于第k個學習模式，網絡希望輸出與實際輸出的差定義為： 24由于連接權的微小變化，對輸出層響應的影響可表示為連接權的微小變化對第k個模式的均方差的影響：由于25按梯度下降原則，使連接權的調整量與的負值成比例變化，則可得：設輸出層各單元的一般化誤差為定義為對輸出層輸入的負偏導按梯度下降原則，使連接權的調整量26連接權的調整量由輸入層至中間層連接權的調整，仍然按梯度下降法的原則進行。中間層各單元的輸入為其輸出為連接權的調整量27連接權的微小變化，對第k個學習模式的均方誤差的影響，可得設中間層各單元的一般化誤差為

定義為對中間層輸入的負偏導。連接權的微小變化，對第k個學習模式的均方誤差的影28則連接權的調整量應為閾值的調整量為設網絡的全局誤差為E，則則29BP網絡工作步驟BP網絡工作步驟30初始化給各連接權、及閾值、賦予(-1,+1)間的隨機值。隨機選取一模式對，提供給網絡。用輸入模式、連接權和閾值計算中間各單元的輸入；然后用 通過S函數計算中間層各單元的輸出初始化給各連接權、及閾值31用中間層的輸出、連接權和閾值計算輸出層各單元的輸入，然后用通過S函數計算輸出層各單元的響應用希望輸出模式、網絡實際輸出，計算輸出層的各單元的一般化誤差用中間層的輸出、連接權和閾值32用連接權、輸出層的一般化誤差、中間層的輸出計算中間層各單元的一般化誤差用輸出層各單元的一般化誤差、中間層各單元的輸出修正連接權和閾值用連接權、輸出層的一般化誤差、中間層的33用中間層各單元的一般化誤差、輸入層各單元的輸入修正連接權和閾值隨即選取下一個學習模式對提供給網絡，返回到步驟3，直至全部m個模式對訓練完畢。用中間層各單元的一般化誤差、輸入層各單元的輸入34重新從m個學習模式對中隨機選取一個模式對，返回步驟3，直至網絡全局誤差函數E小于預先設定的一個極小值，即網絡收斂或學習回數大于預先設定的值，即網絡無法收斂。結束學習。在上述的學習步驟中，3—6為“模式順傳播過程”，7－8為網絡誤差的逆傳播過程，9、10完成訓練和收斂過程。重新從m個學習模式對中隨機選取一個模式對，返回步驟3，直至網35BP網絡的缺陷學習收斂速度太慢，即使一個比較簡單的問題，也需要幾百次甚至上千次的學習才能收斂。不能保證收斂到全局最小點。網絡隱含層的層數及隱含層的單元數的選取尚無理論上的指導，而是根據經驗確定。因此，網絡往往具有很大的冗余性，無形中也增加了網絡學習的時間。網絡的學習、記憶具有不穩定性。一個訓練結束的BP網絡，當給它提供新的記憶模式時，將使已有的連接權打亂，導致已記憶的學習模式的信息消失。BP網絡的缺陷學習收斂速度太慢，即使一個比較簡單的問題，也需36對BP網絡的改進慣性校正法式中，為本次應得校正量，為前次校正量。對BP網絡的改進慣性校正法37Hopfield網絡運行規則Hopfield網絡運行規則38人工神經網絡課件39Hopfield神經網絡的工作運行規則人工神經網絡課件40從網絡中隨機選取一個神經元。求出所選中的神經元的所有輸入的加權總和：計算的第時刻的輸出值，即：IF

THEN

ELSE從網絡中隨機選取一個神經元。41以外的所有神經元輸出保持不變返回到第一步，直至網絡進入穩定狀態。以外的所有神經元輸出保持不變42隨機型神經網絡隨機型神經網絡43誤差逆傳播算法與Hopfield網絡陷入局部極小值的原因主要有兩點：網絡結構上存在著輸入與輸出之間的非線性函數關系，從而事網絡誤差或能量函數所構成的空間是一個含有多極點的非線性空間；算法上，網絡的誤差或能量函數只能按單方向減小而不能有絲毫的上升趨勢。誤差逆傳播算法與Hopfield網絡陷入局部極小值的原因主要44(a)隨機型算法(b)“貪心”算法兩種類型算法的比較(a)隨機型算法(b)“貪心”算法兩種類型算法的比較45模擬退火算法模擬退火算法46如果把神經網絡的狀態看作金屬內部的“粒子”，把網絡在各個狀態下的能量函數Ei看作是粒子所處的能態。在算法中設置一種控制參數T，當T較大時，網絡能量由低向高變化的可能性也較大；隨著T的減小，這種可能性也減小。如果把這個參數看作溫度，讓其由高慢慢的下降，則整個網絡狀態變化過程就完全模擬了金屬的退火過程，當參數T下降到一定程度時，網絡將收斂于能量的最小值。如果把神經網絡的狀態看作金屬內部的“粒子”，把網絡在各個狀態47模擬退火算法如下：設網絡狀態為：

N——網絡神經元的個數；各連接權為神經元i的綜合輸入值，即內部狀態為輸出閾值為模擬退火算法如下：設網絡狀態為：48神經元i輸出ui為1和0的概率分別為Pui(1)和Pui(0)，則式中，T稱為網絡溫度(NetworkTemperature)……(1)……(2)……(3)神經元i輸出ui為1和0的概率分別為Pui(1)和Pui(049Pui(1)函數曲線Pui(1)函數曲線50當神經元i按(2)式所給的概率，在下一時刻的輸出值取時，則其能量變化為由上式可以看出，這在Hopfield算法中是不允許的，而這里卻允許比較小的概率接受這種變化。當神經元i按(2)式所給的概率，在下一時刻的輸出值取時，則其51從圖中還可以看出，當溫度T較高時，Pui(1)相對于Hi的變化反應遲鈍，曲線區域平坦，特別是當T→∞時，曲線變為一條恒為0.5的直線。此時ui取1和0的概率相等，這意味著在T較高的期間，網絡各神經元有更多的機會進行狀態選擇，相當于金屬內部的粒子做激烈的自由運動。當溫度降低時，Pui(1)曲線變陡，Pui(1)相對于Hi的變化相當敏感。當T→0時，曲線退化為一階躍函數，則算法也從模擬退火算法過渡到Hopfield算法，所以可以說Hopfield算法是模擬退火算法在T→0時的特例。從圖中還可以看出，當溫度T較高時，Pui(1)相對于Hi的變52按(1)-(3)式反復進行網絡的狀態更新，且更新次數N足夠大以后，我們會發現網絡某狀態出現的概率將服從以下所示的分布。式中，為狀態所對應的網絡能量。按(1)-(3)式反復進行網絡的狀態更新，且更新次數N足夠大53Boltzmann機網絡工作規則Boltzmann機網絡工作規則54人工神經網絡課件55設網絡有N個神經元，各神經元之間的連接權為，各神經元的輸出閾值為，輸出為，神經元的內部狀態為。以上；。取，給和賦予[-1，+1]區間內的隨機值，并使，（實際應用中連接權是按聯想記憶模式設計的）。從N個神經元中隨機選取一個神經元求出神經元的輸入總和，即內部狀態設網絡有N個神經元，各神經元之間的連接權為56按此概率將神經元的狀態更新為1以外的神經元的輸出狀態保持不變令，計算此時新的溫度參數…該式稱為降溫策略。返回到步驟①，直至溫度參數小于預先給定的一個截止溫度。按此概率將神經元的狀態更新為157這里對工作規則作以下四點解釋：步驟③中，更新網絡狀態使，一般有兩種方法：當時，直接使，因為這種情況下；而當時，在[0，0.5]區間內產生一隨機數，當時，使,否則使。當時，使；當時，當大于預先給定的概率值時，使，否則使這里對工作規則作以下四點解釋：58關于初始溫度和結束溫度，目前還沒有一個成熟的設定方法，一般憑經驗給出。關于連接權和閾值的設定，這里為敘述方便，在初始化時賦予[-1，+1]區間內的隨機值。在實際應用中，同Hopfield網絡一樣，是需要按一定規則預先設定的。關于降溫策略，由于在Boltzmann機工作規則中引入了概率，所以網絡不是收斂于一個狀態而是收斂于平衡狀態。關于初始溫度和結束溫度，目前還沒有一個成59基本競爭型神經網絡基本競爭型神經網絡60人工神經網絡課件61競爭型神經網絡分為輸入層和競爭層。其中輸入層有N個神經元，競爭型有M個神經元。網絡的連接權為；，且約束條件為：網絡的P個二值輸入學習模式為：，與其對應的競爭層輸出模式為

競爭型神經網絡分為輸入層和競爭層。其中輸入層有N個神經元，競62基本競爭型神經網絡的學習規則初始化按的約束條件賦予；[0，1]區間內隨機值。任選P個學習模式中的一個模式提供給網絡的輸入層。計算競爭層各神經元的輸入值：基本競爭型神經網絡的學習規則初始化按63按“勝者為王”的原則，以中最大值所對應的神經元作為勝者，將其輸出狀態置為1，而其它所有神經元的輸出狀態置為0，即：如果出現的現象，則按統一約定取左邊的神經元為獲勝神經元。對與獲勝神經元相連的各連接權進行修正。而其它所有連接權保持不變。

其中，為學習系數，為第k個學習模式向量中元素為1的個數。按“勝者為王”的原則，以64選取另一個學習模式，返回步驟③，直至P個學習模式全部提供給網絡。返回步驟②，直至各連接權的調整量變得很小為止。選取另一個學習模式，返回步驟③，直至P個學習模式全部提供給網65抑制競爭型神經網絡抑制競爭型神經網絡66人工神經網絡課件67設網絡有N個輸入層神經元和M個競爭層神經元，網絡的P個二值輸入、學習模式為，網絡的連接權為；。網絡競爭層的輸出向量為。

表示網絡對k個輸入、學習模式的第次學習結果。設網絡有N個輸入層神經元和M個競爭層神經元，網絡的P個二值輸68抑制競爭型神經網絡的學習規則給賦予(0，1)之間的隨機值，且滿足約束條件。任選一個學習模式提供給網絡的輸入層。計算競爭層各神經元的輸入以競爭層各神經元輸入值作為其輸出值的初始值，即：抑制競爭型神經網絡的學習規則給69計算競爭層各神經元下一時刻輸出的值返回步驟⑤，對輸出值進行反復更新，直至第個神經元的輸出值遠遠大于其它個神經元的輸出值。計算競爭層各神經元下一時刻輸出的值70對與神經元連接權進行調整。選擇另一個輸入、學習模式，返回步驟③，直至所有輸入、學習模式全部提供給網絡。對與神經元連接權進行調整。71ART1網絡的學習工作規則ART1網絡的學習工作規則721122jiMN............輸入模式Ak=(a1K,a2K,a3K,...,aNK)輸入向量Bk=(b1K,b2K,b3K,...,bMK)

輸出層(識別層)輸入層(比較層)反饋連接權(Tij)前饋連接權(Wij)互抑制性連接1122jiMN............輸入73學習過程初始階段識別階段比較階段尋找階段學習過程初始階段74初始化將輸入模式提供給網絡的輸入層。計算輸出層各神經元的輸入加權和初始化75選擇的最佳分類結果令神經元的輸出為1。計算以下三式，并進行判斷當Ⅲ式成立時，轉入步驟⑦，否則轉入步驟⑥。選擇的最佳分類結果76取消識別結果，將輸出層神經元的輸出值復位為0，并將這一神經元排除在下次識別的范圍之外，返回步驟④。當所有已利用過的神經元都無法滿足Ⅲ式，則選擇一個新的神經元作為分類結果進入步驟⑦。承認識別結果，并按下式調整連接權將步驟⑥復位的所有神經元重新加入識別范圍之內，返回步驟②對下一個模式進行識別。取消識別結果，將輸出層神經元的輸出值復位為0，并將這一77ART1網絡應用舉例如圖，設ART1網絡有五個輸入神經元和二十個輸出神經元。現有兩個輸入模式和。要求用這兩個模式訓練網絡。ART1網絡應用舉例如圖，設ART1網絡有五個輸入神經元和二78初始化令首先將輸入模式加到網絡的輸入層。求獲勝神經元因為在網絡的初始狀態下，所有前饋連接權均取相等值1/6，所以各輸入神經元均具有相等的輸入加權和。這時可任選一個神經元（如第1個）作為的分類代表，即獲勝神經元，令其輸出值為1。初始化令79計算得到，接受這次識別的結果；調整連接權至此，已記憶在網絡中。計算80將輸入模式加到網絡的輸入層。求獲勝神經元因為，所以取神經元1為獲勝神經元。這顯然與的識別結果相沖突。所以拒絕這次識別結果，重新進行識別。將輸入模式加到81因為，故可以從中任選一個神經元，如神經元2作為的分類結果，即獲勝神經元。調整連接權至此，已記憶在網絡中。因為82CP網絡學習工作規則CP網絡學習工作規則83人工神經網絡課件84設網絡輸入層有N個神經元，P個連續值輸入模式為；競爭層有Q個神經元，所對應的二值輸出向量為；輸出層有M個神經元，其連續值輸出向量為；希望輸出向量為。以上由輸入層至競爭層連接權向量由競爭層至輸出層連接權向量為設網絡輸入層有N個神經元，P個連續值輸入模式為85網絡學習、工作規則如下初始化將連接權向量和賦予[0，1]區間內的隨機值。將所有輸入模式進行歸一化處理網絡學習、工作規則如下初始化將連接權向量86將第個輸入模式提供給網絡的輸入層。將連接權向量進行歸一化處理求每一個競爭層神經元加權輸入和將第個輸入模式提供給網絡的輸入層。87求連接權向量中與距離最近的向量

將神經元的輸出置為1，其余競爭層神經元輸出置為0求連接權向量中與88對連接權向量進行調整

式中，為學習率。將連接權向量重新歸一化調整由競爭層至輸出層的連接向量對連接權向量進行調整89將的值帶入可得：其中，為學習率。因此，只需調整競爭層獲勝神經元到各輸出層神經元的連接權向量。其它連接權保持不變。求輸出層各神經元的加權輸入，并將其作為輸出神經元的實際輸出值可簡化為將的值帶入可得：90返回步驟2，直至P個輸入模式全部提供給網絡。令，將輸入模式重新提供給網絡學習。直至。一般情況下，。為總學習次數。返回步驟2，直至P個輸入模式全部提供給網絡。91神經網絡的應用神經網絡的應用92研究思路上海地區第Ⅲ層承壓水層其頂底板埋深一般為110-150米，厚約20-30米。其水位變化主要受人工開采和回灌活動影響。因此這里選取觀測井周圍各采灌井的開采/回灌量作為影響觀測井水位變化的主要因素。研究步驟如下：研究思路上海地區第Ⅲ層承壓水層其頂底板埋深一般為110-1593研究思路計算每年各采灌井開采量和回灌量之差，即。其中為第i口井的開采量，為第i口井的回灌量。計算觀測井與給采灌井之間的距離：研究思路計算每年各采灌井開采量和回灌量之差，即94研究思路第i口采灌井對觀測井的影響程度我們用來表示。顯然，開采井或回灌井離觀測井越近，則其影響越大，反之，影響越小。將各采灌井對觀測井的影響程度作為影響因子，觀測井的水位作為預報因子，建立神經網絡的初始模型。通過網絡的學習，訓練，最終得到預測的地下水水位的神經網絡模型。研究思路第i口采灌井對觀測井的影響程度我們用來表95

圖1：研究區井位分布圖圖96圖2：靜安區1#井網絡訓練誤差與迭加次數關系圖圖2：靜安區1#井網絡訓練誤差與迭加次數關系圖97表1:靜安區1#井水位預測結果表1:靜安區1#井水位預測結果98表2：不同井水位同時預測的結果表2：不同井水位同時預測的結果99圖3：研究區第Ⅱ含水層60年代（a）,80年代（b）時間段水質分布圖（途中虛線為推測界限）圖3：研究區第Ⅱ含水層60年代（a）,80年代（b）時間段水100圖4：研究區第Ⅲ含水層60年代（a）,80年代（b）時間段水質分布圖（途中虛線為推測界限）圖4：研究區第Ⅲ含水層60年代（a）,80年代（b）時間段水101城市可持續發展調控預測模型的建立城市可持續發展調控預測模型的建立102BP研究方法利用BP網絡建立城市可持續發展調控預測模型，首先需確定作為模型預報因子的指數，這里將水環境綜合指數作為預報因子，研究步聚如下：BP研究方法利用BP網絡建立城市可持續發展調控預測模型，首先103BP研究方法(1)由于影響城市可持續發展的相關指標值較多，建模之前，我們對各指標值進行了篩選?？紤]到原始數據量綱不同和指標數值存在數量級的明顯差異，因此需對原始數據進行歸一化處理。這里采用下述方法來進行，即Xi用(Xi-X)/X來代替，其中X為Xi的平均數，Ｘi表示某一指標在第i年的實際數值。該法的優點是可以明顯地消除原始數據的級差，并統一量綱，最終選取國民生產總值、人均用水量、人口自然增長率、海域環境質量、萬元產值工業廢水排放量及人均公共綠地面積作為影響研究區可持續發展的主要因素。BP研究方法(1)由于影響城市可持續發展的相關指標值較多，建104BP研究方法(2)根據1990－1999年影響研究區可持續發展的相關指標，將前述的6個主要因素作為影響因素，水環境綜合指數作為預報因子，建立神經網絡模型。在網絡的訓練過程中，我們將1990－1997年的數據作為訓練樣本，1998年的水環境綜合指數作為驗證值，而將1999年的值作為預報因子。BP研究方法(2)根據1990－1999年影響研究區可持續發105城市可持續發展調控預測模型的建立模型的建立

本模型的影響因素為6個，即輸入層神經元的個數為6個，而輸出層神經元個數為1個，這里需要說明的是，訓練過程中，隱含層神經元的個數是自動調節的，即先給定神經元個數的最小值，比如2個，若網絡陷入局部極小值，則自動加1，直至網絡趨于收斂。該法的優點是確保隱含層神經元個數最少，從而提高了網絡預測結果的穩定性。城市可持續發展調控預測模型的建立模型的建立106模型的建立右圖為本模型的網絡結構圖模型的建立右圖為本模型的網絡結構圖107模型的建立經過1464次迭代，1999年上海市水環境綜合指數的預測值為0.5159，而其實測值為0.51，相對誤差為1.16%。說明運用神經網絡技術來建立城市可持續發展的調控預測模型是切實可行的。表1為經歸一化后影響上海市區可持續發展的主要指標值。表2－4分別為所建模型輸入層各神經元與隱含層各神經元的連接權值、隱含層各神經元與輸出層各神經元的連接權值及隱含層各神經元的閾值。輸出層神經元只有一個，其閾值為0.7293。模型的建立經過1464次迭代，1999年上海市水環境綜合指數108表1歸一化后影響上海市區可持續發展的相關指標值年份國民生產總值人均用水量人口自然增長率海域環境質量萬元產值工業廢水排放量人均公共綠地面積水環境綜合指數（四類）1990-0.6667-0.1979-4.6842-0.21360.7793-0.47640.791991-0.6062-0.1928-2.1579-0.13410.5273-0.43180.771992-0.5090-0.1615-1.21050.20340.4104-0.40571.141993-0.3340-0.1304-0.15790.2660-0.1838-0.37230.841994-0.1312-0.12320.47360.10240.0265-0.24680.7919950.08500.16761.10530.2783-0.1387-0.05820.6919960.27870.17611.4210-0.2121-0.27890.05230.7119970.48050.18371.5263-0.1152-0.32230.30070.6219980.62500.16692.2632-0.1131-0.34570.63080.5119990.77780.10941.4211-0.0620-0.47421.00700.51表1歸一化后影響上海市區可持續發展的相關指標值年份國民生產109表2輸入層各神經元與隱含層各神經元之間的連接權值Wij

ji1234561-1.399810.6125-0.5501-6.85524.0251-2.39812-1.3264-8.90210.54918.60053.6808-2.620631.71293.12900.6117-6.2769-2.4386-3.922842.9561-5.4328-0.23585.08073.5352-4.04975-3.1730-8.31530.66472.58081.85593.00656-2.94414.84610.1633-5.8684-3.4640-3.79657-3.20891.3788-0.3458-10.34080.99663.67258-3.171213.95680.2546-5.1083-1.0935-1.6540表2輸入層各神經元與隱含層各神經元之間的連接權值Wij110表3隱含層各神經元與輸出層各神經元之間的連接權值Vjtj12345678Vjt0.2123-0.1055-0.14150.5548-0.05280.4393-0.5061-0.2059表3隱含層各神經元與輸出層各神經元之間的連接權值Vjtj1111表4隱含層各神經元的閾值j123456780.81723.2207-0.8521-3.1211-1.6618-2.0650-1.8062-2.7817表4隱含層各神經元的閾值j123456780.81723112預測結果的探討根據上述所建模型，輸入上海市“十五”規劃中提出的國民生產總值、人均用水量、人口自然增長率、海域環境質量、萬元產值工業廢水排放量及人均公共綠地面積2005年的目標值，運用所建模型預測2005年上海市的水環境質量綜合指數，網絡的輸出值為0.5996。預測結果的探討根據上述所建模型，輸入上海市“十五”規劃中提113預測結果的探討這一結果表明，就水環境質量的達標而言，上海市在“十五”規劃中提出的社會、經濟發展目標是基本合理的，環境改善計劃是有效的，社會經濟發展速度比較適度，不會超出區域水環境容量，同時也說明調控預測模型的使用可以為城市可持續發展戰略的制定和規劃提供科學依據。但不能忽視的是水環境是上海開始環境整治以來的一個重點，2005年水質的達標是長期環境治理的結果，這一預測結果不能說明該社會、經濟發展規劃能滿足所有環境因子達標的要求。預測結果的探討這一結果表明，就水環境質量的達標而言，上海市在114人工神經網絡人工神經網絡115緒論定義：人工神經網絡是對人腦或自然的神經網絡若干基本特性的抽象和模擬。神經網絡信息處理的基本特征：分布存貯與容錯性并行處理性信息處理與貯存的合二而一性可塑性與自組織性層次性與系統性緒論定義：人工神經網絡是對人腦或自然的神經網絡若干基本特性的116神經網絡研究、發展的歷史1943年：WarrenMcCulloch和W.pittsM－P模型。1949年：Hebb提出學習規則。1962年：Rosenblattperceptron（感知機）特點：并行處理，分布式存貯。1967年：GrossbergAvalanche網絡。功能：語言識別，控制機器人手臂的運動。1969年：Minsky和papert出版perceptron（書）神經網絡研究、發展的歷史1943年：WarrenMcCul1171982年：JohnHopfieldHopfield網絡優點：聯想記憶，容錯分類，自動尋優。1986年：Rumelhart和McCelland《paralleldistributedprocessing》《并行分布信息處理》，對Errorbackpropagation（誤差逆傳播算法）進行了詳細討論。二十世紀九十年代：神經網絡在信息處理，模式識別，自動控制，專家系統及機器人控制等方面得到了廣泛的應用。1982年：JohnHopfieldHopfi118神經網絡的研究分以下幾個方面：大腦和神經系統的信息處理原理構造能實現信息處理的神經網絡原理能實現信息處理基本原理的技術研究－神經計算機神經網絡的研究分以下幾個方面：大腦和神經系統的信息處理原理119生物神經元的特性：神經元是一個多輸入、單輸出元件；神經元是一個具有非線性輸入/輸出特性的元件；神經元具有可塑性；神經元的輸出響應是各個輸入的綜合作用的結果，即所有輸入的累加作用。生物神經元的特性：神經元是一個多輸入、單輸出元件；120人工神經網絡課件121

上述表達式為最終的生物神經元模型，其數學表達式為：上述表達式為最終的生物神經元模型，其數學表達式為：122輸入/輸出函數有兩種基本形式：階躍響應函數和S型響應函數。其響應特征如圖所示：01yx輸入/輸出函數有兩種基本形式：01yx123設神經元輸入向量為：相應的權值向量為：設該神經元的閾值為，輸出為y，則

式中或者采用符號函數M－P模型設神經元輸入向量為：M－P模型124M－Ｐ模型原理簡單，但它對生物神經元進行了完整的數學描述，其缺點是只能實現線性分類。M－Ｐ模型原理簡單，但它對生物神經元進行了完整的數學描述，其125神經網絡的學習方式可分為兩類：教師示教學習方式

比較教師示教（希望輸出）實際輸出學習系統輸入神經網絡神經網絡的學習方式可分為兩類：教師示教學習方式比較教師示教126無教師示教方式

學習系統輸入神經網絡自我比較實際輸出無教師示教方式學習系統輸入神經網絡自我比較實際輸出127學習過程的結束標志：學習次數誤差均方誤差式中M為樣本模式對的個數，Q為輸出單元的個數誤差平方和學習過程的結束標志：學習次數128感知機模型感知機模型129感知機模型由感知層S(Sensory)、連接層A(Association)、反應層R(Response)三層構成。單層感知機網絡的一般拓撲結構如圖所示：………………………………感知機模型由感知層S(Sensory)、連接層A(Assoc130設網絡輸入模式向量為：對應的輸出為：,由A層至輸出層R的連接權向量為：網絡按如下規則進行學習初始化將A層至R層的連接權向量及輸出單元的閾值賦予(－1，＋1)區間內的隨機值。連接權的修正每個輸入模式對完成如下計算。設網絡輸入模式向量為：131計算網絡輸出：式中，為雙極值階躍函數，且計算輸出層單元希望輸出與實際輸出之間的誤差：修正A層各單元與輸出層R之間的連接權與閾值：

式中，為學習回數；、為正常數，稱學習率。計算網絡輸出：132對個輸入模式重復步驟2，直到誤差趨于零或小于預先給定的誤差限。對個輸入模式重復步驟2，直到誤差133BP網絡學習過程BP網絡學習過程134人工神經網絡課件135設輸入模式向量為：希望輸出向量：隱含層各單元的輸入向量為：隱含層各單元的輸出向量為：輸出層各單元的輸入向量為：輸出層各單元的輸出向量為：輸入層至中間層連接權：中間層至輸出層連接權：中間層各單元輸出閾值：輸出層各單元輸出閾值：設輸入模式向量為：136首先介紹網絡響應函數——S函數的一個重要性質，即該函數的導數可用其自身來表示。S函數的表達式可表示為：其一階導數：首先介紹網絡響應函數——S函數的一個重要性質，即該函數的導數137對于第k個學習模式，網絡希望輸出與實際輸出的差定義為：的均方值：為使隨連接權的修正按梯度下降，則需求對網絡實際輸出的偏導

對于第k個學習模式，網絡希望輸出與實際輸出的差定義為： 138由于連接權的微小變化，對輸出層響應的影響可表示為連接權的微小變化對第k個模式的均方差的影響：由于139按梯度下降原則，使連接權的調整量與的負值成比例變化，則可得：設輸出層各單元的一般化誤差為定義為對輸出層輸入的負偏導按梯度下降原則，使連接權的調整量140連接權的調整量由輸入層至中間層連接權的調整，仍然按梯度下降法的原則進行。中間層各單元的輸入為其輸出為連接權的調整量141連接權的微小變化，對第k個學習模式的均方誤差的影響，可得設中間層各單元的一般化誤差為

定義為對中間層輸入的負偏導。連接權的微小變化，對第k個學習模式的均方誤差的影142則連接權的調整量應為閾值的調整量為設網絡的全局誤差為E，則則143BP網絡工作步驟BP網絡工作步驟144初始化給各連接權、及閾值、賦予(-1,+1)間的隨機值。隨機選取一模式對，提供給網絡。用輸入模式、連接權和閾值計算中間各單元的輸入；然后用 通過S函數計算中間層各單元的輸出初始化給各連接權、及閾值145用中間層的輸出、連接權和閾值計算輸出層各單元的輸入，然后用通過S函數計算輸出層各單元的響應用希望輸出模式、網絡實際輸出，計算輸出層的各單元的一般化誤差用中間層的輸出、連接權和閾值146用連接權、輸出層的一般化誤差、中間層的輸出計算中間層各單元的一般化誤差用輸出層各單元的一般化誤差、中間層各單元的輸出修正連接權和閾值用連接權、輸出層的一般化誤差、中間層的147用中間層各單元的一般化誤差、輸入層各單元的輸入修正連接權和閾值隨即選取下一個學習模式對提供給網絡，返回到步驟3，直至全部m個模式對訓練完畢。用中間層各單元的一般化誤差、輸入層各單元的輸入148重新從m個學習模式對中隨機選取一個模式對，返回步驟3，直至網絡全局誤差函數E小于預先設定的一個極小值，即網絡收斂或學習回數大于預先設定的值，即網絡無法收斂。結束學習。在上述的學習步驟中，3—6為“模式順傳播過程”，7－8為網絡誤差的逆傳播過程，9、10完成訓練和收斂過程。重新從m個學習模式對中隨機選取一個模式對，返回步驟3，直至網149BP網絡的缺陷學習收斂速度太慢，即使一個比較簡單的問題，也需要幾百次甚至上千次的學習才能收斂。不能保證收斂到全局最小點。網絡隱含層的層數及隱含層的單元數的選取尚無理論上的指導，而是根據經驗確定。因此，網絡往往具有很大的冗余性，無形中也增加了網絡學習的時間。網絡的學習、記憶具有不穩定性。一個訓練結束的BP網絡，當給它提供新的記憶模式時，將使已有的連接權打亂，導致已記憶的學習模式的信息消失。BP網絡的缺陷學習收斂速度太慢，即使一個比較簡單的問題，也需150對BP網絡的改進慣性校正法式中，為本次應得校正量，為前次校正量。對BP網絡的改進慣性校正法151Hopfield網絡運行規則Hopfield網絡運行規則152人工神經網絡課件153Hopfield神經網絡的工作運行規則人工神經網絡課件154從網絡中隨機選取一個神經元。求出所選中的神經元的所有輸入的加權總和：計算的第時刻的輸出值，即：IF

THEN

ELSE從網絡中隨機選取一個神經元。155以外的所有神經元輸出保持不變返回到第一步，直至網絡進入穩定狀態。以外的所有神經元輸出保持不變156隨機型神經網絡隨機型神經網絡157誤差逆傳播算法與Hopfield網絡陷入局部極小值的原因主要有兩點：網絡結構上存在著輸入與輸出之間的非線性函數關系，從而事網絡誤差或能量函數所構成的空間是一個含有多極點的非線性空間；算法上，網絡的誤差或能量函數只能按單方向減小而不能有絲毫的上升趨勢。誤差逆傳播算法與Hopfield網絡陷入局部極小值的原因主要158(a)隨機型算法(b)“貪心”算法兩種類型算法的比較(a)隨機型算法(b)“貪心”算法兩種類型算法的比較159模擬退火算法模擬退火算法160如果把神經網絡的狀態看作金屬內部的“粒子”，把網絡在各個狀態下的能量函數Ei看作是粒子所處的能態。在算法中設置一種控制參數T，當T較大時，網絡能量由低向高變化的可能性也較大；隨著T的減小，這種可能性也減小。如果把這個參數看作溫度，讓其由高慢慢的下降，則整個網絡狀態變化過程就完全模擬了金屬的退火過程，當參數T下降到一定程度時，網絡將收斂于能量的最小值。如果把神經網絡的狀態看作金屬內部的“粒子”，把網絡在各個狀態161模擬退火算法如下：設網絡狀態為：

N——網絡神經元的個數；各連接權為神經元i的綜合輸入值，即內部狀態為輸出閾值為模擬退火算法如下：設網絡狀態為：162神經元i輸出ui為1和0的概率分別為Pui(1)和Pui(0)，則式中，T稱為網絡溫度(NetworkTemperature)……(1)……(2)……(3)神經元i輸出ui為1和0的概率分別為Pui(1)和Pui(0163Pui(1)函數曲線Pui(1)函數曲線164當神經元i按(2)式所給的概率，在下一時刻的輸出值取時，則其能量變化為由上式可以看出，這在Hopfield算法中是不允許的，而這里卻允許比較小的概率接受這種變化。當神經元i按(2)式所給的概率，在下一時刻的輸出值取時，則其165從圖中還可以看出，當溫度T較高時，Pui(1)相對于Hi的變化反應遲鈍，曲線區域平坦，特別是當T→∞時，曲線變為一條恒為0.5的直線。此時ui取1和0的概率相等，這意味著在T較高的期間，網絡各神經元有更多的機會進行狀態選擇，相當于金屬內部的粒子做激烈的自由運動。當溫度降低時，Pui(1)曲線變陡，Pui(1)相對于Hi的變化相當敏感。當T→0時，曲線退化為一階躍函數，則算法也從模擬退火算法過渡到Hopfield算法，所以可以說Hopfield算法是模擬退火算法在T→0時的特例。從圖中還可以看出，當溫度T較高時，Pui(1)相對于Hi的變166按(1)-(3)式反復進行網絡的狀態更新，且更新次數N足夠大以后，我們會發現網絡某狀態出現的概率將服從以下所示的分布。式中，為狀態所對應的網絡能量。按(1)-(3)式反復進行網絡的狀態更新，且更新次數N足夠大167Boltzmann機網絡工作規則Boltzmann機網絡工作規則168人工神經網絡課件169設網絡有N個神經元，各神經元之間的連接權為，各神經元的輸出閾值為，輸出為，神經元的內部狀態為。以上；。取，給和賦予[-1，+1]區間內的隨機值，并使，（實際應用中連接權是按聯想記憶模式設計的）。從N個神經元中隨機選取一個神經元求出神經元的輸入總和，即內部狀態設網絡有N個神經元，各神經元之間的連接權為170按此概率將神經元的狀態更新為1以外的神經元的輸出狀態保持不變令，計算此時新的溫度參數…該式稱為降溫策略。返回到步驟①，直至溫度參數小于預先給定的一個截止溫度。按此概率將神經元的狀態更新為1171這里對工作規則作以下四點解釋：步驟③中，更新網絡狀態使，一般有兩種方法：當時，直接使，因為這種情況下；而當時，在[0，0.5]區間內產生一隨機數，當時，使,否則使。當時，使；當時，當大于預先給定的概率值時，使，否則使這里對工作規則作以下四點解釋：172關于初始溫度和結束溫度，目前還沒有一個成熟的設定方法，一般憑經驗給出。關于連接權和閾值的設定，這里為敘述方便，在初始化時賦予[-1，+1]區間內的隨機值。在實際應用中，同Hopfield網絡一樣，是需要按一定規則預先設定的。關于降溫策略，由于在Boltzmann機工作規則中引入了概率，所以網絡不是收斂于一個狀態而是收斂于平衡狀態。關于初始溫度和結束溫度，目前還沒有一個成173基本競爭型神經網絡基本競爭型神經網絡174人工神經網絡課件175競爭型神經網絡分為輸入層和競爭層。其中輸入層有N個神經元，競爭型有M個神經元。網絡的連接權為；，且約束條件為：網絡的P個二值輸入學習模式為：，與其對應的競爭層輸出模式為

競爭型神經網絡分為輸入層和競爭層。其中輸入層有N個神經元，競176基本競爭型神經網絡的學習規則初始化按的約束條件賦予；[0，1]區間內隨機值。任選P個學習模式中的一個模式提供給網絡的輸入層。計算競爭層各神經元的輸入值：基本競爭型神經網絡的學習規則初始化按177按“勝者為王”的原則，以中最大值所對應的神經元作為勝者，將其輸出狀態置為1，而其它所有神經元的輸出狀態置為0，即：如果出現的現象，則按統一約定取左邊的神經元為獲勝神經元。對與獲勝神經元相連的各連接權進行修正。而其它所有連接權保持不變。

其中，為學習系數，為第k個學習模式向量中元素為1的個數。按“勝者為王”的原則，以178選取另一個學習模式，返回步驟③，直至P個學習模式全部提供給網絡。返回步驟②，直至各連接權的調整量變得很小為止。選取另一個學習模式，返回步驟③，直至P個學習模式全部提供給網179抑制競爭型神經網絡抑制競爭型神經網絡180人工神經網絡課件181設網絡有N個輸入層神經元和M個競爭層神經元，網絡的P個二值輸入、學習模式為，網絡的連接權為；。網絡競爭層的輸出向量為。

表示網絡對k個輸入、學習模式的第次學習結果。設網絡有N個輸入層神經元和M個競爭層神經元，網絡的P個二值輸182抑制競爭型神經網絡的學習規則給賦予(0，1)之間的隨機值，且滿足約束條件。任選一個學習模式提供給網絡的輸入層。計算競爭層各神經元的輸入以競爭層各神經元輸入值作為其輸出值的初始值，即：抑制競爭型神經網絡的學習規則給183計算競爭層各神經元下一時刻輸出的值返回步驟⑤，對輸出值進行反復更新，直至第個神經元的輸出值遠遠大于其它個神經元的輸出值。計算競爭層各神經元下一時刻輸出的值184對與神經元連接權進行調整。選擇另一個輸入、學習模式，返回步驟③，直至所有輸入、學習模式全部提供給網絡。對與神經元連接權進行調整。185ART1網絡的學習工作規則ART1網絡的學習工作規則1861122jiMN............輸入模式Ak=(a1K,a2K,a3K,...,aNK)輸入向量Bk=(b1K,b2K,b3K,...,bMK)

輸出層(識別層)輸入層(比較層)反饋連接權(Tij)前饋連接權(Wij)互抑制性連接1122jiMN............輸入187學習過程初始階段識別階段比較階段尋找階段學習過程初始階段188初始化將輸入模式提供給網絡的輸入層。計算輸出層各神經元的輸入加權和初始化189選擇的最佳分類結果令神經元的輸出為1。計算以下三式，并進行判斷當Ⅲ式成立時，轉入步驟⑦，否則轉入步驟⑥。選擇的最佳分類結果190取消識別結果，將輸出層神經元的輸出值復位為0，并將這一神經元排除在下次識別的范圍之外，返回步驟④。當所有已利用過的神經元都無法滿足Ⅲ式，則選擇一個新的神經元作為分類結果進入步驟⑦。承認識別結果，并按下式調整連接權將步驟⑥復位的所有神經元重新加入識別范圍之內，返回步驟②對下一個模式進行識別。取消識別結果，將輸出層神經元的輸出值復位為0，并將這一191ART1網絡應用舉例如圖，設ART1網絡有五個輸入神經元和二十個輸出神經元?，F有兩個輸入模式和。要求用這兩個模式訓練網絡。ART1網絡應用舉例如圖，設ART1網絡有五個輸入神經元和二192初始化令首先將輸入模式加到網絡的輸入層。求獲勝神經元因為在網絡的初始狀態下，所有前饋連接權均取相等值1/6，所以各輸入神經元均具有相等的輸入加權和。這時可任選一個神經元（如第1個）作為的分類代表，即獲勝神經元，令其輸出值為1。初始化令193計算得到，接受這次識別的結果；調整連接權至此，已記憶在網絡中。計算194將輸入模式加到網絡的輸入層。求獲勝神經元因為，所以取神經元1為獲勝神經元。這顯然與的識別結果相沖突。所以拒絕這次識別結果，重新進行識別。將輸入模式加到195因為，故可以從中任選一個神經元，如神經元2作為的分類結果，即獲勝神經元。調整連接權至此，已記憶在網絡中。因為196CP網絡學習工作規則CP網絡學習工作規則197人工神經網絡課件198設網絡輸入層有N個神經元，P個連續值輸入模式為；競爭層有Q個神經元，所對應的二值輸出向量為；輸出層有M個神經元，其連續值輸出向量為；希望輸出向量為。以上由輸入層至競爭層連接權向量由競爭層至輸出層連接權向量為設網絡輸入層有N個神經元，P個連續值輸入模式為199網絡學習、工作規則如下初始化將連接權向量和賦予[0，1]區間內的隨機值。將所有輸入模式進行歸一化處理網絡學習、工作規則如下初始化將連接權向量200將第個輸入模式提供給網絡的輸入層。將連接權向量進行歸一化處理求每一個競爭層神經元加權輸入和將第個輸入模式提供給網絡的輸入層。201求連接權向量中與距離最近的向量

將神經元的輸出置為1，其余競爭層神經元輸出置為0求連接權向量中與202對連接權向量進行調整

式中，為學習率。將連接權向量重新歸一化調整由競爭層至輸出層的連接向量對連接權向量進行調整203將的值帶入可得：其中，為學習率。因此，只需調整競爭層獲勝神經元到各輸出層神經元的連接權向量。其它連接權保持不變。求輸出層各神經元的加權輸入，并將其作為輸出神經元的實際輸出值可簡化為將的值帶入可得：204返回步驟2，直至P個輸入模式全部提供給網絡。令，將輸入模式重新提供給網絡學習。直至。一般情況下，。為總學習次數。返回步驟2，直至P個輸入模式全部提供給網絡。205神經網絡的應用神經網絡的應用206研究思路上海地區第Ⅲ層承壓水層其頂底板埋深一般為110-150米，厚約20-30米。其水位變化主要受人工開采和回灌活動影響。因此這里選取觀測井周圍各采灌井的開采/回灌量作為影響觀測井水位變化的主要因素。研究步驟如下：研究思路上海地區第Ⅲ層承壓水層其頂底板埋深一般為110-15207研究思路計算每年各采灌井開采量和回灌量之差，即。其中為第i口井的開采量，為第i口井的回灌量。計算觀測井與給采灌井之間的距離：研究思路計算每年各采灌井開采量和回灌量之差，即208研究思路第i口采灌井對觀測井的影響程度我們用來表示。顯然，開采井或回灌井離觀測井越近，則其影響越大，反之，影響越小。將各采灌井對觀測井的影響程度作為影響因子，觀測井的水位作為預報因子，建立神經網絡的初始模型。通過網絡的學習，訓練，最終得到預測的地下水水位的神經網絡模型。研究思路第i口采灌井對觀測井的影響程度我們用來表209

圖1：研究區井位分布圖圖210圖2：靜安區1#井網絡訓練誤差與迭加次數關系圖圖2：靜安區1#井網絡訓練誤差與迭加次數關系圖211表1:靜安區1#井水位預測結果表1:靜安區1#井水位預測結果212表2：不同井水位同時預測的結果表2：不同井水位同時預測的結果213圖3：研究區第Ⅱ含水層60年代（a）,80年代（b）時間段水質分布圖（途中虛線為推測界限）圖3：研究區第Ⅱ含水層60年代（a）,80年代（b）時間段水214圖4：研究區第Ⅲ含水層60年代（a）,80年代（b）時間段水質分布圖（途中虛線為推測界限）圖4：研究區第Ⅲ含水層60年代（a）,80年代（b）時間段水215城市可持續發展調控預測模型的建立城市可持續發展調控預測模型的建立216BP研究方法利用BP網絡建立城市可持續發展調控預測模型，首先需確定作為模型預報因子的指數，這里將水環境綜