1、第五章第五章 反響神經網絡反響神經網絡 Hopfield Hopfield網絡分為離散型和延續型兩種網絡模型，網絡分為離散型和延續型兩種網絡模型，分別記作分別記作DHNN (Discrete Hopfield Neural Network) DHNN (Discrete Hopfield Neural Network) 和和CHNN (Continues Hopfield Neural Network)CHNN (Continues Hopfield Neural Network)，本章，本章重點討論前一種類型。重點討論前一種類型。 根據神經網絡運轉過程中的信息流向，可分為前饋式根據神經網絡運

2、轉過程中的信息流向，可分為前饋式和反響式兩種根本類型。前饋網絡的輸出僅由當前輸入和和反響式兩種根本類型。前饋網絡的輸出僅由當前輸入和權矩陣決議，而與網絡先前的輸出形狀無關。權矩陣決議，而與網絡先前的輸出形狀無關。 美國加州理工學院物理學家美國加州理工學院物理學家J.J.HopfieldJ.J.Hopfield教授于教授于19821982年提出一種單層反響神經網絡，后來人們將這種反響網絡年提出一種單層反響神經網絡，后來人們將這種反響網絡稱作稱作Hopfield Hopfield 網。網。 5.1.1 5.1.1 網絡的構造與任務方式網絡的構造與任務方式 離散型反響網絡的拓撲構造離散型反響網絡的拓

3、撲構造 x1 x2 xi xn T1 T2 Ti Tn 5.15.1離散型離散型HopfieldHopfield神經網絡神經網絡(1)(1)網絡的形狀網絡的形狀 DHNN DHNN網中的每個神經元都有一樣的功能，網中的每個神經元都有一樣的功能，其輸出稱為形狀，用其輸出稱為形狀，用 xj xj 表示。表示。)net( fxjjj=1,2,n 一切神經元形狀的集合就構成反響網絡的形狀一切神經元形狀的集合就構成反響網絡的形狀X=x1,x2,xnT 反響網絡的輸入就是網絡的形狀初始值，表示為反響網絡的輸入就是網絡的形狀初始值，表示為X(0)=x1(0),x2(0),xn(0)T 反響網絡在外界輸入激發

4、下，從初始形狀進入動態演反響網絡在外界輸入激發下，從初始形狀進入動態演化過程，變化規律為化過程，變化規律為0101sgnjjjjnetnetnetx）（j=1,2,n (5.1) DHNN網的轉移函數常采用符號函數網的轉移函數常采用符號函數 式中凈輸入為式中凈輸入為 nijiijjTxwnet1)(j=1,2,n (5.2) 對于對于DHNN網，普通有網，普通有wii=0 ，wij=wji。 反響網絡穩定時每個神經元的形狀都不再改動，此時反響網絡穩定時每個神經元的形狀都不再改動，此時的穩定形狀就是網絡的輸出，表示為的穩定形狀就是網絡的輸出，表示為 t)t(limX(2)(2)網絡的異步任務方式

5、網絡的異步任務方式 ijtxijtnettxjjj)()(sgn) 1(5.3) (3)(3)網絡的同步任務方式網絡的同步任務方式 網絡的同步任務方式是一種并行方式，網絡的同步任務方式是一種并行方式，一切神經元同時調整形狀，即一切神經元同時調整形狀，即 )(sgn) 1(tnettxjjj=1,2,n (5.4) 網絡運轉時每次只需一個神經元網絡運轉時每次只需一個神經元 j 進展形狀的調整計進展形狀的調整計算，其它神經元的形狀均堅持不變，即算，其它神經元的形狀均堅持不變，即5.1.2.1 網絡的穩定性網絡的穩定性 DHNN網本質上是一個離散的非線性動力學系統。網網本質上是一個離散的非線性動力學

6、系統。網絡從初態絡從初態X(0)開場，假設能經有限次遞歸后，其形狀不再開場，假設能經有限次遞歸后，其形狀不再發生變化，即發生變化，即X(t+1)X(t)，那么稱該網絡是穩定的。，那么稱該網絡是穩定的。 假設網絡是穩定的，它可以從任一初態收斂到一個穩態：假設網絡是穩定的，它可以從任一初態收斂到一個穩態： ( a ) ( b ) ( c ) 5.1.2 網絡的穩定性與吸引子網絡的穩定性與吸引子 假設網絡是不穩定的，由于假設網絡是不穩定的，由于DHNNDHNN網每個節點的形狀只需網每個節點的形狀只需1 1和和-1-1兩種情況，網絡不能夠出兩種情況，網絡不能夠出現無限發散的情況，而只能夠現無限發散的情

7、況，而只能夠出現限幅的自持振蕩，這種網出現限幅的自持振蕩，這種網絡稱為有限環網絡。絡稱為有限環網絡。 ( a ) ( b ) ( c ) 假設網絡形狀的軌跡在某個確假設網絡形狀的軌跡在某個確定的范圍內變化，但既不反復定的范圍內變化，但既不反復也不停頓，形狀變化為無窮多也不停頓，形狀變化為無窮多個，軌跡也不發散到無窮遠，個，軌跡也不發散到無窮遠，這種景象稱為混沌。這種景象稱為混沌。 (a ) (b ) (c ) 網絡到達穩定時的形狀網絡到達穩定時的形狀X，稱為網絡的，稱為網絡的 吸引子。吸引子。 假設把問題的解編碼為網絡的吸引子，從初態向吸引子演假設把問題的解編碼為網絡的吸引子，從初態向吸引子演

8、化的過程便是求解計算的過程。化的過程便是求解計算的過程。 假設把需記憶的樣本信息存儲于網絡不同的吸引子，當假設把需記憶的樣本信息存儲于網絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網絡的演化過程便是輸入含有部分記憶信息的樣本時，網絡的演化過程便是從部分信息尋覓全部信息，即聯想回想的過程。從部分信息尋覓全部信息，即聯想回想的過程。 定義定義5.1 假設網絡的形狀假設網絡的形狀X 滿足滿足X=f(WX-T) 那么稱那么稱X為網絡的吸引子。為網絡的吸引子。 5.1.2.2 吸引子與能量函數吸引子與能量函數 定理定理5.1 對于對于DHNN 網，假設按異步方式調整網絡形網，假設按異步方式調整網絡形

9、狀，且銜接權矩陣狀，且銜接權矩陣W 為對稱陣，那么對于恣意初態，網為對稱陣，那么對于恣意初態，網絡都最終收斂到一個吸引子。絡都最終收斂到一個吸引子。 定理定理5.1證明：證明： 定義網絡的能量函數為：定義網絡的能量函數為： TXWXX)t ()t ()t ()t (ETT21(5.5) 令網絡的能量改動量為令網絡的能量改動量為E，形狀改動量為，形狀改動量為X，有，有 )() 1()(tttEEE(5.6) )() 1()(tttXXX(5.7) 5.1.2.2 吸引子與能量函數吸引子與能量函數 將式將式(5.4)、(5.6)代入代入(5.5)，那么網絡能量可進一步展開為，那么網絡能量可進一步展

10、開為 )t (E)1t (E)t (E)()()(21)()()()()()(21TXWXXTXXXXWXXtttttttttTTTTTXXWXWXX)()()()()(21tttttTTT(5.8) )()()()(21ttTttTTXWXWXX將將 代入上式代入上式 ，并思索到，并思索到W為為對稱矩陣，有對稱矩陣，有 Tjtxt 0,.,0),(, 0,.,0)(XjjjnijiijjwtxTxwtxtE)()()()(2211 )t (net)t (x)t (Ejj(5.9) 上式中能夠出現的情況：上式中能夠出現的情況： 情況情況a a ：xj(t)=-1, xj(t+1)=1, xj(

11、t)=-1, xj(t+1)=1, 由式由式(5.7)(5.7)得得xj(t)=2, xj(t)=2, 由式由式(5.1)(5.1)知，知，netj(t)netj(t)0 0，代入，代入式式(5.9)(5.9)，得，得E(t)E(t)0 0。情況情況b b ：xj(t)=1, xj(t+1)=-1, xj(t)=1, xj(t+1)=-1, 所以所以xj(t)=-2, xj(t)=-2, 由式由式(5.1)(5.1)知，知，netj(t)0netj(t)0，代入，代入式式(5.9)(5.9)，得，得E(t)0E(t)P，那么權值矩陣為記憶樣本的外積和，那么權值矩陣為記憶樣本的外積和 P1pTpp)( XXW(5.16) 5.1.3 網絡的權值設計網絡的權值設計 假設取假設取wjj=0，上式應寫為，上式應寫為 P1pTppI)(XXW(5.17) 式中式中I為單位矩陣。上式寫成分量元素方式，有為單位矩陣。上式寫成分量元素方式，有 ji0jixxwP1ppjpiij(5.18) 下面檢驗所給樣天性否稱為吸引子。下面檢驗所給樣天性否稱為吸引子。 由于由于P個