第6章反饋神經網絡

《人工神經網絡理論及應用》第6章反饋神經網絡6.1離散型Hopfield神經網絡6.2連續型Hopfield神經網絡6.3Hopfield網絡應用與設計實例6.4雙向聯想記憶(BAM)神經網絡6.5隨機神經網絡Hopfield網絡分為離散型和連續型兩種網絡模型，分別記作DHNN(DiscreteHopfieldNeuralNetwork)和CHNN(ContinuesHopfieldNeuralNetwork)，本章重點討論前一種類型。

根據神經網絡運行過程中的信息流向，可分為前饋式和反饋式兩種基本類型。前饋網絡的輸出僅由當前輸入和權矩陣決定，而與網絡先前的輸出狀態無關。

美國加州理工學院物理學家J.J.Hopfield教授于1982年提出一種單層反饋神經網絡，后來人們將這種反饋網絡稱作Hopfield網。第6章反饋神經網絡6.1.1網絡的結構與工作方式離散型反饋網絡的拓撲結構6.1離散型Hopfield神經網絡(1)網絡的狀態

DHNN網中的每個神經元都有相同的功能，其輸出稱為狀態，用xj表示。j=1,2,…,n

所有神經元狀態的集合就構成反饋網絡的狀態X=[x1,x2,…,xn]T

反饋網絡的輸入就是網絡的狀態初始值，表示為X(0)=[x1(0),x2(0),…,xn(0)]T

反饋網絡在外界輸入激發下，從初始狀態進入動態演變過程，變化規律為j=1,2,…,n(6.1)

DHNN網的轉移函數常采用符號函數

式中凈輸入為

j=1,2,…,n(6.2)

對于DHNN網，一般有wii=0，wij=wji。反饋網絡穩定時每個神經元的狀態都不再改變，此時的穩定狀態就是網絡的輸出，表示為

(2)網絡的異步工作方式

(6.3)

(3)網絡的同步工作方式

網絡的同步工作方式是一種并行方式，所有神經元同時調整狀態，即j=1,2,…,n(6.4)

網絡運行時每次只有一個神經元j進行狀態的調整計算，其它神經元的狀態均保持不變，即6.1.2.1網絡的穩定性

DHNN網實質上是一個離散的非線性動力學系統。網絡從初態X(0)開始，若能經有限次遞歸后，其狀態不再發生變化，即X(t+1)＝X(t)，則稱該網絡是穩定的。

如果網絡是穩定的，它可以從任一初態收斂到一個穩態：

6.1.2網絡的穩定性與吸引子

若網絡是不穩定的，由于DHNN網每個節點的狀態只有1和-1兩種情況，網絡不可能出現無限發散的情況，而只可能出現限幅的自持振蕩，這種網絡稱為有限環網絡。如果網絡狀態的軌跡在某個確定的范圍內變遷，但既不重復也不停止，狀態變化為無窮多個，軌跡也不發散到無窮遠，這種現象稱為混沌。網絡達到穩定時的狀態X，稱為網絡的吸引子。

如果把問題的解編碼為網絡的吸引子，從初態向吸引子演變的過程便是求解計算的過程。

若把需記憶的樣本信息存儲于網絡不同的吸引子，當輸入含有部分記憶信息的樣本時，網絡的演變過程便是從部分信息尋找全部信息，即聯想回憶的過程。

定義6.1若網絡的狀態X

滿足X=f(WX-T)

則稱X為網絡的吸引子。

6.1.2.2吸引子與能量函數定理6.1對于DHNN網，若按異步方式調整網絡狀態，且連接權矩陣W為對稱陣，則對于任意初態，網絡都最終收斂到一個吸引子。

定理6.1證明：

定義網絡的能量函數為：

(6.5)

令網絡的能量改變量為ΔE，狀態改變量為ΔX，有(6.6)

(6.7)

6.1.2.2吸引子與能量函數將式(6.4)、(6.6)代入(6.5)，則網絡能量可進一步展開為

(6.8)將代入上式，并考慮到W為對稱矩陣，有

6.1.2.2吸引子與能量函數(6.9)上式中可能出現的情況：情況a：xj(t)=-1,xj(t+1)=1,由式(6.7)得Δxj(t)=2,由式(6.1)知，netj(t)≧0，代入式(6.9)，得ΔE(t)≦0。情況b：xj(t)=1,xj(t+1)=-1,所以Δxj(t)=-2,由式(6.1)知，netj(t)<0，代入式(6.9)，得ΔE(t)<0。情況c：xj(t)=xj(t+1),所以Δxj(t)=0,代入式(6.9)，從而有ΔE(t)=0。

由此可知在任何情況下均有ΔE(t)≦0

。6.1.2.2吸引子與能量函數

由于網絡中各節點的狀態只能取1或–1，能量函數E(t)作為網絡狀態的函數是有下界的，因此網絡能量函數最終將收斂于一個常數，此時ΔE(t)=0

。綜上所述，當網絡工作方式和權矩陣均滿足定理6.1的條件時，網絡最終將收斂到一個吸引子。

綜上所述，當網絡工作方式和權矩陣均滿足定理6.1的條件時，網絡最終將收斂到一個吸引子。

定理6.2對于DHNN網，若按同步方式調整狀態，且連接權矩陣W為非負定對稱陣，則對于任意初態，網絡都最終收斂到一個吸引子。

6.1.2.2吸引子與能量函數證明：由式(6.8)得前已證明，對于任何神經元j，有因此上式第一項不大于0，只要W為非負定陣，第二項也不大于0，于是有⊿E(t)≦0

，也就是說E(t)最終將收斂到一個常數值，對應的穩定狀態是網絡的一個吸引子。

以上分析表明，在網絡從初態向穩態演變的過程中，網絡的能量始終向減小的方向演變，當能量最終穩定于一個常數時，該常數對應于網絡能量的極小狀態，稱該極小狀態為網絡的能量井，能量井對應于網絡的吸引子。

6.1.2.2吸引子與能量函數性質1：若X

是網絡的一個吸引子，且閾值T=0，在sgn(0)處，xj(t+1)=xj(t)，則－X也一定是該網絡的吸引子。

證明：∵X是吸引子，即X=f(WX)，從而有

f[W(－X)]=f[－WX]=－f[WX]=－X

∴－X

也是該網絡的吸引子。

6.1.2.3吸引子的性質性質2：若Xa是網絡的一個吸引子，則與Xa的海明距離dH(Xa，Xb)=1的Xb一定不是吸引子。

證明：不妨設x1a≠x1b，xja=xjb，j=2,3,…,n。∵w11=0，由吸引子定義，有由假設條件知，x1a≠x1b，故∴-Xb

不是該網絡的吸引子。

6.1.2.3吸引子的性質

能使網絡穩定在同一吸引子的所有初態的集合，稱為該吸引子的吸引域。定義6.2若Xa是吸引子，對于異步方式，若存在一個調整次序，使網絡可以從狀態X演變到Xa，則稱X弱吸引到Xa；若對于任意調整次序，網絡都可以從狀態X演變到Xa，則稱X強吸引到Xa。定義6.3若對某些X，有X弱吸引到吸引子Xa，則稱這些X的集合為Xa的弱吸引域；若對某些X，有X強吸引到吸引子Xa，則稱這些X的集合為Xa的強吸引域。6.1.2.4吸引子的吸引域例6.1設有3節點DHNN網，用無向圖表示如下，權值與閾值均已標在圖中，試計算網絡演變過程的狀態。

x1

-0.1-0.5

0.2

x2

0.0

0.0

x3

0.66.1.2.4吸引子的吸引域解：設各節點狀態取值為1或0，3節點DHNN網絡應有23=8種狀態。不妨將X=(x1,x2,x3)T=(0,0,0)T作為網絡初態，按1→2→3的次序更新狀態。第1步：更新x1，x1=sgn[(-0.5)

0+0.2

0－(-0.1)]=sgn(0.1)=1其它節點狀態不變，網絡狀態由(0,0,0)T變成(1,0,0)T。如果先更新x2或x3，網絡狀態將仍為(0,0,0)T，因此初態保持不變的概率為2/3，而變為(1,0,0)T的概率為1/3。

x1-0.1-0.50.2x20.0

0.0

x3

0.66.1.2.4吸引子的吸引域第2步：此時網絡狀態為(1,0,0)T，更新x2后，得

x2=sgn[(-0.5)

1+0.6

0－0]=sgn(-0.5)=0其它節點狀態不變，網絡狀態仍為(1,0,0)T。如果本步先更新x1或x3，網絡相應狀態將為(1,0,0)T和(1,0,1)T，因此本狀態保持不變的概率為2/3，而變為(1,0,1)T的概率為1/3。

第3步：此時網絡狀態為(1,0,0)T，更新x3得

x3=sgn[0.2

1+0.6

0－0]=sgn(0.2)=1

同理可算出其它狀態之間的演變歷程和狀態轉移概率。6.1.2.4吸引子的吸引域DHNN網絡狀態演變示意圖

為了使所設計的權值滿足要求，權值矩陣應符合以下要求：⑴為保證異步方式工作時網絡收斂，W應為對稱陣；⑵為保證同步方式工作時網絡收斂，W應為非負定對稱陣；⑶保證給定樣本是網絡的吸引子，并且要有一定的吸引域。6.1.3.2外積和法設給定P個模式樣本Xp，p=1,2,…,P，x

{-1,1}n，并設樣本兩兩正交，且n>P，則權值矩陣為記憶樣本的外積和

(6.16)6.1.3網絡的權值設計若取wjj=0，上式應寫為

(6.17)式中I為單位矩陣。上式寫成分量元素形式，有

(6.18)下面檢驗所給樣本能否稱為吸引子。

因為P個樣本Xp，p=1,2,…,P，x

{-1,1}n是兩兩正交的，有

因為n>P，所以有

可見給定樣本Xp，p=1,2,…,P是吸引子。

6.1.4網絡的信息存儲容量當網絡規模一定時，所能記憶的模式是有限的。對于所容許的聯想出錯率，網絡所能存儲的最大模式數Pmax稱為網絡容量。網絡容量與網絡的規模、算法以及記憶模式向量的分布都有關系。DHNN網的所有記憶模式都存儲在權矩陣W中。由于多個存儲模式互相重疊，當需要記憶的模式數增加時，可能會出現所謂“權值移動”和“交叉干擾”。可以看出，W陣對要記憶的模式Xp，p=1,2,…,P，是累加實現的。每記憶一個新模式Xp，就要向原權值矩陣Wp-1加入一項該模式的外積XpXp，從而使新的權值矩陣Wp從原來的基礎上發生移動。如果在加入新模式Xp之前存儲的模式都是吸引子，應有Xk=f(Wp-1Xk)，k=1,2,…,p-1，那么在加入模式Xp之后由于權值移動為Wp，式Xk=f(WpXk)就不一定對所有k(=1,2,…,p-1）均同時成立，也就是說網絡在記憶新樣本的同時可能會遺忘已記憶的樣本。隨著記憶模式數的增加，權值不斷移動，各記憶模式相互交叉，當模式數超過網絡容量Pmax時，網絡不但逐漸遺忘了以前記憶的模式，而且也無法記住新模式。6.1.4網絡的信息存儲容量事實上，當網絡規模n一定時，要記憶的模式數越多，聯想時出錯的可能性越大；反之，要求的出錯概率越低，網絡的信息存儲容量上限越小。研究表明存儲模式數P超過0.15n時，聯想時就有可能出錯。錯誤結果對應的是能量的某個局部極小點，或稱為偽吸引子。提高網絡存儲容量有兩個基本途徑：一是改進網絡的拓撲結構，二是改進網路的權值設計方法。常用的改進方法有：反復學習法、糾錯學習法、移動興奮門限法、偽逆技術、忘記規則和非線性學習規則等。6.1.4網絡的信息存儲容量6.2連續型Hopfield神經網絡1984年Hopfield把DHNN進一步發展成連續型Hopfield網絡，縮寫為CHNN網。CHNN的基本結構與DHNN相似，但CHNN中所有神經元都同步工作，各輸入輸出量均是隨時間連續變化的模擬量，這就使得CHNN比DHNN在信息處理的并行性、實時性等方面更接近于實際生物神經網絡的工作機理。CHNN可以用常系數微分方程來描述，但用模擬電子線路來描述，則更為形象直觀，易于理解也便于實現。6.2連續型Hopfield神經網絡6.2.1網絡的拓樸結構在連續Hopfield網中，所有神經元都隨時間t并行更新，網絡狀態隨時間連續變化。圖6.4(a)給出了基于模擬電子線路的CHNN的拓撲結構。6.2連續型Hopfield神經網絡可以看出CHNN模型可與電子線路直接對應，每一個神經元可以用一個運算放大器來模擬，神經元的輸入與輸出分別用運算放大器的輸入電壓uj和輸出電壓vj表示，j＝1，2…n，而連接權wij用輸入端的電導表示，其作用是把第i個神經元的輸出反饋到第j個神經元作為輸入之一。每個運算放大器均有一個正相輸出和一個反相輸出。與正相輸出相連的電導表示興奮性突觸，而與反相輸出相連的電導表示抑制性突觸。另外，每個神經元還有一個用于設置激活電平的外界輸入偏置電流Ij，其作用相當于閾值。6.2連續型Hopfield神經網絡CHNN模型對生物神經元的功能做了大量簡化，只模仿了生物系統的幾個基本特性：S型轉移函數；信息傳遞過程中的時間常數；神經元間的興奮及抑制性連接神經元間的相互作用和時空作用網絡的能量函數可寫為

由定理6.6可知，隨著狀態的演變，網絡的能量總是降低的。只有當網路中所有節點的狀態不再改變時，能量才不再變化，此時到達能量的某一局部極小點或全局最小點，該能量點對應著網絡的某一個穩定狀態。Hopfield網用于聯想記憶時，正是利用了這些局部極小點來記憶樣本，網絡的存貯容量越大，說明網絡的局部極小點越多。然而在優化問題中，局部極小點越多，網絡就越不容易達到最優解而只能達到較優解。為保證網絡的穩定性，要求網絡的結構必須對稱，否則運行中可能出現極限環或混沌狀態。

(6.26)6.3Hopfield網絡應用與設計實例Hopfield網絡在圖象、語音和信號處理、模式分類與識別、知識處理、自動控制、容錯計算和數據查詢等領域已經有許多成功的應用。Hopfield網絡的應用主要有聯想記憶和優化計算兩類，其中DHNN網主要用于聯想記憶，CHNN網主要用于優化計算。6.3.2應用CHNN網解決優化計算問題用CHNN網解決優化問題一般需要以下幾個步驟：對于特定的問題，要選擇一種合適的表示方法，使得神經網絡的輸出與問題的解相對應；構造網絡能量函數，使其最小值對應與問題的最佳解；將能量函數與式(6.26)中的標準形式進行比較，可推出神經網絡的權值與偏流的表達式，從而確定了網絡的結構；由網絡結構建立網絡的電子線路并運行，其穩態就是在一定條件下的問題優化解。也可以編程模擬網絡的運行方式，在計算機上實現。6.3.2應用CHNN網解決優化計算問題本節介紹應用CHNN解決TSP問題的網絡設計。TSP問題是一個經典的人工智能難題。對n個城市而言，可能的路徑總數為n!／2n。隨著n的增加，路徑數將按指數率急劇增長，即所謂“指數爆炸”。當n值較大時，用傳統的數字計算機也無法在有限時間內尋得答案。例如，n＝50時，即使用每秒一億次運算速度的巨型計算機按窮舉搜索法，也需要5×1048年時間。即使是n＝20個城市，也需求解350年。1985年HoPfield和Tank兩人用CHNN網絡為解決TSP難題開辟了一條嶄新的途徑，獲得了巨大的成功。其基本思想是把TSP問題映射到CHNN網絡中去，并設法用網絡能量代表路徑總長。這樣，當網絡的能量隨著模擬電子線路狀態的變遷，最終收斂于極小值(或最小值)時，問題的較佳解(或最佳解)便隨之求得。此外，由于模擬電子線路中的全部元件都是并行工作的，所以求解時間與城市數的多少無關，僅是運算放大器工作所需的微秒級時間，顯著地提高了求解速度，充分展示了神經網絡的巨大優越性。6.4雙向聯想記憶(BAM)神經網絡聯想記憶網絡的研究是神經網絡的重要分支，在各種聯想記憶網絡模型中，雙向聯想記憶(BidirectionalAssociativeMemory，縮寫為BAM)網絡的應用最為廣泛。Hopfield網可實現自聯想CNP網可實現異聯想BAM網可實現雙向異聯想BAM網有離散型、連續型和自適應型等多種形式，本節重點介紹常用的離散型BAM網絡。6.4雙向聯想記憶(BAM)神經網絡聯想記憶網絡的研究是神經網絡的重要分支，在各種聯想記憶網絡模型中，由B．kosko于1988年提出的雙向聯想記憶(BidirectionalAssociativeMemory，縮寫為BAM)網絡的應用最為廣泛。前面介紹的Hopfield網可實現自聯想，CNP網可實現異聯想，而BAM網可實現雙向異聯想。BAM網有離散型、連續型和自適應型等多種形式，本節重點介紹常用的離散型BAM網絡。6.4.1BAM網結構與原理BAM網的拓撲結構如圖6.7所示。該網是一種雙層雙向網絡，當向其中一層加入輸入信號時，另一層可得到輸出。由于初始模式可以作用于網絡的任一層，信息可以雙向傳播，所以沒有明確的輸入層或輸出層，可將其中的一層稱為X層，有n個神經元節點，另一層稱為Y層，有m個神經元節點。兩層的狀態向量可取單極性二進制0或1，也可以取雙極性離散值1或-1。如果令由X到Y的權矩陣為W，則由Y到X的權矩陣便是其轉置矩陣WT。BAM網的拓撲結構如圖6.7所示。該網是一種雙層雙向網絡，當向其中一層加入輸入信號時，另一層可得到輸出。6.4.1BAM網結構與原理6.4.1BAM網結構與原理由于初始模式可以作用于網絡的任一層，信息可以雙向傳播，所以沒有明確的輸入層或輸出層，可將其中的一層稱為X層，有n個神經元節點，另一層稱為Y層，有m個神經元節點。兩層的狀態向量可取單極性二進制0或1，也可以取雙極性離散值1或-1。如果令由X到Y的權矩陣為W，則由Y到X的權矩陣便是其轉置矩陣WT。6.4.1BAM網結構與原理圖6.8BAM網的雙向聯想過程BAM網實現雙向異聯想的過程是網絡運行從動態到穩態的過程。由圖6.8(a)和(b)，有

X(t+1)=fx{WTfy[WX(t)]}(6.33a)

Y(t+1)=fy{Wfx[WTY(t)]}(6.33b)對于經過充分訓練的權值矩陣，當向BAM網絡一側輸入有殘缺的已存儲模式時，網絡經過有限次運行不僅能再另一側實現正確的異聯想，而且在輸入側重建了完整的輸入模式。6.4.2能量函數與穩定性若BAM網絡的閾值為0，能量函數定義為

BAM網雙向聯想的動態過程就是能量函數量沿其狀態空間中的離散軌跡逐漸減少的過程。當達到雙向穩態時，網絡必落入某一局部或全局能量最小點。6.4.3BAM網的權值設計對于離散BAM網絡，一般選轉移函數f(·)=sgn(·)。當網絡只需存儲一對模式(X1，Y1)時，若使其成為網絡的穩定狀態，應滿足條件

sgn(WX1)=Y1(6.36a)sgn(WTY1)=X1(6.36b)容易證明，若W是向量Y1和X1外積，即W=Y1X1TW=X1Y1T則式(6.36)的條件必然成立。6.4.3BAM網的權值設計當需要存儲P對模式時，將以上結論擴展為P對模式的外積和，從而得到Kosko提出的權值學習公式(6.37a)用外積和法設計的權矩陣，不能保證任意P對模式的全部正確聯想，但下面的定理表明，如對記憶模式對加以限制，用外積和法設計BAM網具有較好的聯想能力。

(6.37b)6.4.4BAM網的應用BAM網絡的設計比較簡單，只需由幾組典型輸入、輸出向量構成權矩陣。運行時，由實測到的數據向量與權矩陣作內積運算便可得到相應的信息輸出。這是一種大規模并行處理大量數據的有效方法，具有實時性和容錯性。更具魅力的是，這種聯想記憶法無需對輸入向量進行預處理．便可直接進入搜索，省去了編碼與解碼工作。6.5隨機神經網絡如果將BP算法中的誤差函數看作一種能量函數，則BP算法通過不斷調整網絡參數使其能量函數按梯度單調下降，而反饋網絡使通過動態演變過程使網絡的能量函數沿著梯度單調下降。結果是常常導致網絡落入局部極小點而達不到全局最小點。其原因是，網絡的誤差函數或能量函數是具有多個極小點的非線性空間，而所用的算法卻一味追求網絡誤差或能量函數的單調下降。也就是說，算法賦予網絡的是只會“下山”而不會“爬山”的能力。局部極小問題需要通過改進算法來解決。6.5隨機神經網絡隨機網絡可賦予網絡既能“下坡”也能“爬山”的本領，因而能有效地克服上述缺陷。①在學習階段，隨機網絡不像其它網絡那樣基于某種確定性算法調整權值，而是按某種概率分布進行修改；②在運行階段，隨機網絡不是按某種確定性的網絡方程進行狀態演變，而是按某種概率分布決定其狀態的轉移。圖6.10給出了隨機網絡算法與梯度下降算法區別的示意圖。6.5.1模擬退火原理模擬退火算法的基本思想是模擬金屬退火過程。金屬退火過程大致是，先將物體加熱至高溫，使其原子處于高速運動狀態，此時物體具有較高的內能；然后，緩慢降溫，隨著溫度的下降，原子運動速度減慢，內能下降；最后，整個特體達到內能最低的狀態。模擬退火過程相當于沿水平方向晃動托盤，溫度高則意味著晃動的幅度大，小球肯定會從任何低谷中跳出，而落入另一個低谷。晃動托盤的力度要合適，并且還要由強至弱(溫度逐漸下降)，小球才不至于因為有了“爬山”的本領而越爬越高。6.5.1模擬退火原理隨機網絡的權值調整：在隨機網絡學習過程中，先令網絡權值作隨機變化，然后計算變化后的網絡能量函數。網絡權值的修改應遵循以下準則：若權值變化后能量變小，則接受這種變化；否則也不應完全拒絕這種變化，而是按預先選定的概率分布接受權值的這種變化。其目的在于賦予網絡一定的“爬山”能力。實現這一思想的一個有效方法就是Metropo1is等人提出的模擬退火算法。6.5.1模擬退火原理模擬退火算法：設X代表某一物質體系的微觀狀態(一組狀態變量，如粒子的速度和位置等)，E(X)表示該物質在某微觀狀態下的內能，對于給定溫度T，如果體系處于熱平衡狀態，則在降溫退火過程中，其處于某能量狀態的概率與溫度的關系遵循Boltzmann分布規律。分布函數為由式(6.38)可以看出，當溫度一定時，物質體系的能量越高，其處于該狀態的概率就越低，因此物質體系的內能趨向于向能量降低的方向演變。(6.38)圖6.11能量狀態的概率曲線與溫度的關系6.5.1模擬退火原理用隨機神經網絡解決優化問題時，通過數學算法模擬了以上退火過程。模擬方法是：定義一個網絡溫度以模仿物質的退火溫度取網絡能量為欲優化的目標函數網絡運行開始時溫度較高，調整權值時允許目標函數偶爾向增大的方向變化，以使網絡能跳出那些能量的局部極小點。隨著網絡溫度不斷下降至0，最終以概率1穩定在其能量函數的全局最小點，從而獲得最優解6.5.2Boltzmann機G.E.Hinton等人于1983年—1986年提出一種稱為Boltzmann機的隨機神經網絡。在這種網絡中神經元只有兩種輸出狀態，即單極性二進制的0或1。狀態的取值根據概率統計法則決定，由于這種概率統計法則的表達形式與著名統計力學家L.Boltzmann提出的Boltzmann分布類似，故將這種網絡取名Boltzmann機。6.5.2.1BM機的拓撲結構與運行原理(1)BM機的拓撲結構

介于DHNN網的全互連結構與BP網的層次結構之間。從形式上看，BM機與單層反饋網絡DHNN網相似，具有對稱權值，即wij=wji，且wii=0。從神經元的功能上看，BM機與三層BP網相似，具有輸入節點、隱節點和輸出節點。BM機的三類節點之間沒有明顯的層次，連接形式可用圖6.12中的有向圖表示。圖6.12BM機的拓撲結構6.5.2.1BM機的拓撲結構與運行原理(2)神經元的轉移概率函數

設BM機中單個神經元的凈輸入為與DHNN網不同的是，以上凈輸入并不能通過符號轉移函數直接獲得確定的輸出狀態，實際的輸出狀態將按某種概率發生，神經元的凈輸入可通過S型函數獲得輸出某種狀態的轉移概率(6.39)6.5.2.1BM機的拓撲結構與運行原理對于同一凈輸入，溫度T較高時概率曲線變化平緩，對于同一凈輸入Pj(1)與Pj(0)的差別小；而T溫度低時概率曲線變的陡峭，對于同一凈輸入Pj(1)與Pj(0)的差別大。圖