第十九章 能的一種抽象數學模型。自1943年心理學家W.McCulloch和數學家W.Pitts提出形式神經元的抽象數學模型—MP模型以來，人工神經網絡理論技術經過了50多年曲折的發展。特別是2080年代，人工神經網絡的研究取得了重大進展，有關的理論40多種神經網絡模型，其中比較著名的有感知機，Hopfield網絡，Boltzman機，自適應理論及反向網絡（BP）等。在這里我們范圍內（一般限制在(0,1)或(1,1之間。此外還有一個閾值k（或偏置bkk。pukwkjxj

vkukk，yk(vkx1x2Lxpwk1wk2Lwkp為神經元kuk為線性組合結果，k為閾值，()為激活函數，yk為神經元k的輸出。pvkwkjxj，yk(uk(v)

vv y vk vkp其中vkwkjxjkMP2(v)1(12

v1vv

sigmoid函數(v) 1

2 1(v)tanhv2 1 功)

1

1個其它結點作為其輸入。通常前饋網絡可分為不同的層，第i層的輸入只與第i1層果饋要映用模函。按對能量函數的極小點的利用來分類有兩種：第一類是能量函數的所有極小點都起作類用聯二利用點主求優 依據的資料是觸角和翅膀的長度，已經測得了9Af6Apf的數據如下：Af:(1.24,1.27)，(1.36,1.74)，(1.38,1.64)，(1.38,1.82)，(1.38,1.90)，(1.40,1.70)，Apf:Af是寶貴的傳粉益蟲，Apf是某疾病的載體，是否應該修改分類方法。ApfAf6Apf為解決上述問題，考慮一個其結構如下圖所示的人工神經網絡，

(v)1

1來決定。圖中最下面單元，即由的品的原始數據輸入網絡時，相應的輸出單元狀態記為Os(ii1,2)Hsj1,2,3)Is(k1,2)。請注意，此處下標ijk 是jj

hs

2

swjkw

Hs(hs) Is jk hswHsw(wIs i

jk Os(hs)(wHs)(w Is

jk任何一組確定的輸入，輸出是所有權{wij,wjk}的函數。 段時間內，曾經是使研究工作者感到的一個問題，直到1985年，加州大學的Propagation是(0,1)，這樣的輸出稱之為理想輸出。實際上要精確地作到這一點是不可能的，只能希望實際輸出盡可能地接近理想輸出。為清楚起見，把對應于樣品s的理想輸出記為E(W)1(TsOs 2 2E(W) 2 ，對每一個變量wij或wij而言，這是續可微的非線性函數，為了求得其極E(W)的（局部）極小，它從一個任取的初始點W0出發，計算在W0點的負梯度方向E(W0，這是函數在該點下降最快的方向；只要E(W00，就可沿該方向移動一小段距離，達到一個新的點W1W0E(W0，是一個參數，只要足夠小，

wij [TiOi]'(hi)HjiH s'(hs)[TsOs E[TsOs]'(hs)w'(hs)I

sw'(hs)IssI

jss'(hs)w iji pss由實際輸出與理想輸出的差及hs決定，而s則需依賴s算出，因此， p這一算法才稱為向后算法。稍加分析還可知道，利用由（11）~（13）式所給出的計算安排，較之不考慮s的向后，直接計算所有含的原表達式，極大地降低了計算工作量。這組關系式稱作廣義法則，它們不難推廣到一般的多層網絡上去。p利用這一迭代算法，最終生成在一定精度內滿足要求的{wijwjk}的過程，稱為人樣本中任何一個樣品所提供的信息，最終將包含在網絡的每一個權之中。參數的大小在式（11）與（13）wijwjks有關的求和計算。}BP算法的出現，雖然對人工神經網絡的發展起了重大推動作用，但是這一算法仍有很多問題．對于一個大的網絡系統，BP算法的工作量仍然是十分可觀的，這么它就無法逃脫該類問題的共同：BP算法所求得的解，只能保證是依賴于初值選net.trainParam.show=10;net.trainParam.lr=0.05;net.trainParam.goal=1e-10;net.trainParam.epochs=50000;net=train(net,p,goal);x=[1.241.80;1.281.84;1.40 在學習過程中，對每一輸入所產生的輸出也就無所謂對錯，對于這樣的情況，顯然BP元到第iwij，同層單元間無橫向聯接。無妨假設所有輸入數值均已組輸入，只有一個輸出元取1。凈輸入的輸出元，即對輸入I(I1L,In)而言，hiwijIjWij

Wi*IWiI， j|Wi*I||WiI|， i即優勝者是其標準化權向量最靠近輸入向量的輸出元。令O*1，其余的輸出Oi0。這樣的輸出規定了輸入向量的類別，但為了使這種分類方式有意義，問題化i對所有與i* (Is i* i* 所有其它輸出單元的權保持不變。注意到O1，O0(ii*

O(Is i* i*i*有更大的 ，上述算法，對于事先按照Ij1標準化了的輸入數據更為適用，還存在有多種處理死單元的方法，感的讀者可從文獻中找到的方法。當考慮在中引進隨學習時間而變化的收斂因子。例如，取(t)0ta，0a1。這一因子的適當選取是極為重要的，下降太慢，無疑增加了不必要工作量，下降太快，則會使學習變得無效。上述有競爭學習的一個最重要應用是數據壓縮中的向量量子化方法（VectorzationM個所謂“原型向量”來表示，我們可以利用一般的歐氏距離，對每一個輸入向類這種有監督的問題并不適用。1989年，Kohonen對向量量子化方法加以修改，提出了一種適用于有監督情況的學習方法，稱為學習向量量子化（LearningVectorzationLVQ中，對于任一輸入向量，仍按無監督有競爭的方式選出優勝者i*，但權的修正規則則依輸入向量的類別與i*所代表的是否一致而不同，確切地說，令 wi*j(Isw i*

對于上述的蠓蟲分類問題，我們編寫程序如下：net=newlvq(pr,4,[0.6,0.4])ne