1、1第八章 競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)2概述競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)在無(wú)教師信息的情況下可以自組織地發(fā)掘輸入信息的特征，以便對(duì)輸入進(jìn)展聚類處置。此類神經(jīng)網(wǎng)絡(luò)經(jīng)常被用來(lái)作為前處置單元 (preprocessing unit)，以便抽取出輸入信息的特征，或?qū)⑤斎胄畔⑹噶苛炕?(vector quantization) 之后再進(jìn)展監(jiān)視式學(xué)習(xí)。 3概述神經(jīng)網(wǎng)絡(luò)有兩種實(shí)現(xiàn)非監(jiān)視式學(xué)習(xí)的方式： Hebbian規(guī)那么 通常不是被用來(lái)分析輸入信息間的聚類關(guān)系或分類關(guān)系，而是丈量輸入信息間的類似性或分析輸入信息中的主要成分向量 (principle components)。 競(jìng)爭(zhēng)學(xué)習(xí)規(guī)那么 運(yùn)用競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)，只需其中的一個(gè)神經(jīng)元會(huì)被

2、激活。該神經(jīng)元就稱為勝者 (winner)。這種神經(jīng)網(wǎng)絡(luò)通常用來(lái)做聚類分析。即在無(wú)先驗(yàn)知識(shí)的情況下，發(fā)現(xiàn)或發(fā)掘輸入信息本身的構(gòu)造及聚類關(guān)系。 4概述基于競(jìng)爭(zhēng)學(xué)習(xí)的神經(jīng)網(wǎng)絡(luò)常被用作樣本特征檢測(cè)器，在樣本排序、樣本聚類、樣本分類、樣本檢測(cè)和樣本分布特征可視化等方面有廣泛地運(yùn)用典型的競(jìng)爭(zhēng)神經(jīng)網(wǎng)絡(luò)有： ART (Adaptive Resonance Theory) SOFM (Self-Organization Feature Mapping) PCA (Principle Components Analysis) SNN (Synergetic Neural Network)5Competitive

3、 Learning競(jìng)爭(zhēng)學(xué)習(xí)的概念設(shè)訓(xùn)練方式集合為x1, x2, xp，一切這些方式分別屬于按某種規(guī)范設(shè)定的m類方式之一無(wú)先驗(yàn)知識(shí)經(jīng)過(guò)競(jìng)爭(zhēng)學(xué)習(xí)，網(wǎng)絡(luò)實(shí)現(xiàn)自組織方式分類。每個(gè)輸出結(jié)點(diǎn)代表某一類方式，詳細(xì)哪一個(gè)結(jié)點(diǎn)對(duì)應(yīng)于哪一類方式不是事先指定的，需求競(jìng)爭(zhēng)而出。每個(gè)節(jié)點(diǎn)就像一個(gè)pattern detector或feature detector，對(duì)輸入的解釋是經(jīng)過(guò)有無(wú)相應(yīng)節(jié)點(diǎn)表示，而不是相應(yīng)幅度或輸入輸出變換象前饋網(wǎng)絡(luò)或反響網(wǎng)絡(luò)與該結(jié)點(diǎn)相連的權(quán)向量包含了該類方式的根本信息競(jìng)爭(zhēng)學(xué)習(xí)及其特點(diǎn)6競(jìng)爭(zhēng)學(xué)習(xí)目的 競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程是對(duì)輸入矢量的聚類過(guò)程，是使得獲勝節(jié)點(diǎn)獲得最大呼應(yīng)的過(guò)程，是使獲勝節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢

4、量逐漸逼近輸入矢量。 當(dāng)訓(xùn)練終了后，對(duì)于某類輸入方式P，一定有一個(gè)網(wǎng)絡(luò)輸出節(jié)點(diǎn)有最大呼應(yīng)輸出值為1，其他輸出節(jié)點(diǎn)無(wú)呼應(yīng)輸出值為0。該最大呼應(yīng)輸出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量等于或代表此輸入矢量。Competitive Learning7Competitive Learning x1 x2 x3 - xn y1 y2 y3 - ym競(jìng)爭(zhēng)層輸入層每個(gè)輸入節(jié)點(diǎn)與每個(gè)輸出節(jié)點(diǎn)全銜接競(jìng)爭(zhēng)層的每一個(gè)節(jié)點(diǎn)接受一個(gè)輸入加權(quán)和 競(jìng)爭(zhēng)網(wǎng)絡(luò)構(gòu)造8Competitive Learning競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程 “winner takes all確定winner (competitive phase) ：按一定的準(zhǔn)那么計(jì) 算每個(gè)輸

5、出節(jié)點(diǎn)與輸入節(jié)點(diǎn)之間的權(quán)矢量與輸入矢量之間的逼近度,最逼近的為winner.調(diào)整權(quán)矢量(reward phase) ：按一定的準(zhǔn)那么調(diào)整 winner的權(quán)矢量In simple competitive learning ，only the winner is allowed to learn (change its weight). In self-organizing maps， winner and other neurons in the neighborhood of the winner may learn.9 competitive learning1p2y1y2ymx1x2xn.

6、當(dāng)權(quán)重歸一化時(shí)，兩個(gè)判別式是等效的確定Winneror10competitive learning權(quán)重調(diào)整：11Competitive LearningSimple Competitive Learning12Suppose, for instance, that the 2-dimensional input vector X is presented to the three-neuron Kohonen network,The initial weight vectors, Wj, are given by Competitive Learning13We find the winnin

7、g (best-matching) neuron jX using the minimum-distance Euclidean criterion:Neuron 3 is the winner and its weight vector W3 is updated according to the competitive learning rule. Competitive Learning14The updated weight vector W3 at iteration (p + 1) is determined as:The weight vector W3 of the winin

8、g neuron 3 becomes closer to the input vector X with each iteration. Competitive Learning15Competitive LearningCompress (encode)輸入矢量 x 映射到一個(gè)輸出節(jié)點(diǎn)code-word Decompress (decode)輸出節(jié)點(diǎn)code-word 映射到對(duì)應(yīng)的權(quán)矢量 code-book vector有損緊縮Data Compression16 競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的局限性： 普通競(jìng)爭(zhēng)網(wǎng)絡(luò)適用于具有典型聚類特性的大量數(shù)據(jù)的辨識(shí)，但當(dāng)遇到大量的具有概率分布的輸入矢量時(shí)，競(jìng)爭(zhēng)網(wǎng)絡(luò)就無(wú)

9、能為力了，這時(shí)可以采用SOFM網(wǎng)絡(luò)來(lái)處理。 SOFM網(wǎng)絡(luò)也采用競(jìng)爭(zhēng)學(xué)習(xí)方法，但強(qiáng)調(diào)鄰域的作用。因此，相應(yīng)的競(jìng)爭(zhēng)戰(zhàn)略略有不同，即不但獲勝者而且其鄰域的神經(jīng)元也調(diào)整權(quán)重。 SOFM模型17SOFM模型自組織特征映射網(wǎng)絡(luò)SOFM)自創(chuàng)了上述生理機(jī)制，將輸入矢量的特征以有意義的拓?fù)錁?gòu)造映射在輸出層上。即在輸入特征空間相鄰的矢量映射后，其輸出層呼應(yīng)節(jié)點(diǎn)構(gòu)成在拓?fù)鋷缀我饬x上的 相鄰。當(dāng)隨機(jī)樣本輸入到SOFM網(wǎng)絡(luò)時(shí)，假設(shè)樣本足夠多，那么在權(quán)值分布上可近似于輸入隨機(jī)樣本的概率密度分布，在輸出神經(jīng)元上也反映了這種分布，即概率大的樣本集中在輸出空間的某一個(gè)區(qū)域或各個(gè)不同的區(qū)域。普通而言，SOFM網(wǎng)絡(luò)的權(quán)矢量收斂到

10、所代表的輸入矢量的平均值，它反映了輸入數(shù)據(jù)的統(tǒng)計(jì)特性18SOFM模型 輸入層和輸出層競(jìng)爭(zhēng)層 輸入為 ，輸出可 以是恣意維， 但普通取二維 其 中分布m個(gè)神經(jīng)元。 輸入節(jié)點(diǎn)i經(jīng)過(guò)權(quán)值 與輸出層 的m個(gè)節(jié)點(diǎn)銜接，每個(gè)輸出節(jié)點(diǎn)j 對(duì)應(yīng)一組權(quán)向量： 節(jié)點(diǎn)j輸出： 網(wǎng)絡(luò)構(gòu)造19SOFM模型激活函數(shù)腦神經(jīng)元化分成不同的功能區(qū)域。這種表達(dá)了拓?fù)鋷缀我饬x相關(guān)的區(qū)域的構(gòu)成與神經(jīng)元之間的側(cè)向結(jié)合lateral connections 相關(guān)。側(cè)向結(jié)合可用一種Mexican hat function 來(lái)描畫。20SOFM模型For a given node,近鄰神經(jīng)元相互鼓勵(lì) (mutually excitatory

11、 , w 0)遠(yuǎn)離神經(jīng)元相互抑制 (mutually inhibitory,w 0)很遠(yuǎn)間隔的神經(jīng)元irrelevant ，w = 0)可以用“鄰域(neighborhood)作用來(lái)實(shí)現(xiàn)復(fù)雜的側(cè)向反響21SOFM模型 學(xué)習(xí)： SOFM是競(jìng)爭(zhēng)網(wǎng)絡(luò)中的一種。它也是經(jīng)過(guò)自組織方法，用樣本數(shù)據(jù)來(lái)調(diào)整網(wǎng)絡(luò)的權(quán)值，使得權(quán)重成為能反映輸入分布特征的矢量。 思索到鄰域的作用，權(quán)重調(diào)整戰(zhàn)略要有所變化，僅靠 “winner takes all 的競(jìng)爭(zhēng)學(xué)習(xí)方法無(wú)法開展出拓?fù)溆成鋱D22SOFM模型為了能使二維輸出平面上相鄰的輸出結(jié)點(diǎn)對(duì)相近的輸入方式類作出特別反響，在訓(xùn)練過(guò)程中需定義獲勝結(jié)點(diǎn)的鄰域結(jié)點(diǎn)。假設(shè)本次獲勝結(jié)點(diǎn)

12、為Nj，它在t時(shí)辰的鄰域結(jié)點(diǎn)用NEj(t)表示，NEj(t)包含以結(jié)點(diǎn)Nj為中心而間隔不超越某一半徑的一切結(jié)點(diǎn)。隨著訓(xùn)練的進(jìn)展， NEj(t)的半徑逐漸減少，最后只包含獲勝結(jié)點(diǎn)Nj本身，即在訓(xùn)練初始階段，不但對(duì)獲勝的結(jié)點(diǎn)做權(quán)值調(diào)整，也對(duì)其較大范圍內(nèi)的幾何鄰接結(jié)點(diǎn)做相應(yīng)的調(diào)整，而隨著訓(xùn)練過(guò)程的繼續(xù)，與輸出結(jié)點(diǎn)相連的權(quán)向量也越來(lái)越接近其代表的方式類。在訓(xùn)練終了后，幾何上相近的輸出結(jié)點(diǎn)所銜接的權(quán)向量既有聯(lián)絡(luò)類似性又相互區(qū)別，從而保證對(duì)于某一類輸入方式，獲勝結(jié)點(diǎn)能做出最大呼應(yīng)，而相鄰結(jié)點(diǎn)做出較大呼應(yīng)。23SOFM模型在競(jìng)爭(zhēng)學(xué)習(xí)過(guò)程中，經(jīng)過(guò)鄰域的作用逐漸地?cái)U(kuò)展排他性，最終僅一個(gè)神經(jīng)元競(jìng)爭(zhēng)獲勝24競(jìng)爭(zhēng)學(xué)習(xí)

13、算法初始化：對(duì)各節(jié)點(diǎn)的權(quán)賦以小的隨機(jī)數(shù)作為初始值 歸一化權(quán)值和輸入樣本 定初始領(lǐng)域 ，學(xué)習(xí)速率 ，迭代總數(shù)T，t=0 隨機(jī)選取某樣本輸入 競(jìng)爭(zhēng)：在輸出節(jié)點(diǎn)中計(jì)算尋覓最正確匹配節(jié)點(diǎn)C ,即其權(quán)向量與 的 歐氏間隔最小：為p維向量其中 注：當(dāng)輸入向量和權(quán)向量均為歸一化向量時(shí)，神經(jīng)元輸出的內(nèi)積最大等價(jià)與輸入向量和權(quán)向量的歐氏間隔最小25競(jìng)爭(zhēng)學(xué)習(xí)算法 更新：對(duì)獲勝神經(jīng)元c及拓?fù)漕I(lǐng)域 中的一切節(jié)點(diǎn)的權(quán)值： 或 更新學(xué)習(xí)速率： 更新拓?fù)溧徲颍?判別迭代次數(shù)t能否大于或等于T，假設(shè)是那么終了，否那么轉(zhuǎn)向26競(jìng)爭(zhēng)學(xué)習(xí)算法算法的幾點(diǎn)闡明：學(xué)習(xí)常數(shù) 和領(lǐng)域 大小要在學(xué)習(xí)的過(guò)程中調(diào)整對(duì) 而言，在迭代的前期，取值約為

14、1，然后逐漸減少，建議用 其中，t為迭代數(shù)，N為迭代總數(shù)。接近收斂階段，應(yīng)取0.01小數(shù)細(xì)調(diào)。對(duì) 而言，領(lǐng)域可取方形或六角形。開場(chǎng)時(shí)， 較大，可包含全部節(jié)點(diǎn)。然后逐漸減少，建議用： 最后收斂到只含中心本身。 歸一化處置：對(duì)輸入向量和權(quán)向量歸一化，以確保經(jīng)過(guò)歐氏間隔最小條件選取的獲勝神經(jīng)元具有最大輸出。27SOFM模型競(jìng)爭(zhēng)層神經(jīng)元100個(gè)陳列成1010的二維矩陣。二維輸入矢量 以均勻概率分布在正方形平面。特征映射圖： 隨機(jī)初始權(quán)向量經(jīng)過(guò)50次迭代后的權(quán)向量分布28經(jīng)過(guò)100次迭代后的權(quán)向量分布經(jīng)過(guò)10000次迭代后的權(quán)向量分布SOFM模型29SOFM模型假設(shè)輸入均勻分布在三角形區(qū)域，網(wǎng)絡(luò)經(jīng)充分訓(xùn)

15、練后，可得到如右的拓?fù)溆成鋱D。 假設(shè)把1010的二維矩陣改動(dòng)成1001的一維構(gòu)造，那么得到右圖的拓?fù)溆成鋱D。 30SOFM的優(yōu)缺陷優(yōu)點(diǎn):- excellent for classification problems- can greatly reduce computational complexity- high sensitivity to frequent inputs- new ways of associating related data- no need of supervised learning rulesSOFM模型31缺陷:- system is a black box-

16、 error rate may be unacceptable no guarantee of network convergence for higher dimension networks- many problems cant be effectively represented by a SOFM- a large training set may be required- for large classification problems, training can be lengthySOFM模型32學(xué)習(xí)矢量量化LVQ(Learning Vector Quantization)33概述 矢量量化是標(biāo)量量化概念的擴(kuò)展，適用于高維數(shù)據(jù)。把高維數(shù)據(jù)離散化，臨近區(qū)域看作同一量化等級(jí)，用其中心值代表。其算法可視為一種逐次聚類的算法，聚類中心是該類的代表稱為碼字。 假設(shè)SOFM算法中不思索鄰域，即鄰域只包含節(jié)點(diǎn)c本身，那么有 34 SOFM與LVQ有共同之處，即都能用少量的聚類中心表示原數(shù)據(jù)，從而起到數(shù)據(jù)緊縮作用。不同之處在于SOFM的各聚類中心輸出陣列中的神經(jīng)元的陳列是有構(gòu)造性的，即相鄰中心點(diǎn)對(duì)應(yīng)的輸入數(shù)據(jù)中的某些特征是類似的，而VQ的中心沒(méi)有這種排序功能。 自組織映射可以起到類似聚類的作用，但不能直接用于分類或識(shí)別。為此，可添加監(jiān)