1、智能中國網提供學習支持智能中國網提供學習支持2.72.7學習向量量化神經網絡模型與學習向量量化神經網絡模型與學習算法學習算法 2.7.1 LVQ2.7.1 LVQ神經網絡構造神經網絡構造 p學習向量量化學習向量量化LVQ(Learning Vector Quantization)LVQ(Learning Vector Quantization)神經神經網絡，屬于前向有監視神經網絡類型，在方式識別和優網絡，屬于前向有監視神經網絡類型，在方式識別和優化領域有著廣泛的的運用化領域有著廣泛的的運用p由芬蘭學者由芬蘭學者Teuvo KohonenTeuvo Kohonen提出提出pLVQLVQ神經網絡由

2、輸入層、隱含層和輸出層三層組成，輸入神經網絡由輸入層、隱含層和輸出層三層組成，輸入層與隱含層間為完全銜接，每個輸出層神經元與隱含層層與隱含層間為完全銜接，每個輸出層神經元與隱含層神經元的不同組相銜接。隱含層和輸出層神經元之間的神經元的不同組相銜接。隱含層和輸出層神經元之間的銜接權值固定為。在網絡訓練過程中，輸入層和隱含銜接權值固定為。在網絡訓練過程中，輸入層和隱含層神經元間的權值被修正。當某個輸入方式被送至網絡層神經元間的權值被修正。當某個輸入方式被送至網絡時，最接近輸入方式的隱含神經元因獲得激發而博得競時，最接近輸入方式的隱含神經元因獲得激發而博得競爭，因此允許它產生一個，而其他隱含層神經元

3、爭，因此允許它產生一個，而其他隱含層神經元都被迫產生。與包含獲勝神經元的隱含層神經元都被迫產生。與包含獲勝神經元的隱含層神經元組相銜接的輸出神經元也發出，而其他輸出神經組相銜接的輸出神經元也發出，而其他輸出神經元均發出。元均發出。2.7.1 LVQ2.7.1 LVQ神經網絡構造神經網絡構造pLVQ1LVQ1算法詳細步驟如下：算法詳細步驟如下： p1 1網絡初始化網絡初始化 p用較小的隨機數設定輸人層和隱含層之間的權用較小的隨機數設定輸人層和隱含層之間的權值初始值。值初始值。p2 2輸入向量的輸入輸入向量的輸入 p將輸人向量將輸人向量 送入到輸入送入到輸入層。層。p3 3計算隱含層權值向量與輸入

4、向量的間隔計算隱含層權值向量與輸入向量的間隔 p隱含層神經元和輸入向量的間隔，與自組織化隱含層神經元和輸入向量的間隔，與自組織化映射的情況一樣，由下式給出：映射的情況一樣，由下式給出：2.7.2 LVQ神經網絡的學習算法n21()jiijidxwT123,nx x xxx2.7.2 LVQ神經網絡的學習算法4選擇與權值向量的間隔最小的神經元計算并選擇輸入向量和權值向量的間隔最小的神經元，并把其稱為勝出神經元，記為 。5更新銜接權值 假設勝出神經元和預先指定的分類一致，稱為正確分類，否那么稱為不正確分類。正確分類和不正確分類時權值的調整量分別運用公式2-3、2-4：6判別能否滿足預先設定的最大迭

5、代次數，滿足時算法終了，否那么前往2，進入下一輪學習。()()iijijiijxwwxw2-4 2-3 j2.7.2 LVQ神經網絡的學習算法pLVQ2LVQ2算法算法 p 1 1 4 4與與LVQlLVQl算法一樣算法一樣p(5)(5)更新銜接權值更新銜接權值p假設勝出神經元假設勝出神經元1 1屬于正確分類時，那么權值更屬于正確分類時，那么權值更新與新與LVQ1LVQ1的情況一樣，根據式的情況一樣，根據式2-32-3進展權值進展權值的更新。當勝出神經元的更新。當勝出神經元1 1屬于不正確分類時，那屬于不正確分類時，那么另選取一個神經元么另選取一個神經元2 2，它的權值向量和輸入向，它的權值向

6、量和輸入向量的間隔僅比勝出神經元量的間隔僅比勝出神經元1 1大一點，且滿足以下大一點，且滿足以下條件時時：條件時時：p1 1神經元神經元2 2屬于正確分類；屬于正確分類；p2 2神經元神經元2 2、勝出神經元、勝出神經元1 1與輸入向量之間的間與輸入向量之間的間隔的差值很小。隔的差值很小。p那么勝出神經元那么勝出神經元1 1的權值改動量按公式的權值改動量按公式2-32-3計算，計算，而神經元而神經元2 2的權值改動量那么按公式的權值改動量那么按公式 2-32-3進進展計算。展計算。p6 6判別算法能否終了判別算法能否終了p假設迭代次數大于預先設定的次數，算法終了，假設迭代次數大于預先設定的次數

7、，算法終了，否那么前往第否那么前往第2 2步，進入下一輪學習步，進入下一輪學習 2.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLAB實現實現 p MATLAB MATLAB中與中與LVQLVQ相關的重要函數和功能相關的重要函數和功能p 函 數 名功 能newlvq()建立一個LVQ神經網絡函數learnlv1()LVQ1權值學習函數vec2ind()將單值矢量組變換成下標矢量plotvec()用不同的顏色畫矢量函數2.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLAB實現實現p newlvq() newlvq

8、()p功能功能 建立一個向量量化神經網絡函數建立一個向量量化神經網絡函數p格式格式 p(1) net = newlvq (1) net = newlvq p(2) net = newlvq(PR(2) net = newlvq(PR，S1S1，PCPC，LRLR，LF)LF)p闡明闡明 式式(1)(1)前往一個沒有定義構造的空對象，前往一個沒有定義構造的空對象，并顯示函數并顯示函數nntoolnntool的協助文字；式的協助文字；式(2)(2)中，中，netnet為為生成的學習向量量化網絡；生成的學習向量量化網絡；PRPR為一個為一個Rx2Rx2維的網絡維的網絡輸入向量取值范圍的矩陣輸入向量取

9、值范圍的矩陣Pmin PmaxPmin Pmax；SlSl表示隱表示隱含層神經元的數目；含層神經元的數目；PCPC表示在第二層的權值中列表示在第二層的權值中列所屬類別的百分比；所屬類別的百分比；LRLR表示學習速率，默許值為表示學習速率，默許值為0.010.01；LfLf表示學習函數，默許值為表示學習函數，默許值為learnlv1learnlv1。2.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLAB實現實現pind2vec()ind2vec()p功能功能 將下標矢量變換成單值矢量組函數將下標矢量變換成單值矢量組函數p格式格式 vec = ind2ve

10、c(ind)vec = ind2vec(ind)p闡明闡明 indind為包含為包含n n個下標的行向量個下標的行向量x x；vecvec為為m m行行n n列的向量組矩陣，列的向量組矩陣，矩陣中的每個向量矩陣中的每個向量i i，除了由，除了由x x中的第中的第i i個元素指定的位置為個元素指定的位置為l l外，其外，其他元素均為他元素均為0 0，矩陣的行數，矩陣的行數m m等于等于x x中最大的下標值。中最大的下標值。C=1 1 1 2 2 2 2 1 1 1 (1,1) 1 (1,2) 1 (1,3) 1 (2,4) 1 (2,5) 1 (2,6) 1 (2,7) 1 (1,8) 1 (1

11、,9) 1 (1,10) 1111000 0111000111 10002.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLAB實現實現p learnlv1() learnlv1()p功能功能 LVQ1 LVQ1權值學習函數權值學習函數p格式格式 pdWdW，LS = learnlv1(WLS = learnlv1(W，P P，Z Z，N N，A A，T T，E E，gWgW，gAgA，D D，LPLP，LS) LS) p闡明闡明 dW dW為為S S* *R R權值或閾值變化矩陣；權值或閾值變化矩陣；LSLS為當前學習為當前學習形狀形狀( (可省略可省

12、略) )；W W為為S S* *R R的權值矩陣或者為的權值矩陣或者為S S* *1 1的閾值矢量；的閾值矢量；P P為為R R* *Q Q的輸入矢量或者為的輸入矢量或者為1 1* *Q Q的全為的全為1 1的矢量；的矢量；Z Z為為S S* *Q Q的的輸入層的權值矢量輸入層的權值矢量( (可省略可省略) )；N N為為S S* *Q Q的網絡輸入矢量的網絡輸入矢量( (可可省略省略) )；A A為為S S* *Q Q的輸出矢量；的輸出矢量；T T為為S S* *Q Q的目的輸出矢量的目的輸出矢量( (可可省略省略) )；E E為為S S* *Q Q誤差矢量誤差矢量 ( (可省略可省略) )

13、；gWgW為為S S* *R R的與性能相的與性能相關的權重梯度矩陣關的權重梯度矩陣( (可省略可省略) )；gAgA為為S S* *Q Q的與性能相關的輸的與性能相關的輸出梯度值矩陣出梯度值矩陣( (可省略可省略) )；D D為為S S* *S S的神經元間隔矩陣的神經元間隔矩陣( (可省可省略略) )；LPLP為學習參數，該函數的學習參數由為學習參數，該函數的學習參數由LP.lrLP.lr構成，構成，缺省值為缺省值為0.010.01；LSLS為學習函數聲明為學習函數聲明( (可省略可省略) )。 2.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLA

14、B實現實現p plotvec() plotvec()p功能功能 用不同顏色繪制矢量的函數用不同顏色繪制矢量的函數p格式格式 plotvec(X plotvec(X，C C，M)M)p闡明闡明 X X為一個列矢量矩陣；為一個列矢量矩陣；C C為標志顏為標志顏色坐標的行矢量；色坐標的行矢量；M M為指定繪圖時矢量的為指定繪圖時矢量的標志符號，缺省值為標志符號，缺省值為+ + 2.7.3 LVQ2.7.3 LVQ神經網絡學習算法的神經網絡學習算法的MATLABMATLAB實現實現p例例2-6 2-6 針對一組輸入向量，設計一個針對一組輸入向量，設計一個LVQLVQ神經網絡，經過神經網絡，經過訓練后，

15、能對給定數據進展方式識別。訓練后，能對給定數據進展方式識別。 %輸入向量P及其對應的類別向量C %輸入向量P及其對應的類別向量CP=-6 -4 -2 0 0 0 0 2 4 6; 0 2 -2 1 2 -2 1 2 -2 P=-6 -4 -2 0 0 0 0 2 4 6; 0 2 -2 1 2 -2 1 2 -2 0;0;C=1 1 1 2 2 2 2 1 1 1;C=1 1 1 2 2 2 2 1 1 1;%將類別向量C轉換為目標向量T%將類別向量C轉換為目標向量TT=ind2vec(C);T=ind2vec(C);%繪制輸入向量P，如圖2-26所示，用顏色將輸入向量分為%繪制輸入向量P，如圖2-26所示，用顏色將輸入向量分為兩類兩類plotvec(P,C,*r);plotvec(P,C,*r);%輸入向量繪制在一個橫坐標在-8 8之間，縱坐標在 -3 %輸入向量繪制在一個橫坐標在-8 8之間，縱坐標在 -3 3之間的坐標平面內3之間的坐標平面內axis(-8 8 -3 3);axis(-8 8 -3 3);%創建一個LVQ神經網絡，隱含層有5個神經元，0.6 0.4%創建一個LVQ神經網絡，隱含層有5個神經元，0.6 0.4例例2-62-6運轉結果運轉結果測試數測試數據分類據分類結果結果2.