1、神經(jīng)網(wǎng)絡(luò)模式識(shí)別法簡(jiǎn)介8.1 人工神經(jīng)網(wǎng)絡(luò)開(kāi)展概況8.2 神經(jīng)網(wǎng)絡(luò)根本概念8.3 前饋神經(jīng)網(wǎng)絡(luò)8.4 反響網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)第8章 神經(jīng)網(wǎng)絡(luò)模式識(shí)別法8.1 人工神經(jīng)網(wǎng)絡(luò)開(kāi)展概況人工神經(jīng)網(wǎng)絡(luò)(Artificial Neural Networks，ANN)： 簡(jiǎn)稱神經(jīng)網(wǎng)絡(luò)。模擬人腦神經(jīng)細(xì)胞的工作特點(diǎn)：與目前按串行安排程序指令的計(jì)算機(jī)結(jié)構(gòu)截然不同。* 單元間的廣泛連接；* 并行分布式的信息存貯與處理；* 自適應(yīng)的學(xué)習(xí)能力等。優(yōu)點(diǎn)： (1) 較強(qiáng)的容錯(cuò)性;(2) 很強(qiáng)的自適應(yīng)學(xué)習(xí)能力；(3) 可將識(shí)別和假設(shè)干預(yù)處理融為一體進(jìn)行； (4) 并行工作方式； (5) 對(duì)信息采用分布式記憶，具有魯

2、棒性。四個(gè)開(kāi)展階段： 第一階段：?jiǎn)⒚善冢加?943年。 形式神經(jīng)元的數(shù)學(xué)模型提出。 第二階段：低潮期，始于1969年。 ?感知器?(Perceptions)一書(shū)出版，指出局限性 。第三階段：復(fù)興期，從1982年到1986年。 Hopfield的兩篇論文提出新的神經(jīng)網(wǎng)絡(luò)模型； ?并行分布處理?出版，提出反向傳播算法。 第四個(gè)階段：1987年至今，趨于平穩(wěn)。 回憶性綜述文章“神經(jīng)網(wǎng)絡(luò)與人工智能 。8.2 神經(jīng)網(wǎng)絡(luò)根本概念8.2.1 生物神經(jīng)元1生物神經(jīng)元的結(jié)構(gòu)細(xì)胞體、樹(shù)突、軸突和突觸。 2生物神經(jīng)元的工作機(jī)制興奮和抑制兩種狀態(tài)。 抑制狀態(tài)的神經(jīng)元由樹(shù)突和細(xì)胞體接收傳來(lái)的興奮電位不應(yīng)期產(chǎn)生輸出脈沖

3、輸入興奮總 量超過(guò)閾值神經(jīng)元被激發(fā)進(jìn)入興奮狀態(tài)由突觸傳遞給其它神經(jīng)元8.2.2 人工神經(jīng)元及神經(jīng)網(wǎng)絡(luò)人工神經(jīng)元：生物神經(jīng)元的簡(jiǎn)化模擬。人工神經(jīng)元間的互連：信息傳遞路徑軸突-突觸-樹(shù)突的簡(jiǎn)化；連接的權(quán)值：兩個(gè)互連的神經(jīng)元之間相互作用的強(qiáng)弱。 圖8.2 人工神經(jīng)元模型接收的信息(其它神經(jīng)元的輸出) 互連強(qiáng)度 作比較 的閾值n維輸入向量X 輸出 輸出函數(shù) 神經(jīng)元的動(dòng)作： 輸出函數(shù) f：也稱作用函數(shù)，非線性。 閾值型S型偽線性型f 為閾值型函數(shù)時(shí)：設(shè) ，點(diǎn)積形式：式中，8.2.3 神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)學(xué)習(xí)： 同一個(gè)訓(xùn)練集的樣本輸入輸出模式反復(fù)作用于網(wǎng)絡(luò)，網(wǎng)絡(luò)按照一定的訓(xùn)練規(guī)那么自動(dòng)調(diào)節(jié)神經(jīng)元之間的連接強(qiáng)度或

4、拓?fù)浣Y(jié)構(gòu)，使實(shí)際輸出滿足期望的要求或者趨于穩(wěn)定。 實(shí)質(zhì)：1Hebb學(xué)習(xí)規(guī)那么典型的權(quán)值修正方法： Hebb學(xué)習(xí)規(guī)那么、誤差修正學(xué)習(xí) 如果神經(jīng)網(wǎng)絡(luò)中某一神經(jīng)元與另一直接與其相連的神經(jīng)元同時(shí)處于興奮狀態(tài)，那么這兩個(gè)神經(jīng)元之間的連接強(qiáng)度應(yīng)該加強(qiáng)。 神經(jīng)網(wǎng)絡(luò)的最重要特征之一。 wij(t+1)：修正一次后的某一權(quán)值；：學(xué)習(xí)因子，表示學(xué)習(xí)速率的比例常數(shù)；yj(t)，yi(t)：分別表示t時(shí)刻第j個(gè)和第i個(gè)神經(jīng)元的狀態(tài)輸出。 由 有： 神經(jīng)元間的連接 2. 學(xué)習(xí)規(guī)那么3更新權(quán)值，閾值可視為輸入恒為1的一個(gè)權(quán)值；1選擇一組初始權(quán)值wij(1)；2計(jì)算某一輸入模式對(duì)應(yīng)的實(shí)際輸出與期望輸出的誤差；式中，4返回

5、(2) ，直到對(duì)所有訓(xùn)練模式網(wǎng)絡(luò)輸出均能滿足要求。dj，yj(t)：第j個(gè)神經(jīng)元的期望輸出與實(shí)際輸出；xi(t)：第j個(gè)神經(jīng)元的第i個(gè)輸入。神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)表達(dá)在：學(xué)習(xí)因子；權(quán)值變化；網(wǎng)絡(luò)結(jié)構(gòu)變化。8.2.4 神經(jīng)網(wǎng)絡(luò)的結(jié)構(gòu)分類分層結(jié)構(gòu)有明顯層次，信息流向由輸入層到輸出層。 前饋網(wǎng)絡(luò) 沒(méi)有明顯層次，任意兩個(gè)神經(jīng)元之間可達(dá)，具有輸出單元到隱層單元或輸入單元的反響連接 。 反響網(wǎng)絡(luò)相互連接結(jié)構(gòu)8.3 前饋神經(jīng)網(wǎng)絡(luò)8.3.1 感知器感知器Perceptron：FRosenblatt于1957年提出。 感知器結(jié)構(gòu)示意圖 * 雙層輸入層、輸出層；* 兩層單元之間為全互連；* 連接權(quán)值可調(diào)。 結(jié)構(gòu)特點(diǎn)：*

6、輸出層神經(jīng)元個(gè)數(shù)等于類 別數(shù)兩類問(wèn)題時(shí)輸出層 為一個(gè)神經(jīng)元。 設(shè)輸入模式向量， ，共M類。輸出層第j個(gè)神經(jīng)元對(duì)應(yīng)第j個(gè)模式類，j：第j個(gè)神經(jīng)元的閾值；wij：輸入模式第i個(gè)分量與 輸出層第j個(gè)神經(jīng)元間的連接權(quán)。 令 。取 有輸出為 輸出單元對(duì)所有輸入數(shù)值加權(quán)求和，經(jīng)閾值型輸出函數(shù)產(chǎn)生一組輸出模式。 M類問(wèn)題判決規(guī)那么( 神經(jīng)元的輸出函數(shù)) 為* 正確判決的關(guān)鍵：輸出層每個(gè)神經(jīng)元必須有一組適宜的權(quán)值。 * 感知器采用監(jiān)督學(xué)習(xí)算法得到權(quán)值；* 權(quán)值更新方法：學(xué)習(xí)規(guī)那么。 算法描述第一步：設(shè)置初始權(quán)值wij(1)，w(n+1)j(1)為第j個(gè)神經(jīng)元的閾值。第二步：輸入新的模式向量。第三步：計(jì)算神經(jīng)元

7、的實(shí)際輸出。設(shè)第k次輸入的模式向量為Xk，與第j個(gè)神經(jīng)元相連的權(quán)向量為第j個(gè)神經(jīng)元的實(shí)際輸出為第四步：修正權(quán)值。dj：第j個(gè)神經(jīng)元的期望輸出。第五步：轉(zhuǎn)到第二步。當(dāng)全部學(xué)習(xí)樣本都能正確分類時(shí)，學(xué)習(xí)過(guò)程結(jié)束。 經(jīng)驗(yàn)證明，當(dāng)隨k的增加而減小時(shí)，算法一定收斂。8.3.2 BP網(wǎng)絡(luò)BP網(wǎng)絡(luò)：采用BP算法Back-Propagation Training Algorithm 的多層感知器。 誤差反向傳播算法認(rèn)識(shí)最清楚、應(yīng)用最廣泛。性能優(yōu)勢(shì)：識(shí)別、分類1多層感知器 針對(duì)感知器學(xué)習(xí)算法的局限性：模式類必須線性可分。輸入層第一隱層第二隱層輸出層中間層為一層或多層處理單元；前饋網(wǎng)絡(luò)；結(jié)構(gòu)：只允許一層連接權(quán)可調(diào)。

8、 2BP算法兩個(gè)階段正向傳播階段：逐層狀態(tài)更新反向傳播階段：誤差BP算法的學(xué)習(xí)過(guò)程 設(shè)：某層任一神經(jīng)元j的 輸入為netj，輸出為yj； 相鄰低一層中任一 神經(jīng)元i的輸出為yi。 jiwij：神經(jīng)元i與j之間的連接權(quán)；f()：神經(jīng)元的輸出函數(shù)。 S型輸出函數(shù)：j：神經(jīng)元閾值； h0：修改輸出函數(shù)形狀的參數(shù)。設(shè)：輸出層中第k個(gè)神經(jīng)元的實(shí)際輸出為yk，輸入為netk； 與輸出層相鄰的隱層中任一神經(jīng)元j的輸出為yj。 對(duì)輸入模式Xp，假設(shè)輸出層中第k個(gè)神經(jīng)元的期望輸出為dpk，實(shí)際輸出為ypk。輸出層的輸出方差 ：假設(shè)輸入N個(gè)模式，網(wǎng)絡(luò)的系統(tǒng)均方差為：當(dāng)輸入Xp時(shí)，wjk的修正增量： 其中，由 式得

9、到：令 ，可得輸出單元的誤差：輸出單元的修正增量： 對(duì)于與輸出層相鄰的隱層中的神經(jīng)元j和該隱層前低一層中的神經(jīng)元i ： 輸出層中神經(jīng)元輸出的誤差反向傳播到前面各層，對(duì)各層之間的權(quán)值進(jìn)行修正。 BP算法步驟：第一步：對(duì)權(quán)值和神經(jīng)元閾值初始化：(0，1)上分布的隨機(jī)數(shù)。第二步：輸入樣本，指定輸出層各神經(jīng)元的希望輸出值。 第三步：依次計(jì)算每層神經(jīng)元的實(shí)際輸出，直到輸出層。第四步：從輸出層開(kāi)始修正每個(gè)權(quán)值，直到第一隱層。 假設(shè)j是輸出層神經(jīng)元，那么：假設(shè)j是隱層神經(jīng)元，那么：第五步：轉(zhuǎn)到第二步，循環(huán)至權(quán)值穩(wěn)定為止。改進(jìn)的權(quán)值修正： 收斂快、權(quán)值平滑變化 ：平滑因子，01。 BP算法存在問(wèn)題：* 存在局

10、部極小值問(wèn)題；* 算法收斂速度慢；* 隱層單元數(shù)目的選取無(wú)一般指導(dǎo)原那么；* 新參加的學(xué)習(xí)樣本影響已學(xué)完樣本的學(xué)習(xí)結(jié)果。 * 輸出層各單元之間相互用較大的負(fù)權(quán)值輸入對(duì)方， 構(gòu)成正反響。8.3.3 競(jìng)爭(zhēng)學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)1競(jìng)爭(zhēng)學(xué)習(xí)典型的非監(jiān)督學(xué)習(xí)策略。 與二層前饋網(wǎng)絡(luò)類似；結(jié)構(gòu)特點(diǎn)：輸出層具有側(cè)抑制。競(jìng)爭(zhēng)層：競(jìng)爭(zhēng)學(xué)習(xí)網(wǎng)絡(luò)的核心側(cè)抑制：加強(qiáng)自身* 具有最高輸入總和的單元的輸出狀態(tài)為1，其他單 元為0。 2漢明(Hamming)網(wǎng)分類器結(jié)構(gòu)： 仿效生物神經(jīng)網(wǎng)“中心鼓勵(lì)，側(cè)向抑制的功能。 工作原理：* 每個(gè)模式類由一個(gè)典型樣本代表；* 匹配網(wǎng)計(jì)算輸入樣本與各類典型樣本的匹配度，由匹配度 決定匹配網(wǎng)的輸出；*

11、 由最大網(wǎng)給出輸入樣本所在類別號(hào)分類。 匹配度= n輸入樣本與典型樣本之間的漢明距離 xij：第j類典型樣本的第i個(gè)分量；xi ：輸入樣本的第i個(gè)分量；n：樣本向量的維數(shù)。 輸入樣本與典型樣本越相似：漢明距離越小，匹配度越大。 二值模式向量(分量：+1, -1)分類準(zhǔn)那么：樣本間漢明距離最小。匹配網(wǎng)上層每個(gè)神經(jīng)元的輸出：輸入樣本第i個(gè)分量與匹配網(wǎng)上層第j個(gè)神經(jīng)元 的連接權(quán)；：第j個(gè)神經(jīng)元的閾值。 wij由第j類典型樣本的各分量確定。 匹配網(wǎng)輸出函數(shù)f()：漢明網(wǎng)算法步驟： 第一步：設(shè)置權(quán)值和神經(jīng)元閾值。 wlk：最大網(wǎng)中第l個(gè)神經(jīng)元和第k個(gè)神經(jīng)元的連接權(quán)；最大網(wǎng)中神經(jīng)元的閾值為零。 xij：第

12、j類典型樣本的第i個(gè)分量；wij：匹配網(wǎng)上層神經(jīng)元j和輸入樣本第i個(gè)分量的連接權(quán);j ：神經(jīng)元j的閾值。第三步，進(jìn)行迭代運(yùn)算直到收斂。第四步：轉(zhuǎn)到第二步。第二步：輸入未知樣本，計(jì)算匹配網(wǎng)上層各神經(jīng)元的輸出sj， 設(shè)置最大網(wǎng)中神經(jīng)元輸出的初始值。 設(shè)最大網(wǎng)中第j個(gè)神經(jīng)元在t時(shí)刻的輸出為y(t)，那么 3自組織特征映射神經(jīng)網(wǎng)絡(luò) SOM網(wǎng)絡(luò) 圖8.10 神經(jīng)元之間相互作用與距離的關(guān)系 神經(jīng)網(wǎng)絡(luò)中鄰近的各神經(jīng)元通過(guò)側(cè)向交互作用彼此相互競(jìng)爭(zhēng)，自適應(yīng)地開(kāi)展成檢測(cè)不同信號(hào)的特殊檢測(cè)器。 T. Kohonen關(guān)于自組織特征映射的含義：輸入層：每個(gè)神經(jīng)元與輸出層所有神經(jīng)元連接。 輸入連續(xù)值模式向量。 SOM網(wǎng)絡(luò)

13、結(jié)構(gòu)：輸出層：廣泛連接，格陣形式。 競(jìng)爭(zhēng)學(xué)習(xí)算法：由交互作用函數(shù)取代簡(jiǎn)單的側(cè)抑制。 自組織特征映射算法步驟： 第一步：設(shè)置初始權(quán)值，定義輸出層神經(jīng)元的鄰域。 第二步：輸入新的模式向量 。第三步：計(jì)算輸入模式到每個(gè)輸出層神經(jīng)元j的距離dj。wij(t)：t時(shí)刻輸入層神經(jīng)元i到輸出層神經(jīng)元j之間的連接權(quán)。 第四步：選擇與輸入模式距離最小的輸出層神經(jīng)元 j*。 第五步：修改與j*及其鄰域中神經(jīng)元連接的權(quán)值。 設(shè)t時(shí)刻神經(jīng)元j*的鄰域用 表示，權(quán)值修改為：修正參數(shù)， ，隨t的增加而減小。 第六步：轉(zhuǎn)到第二步。聚類中心：存儲(chǔ)在與神經(jīng)元j*連接的權(quán)值上。輸出層神經(jīng)元鄰域的選擇： 初始鄰域選擇大些，隨算法的

14、進(jìn)行逐步收縮。8.4 反響網(wǎng)絡(luò)模型Hopfield網(wǎng)絡(luò)尋找記憶：模擬人腦聯(lián)想記憶功能的神經(jīng)網(wǎng)絡(luò)模型。 網(wǎng)絡(luò)由初始狀態(tài)向穩(wěn)定狀態(tài)演化的過(guò)程。初始輸出模式向量單層全互連、權(quán)值對(duì)稱的神經(jīng)網(wǎng)絡(luò)。結(jié)構(gòu)：Hopfield網(wǎng)絡(luò)HNN離散型HNN(DHNN)：M-P模型二值神經(jīng)元連續(xù)型HNN(CHNN)：神經(jīng)元為連續(xù)時(shí)間輸出。* 每個(gè)神經(jīng)元的輸出通過(guò)加權(quán)與其余神經(jīng)元的輸入端連接；* 輸入模式向量的各分量及神經(jīng)元的輸出值取(+1)或(-1)；* 神經(jīng)元的個(gè)數(shù)與輸入模式向量的維數(shù)相同；* 記憶樣本記憶在神經(jīng)元之間的連接權(quán)上。DHNN：* 每個(gè)模式類有一個(gè)記憶樣本，是網(wǎng)絡(luò)的一個(gè)穩(wěn)定輸出狀態(tài)。 設(shè) 是第s類的記憶樣本。為了存儲(chǔ)M個(gè)記憶樣本，神經(jīng)元i和神經(jīng)元j之間的權(quán)值wij為 設(shè)有M 類模式，那么有M個(gè)記憶樣本，分別是網(wǎng)絡(luò)的M個(gè)穩(wěn)定輸出狀態(tài)。若神經(jīng)元i的輸入為ui，輸出為 ，則式中， 假設(shè)輸入一個(gè)未知類別的模式X，網(wǎng)絡(luò)初始狀態(tài)由X決定，根據(jù)上述算法，網(wǎng)絡(luò)從初始狀態(tài)開(kāi)始逐步演化，最終趨向于一個(gè)穩(wěn)定狀態(tài)，即輸出一個(gè)與未知類別模式相似的記憶樣本。 說(shuō)明：定義網(wǎng)絡(luò)的能量函數(shù) 由某一神經(jīng)元的狀態(tài)的變化量 引起的E變化量為式中， ， 。E0，E有界，網(wǎng)絡(luò)最終可到達(dá)一個(gè)不隨時(shí)間變化的穩(wěn)定狀態(tài)。算法步驟： 第一步：給神經(jīng)元的連接權(quán)賦值，即存貯記憶樣本。 第二步：用輸入的未知類別的模式 設(shè)置網(wǎng) 絡(luò)的初始狀態(tài)。 若