1、神經網絡原理與應用Artificial Neural Networks and Applications孫光民教授北京工業大學電子工程系Tel: 67391526; E-mail: 神經網絡原理與應用第1頁 第一章 緒論 一概述 二神經網絡(ANN)研究簡史 三神經網絡(ANN)原理介紹 四ANN分類及研究方向神經網絡原理與應用第2頁/10/10神經網絡與模式識別研究室3一概述近幾十年，人工神經網絡研究和應用，引發了國內外學術界廣泛重視，并在許多領域取得了顯著結果。對于電子技術和信號處理專業學生和科技人員，對神經網絡理論進行必要學習和掌握，甚至可能話，在實際中加以應用，是非常有意義。神經網絡原

2、理與應用第3頁從第一臺數字計算機問世（1946年），計算機系統幾經更新換代，經歷了由電子管、晶體管、LSI、VLSI，到以后飛躍4、雙核技術等發展階段。近年來，軟件方面也在不停升級更新，計算機性能越來越優越，應用也越來越廣泛。盡管如此，但計算機系統并非萬能，它存在著本身不足和物理極限（小型化），其特點是串行運算，輸入輸出存在線性和確定性關系。神經網絡原理與應用第4頁 所以要深入提升性能，就必須要求在器件、原理及思緒上有所突破，要充分表達并行運算、非線性、不確定性關系等特點。以非線性大規模并行處理為特點人工神經網絡，突破了傳統線性處理為基礎數字計算機局限，受到各學科領域廣泛關注，將為計算機技術發

3、展帶來一場革命，并促使以神經計算機為基礎高技術群誕生和發展。神經網絡與模式識別研究室/10/105神經網絡原理與應用第5頁 那么，什么是神經網絡？它與傳統數字計算機區分在于，它是模擬人腦一個信息處理系統，含有許多特點，功效強大。ANN與數字計算機比較: 并行處理串行處理 魯棒性、容錯性確定性、準確性 自學習能力教授經驗知識庫,無更新 大規模自適應非線性動力系統線性確定性系統 運算、存放合而為一運算、存放分離/10/10神經網絡與模式識別研究室6神經網絡原理與應用第6頁/10/10神經網絡與模式識別研究室7二ANN研究簡史ANN研究簡史可追溯到四十年代初，但因為種種原因，起始階段發展不快，并曾一

4、度陷入低谷。近幾十年，科學技術不停發展，為ANN發展奠定了基礎，使得ANN異軍突起，空前活躍，成為研究熱點。神經網絡原理與應用第7頁1943年，MP模型(McCulloch和Pitts)1944年，Hebb學習規則(條件反射規則)1957年，Rosenblatt提出：感知器 (perceptron)1962年，自適應線性元件（Adaline）1969年，Minsky和Papert證實了感知器 不足，發表perceptron 論文/10/10神經網絡與模式識別研究室8神經網絡原理與應用第8頁 1966-1982年，陷入低谷,期間：維納學生Grossberg（美科學院院士）提出：自適應共振理論Ko

5、honen提出：自組織特征映射網絡Amari（甘利俊一）從事數學理論研究Anderson提出：盒中腦（BSB）模型Webos提出：BP 理論（1974年）在這期間，數字計算機跨越三代，傳統人工智能較快發展。/10/10神經網絡與模式識別研究室9神經網絡原理與應用第9頁 1982年，加州工學院 Hopfield提出：HNN模型，在網絡中引入能量函數概念，作為穩定性判據，給出RC電路模型，推進了NN發展，使ANN用于聯想記憶和優化計算。之后，ANN研究進入空前活躍期，Hinton等提出Boltzman機，采取多層網絡學習方法，在學習過程中借用統計物理學方法,引入模擬退火技術。/10/10神經網絡與

6、模式識別研究室10神經網絡原理與應用第10頁Rumelhart等提出：并行分布處理理論，發展了BP算法。 Kosko提出：雙向聯想記憶網絡1988年，加州大學蔡少堂和復旦大學楊林提出：細胞神經網絡。/10/10神經網絡與模式識別研究室11神經網絡原理與應用第11頁 近年來，ANN研究愈加熾熱，提出了各種新網絡模型，并結合含糊理論、小波理論、混沌理論、分形理論等技術，應用也愈加廣泛。受到各國政府、科學家和企業家重視，各門學科聯合研究，提出重大研究計劃，如：美國DARPA計劃、日本HFSP計劃、法國尤里卡、德國歐洲防御、俄羅斯高技術發展計劃，中國863計劃等。86.4,召開第一屆ANN國際會議,8

7、7.6,召開第一屆IEEE NN國際會議，同年國際NN學會成立，88年元月，NN雜志創刊。88年后NN國際學會與IEEE聯合每年一次國際會議，90年3月IEEE NN會刊問世。/10/10神經網絡與模式識別研究室12神經網絡原理與應用第12頁ANN研究熱潮出現，除了神經科學研究本身突破和進展外，更主要是因為計算機科學和人工智能發展需要以及VLSI技術，生物技術，超導技術和光學技術等領域快速發展，為ANN技術發展提供了技術上可能性。ANN研究包括到計算機科學、控制論、信息科學、微電子學、心理學、認知科學、物理學與數學等學科。/10/10神經網絡與模式識別研究室13神經網絡原理與應用第13頁 除此

8、之外，還有一些其它科學背景支撐，如70年代產生新三論：協同論，突變論與耗散結構論以及近年來廣泛研究混沌動力學理論等，都揭示了復雜系統怎樣經過微觀元件集體協同作用，使系統結構在宏觀上到達從無序到有序，功效由簡單到復雜非線性動力學過程。這種過程類似于生物系統進化過程和智能系統學習過程。所以，對NN研究給予了不可或缺啟示。 /10/10神經網絡與模式識別研究室14神經網絡原理與應用第14頁NN問世標志著認知科學、計算機科學及人工智能發展又處于一個新轉折點，它應用和發展，不但會推進神經動力學本身，而且將影響新一代計算機設計原理，可能為新一代計算機和人工智能開辟一條嶄新路徑，并為信息科學帶來革命性改變。

9、/10/10神經網絡與模式識別研究室15神經網絡原理與應用第15頁/10/10神經網絡與模式識別研究室16三神經網絡原理介紹神經網絡是模擬人腦一個信息處理系統，它只是一個抽象、簡化模擬。NN模型有幾十種甚至上百種，都是由許多簡單、相同神經元組成，不一樣模型區分在于反應神經元非線性特征激勵函數、神經元之間連接方式和所采取學習規則不一樣。這是決定NN特征三個基本要素。為了對三要素分別介紹，我們首先看一下生物神經元結構和機理。神經網絡原理與應用第16頁/10/10神經網絡與模式識別研究室171. 生物神經元模型生物神經元由細胞核、軸突、樹突和突觸等組成。生物神經元功效： 時空整合功效興奮和抑制狀態突

10、觸延時和不應期學習、遺忘和疲勞神經網絡原理與應用第17頁 2.人工神經元模型及慣用非線性函數人工神經元模型是對生物神經元模擬和近似，所以類似于生物神經元，其結構模型由下列圖示：/10/10神經網絡與模式識別研究室18神經網絡原理與應用第18頁/10/10神經網絡與模式識別研究室19它是一個多輸入單輸出非線性器件，其中X1,Xn為外界輸入信號，能夠是來自其它神經元輸出信號，Wi為連接權值， 為閾值,Yi為經神經元處理后輸出信號，神經元對外界輸入信號進行處理?？煞譃槿剑?1）加權求和 2）閾值比較 3）非線性處理所以整個過程可由以下公式描述：神經網絡原理與應用第19頁對于不一樣神經網絡模型，其中

11、神經元非線性激勵函數f(.)可能取不一樣形式，慣用非線性函數有以下三種類型：a)閾值型: 這是最早提出二值離散神經元模型。/10/10神經網絡與模式識別研究室20神經網絡原理與應用第20頁 b)線性或分段線性型： /10/10神經網絡與模式識別研究室21神經網絡原理與應用第21頁 c)Sigmoidal函數型： 或 這類曲線可連續取值，反應了神經元飽和特征。/10/10神經網絡與模式識別研究室22神經網絡原理與應用第22頁 3.神經網絡連接方式神經網絡是由大量神經元以不一樣方式連接而成大規模復雜系統，不一樣網絡模型可能含有不一樣連接方式，慣用連接方式有：/10/10神經網絡與模式識別研究室23

12、神經網絡原理與應用第23頁 1)不含反饋前向網絡：這種網絡中神經元分層排列，每層神經元只接收前一層神經元輸入。感知器和BP網絡，徑向基函數網絡等均是這種類型。/10/10神經網絡與模式識別研究室24神經網絡原理與應用第24頁 2)從輸出層到輸入層有反饋前向網絡： 如：ART網絡（自適應共振理論網絡）神經網絡原理與應用第25頁 3)層內有相互接合前向網絡，經過層內相互接合可到達同層中神經元之間側向抑制和興奮機制。 如：SOFM網絡（自組織特征映射網絡）/10/10神經網絡與模式識別研究室26神經網絡原理與應用第26頁4)全互聯網絡（相互結合型網絡）網絡中各神經元之間都有可能連接，在這種網絡中信號

13、要在神經元之間重復往返屢次傳遞，網絡狀態不停改變，直到某時刻才到達某種平衡狀態。 HNN和Boltzman機等網絡均屬于這種。神經網絡原理與應用第27頁4.神經網絡工作方式及學習規則在傳統數字計算機中，計算與存放是完全獨立兩個部分，即計算機在計算之前要從存放器中取出待處理數據，然后計算，最終又將結果存入存放器，這么存放器與計算器之間通道就組成了計算機瓶頸，從而大大限制了它運算能力。/10/10神經網絡與模式識別研究室28神經網絡原理與應用第28頁 在人工神經網絡中，信息存放與處理是合二為一，即信息存放表達在神經元連接權值分布之中，并以大規模并行分布方式處理。神經網絡信息處理過程能夠分為兩個階段

14、，一個是學習期，此時各神經元狀態不變，而各連接權值經過學習進行修正，這個過程相對較慢，權值調整過程即為學習過程，最終權值分布即為長久記憶。/10/10神經網絡與模式識別研究室29神經網絡原理與應用第29頁而另一階段則是工作期，此時神經網絡已經訓練好，連接權值保持不變，即經過信息不停傳遞，使各神經元狀態發生改變，從而使網絡最終到達一個穩定平衡態，這就像人腦尋找記憶過程，這一過程相對較快，各神經元狀態也稱之為短期記憶。/10/10神經網絡與模式識別研究室30神經網絡原理與應用第30頁不一樣網絡學習規則有所不一樣，學習規則即為權值調整一個算法，有網絡學習或權值調整是在網絡信息處理過程中自發地完成，而

15、有網絡則需要從例子中進行學習，慣用學習規則有以下幾個：/10/10神經網絡與模式識別研究室31神經網絡原理與應用第31頁1)相關規則：僅依據連接間激活水平改變權值，比如Hebb規則為： 與條件反射學說相一致，即外界激勵越強，神經元越興奮，連接權值越增強。/10/10神經網絡與模式識別研究室32神經網絡原理與應用第32頁2)糾錯規則：依賴于輸出節點外部反饋信息改變權值，相等于梯度下降法，經過改變權值不停糾正錯誤，從而到達最終所期望輸出。所以需要有一個指導信號或參考信號，這種規則又稱為有導師監督學習規則。/10/10神經網絡與模式識別研究室33神經網絡原理與應用第33頁4)無導師監督學習規則：這種

16、規則是網絡經過向外界客觀事物學習，自發地完成權值修正，希望經過修正權值，以使網絡能客觀反應事物真實分布，學習過程是經過競爭而自適應地進行，從而使不一樣節點有選擇地接收或響應輸入空間中含有不一樣特征激勵。/10/10神經網絡與模式識別研究室34神經網絡原理與應用第34頁四ANN分類及研究方向 當前神經網絡模型已經有近百種，不一樣模型從不一樣側面模擬人腦一些特征，所以能夠完成不一樣功效。假如說要將神經網絡進行分類話，能夠從以下幾個方面進行分類：/10/10神經網絡與模式識別研究室35神經網絡原理與應用第35頁 1.按網絡性能可分為： 連續型與離散型 確定性與隨機性網絡2.按網絡結構可分為： 反饋網

17、絡，存在穩定性問題 前向網絡，不存在穩定性問題，只有 算法收斂性3.按學習方式可分為： 有導師學習網絡 無教師學習網絡/10/10神經網絡與模式識別研究室36神經網絡原理與應用第36頁4.按連接突觸性質可分為：一階線性關聯網絡高階非線性關聯網絡5.按網絡模型所模擬人腦神經系統功效層次可分為：神經元層次模型：研究單個神經元特征及對輸入響應機理。如 Adaline組合式模型：由數種不一樣特征神經元組成，它們相互補充，相互協作，完成一些特定功效。如模式識別等。/10/10神經網絡與模式識別研究室37神經網絡原理與應用第37頁 網絡層次模型：由許多相同神經元互聯而成，從整體上研究網絡集體特征。如HNN

18、等。神經系統層次模型：由多個不一樣性質網絡組成復雜系統，模擬生物神經系統更復雜或更抽象性質。如概念形成。智能型模型：這是最抽象層次，試圖模擬人腦信息處理過程和策略。如感知，思維等過程。/10/10神經網絡與模式識別研究室38神經網絡原理與應用第38頁近年來，神經網絡受到了國內外科技人員廣泛關注，得到了大量研究，歸納起來，研究主要包含三個方面：理論應用實現其特點和詳細研究課題介紹以下：/10/10神經網絡與模式識別研究室39神經網絡原理與應用第39頁1理論研究： 其特點是NN數學理論相對比較微弱，所以輕易提出一些新方法和新思想，這方面研究課題主要包含： a)模型研究： 比如人腦生理結構、思維機制

19、、神經元生物特征（時空特征）、不應期、電化學性質等完善人工模擬，如高階非線性模型，多維局域連接模型等。/10/10神經網絡與模式識別研究室40神經網絡原理與應用第40頁神經網絡計算模型及學習算法等研究。比如提出一些新網絡結構，不一樣神經元模型和非線性特征及新學習方法（混沌神經元，含糊神經元，隨機邏輯神經元，高斯型非線性特征，負阻型非線性特征，隨機算法，模擬退化算法，強化學習算法，遺傳算法等）/10/10神經網絡與模式識別研究室41神經網絡原理與應用第41頁 b）神經網絡基本理論研究 非線性內在機制-自適應、自組織、協同作用、突變、奇怪吸引子與混沌、分維、耗散結構、隨機非線性動力學等。 神經網絡基本性能：穩定性、收斂性、容錯性、魯棒性、動力學復雜性等。/10/10神經網絡與模式識別研究室42神經網絡原理與應用第42頁 NN計算能力與判別準則計算能力、準確性、存放容量、準則表示、綜合性能判別等。 關于智能本質研究，這是自然科學與哲學課題之一，成各學科共同關心焦點。/10/10神經網絡與模式識別研究室43神經網絡原理與應用第43頁2.應用研究其特點是還處于起始研究階段，但因為NN本身所含有特點，使得其應用非常廣泛，所以應用研究范圍也相當廣泛。 比如神經網絡在智能信息處理方面應用研究包含：/10/10神經網絡與模式識別研究室44神經網絡原理與應