計算智能人工神經網絡第一頁，共五十三頁，編輯于2023年，星期五第二頁，共五十三頁，編輯于2023年，星期五第三頁，共五十三頁，編輯于2023年，星期五第四頁，共五十三頁，編輯于2023年，星期五第五頁，共五十三頁，編輯于2023年，星期五第六頁，共五十三頁，編輯于2023年，星期五計算智能的概念計算智能（ComputationalIntelligence）1992—貝茲德克(Bezdek)：CI取決于數據，不依賴知識；AI應用知識精品.計算智能:生命科學+信息科學

計算智能是信息科學、生命科學、認知科學等不同學科相互交叉的產物。它主要借鑒仿生學的思想，基于人們對生物體智能機理的認識，采用數值計算的方法去模擬和實現人類的智能。計算智能的主要研究領域包括：神經計算、進化計算、模糊計算、螞群計算等。第七頁，共五十三頁，編輯于2023年，星期五計算智能的主要研究領域神經網絡是一種對人類智能的結構模擬方法，它是通過對大量人工神經元的廣泛并行互聯，構造人工神經網絡系統去模擬生物神經系統的智能機理的。進化計算是一種對人類智能的演化模擬方法，它是通過對生物遺傳和演化過程的認識，用進化算法去模擬人類智能的進化規律的。模糊計算是一種對人類智能的邏輯模擬方法，它是通過對人類處理模糊現象的認知能力的認識，用模糊邏輯去模擬人類的智能行為的。第八頁，共五十三頁，編輯于2023年，星期五人工智能與計算智能

AI：基于知識處理CI：基于數值計算高級認知形式低級認知形式邏輯計算自然計算推理學習優化適應計算復雜度：CI--〉AI--–〉BI(Biological)大量實踐證明，只有把AI和CI很好地結合起來，才能更好地模擬人類智能，才是智能科學技術發展的正確方向。第九頁，共五十三頁，編輯于2023年，星期五CNNCPRCIANNAPRAIBNNBPRBI人類知識(+)傳感輸入知識(+)傳感數據計算(+)傳感器B~生物的A~符號的C~數值的復雜性復雜性輸入層次貝慈德克的智能的3個層次第十頁，共五十三頁，編輯于2023年，星期五組合優化問題求解局部搜索（LS：LocalSearch）遺傳算法(GA：GeneticAlgorithm)人工神經網絡（ANN:ArtificialNeuralNetwork）模擬退火算法（SA：SimulatedAnnealing）螞蟻群算法(ACA：AntColonyAlgorithm)免疫算法(IA：ImmuneAlgorithm)粒子群優化算法（PSO：ParticleSwarmOptimization）……第十一頁，共五十三頁，編輯于2023年，星期五第六章人工神經網絡

(ANN:ArtificialNeuralNetwork)人工神經網絡概述多層前饋神經網絡(BP網絡)HOPFIELD神經網絡HOPFIELD網絡應用第十二頁，共五十三頁，編輯于2023年，星期五6.1人工神經網絡概述(一)人工神經網絡(ArtificialNeuralNetwork:ANN):抽象,簡化與模擬大腦生物結構的計算模型,也稱連接主義或并行分布處理(ParalellDistributedProcessing:PDP)模型人工神經元ANN的三大要素:神經元，網絡拓撲結構,學習算法拓撲結構:分層結構,互連結構學習算法:監督型(有指導),非監督型(沒指導)第十三頁，共五十三頁，編輯于2023年，星期五生物神經元結構第十四頁，共五十三頁，編輯于2023年，星期五神經元的工作機制神經元組成：細胞體（處理器）、樹突（輸入端）、軸突（輸出端）神經元有兩種工作狀態：興奮和抑制神經元間的連接權是可以接受外界刺激而改變的，這構成了學習機能的基礎。第十五頁，共五十三頁，編輯于2023年，星期五什么是神經元網絡神經元網絡(NeuralNet)指由大量神經元互連而成的網絡，有點象服務器互連而成的國際互連網(Internet).人腦有1000億個神經元，每個神經元平均與10000個其他神經元互連，這就構成了人類智慧的直接物質基礎。第十六頁，共五十三頁，編輯于2023年，星期五人工神經元的基本結構∑x1xnxiF()yi=f(uj)=f（∑wixi-θ）ujw1wnwi激勵函數(或傳播函數)要素:權值(wi),門限值(θ),非線性激勵函數(f)狀態:被激活的興奮狀態(ui>=θ)

沒被激活的抑制狀態(ui<θ)第十七頁，共五十三頁，編輯于2023年，星期五常用神經元激勵函數(一)1-1a階躍函數1-1b斜坡函數f(x)=1x≥1kx-1<x<1-1x≤-1f(x)=1x≥0-1x<0第十八頁，共五十三頁，編輯于2023年，星期五常用神經元激勵函數(二)1-1Sigmoid函數f(x)=1/(1+exp(-x))第十九頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijhi)-θj)激勵函數為Sigmoid多層神經網絡輸入層隱層1x1xny1yn隱層2輸出層Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)第二十頁，共五十三頁，編輯于2023年，星期五6.1人工神經網絡概述(二)ANN的突出特點信息的分布存儲：即使局部損壞，通過聯想可恢復。自適應,自組織,自學習：根據環境自動改變網絡及結構。

并行處理：速度快。非線性映射：任意精度逼近。從訓練樣本中自動獲得知識：特別是針對復雜環境。ANN的應用---走向實用化診斷與檢測：疾病診斷、故障檢測等。識別：圖像、文字、指紋、語音等。分析與預測：天氣、市場、股票，決策控制、管理等。第二十一頁，共五十三頁，編輯于2023年，星期五6.1人工神經網絡概述(二)ANN的分類拓撲結構：無反反饋/有反饋、層次/全連接學習方法：有教師/無教師網絡性能：連續型/離散型、線性/非線性確定性：確定性/隨機型ANN的發展到50年代中期前到60年代末期到80年代初期至今 產生時期-〉高潮時期-〉低潮時期-〉蓬勃發展時期神經元模型 雙層感知器模型69年Minsky論著 1982年Hopfield的成功求解TSPNP難題第二十二頁，共五十三頁，編輯于2023年，星期五6.2單層感知機神經網絡(一)單層感知機神經網絡

:1957年Rosenblatt提出,可實現二分類學習算法(為二分類問題) Step1初始化勸值(wi)以及閥值

Step2提交訓練示例(x1,…,xn,d),

如x屬于A類,d=1;否則x屬于B類,d=0; Step3計算輸出

Step4修正數值:wij(t+1)=wij(t)+k[dj(t)-yj(t)]yj(t) Step5goto2,直到w對一切樣本都穩定不變.

當f=sgn(wx-θ)時,以上學習算法一定收斂.第二十三頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijxi)-θj)單層感知機神經網絡基本結構輸入部分輸出層x1xny1ymwij可解決的問題

兩類線性可分模式的分類問題不能解決的問題復雜的模式分類問題第二十四頁，共五十三頁，編輯于2023年，星期五

使用感知機的主要目的是為了對外部輸入進行分類。羅森勃拉特已經證明，如果外部輸入是線性可分的（指存在一個超平面可以將它們分開），則單層感知器一定能夠把它劃分為兩類。其判別超平面由如下判別式確定：

作為例子，下面討論用單個感知器實現邏輯運算的問題。事實上，單層感知器可以很好地實現“與”、“或”、“非”運算，但卻不能解決“異或”問題。

第二十五頁，共五十三頁，編輯于2023年，星期五

y=f(w1x1+w2x2-θ)單層感知機分類器實例輸入部分輸出層x1x2yw2w1第二十六頁，共五十三頁，編輯于2023年，星期五例1“與”運算（x1∧x2）(0,0)(1,1)(0,1)(1,0)與運算問題圖示輸入輸出超平面閾值條件x1x2x1∧x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0010w1*0+w2*1

-θ＜0θ＞w2100w1*1+w2*0-θ＜0θ＞w1

111w1*1+w2*1-θ≥0θ≤w1+w2

可以證明此表有解，例如取w1=1，w2=1，θ=1.5，其分類結果如右圖所示。其中，輸出為1的用實心圓，輸出為0的用空心圓。后面約定相同。第二十七頁，共五十三頁，編輯于2023年，星期五例2“或”運算（x1∨x2）輸入輸出超平面閾值條件x1x2x1∨x2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1

-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

111w1*1+w2*1-θ≥0θ≤w1+w2

此表也有解，例如取w1=1，w2=1，θ=0.5，其分類結果如右圖所示。(0,1)(0,0)(1,0)與運算問題圖示(1,1)第二十八頁，共五十三頁，編輯于2023年，星期五例3“非”運算（?x1）輸入輸出超平面閾值條件x1?x1w1*x1-θ=001w1*0-θ≥0θ≤010w1*1

–θ<0θ>w1此表也有解，例如取w1=-1，θ=-0.5，其分類結果如右圖所示。非運算問題圖示01第二十九頁，共五十三頁，編輯于2023年，星期五例4“異或”運算（x1XORx2）輸入輸出超平面閾值條件x1x2X1XORx2w1*x1+w2*x2-θ=0000w1*0+w2*0-θ＜0θ＞0011w1*0+w2*1-θ≥0θ≤w2101w1*1+w2*0-θ≥0θ≤w1

110w1*1+w2*1-θ<0θ>w1+w2

此表無解，即無法找到滿足條件的w1、w2和θ，如右圖所示。因為異或問題是一個非線性可分問題，需要用多層感知器來解決。(0,1)(0,0)(1,0)異或運算問題圖示(1,1)第三十頁，共五十三頁，編輯于2023年，星期五XOR問題A2(1,1)A1(0,0)B1(1,0)B2(0,1)無法用一條直線把節點正確分開---非線性問題第三十一頁，共五十三頁，編輯于2023年，星期五XOR問題A2(1,1)A1(0,0)B1(1,0)B2(0,1)可以用二條直線把節點正確分開---多層網絡第三十二頁，共五十三頁，編輯于2023年，星期五6.2多層前饋網絡(二)多層感知機神經網絡(MPNN)MPNN的計算能力:激勵函數為S型函數時,

二層MPNN:足可以解決任意分類判定問題.

三層MPNN:可形成任意復雜決策區域,以任意精度逼近任何連續函數.MPNN的應用領域:函數逼近,模式識別,分類等.BP學習算法:第三十三頁，共五十三頁，編輯于2023年，星期五yj=f((∑wijhi)-θj)激勵函數為Sigmoid三層感知機神經網絡基本結構簡化圖輸入層隱層1x1xny1yn隱層2輸出層Hj=f((∑wijxi)-θj)hj=f((∑wijhi)-θj)第三十四頁，共五十三頁，編輯于2023年，星期五x11y=x1

XORx2x1X2x121-1111-1輸入層隱層輸出層權值權值圖5.14“異或”問題的多層感知器閾值0.5閾值-1.5閾值1.5(0,1)(0,0)(1,0)圖5.15異或問題的解決(1,1)隱層神經元x11所確定的直線方程為它可以識別一個半平面。隱層神經元x12所確定的直線方程為它也可以識別一個半平面。輸出層神經元所確定的直線方程為它相當于對隱層神經元x11和x12的輸出作“邏輯與”運算，因此可識別由隱層已識別的兩個半平面的交集所構成的一個凸多邊形，如圖所示。

y=x1XORx2=(x1Vx2)AND(-x1V-x2)第三十五頁，共五十三頁，編輯于2023年，星期五反向傳播法(BackPropagation)(一)反向傳播法(BP):1985年Rumellart等提出.

正向計算

:正向計算各層輸出,計算最終輸出與目標輸出間的誤差.

反向計算

:逐層傳播誤差信號,修正勸值,直到誤差小于給定值. Step1初始化勸值(wij)及閥值為小的隨機數. Step2施加輸入(x0,x1,…,xn-1),期待輸出(d0,d1,…,dn-1) Step3正向計算:各層的輸出y0,y1,…,yn-1 Step4反向計算:wij(t+1)=wij(t)+kδiX’i(t) Step5goto3,直到w對一切樣本都穩定不變.輸出層:δi=yi(1-yi)(di-yi)中間層:δi=x’i(1-x’i)∑δkwik第三十六頁，共五十三頁，編輯于2023年，星期五反向傳播法(BP)(二)優點:算法推導清楚,精度高.計算能力強.

訓練后的網絡運行速度塊.缺點:非線性優化,可能陷入局部最小區間.

學習算法的收斂速度慢，可能不收斂.

網絡中隱含節點的設置無理論指導.第三十七頁，共五十三頁，編輯于2023年，星期五基于神經網絡的知識表示與推理

基于神經網絡的知識表示并不像在產生式系統中那樣獨立地表示為每一條規則，而是將某一問題的若干知識在同一網絡中表示（分布式）。例如，在有些神經網絡系統中，知識是用神經網絡所對應的有向權圖的鄰接矩陣及閾值向量表示的。第三十八頁，共五十三頁，編輯于2023年，星期五異或邏輯的神經網絡第三十九頁，共五十三頁，編輯于2023年，星期五鄰接矩陣第四十頁，共五十三頁，編輯于2023年，星期五如果用產生式規則描述，則該網絡代表下述四條規則：IFx1=0ANDx2=0THENy=0IFx1=0ANDx2=1THENy=1IFx1=1ANDx2=0THENy=1IFx1=1ANDx2=1THENy=0第四十一頁，共五十三頁，編輯于2023年，星期五基于神經網絡的推理基于神經網絡的推理是通過網絡計算實現的。把用戶提供的初始證據用作網絡的輸入，通過網絡計算最終得到輸出結果。第四十二頁，共五十三頁，編輯于2023年，星期五正向神經網絡推理的特征同層神經元完全并行，層間的信息傳遞串行。計算的數據結果是確定的，不會出現推理沖突。學習訓練的模式是自適應推理。每個神經元的計算可以分為已知輸入加權和與未知輸入加權和，如果前者大于后者，則未知輸入的輸入不影響結果判斷，從而在信息不完全時，照樣可以進行推理。第四十三頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經網絡(一)HOPFIELD神經網絡(HOP網絡):全連接網絡同步離散HOP網絡:S(t+1)=sgn{WS(t)+I}

W:權值矩陣S:狀態向量

當神經元不斷更新狀態使S(t+1)=S(t)時,網絡收斂.主要用于:組合優化,記憶與聯想.驗證HOP網絡的穩定性:能量函數是下降函數

E=-1/2∑∑wijvivj+∑θiviwii=0,wij=wji

設只有一個神經元的狀態變化(1->0),那么E的增量:

ΔEi=1/2∑wijvj–θi

系統的穩定條件為：

θi>=∑wij第四十四頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經網絡(二)

節點間的權值：wij每個節點的狀態：sisi=1如果

WS(t)+I>00其他情況wij第四十五頁，共五十三頁，編輯于2023年，星期五6.3HOPFIELD神經網絡(三)能量函數:決定網絡的平衡狀態,函數的極小點就是網絡的平衡狀態.設計能量函數,利用極小點(平衡狀態)存儲信息. m Wij=k∑(2xi-1)(2xj-1)i≠j其它wij=0; s=1

第四十六頁，共五十三頁，編輯于2023年，星期五6.3HOP網絡應用(一)1N皇后問題問題表示:矩陣能量函數:E=A/2∑(∑sij-1)2+A/2∑(∑sij-1)2

+(A+B)/2∑∑sij(1-sij) +C/2∑∑∑sij(si+k,j+k+si+k,j-k)ijiiijjj第四十七頁，共五十三頁，編輯于2023年，星期五6.3HOP網絡應用(二)2二分圖問題問題表示:連接矩陣Csi=1若節點i屬于節點集合A-1若節點i屬于節點集合B

問題可轉化為：在∑si=0的條件下，最小化-∑∑cijsisj能量函數:?第四十八頁，共五十三頁，編輯于2023年，星期五6.3HOP網絡應用(二)2二分圖問題問題表示:連接矩陣Csi=1若節點i屬于節點集合A-1若節點i屬于節點集合B

問題可轉化為：在