1多層神經(jīng)網(wǎng)絡鄒臘梅2013Artificial

Neural

Networks

(ANN)華技大學自動化學院智能科學與技術系圖像分析與智能系統(tǒng)研究室曹治國Ref.

Duda第六章2人工神經(jīng)網(wǎng)絡發(fā)展概況人工神經(jīng)網(wǎng)絡(Artificial

Neural

Networks，ANN)：簡稱神經(jīng)網(wǎng)絡。模擬人腦神經(jīng)細胞的工作特點：單元間的廣泛連接；并行分布式的信息存貯與處理；自適應的學習能力等。與目前按串行安排程序指令的計算機結構截然不同。優(yōu)點：較強的容錯性;很強的自適應學習能力；可將識別和若干預處理融為一體進行；3(4)

并行工作方式；，具有魯棒性。(5)

對信息采用分布式四個發(fā)展階段：第一階段：啟蒙期，始于1943年。形式神經(jīng)元的數(shù)學模型提出。第二階段：

，始于1969年。《感知器》(Perceptions)一書，局限性。第三階段：復興期，從1982年到1986年。Hopfield的兩篇

提出新的神經(jīng)網(wǎng)絡模型；《并行分布處理》

，提出反向

算法。第四個階段：1987年至今，趨于平穩(wěn)。回顧性綜述文章“神經(jīng)網(wǎng)絡與人工智能”。1.

多層感知器網(wǎng)絡（MLP，Multilayer

Perceptron）神經(jīng)元模型fw

x

,i i

i1y

f

wt

x

f

df稱為激活函數(shù)解決異或問題的多層感知器輸入層隱含層輸出層wji突觸權多層感知器的分類原理隱含層實現(xiàn)對輸入空間的非線性 ，輸出層實現(xiàn)線性分類；非線性 方式和線性判別函數(shù)可以同時學習。激活函數(shù)f

x

1,x

01,

x

0也可以是對稱閾值函數(shù)xf(x)f

x

x線性函數(shù)閾值函數(shù)激活函數(shù)（續(xù)）1f

x

1

e

x0<f(x)<1對數(shù)Sigmoid函數(shù)雙曲正切Sigmoid函數(shù)ex

e

xf

x

tanh(

x)

ex

e

xSigmoid函數(shù)可以看作是閾值函數(shù)的近似，但具有好的分析性質，可以進行微分。di

=1di

=0jj0

i

jii

jij≡

wt

.x

,+

w

=

∑

x

wnet

=

∑

x

wy

j

f

(net

j

)k=

wt

.y,nH

nHnetk

=

∑

y

jwkj

+

wk

0

=

∑

y

jwkjj

=1

j

=0zk

f

(netk

)多層感知器網(wǎng)絡的設計選定層數(shù)：通常采用三層網(wǎng)絡，增加網(wǎng)絡層數(shù)并不能提高網(wǎng)絡的分類能力；輸入層：輸入層節(jié)點數(shù)為輸入特征的維數(shù)d，函數(shù)采用線性函數(shù)；隱含層：隱含層節(jié)點數(shù)需要設定，一般來說，隱層節(jié)點數(shù)越多，網(wǎng)絡的分類能力越強， 函數(shù)一般采用Sigmoid函數(shù)；輸出層：輸出層節(jié)點數(shù)可以等于類別數(shù)c，也可以采用編碼輸出的方式，少于類別數(shù)c，輸出函數(shù)可以采用線性函數(shù)或

Sigmoid函數(shù)。剩下的問題就是提供訓練樣本集合（包含期望輸出），采用一定的算法來訓練MLP網(wǎng)絡的所 值。三層網(wǎng)絡的判別函數(shù)形式d

nHwj

0

wk0

j1

i1

gk

x

f2

wkj

f1

wji

xi第k個輸出層神經(jīng)元的輸出，其中d為特征維數(shù)，nH為隱層節(jié)點數(shù)。此過程稱為前饋計算過程，是識別過程。H6.2

MLP的訓練--誤差反向

算法（BP，Backpropagation

algorithm）BP算法的實質是一個均方誤差最小算

MS)符號定義：訓練樣本x，期望輸出t=(t1,…,

tc)，網(wǎng)絡實際輸出z=(z1,…,

zc)，隱層輸出y=(y1,…,

yn

)，第k個神經(jīng)元的k凈輸出net

。目標函數(shù)：J

w

221

12ciit

z2

i1t

-

z

Jwm1

wm

wm

wmη

w迭代公式：反向

學習規(guī)則是基于梯度下降法的。權值首先被初始化為隨機值，然后向誤差減少的方向調整。輸出層netkkjwkj

netk

wJ

JnHnetk

wki

yi,i1

J

J

zkjnetk

ywkj

tk

zk

f

netk

knetk

zk

netkj

J

tk

zk

f

netk

yj

δk

y

jwδk

tk

zk

f

netk

激活函數(shù)為線性函數(shù)時，f’(net)=1;激活函數(shù)為對數(shù)Sigmoid函數(shù)，f’(net)=y(1-y)綜上所述:

隱含層到輸出層的權值更 則為以3層網(wǎng)絡為例說明。其中：鏈式法則單元k的敏感度wkj

ηδk

y

j

η(tk

zk

)

f

'(netk

)

y

j隱含層...yjwj1w1jwjd輸入層隱含層...x1xiwjixd......wkjwcj輸出層

z1

zk

zc

yj

netjwji

yj

netj

wji

J

Jyjj

f

net

jnetdnet

jjm m

ijiw

w

ji

m1

w

x

x鏈式法則隱含層（續(xù)）J

1

cc2

t

zzkjy

t

zjy

y

2j

k1

k1kk

k

kkk

t

z

f

net

wk

kjk1k1kk

knetk

yjct

z

z

net

k

cj

iji

Jt

z

f

net

w

f

net

xk

k

k kj

k

1

cck

1jj

fnet

k

kjδ

w其中：δj

ijiw

J

δ

x

,w綜上所述:輸入層到隱含層的權值更則為:

jw

ji

x

i

j

w

kj

k

f

'

(

netj

)

x

i迭代公式輸出層：隱含層：k

jkj

J

δ

y

,wδk

tk

zk

f

netk

j

i

δ

x

,ji

Jw

cjδ

fnetδ

wk

1j

k

kj單元k的敏感度隱單元的敏感度誤差反向

cjjk

kjδ

fnetδ

wk

1BP算法—隨機反向BP算法—批量修改begin

initialize

nH，w，θ，η，r??0do

r??r+1m??0;Δwji??0;Δwkj??0do

m??m+1xm??select

patternΔwji

??Δwji+ηδjxi;Δwkj

??Δwkj+ηδkyjuntil

m

=

nwji??

wji+Δwji;

wkj??

wkj+Δwkjuntil

||▽J(w)||<θreturn

w11.

endr稱為回合數(shù)。1、輸入樣本，前饋計算每個神經(jīng)元的輸出值。2、反饋計算每個權值的調整量，由輸出層向輸入層反向計算。BP算法的一些實用技術激活函數(shù)的選擇：一般可以選擇雙曲型的Sigmoid函數(shù)；目標值：期望輸出一般選擇(-1,+1)或(0,1)；規(guī)格化：訓練樣本每個特征一般要規(guī)格化為0均值和標準差；權值初始化：期望每個神經(jīng)元的-1<net<+1，因此權值一般初始化為

1

d

；d

w1學習率的選擇：太大容易發(fā)散，太小則收斂較慢；沖量項：有助于提高收斂速度。wm1

wm1αwbp

mαwm16.3

多層感知器網(wǎng)絡存在的問題1.

BP算法的收斂速度一般來說比較慢；多層感知器網(wǎng)絡存在的問題2.

BP算法只能收斂于局部最優(yōu)解，不能保證收斂局最優(yōu)解；多層感知器網(wǎng)絡存在的問題3.當隱層元的數(shù)量足夠多時，網(wǎng)絡對訓練樣本的識別率很高，但對測試樣本的識別率有可能很差，即網(wǎng)絡的推廣能力有可能較差。多層感知器網(wǎng)絡存在的問題6.4

提高收斂速度的方法一個比較直觀的想法是通過增大學習率來提高收斂速度，但這樣有可能造成算法發(fā)散。break2013-12-1030

30徑向基函數(shù)網(wǎng)絡（Radial

Basis

Function

Networks(RBF)）函數(shù)的變量是輸入向量x與中心ci的歐式距離選擇i2σ

2x

ci

2

if

(x)

exp

f

(

x

ci

)

2013-12-1031

31g(x)

w0

2i2σ2ki

1x

ciw

exp

i

322013-12-1032徑向基函數(shù)網(wǎng)絡與多層感知器之間存在本質區(qū)別：1，多層傳感器的第一隱層激活函數(shù)的輸入是輸入特j征參數(shù)（

w

j

x

j

）的線性組合，即每個神經(jīng)元的輸出都是相同的，則對超平面上所有點的輸出相同2，RBF網(wǎng)絡，對于所有與其中心

ci

的歐式距離相等的點，每個RBF的節(jié)點的輸出

f

i(.)

相同的，并且距離按指數(shù)減小。3，RBF網(wǎng)絡

點的激活響應是局部特性，而在多層感知器網(wǎng)絡中是全局響應4，多層感知器訓練比RBF慢，但擴展性更好。2013-12-1033

33例: XOR

問題假設:2

2

1

2

11

0

c

1,

c

0,

σ

σ

1

2

))221exp(

x

cexp(

x

cy

1

0.3680

0.368

0

0.3681

0.368,

1

0.1351

110

0

0.135,2013-12-1034

342

)

1

02)

exp(

x

cg(x)

exp(

x

c12g(

y)

y1

y2

1

0人工神經(jīng)網(wǎng)絡是由大量神經(jīng)元經(jīng)廣泛互聯(lián)組成的非線性網(wǎng)絡，單元間的連接強度從樣本中學習神經(jīng)網(wǎng)絡模型決定于神經(jīng)元類型，神經(jīng)元間的連接方式和學習算法MLP、RBF和SOFM是模式識別中應用最多的幾種模型end其他優(yōu)化方法二階技術隨機方法梯度下降法目標函數(shù)的一階

級數(shù)展開：t

wwwk

J

wJ

wk1

J

wk

wk

J

wk

wktwwk

w

J

wwk

t

wwwk

J

wJ

wk

wk

0目標函數(shù)增量：使目標函數(shù)下降最大：法目標函數(shù)的二階級數(shù)展開：2tkk

k

kwwwk

J

wJw

w

1

wt

HwdJ

wk

J

wdwk

wwwk

Hwk

0w

wk

J

wwk

H

1

wH是Hessian矩陣，求取目標函數(shù)增量的極大值：Quickprop算法wm

1

分別對每個參數(shù)進行優(yōu)化，權值增量由上一步的增量迭代計算：dJwm

dw

mdw

mdw

m1dJ

dJ共軛梯度法滿足如下條件的兩個方向α和β稱為關于矩陣H互為共軛方向：αtHβ

0對于二次優(yōu)化函數(shù)，權值沿著任意一個初始方向移動到最小點，然后再沿著該方向關于H的共軛方向移動到最小點即可達到全局最小點。共軛梯度法在第一個梯度方向上移動，尋找到這個方向上的局部極小點；在共軛方向上計算第二個搜索方向：wm

Jwm

βmwm1如算法未收斂，則繼續(xù)在共軛方向上計算下一個搜索方向。

mtβ

J

w

mt

J

w

m

J

w

m

1

J

w

m

1J

w

m

1Levenberg-Marquardt算法定義：vw

t

-

z

k

k

k

kk1

w

k

Jw

J

w

μ

I

J

w

v

w

t

t1

21212nwww

wwwwn

wwn

v1

wv2

wNv

w

v1

w

v1

w

v2

wv2

wJw

Nv

wNv

w權值增量：其中I為單位矩陣，μk

為參數(shù)，J為Jacobi矩陣：6.4

尋找全局最優(yōu)點全局最優(yōu)點的搜索一般采用隨機方法：模擬退火算法模擬進化計算–遺傳算法模擬退火思想模擬退火算法是由Kirkpatrick于1983年

，它的基本思想是將優(yōu)化問題與統(tǒng)計熱力學中的熱平衡問題進行類比；固體在降溫退火過程中，處于能量狀態(tài)E的概率P(E)服從Boltzmann分布：PE

expE

kT其中T是固體的溫度，k為Boltzmann常數(shù)分布模擬退火算法（SA,

Simulated

Annealing）模擬退火算法可以用來優(yōu)化能量函數(shù)E(w)，其中w為參數(shù)；首先設定一個較高的溫度T(1)，隨機初始化參數(shù)w1，計算能量E(w1)；對參數(shù)給予一個隨機擾動△w，w

2

=w1

+△w

，計算能量E(w2)；如果E(w2)<E(w1)，則接受改變，否則按照如下概率接受改變：逐漸降低溫度T(k)，直到0為止。P

expEw2

T

模擬退火算法應用于MLP的訓練初始化溫度T(0)，t??0，隨機初始化權值w0；應用BP算法搜索局部最優(yōu)解w(t)，計算局部最優(yōu)解目標函數(shù)值E(t)；隨機修正權值w’(t)=w(t)+△w

，計算修正后的目標函數(shù)值E’(t)；若E’(t)<E(t)，則確認修改，w(t)=w’(t)，E(t)=E’(t)；否則依據(jù)概率P=exp(-E’(t)/T(t))確認修改；溫度下降：T(t)=T(0)/[1+ln(t+100)]，如4，5步確認修改，轉移到2，否則轉移到3，直到溫度下降到一定閾值為止；模擬退火算法示例Ew模擬退火算法示例遺傳算法（GA，Genetic

Algorithm）遺傳算法是由Holland于1975年 ，它主要模擬自然界生物“適者生存，優(yōu)勝劣汰”的進化規(guī)則；遺傳算法主要是應用于各種組合最優(yōu)問題的求解，經(jīng)過一定的改進之后，也可以應用于MLP的權值學習。基本名詞：用一個二進制串表示；種群：多個構成一個種群；的評價，這是一個被優(yōu)化的適應度：對每個函數(shù)；：上一代的不發(fā)生任何改變，直接到下一代的種群中；，交交叉：兩條

混合，產(chǎn)生兩條新的叉發(fā)生的概率：Pco；在某些位改變自身，0→1或變異：一條1→0，在每一位上發(fā)生變異的概率：Pmut；基本遺傳算法作為初1.

begin

initialize

Pco,Pmut，隨機初始化L個始種群；do