1卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展及其特點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)模型卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練卷積神經(jīng)網(wǎng)絡(luò)應(yīng)用于人臉識別2Hubel和Wiesel在研究貓腦皮層中用于局部敏感方向選擇的神經(jīng)元時，發(fā)現(xiàn)其獨(dú)特的網(wǎng)絡(luò)結(jié)構(gòu)可以有效降低反饋神經(jīng)網(wǎng)絡(luò)的復(fù)雜性。Fukushima提出了第一個基于神經(jīng)元之間的局部連接型和層次結(jié)構(gòu)組織的用于轉(zhuǎn)化圖像的網(wǎng)絡(luò)Neocognition.根據(jù)Fukushima的觀點(diǎn)，LeCun提出了以LeNet為代表的卷積神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)的發(fā)展3卷積神經(jīng)網(wǎng)絡(luò)的特點(diǎn)卷積神經(jīng)網(wǎng)絡(luò)是一類特別設(shè)計用來處理二維數(shù)據(jù)的多層神經(jīng)網(wǎng)絡(luò)。卷積神經(jīng)網(wǎng)絡(luò)被認(rèn)為是第一個真正成功的采用多層層次結(jié)構(gòu)網(wǎng)絡(luò)的具有魯棒性的深度學(xué)習(xí)方法。用卷積神經(jīng)網(wǎng)絡(luò)做圖像處理時，原始圖像不需要太多的預(yù)處理就可以較好地學(xué)習(xí)到圖像的不變性特征。權(quán)值共享、局部感受野和子采樣是卷積神經(jīng)網(wǎng)絡(luò)不同于其它神經(jīng)網(wǎng)絡(luò)的三個主要特征。4卷積神經(jīng)網(wǎng)絡(luò)模型輸入圖像通過濾波器和可加偏置進(jìn)行卷積得到C1層；對C1層的特征圖進(jìn)行下采樣得到S2層；對S2層的特征圖進(jìn)行卷積得到C3層；對C3層的特征圖進(jìn)行下采樣得到S4層；S4層的特征圖光柵化后變成的向量輸入到傳統(tǒng)的全連接神經(jīng)網(wǎng)絡(luò)進(jìn)行進(jìn)一步分類，得到輸出；輸入C1S2C3S4NN5卷積和下采樣（降采樣）過程

∑

X∑

*∑input

6卷積過程池化過程：取某個特定區(qū)域的最大值或平均值1110001110001110011001100101010101111011001

×圖像卷積特征5249386161839138取平均值947卷積神經(jīng)網(wǎng)絡(luò)的訓(xùn)練過程第一階段：前向傳播過程第二階段：反向傳播過程從樣本集中取一個樣本輸入到網(wǎng)絡(luò)中；計算相應(yīng)的實(shí)際輸出；在這個階段，輸入的信息經(jīng)過逐層變換，傳輸?shù)捷敵鰧印Ｖ饕乔跋虻奶卣魈崛　Ｓ嬎銓?shí)際輸出與期望輸出的差；按極小化誤差的方法反向傳播，調(diào)整權(quán)值矩陣；反向傳播就是誤差的反向反饋和權(quán)值的更新。8網(wǎng)絡(luò)訓(xùn)練流程圖圖像輸入卷積和采樣過程全連接層輸出層是否符合期望輸出結(jié)果參數(shù)初始化前向反饋?zhàn)儞Q、計算增強(qiáng)、邏輯回歸是前向傳播否誤差反饋權(quán)值更新反向傳播9OlivettiFaces是紐約大學(xué)的一個比較小的人臉庫包含40個人的人臉圖片，每個人10張人臉樣本，共400份樣本10程序所參考的卷積神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)：LeNet-5兩個“卷積+子采樣層”LeNetConvPoolLayer全連接層相當(dāng)于MLP（多層感知機(jī)）中的隱含層HiddenLayer輸出層采用邏輯回歸LogisticRegressioninput+layer0(LeNetConvPoolLayer)+layer1(LeNetConvPoolLayer)+layer2(HiddenLayer)+layer3(LogisticRegression)11程序模塊介紹加載圖像數(shù)據(jù)函數(shù)：load_data(dataset_path)卷積+采樣層：classLeNetConvPoolLayer(object)全連接層（隱藏層）：classHiddenLayer(object)分類器，即CNN最后一層：classLogisticRegression(object)保存訓(xùn)練參數(shù)函數(shù)：save_params(param1,param2,param3,param4)12learning_rate=0.05 //學(xué)習(xí)速率batch_size=40 //一次輸入CNN的樣本數(shù)n_epochs=100 //最大訓(xùn)練步數(shù)nkerns=[20,50] //第一層卷積核個數(shù)為20，

第二層卷積核個