1、深度學習之深度學習之概述12網絡結構特點34研究方法目目 錄錄CONTENTS概述1網絡結構3特點42研究方法概述概述Background20世紀60年代，Hubel和Wiesel在研究貓腦皮層中用于局部敏感和方向選擇的神經元時發現其獨特的網絡結構可以有效地降低反饋神經網絡的復雜性，繼而提出了卷積神經網絡（Convolutional Neural Networks-簡稱CNN）。概述概述Background概述1網絡結構3特點42研究方法研究方法研究方法ResearchMethodBP與CNN研究方法研究方法ResearchMethod全連接與局部連接CNN與標準的BP最大的不同是：CNN中相

2、鄰層之間的神經單元并不是全連接，而是部分連接，也就是某個神經單元的感知區域來自于上層的部分神經單元，而不是像BP那樣與所有的神經單元相連接。二維空間上的局部接受域使得神經網絡可以從輸入圖像中提取初級視覺特征，如特定角度的邊緣，端點和拐角等。 權值共享迫使那些共享同一組權值的神經元在輸入的不同位置檢測同一種特征。卷積神經網絡把每層共享相同權值的神經元組織成一個二維平面，稱為特征圖(Feature Map)，局部接受域和權值共享研究方法研究方法ResearchMethod輸出的結構的基礎上在特征圖的不同位置的值進行統計操作，在保留特征的顯著性的同時降低參數規模。使用統計后的結果代替原來特征圖上對應

3、的值作為輸出，這個操作過程就被稱之為池化操作。一般分為兩種，平均池化、最大池化和隨機池化。池化操作研究方法研究方法ResearchMethod概述1網絡結構3特點42研究方法網絡結構網絡結構NetworkStructureCNN一般采用卷積層與采樣層交替設置，即一層卷積層接一層采樣層，采樣層后接一層卷積.這樣卷積層提取出特征，再進行組合形成更抽象的特征，最后形成對圖片對象的描述特征，CNN后面還可以跟全連接層，全連接層跟BP一樣。結構示意圖網絡結構網絡結構NetworkStructure網絡初始化CNN的初始化主要是初始化卷積層和輸出層的卷積核（權重）和偏置，對卷積核和權重進行隨機初始化，而對

4、偏置進行全0初始化。輸入層：輸入層沒有輸入值，只有一個輸出向量，這個向量的大小就是圖片的大小，即一個32*32矩陣卷積核大小為2*2，上一層的特征map大小為4*4，用這個卷積在圖片上滾一遍，放到上面逐個移動，得到一個一個(4-2+1)*（4-2+1）=3*3的特征map，卷積核每次移動一步。卷積層網絡結構網絡結構NetworkStructure卷積層C3網絡結構網絡結構NetworkStructureC3的前6個特征圖以S2中3個相鄰的特征圖子集為輸入。接下來6個特征圖以S2中4個相鄰特征圖子集為輸入。然后的3個以不相鄰的4個特征圖子集為輸入。最后一個將S2中所有特征圖為輸入。這樣C3層有1

5、516個可訓練參數和151600個連接。15165*5*（6*3+6*4+3*4+6）+16卷積層的每一個特征map是不同的卷積核在前一層要求的map上作卷積并將對應元素累加后加一個偏置，再求sigmod得到的。 采樣層是對上一層map的一個采樣處理，區域大小為scale*scale，有些實現是取小區域的最大值。如，采用2*2小區域的均值。注意，卷積的計算窗口是有重疊的，而采用的計算窗口沒有重疊，卷積核是2*2，每個元素都是1/4，去掉計算得到的卷積結果中有重疊的部分。采樣層網絡結構網絡結構NetworkStructure反向傳輸過程是CNN最復雜的地方，雖然從宏觀上來看基本思想跟BP一樣，都

6、是通過最小化殘差來調整權重和偏置，但CNN的網絡結構并不像BP那樣單一，對不同的結構處理方式不一樣，而且因為權重共享，使得計算殘差變得很困難反向傳輸調整權重網絡結構網絡結構NetworkStructure和BP一樣，CNN的輸出層的殘差與中間層的殘差計算方式不同，輸出層的殘差是輸出值與類標值得誤差值，而中間各層的殘差來源于下一層的殘差的加權和。輸出層的殘差計算如下：反向傳輸調整權重網絡結構網絡結構NetworkStructure輸出層的殘差采樣層（L+1）的map大小是卷積層L的1/（scale*scale），scale取2，卷積層L的某個map中的4個神經元與L+1層對應map的一個神經元關

7、聯，可以對采樣層的殘差與一個scale*scale的全1矩陣進行克羅內克積進行擴充，使得采樣層的殘差的維度與上一層的輸出map的維度一致反向傳輸調整權重網絡結構網絡結構NetworkStructure下一層為采樣層的卷積層的殘差反向傳輸調整權重網絡結構網絡結構NetworkStructure下一層為采樣層的卷積層的殘差反向傳輸調整權重網絡結構網絡結構NetworkStructure下一層為卷積層的采樣層的殘差采樣層到卷積層直接的連接是有權重和偏置參數的，因此比較復雜，這里不再贅述。概述1網絡結構3特點42研究方法特點特點Characters（1）卷積神經網絡對幾何變換、形變、光照具有一定程度的不變性。（2）訓練過的卷積神經網絡可以用較小的計算代價掃描整幅待檢測圖像，因此，被廣泛應用于目標檢測。優點特點特點Characters實踐中，具有類標號的數據較少，而不具有類標號的數據非常