1、1卷積神經網絡卷積神經網絡(CNN)原理推導原理推導阿育王6262016.3.62說明： 先導知識：CNN網絡結構、BP網絡學習算法 參考文獻：Notes on Convolutional Neural Networks3典型的典型的CNN網絡結構中，包含：網絡結構中，包含：卷積層、下采樣層、全連接層卷積層、下采樣層、全連接層41.全連接層學習算法 1.1工作信號正向傳播 1.2誤差信號反向傳播5全連接層網絡結構圖62.1工作信號正向傳播(1)當前第l層的輸出xl：先求ul：第l-1層的輸出xl-1（第l層的輸入）與其對應權值Wl相乘，再加上基bl再利用激活函數f(.) 得xl：sigmoid

2、或Relu7逐層 傳播，直至得到最終輸出層結果利用網絡輸出值與真實值之間的誤差，進行反向傳播，調整權值。參數：c表示分類數目，N表示訓練樣本數 tnk表示第n個樣本真實值的第k維 ynk表示第n個樣本輸出值的第k維8(2)誤差第n個樣本的誤差：每類（共c類）誤差的和總誤差：每個樣本（共N個）誤差的和92.2誤差信號反向傳播 反向傳播回來的誤差可以看做是每個神經元的基的靈敏度 靈敏度的意思就是基b變化多少，誤差會變化多少 也就是誤差對基的變化率，即導數（公式1）10(1)反向計算各層靈敏度 輸出層第L層靈敏度： 全連接層第l層靈敏度（公式2）：11(2)權值調整導數：權值更新（公式3）：對于每一

3、個權值Wij都有一個特定的學習率Ij誤差誤差E對于第對于第l層權值矩陣層權值矩陣Wl的導數的導數第第l層的輸入層的輸入（即第（即第l-1層層的輸出）的輸出）xl-1第第l層的層的靈敏度靈敏度向量向量l=X122.卷積層學習算法 2.1工作信號正向傳播 2.2誤差信號反向傳播13卷積層典型結構圖卷積層卷積層輸入層輸入層14子采樣層典型結構圖卷積層卷積層子采樣層子采樣層 假定每個卷積層假定每個卷積層l都會接一個下采樣層都會接一個下采樣層l+1 152.1工作信號正向傳播(1)當前第l層的第j個輸出xlj：先從第l-1層的特征圖里，選擇若干個組成第l層輸入特征圖集合Mj；再利用卷積核Klij分別與輸

4、入特征圖中的每個map即xl-1i進行卷積，并求和；最后加上基blj，使用激活函數f即可。16(2)確定需要更新的權值基b卷積核k說明：此時需要分別計算誤差對它們的變化率 和172.2誤差信號反向傳播(1)計算基的梯度上采樣第l+1層第j個靈敏度map：說明：第l+1層為下采樣層，其中一個像素對應的靈敏度對應于第l層卷積層的輸出map的一塊像素（采樣窗口大小），因此，上采樣使其靈敏度map大小與卷積層的map大小一致18求第I層第j個靈敏度map（公式2可得）：說明：在下采樣層map的權值W都取一個相同值，而且是一個常數。第l層靈敏度l：對第l層中的靈敏度map中所有節點進行求和，由公式1可知

5、，得到基的梯度。19(2)計算卷積核的梯度對于一個給定的權值，對所有共享該權值的連接對該點求梯度；然后對這些梯度進行求和。說明： 是 中的在卷積的時候與 逐元素相乘的patch20 213.子采樣層學習算法 3.1工作信號正向傳播 3.2誤差信號反向傳播223.1工作信號正向傳播(1)當前第l層的第j個輸出xlj：down(.)表示一個下采樣函數。有N個輸入maps，就有N個輸出maps，只是每個輸出map都變小n*n倍。每個輸出map都對應一個屬于自己的乘性基和一個加性基b。23(2)確定需要更新的權值加性基b乘性基說明：此時需要分別計算誤差對它們的變化率 和243.2誤差信號反向傳播計算加性基的梯度計算第I層第j個靈敏度map加性基的梯度：25(2)計算乘性基的梯度保存正向傳播時下采樣層的特征map：乘性基的梯度26 274. 特征圖組合 人工選擇 網絡選擇28第l層第