卷積神經網絡第1頁/共42頁DL時代的CNN擴展AKrizhevsky,ISutskever,GEHinton.ImageNetclassificationwithdeepconvolutionalneuralnetworks.NIPS2012Y.Jiaetal.Caffe:ConvolutionalArchitectureforFastFeatureEmbedding.ACMMM2014K.Simonyan,A.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556,2014C.Szegedy,W.Liu,Y.Jia,P.Sermanet,S.Reed,D.Anguelov,D.Erhan,V.Vanhoucke,A.Rabinovich.Goingdeeperwithconvolutions.CVPR2015(&arXiv:1409.4842,2014)2第2頁/共42頁卷積——示例3第3頁/共42頁卷積——形式化

4第4頁/共42頁卷積——why?1.sparseinteractions有限連接，Kernel比輸入小連接數少很多，學習難度小，計算復雜度低m個節點與n個節點相連O(mn)限定k(<<m)個節點與n個節點相連，則為O(kn)5第5頁/共42頁卷積——why?1.sparseinteractions有限連接，Kernel比輸入小連接數少很多，學習難度小，計算復雜度低m個節點與n個節點相連O(mn)限定k(<<m)個節點與n個節點相連，則為O(kn)6第6頁/共42頁卷積——why?1.sparseinteractions有限(稀疏)連接Kernel比輸入小局部連接連接數少很多學習難度小計算復雜度低層級感受野（生物啟發）越高層的神經元，感受野越大7第7頁/共42頁卷積——why?2.ParameterSharing（參數共享）Tiedweights進一步極大的縮減參數數量3.Equivariantrepresentations等變性配合Pooling可以獲得平移不變性對scale和rotation不具有此屬性8第8頁/共42頁CNN的基本結構三個步驟卷積突觸前激活，net非線性激活DetectorPoolingLayer的兩種定義復雜定義簡單定義有些層沒有參數9第9頁/共42頁Pooling10定義（沒有需要學習的參數）replacestheoutputofthenetatacertainlocationwithasummarystatisticofthenearbyoutputs種類maxpooling(weighted)averagepooling第10頁/共42頁WhyPooling?11獲取不變性小的平移不變性：有即可，不管在哪里很強的先驗假設Thefunctionthelayerlearnsmustbeinvarianttosmalltranslations第11頁/共42頁WhyPooling?12獲取不變性小的平移不變性：有即可，不管在哪里旋轉不變性？9個不同朝向的kernels（模板）0.20.610.10.50.30.020.050.1第12頁/共42頁WhyPooling?13獲取不變性小的平移不變性：有即可，不管在哪里旋轉不變性？9個不同朝向的kernels（模板）0.50.30.0210.40.30.60.30.1第13頁/共42頁Pooling與下采樣結合更好的獲取平移不變性更高的計算效率（減少了神經元數）14第14頁/共42頁從全連接到有限連接部分鏈接權重被強制設置為0通常：非鄰接神經元，僅保留相鄰的神經元全連接網絡的特例，大量連接權重為015第15頁/共42頁WhyConvolution&Pooling？apriorprobabilitydistributionovertheparametersofamodelthatencodesourbeliefsaboutwhatmodelsarereasonable,beforewehaveseenanydata.模型參數的先驗概率分布(Nofreelunch)在見到任何數據之前，我們的信念（經驗）告訴我們，什么樣的模型參數是合理的Localconnections；對平移的不變性；tiedweigts來自生物神經系統的啟發16第16頁/共42頁源起：Neocognitron(1980)SimplecomplexLowerorderhighorder17K.Fukushima,“Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition,”BiologicalCybernetics,vol.36,pp.193–202,1980LocalConnection第17頁/共42頁源起：Neocognitron(1980)18第18頁/共42頁源起：Neocognitron(1980)訓練方法分層自組織competitivelearning無監督輸出層獨立訓練有監督19第19頁/共42頁LeCun-CNN1989—用于字符識別簡化了Neocognitron的結構訓練方法監督訓練BP算法正切函數收斂更快，SigmoidLoss，SGD用于郵編識別大量應用20第20頁/共42頁LeCun-CNN1989—用于字符識別輸入16x16圖像L1—H112個5x5kernel8x8個神經元L2--H212個5x5x8kernel4x4個神經元L3—H330個神經元L4—輸出層10個神經元總連接數5*5*12*64+5*5*8*12*16+192*30，約66,000個21第21頁/共42頁LeCun-CNN1989—用于字符識別Tiedweights對同一個featuremap，kernel對不同位置是相同的！22第22頁/共42頁LeCun-CNN1989—用于字符識別23第23頁/共42頁1998年LeNet——數字/字符識別LeNet-5Featuremapasetofunitswhoseweighs

areconstrainedtobeidentical.24第24頁/共42頁1998年LeNet——數字/字符識別

例如：C3層參數個數(3*6+4*9+6*1)*25+16=1516

25第25頁/共42頁后續：CNN用于目標檢測與識別26第26頁/共42頁AlexNetforImageNet(2012)大規模CNN網絡650K神經元60M參數使用了各種技巧DropoutDataaugmentReLULocalResponseNormalizationContrastnormalization...27Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton."Imagenetclassificationwithdeepconvolutionalneuralnetworks."

Advancesinneuralinformationprocessingsystems.2012.第27頁/共42頁AlexNetforImageNet(2012)ReLU激活函數28第28頁/共42頁AlexNetforImageNet(2012)實現2塊GPU卡輸入層150,528其它層253,440186,62464,89664,89643,264409640961000.29Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton."Imagenetclassificationwithdeepconvolutionalneuralnetworks."

Advancesinneuralinformationprocessingsystems.2012.第29頁/共42頁AlexNetforImageNet(2012)ImageNet物體分類任務上1000類，1,431,167幅圖像30RankNameErrorrates(TOP5)Description1U.Toronto0.153Deeplearning2U.Tokyo0.261Hand-craftedfeaturesandlearningmodels.Bottleneck.3U.

Oxford0.2704Xerox/INRIA0.271Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton."Imagenetclassificationwithdeepconvolutionalneuralnetworks."

Advancesinneuralinformationprocessingsystems.2012.第30頁/共42頁AlexNetforImageNet深度的重要性31網絡深度87664參數數量60M44M10M59M10M性能損失0%1.1%5.7%3.0%33.5%Krizhevsky,Alex,IlyaSutskever,andGeoffreyE.Hinton."Imagenetclassificationwithdeepconvolutionalneuralnetworks."

Advancesinneuralinformationprocessingsystems.2012.第31頁/共42頁VGGNet(2014)多個stage每個stage多個卷積層卷積采樣間隔1x1卷積核大小3x31個Pooling層(2x2)16-19層多尺度融合K.Simonyan,A.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556,2014第32頁/共42頁VGGNet(2014)幾種配置Cov3-64:3x3感受野64個channel33K.Simonyan,A.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556,2014第33頁/共42頁VGGNet(2014)34K.Simonyan,A.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.arXivpreprintarXiv:1409.1556,2014第34頁/共42頁GoogLeNet(2014)超大規模22個卷積層的網絡計算復雜度是AlexNet的4倍左右C.Szegedy,W.Liu,Y.Jia,P.Sermanet,S.Reed,D.Anguelov,D.Erhan,V.Vanhoucke,A.Rabinovich.Goingdeeperwithconvolutions.CVPR2015(&arXiv:1409.4842,2014)第35頁/共42頁GoogLeNet(2014)超大規模24層網絡Inception結構提取不同scale的特征然后串接起來1x1convolutions3x3convolutions5x5convolutionsFilterconcatenationPreviouslayerC.Szegedy,W.Liu,Y.Jia,P.Sermanet,S.Reed,D.Anguelov,D.Erhan,V.Vanhoucke,A.Rabinovich.Goingdeeperwithconvolutions.CVPR2015(&arXiv:1409.4842,2014)第36頁/共42頁GoogLeNet(2014)超大規模24層網絡Inception結構提取不同scale的特征，然后串接起來增加1x1的卷積：把響應圖的數量縮小了1x1convolutions3x3convolutions5x5convolutionsFilterconcatenationPreviouslayer3x3maxpooling1x1convolutions1x1c