常見卷積操作和卷積神經(jīng)網(wǎng)絡(luò)《新一代人工智能：從深度學(xué)習(xí)到大模型》Part1各種類型的卷積操作講解各種常見的卷積操作的原理及其特點0、卷積操作的三種模式及輸出矩陣尺寸計算(1)Valid不補wo=ceil()3Same補若干圈wo=

ceil(

)卷積的三種padding模式：Full,Same,Valid新一代人工智能：

從深度學(xué)習(xí)到大模型輸出矩陣

尺寸計算Full

補k-1圈

w

?w+2p

stride詳見本書教材第73-75頁wo

=+1卷積后的輸出矩陣的尺寸計算|W|是輸入矩陣寬，w是卷積核的寬，p是padding的數(shù)值，默認=0；stride是滑動步幅，默認是1；分為兩種參數(shù)情形1)Valid

，無padding,舍棄多出的部分(不足一個窗口)，wo

下取整2)Same

，有padding，補零，不足一個窗口的部分補夠一個窗口，

wo

上取整Stride=1時，valid的意思是滑動窗口一直在實際的矩陣內(nèi)，而沒有超出輸入矩陣same的意思是，經(jīng)過padding，輸出尺寸和輸入Valid:wo=ceil(Same:wo=ceil(

w

?w

+1stride)stride無padding有padding0、卷積操作的三種模式及輸出矩陣尺寸計算(2)如，輸入圖像為2x3,2x2kernel,輸出尺寸無padding有padding新一代人工智能：

從深度學(xué)習(xí)到大模型[1,

1][1,2]

w

)41x1卷積1x1卷積，又稱為NiN(Networkin

Network)

1x1卷積中，如果輸入只有一個通道，則每個神經(jīng)元乘以相同的權(quán)重weight，因此相當(dāng)于scaling操作24200062200022200220022001210003110001110011001100一、

1x1

卷積操作(1)新一代人工智能：

從深度學(xué)習(xí)到大模型一般卷積2*=51x1卷積中，如果輸入有多個通道，則相當(dāng)于降維操作，如下面例子1x1卷積，主要作用在于：1)降維。例如，從26*26*6，到26*26；2)增加非線性激勵。在輸入數(shù)據(jù)分辨率/尺度不損失的前提下，大幅增加神經(jīng)網(wǎng)絡(luò)的非線性特性六個2626矩陣一個116卷積核一個2626矩陣一、

1x1

卷積操作(2)新一代人工智能：

從深度學(xué)習(xí)到大模型*=61x1卷積中，如果輸入有多個通道，則相當(dāng)于降維操作，同時提高了神經(jīng)網(wǎng)絡(luò)的表達能力。1x1卷積，主要作用在于：1)降維。例如，從26*26*192，到26*26*16；1x1卷積是跨通道線性組合，是通道間的信息交互。2)增加非線性激勵。只改變通道數(shù)，不改變圖像的分辨率，大幅增加神經(jīng)網(wǎng)絡(luò)的非線性特性；3)減少權(quán)重個數(shù)。一、

1x1

卷積操作(3)192個通道的2626矩陣262619216個通道的2626矩陣26261616個11192卷積核多個11的卷積核*=…新一代人工智能：

從深度學(xué)習(xí)到大模型7Inceptionv3Christian

Szegedy

et

al.Rethinking

the

Inception

Architecture

for

Computer

Vision,CVPR2016.1x1卷積，在經(jīng)典神經(jīng)網(wǎng)絡(luò)GoogLeNet(即InceptionNet

v1)和InceptionNet(v2,v3,v4)中得到了應(yīng)用一、

1x1

卷積操作(4)

Inception

v3(0)(1)(2)(3)新一代人工智能：

從深度學(xué)習(xí)到大模型8擴張率=2擴張卷積，即空洞卷積、膨脹卷積(Dilated

Convolution,Atrous

Convolution)，在標(biāo)準(zhǔn)卷積中注入空洞

擴張卷積常被用以低成本地增加輸出單元上的感受野，同時還不需要增加卷積核大小二、擴張卷積/膨脹卷積/空洞卷積

(1)空洞卷積的實際卷積核大小/寬：K=w+(w-1)*(r-1)，w為原始卷積核的寬，r為擴張率新一代人工智能：

從深度學(xué)習(xí)到大模型擴張率=1一般卷積空洞卷積9擴張卷積/空洞卷積，增加了神經(jīng)網(wǎng)絡(luò)模型的感受野擴張卷積廣泛應(yīng)用于語義分割和目標(biāo)檢測中，如DeepLabv2等采用了ASPP

(金字塔型的空洞池化)二、擴張卷積/膨脹卷積/空洞卷積

(2)ASPP并列使用多個空洞卷積

(不同擴張率)Concat連接使用ASPP的DeepLab

v2新一代人工智能：

從深度學(xué)習(xí)到大模型DeepLabv210擴張卷積/空洞卷積，優(yōu)點：擴大了神經(jīng)網(wǎng)絡(luò)模型的感受野，捕獲更多上下文信息，尤其對大尺寸的物體分割有用缺點：1)局部信息丟失，因為kernel不連續(xù)，損失了信息的連續(xù)性；2)使得遠距離卷積得到的信息之間沒有相關(guān)性，影響分類結(jié)果；3)

存在棋盤問題/網(wǎng)格效應(yīng)，空洞卷積的結(jié)果中，鄰近的像素相互之間的依賴減少。反卷積后生成的圖像，放大后往往會呈現(xiàn)棋盤外形，深色部分尤為明顯。解決方法之一：確保卷積核能被步長(stride)整除二、擴張卷積/膨脹卷積/空洞卷積

(3)新一代人工智能：

從深度學(xué)習(xí)到大模型11反卷積又稱為轉(zhuǎn)置卷積或逆卷積，英文為Deconvolution/Transposed

Convolution，是一種上采樣的方法

反卷積是中間填0再卷積；普通的上采樣如果用雙線性插值，中間填相鄰元素的差值 K=W+(W-1)*(stride-1)輸入：2x2矩陣(padding為7x7矩陣)經(jīng)過3x3卷積核輸出：5x5矩陣反卷積是指根據(jù)當(dāng)前位置的信息,決定周圍區(qū)域的數(shù)據(jù),是上采樣方法。三、反卷積/逆卷積

(1)新一代人工智能：

從深度學(xué)習(xí)到大模型反卷積/轉(zhuǎn)置卷積有padding無padding12a

b

cd

efg

h

i逆時針旋轉(zhuǎn)180度=反卷積/轉(zhuǎn)置卷積的主要應(yīng)用是語義分割FCN、UNet等網(wǎng)絡(luò)中，及GAN

中的DCGAN將反卷積/轉(zhuǎn)置卷積的計算過程轉(zhuǎn)換為普通卷積

stride=1padding=0三、反卷積/逆卷積

(2)wo=ceil()無padding從2x2矩陣，經(jīng)反卷積到4x4矩陣新一代人工智能：

從深度學(xué)習(xí)到大模型13反池化/上池化，Unpooling，專指Maxpooling、Avgpooling等的逆過程。池化時，保存了最大值在輸入數(shù)據(jù)中的位置信息矩陣；反池化時，將對應(yīng)位置上的值置為輸出矩陣的對應(yīng)值而其他元素置0。如2x2池化上采樣，即Upsampling，本質(zhì)上是插值法，可以采用重復(fù)采樣和插值法(如雙線性插值)它沒有Unpooling的每個池化窗口中的最大值在輸入矩陣中的的位置信息廣義上說，Upsampling也包含了Unpooling和Deconvolution/TransposedConvolution兩種方式。上采樣反池化反卷積四、反池化/上池化

Unpooling

與上采樣

Upsampling新一代人工智能：

從深度學(xué)習(xí)到大模型14ESPCN只在模型末端進行上采樣，可以使得在低分辨率空間保留更多的紋理區(qū)域。使用亞像素卷積的方式來進行上采樣。r為上采樣倍數(shù)，c為最終的通道數(shù)，若RGB輸出c=3。如r=3,c=1，單通道圖的3倍上采樣圖特征圖通道數(shù)中連續(xù)的c個通道作為一個整體，再然后進行像素重排列，得到多通道的上采樣圖。前面都是卷積，只有倒數(shù)第二層才是像素重排列，將一個H

×W

×C·r2

的特征圖，重排列(順序交替排列)為一個rH×rW×C

的特征圖，r個通道作為一組，該組中的像素在一起交替順序排列，一共有r個這樣的組。五、

PixelShuffle

像素重排列上采樣

ESPCN

超分辨率方法64個5*5卷積核32個3*3卷積核r2個3*3卷積核像素重排列/亞像素卷積Real-Time

Single

Image

and

Video

Super-Resolution

Using

an

Efficient

Sub-Pixel

Convolutional

Neural

Network,CVPR2016新一代人工智能：

從深度學(xué)習(xí)到大模型15六、分組卷積

AlexNet分組卷積，如將所有通道分成2組，則每一組通道分別使用各自對應(yīng)的D/2個卷積核，最后兩組卷積后特征堆疊作用：1)減少參數(shù)量，參數(shù)為原來的1/G2)加快訓(xùn)練速度3)有時可以起到正則化效果16詳見本書教材第82-83頁六、分組卷積

(AlexNet)

Grouped

Convolution新一代人工智能：

從深度學(xué)習(xí)到大模型逐通道卷積Depthwise

Convolution的一個卷積核負責(zé)一個通道，一個通道只被一個卷積核卷積(如3x3)輸出的通道數(shù)與輸入相同，但是沒有利用不同通道在相同空間位置上的特征關(guān)系信息逐點卷積執(zhí)行1x1卷積，M

為輸入通道數(shù)，進行單點上的特征提取深度可分離卷積

=逐通道卷積+逐點卷積，前后兩個步驟深度可分離卷積將分組卷積推向了極端，此時：分組數(shù)是輸入通道數(shù)目，即每個輸入通道單獨卷積應(yīng)用：MobileNet

移動端輕量化網(wǎng)絡(luò),參數(shù)少，占用資源少，運算快七、深度可分離卷積

Depthwise

Separable

Convolutions新一代人工智能：

從深度學(xué)習(xí)到大模型常見卷積神經(jīng)網(wǎng)絡(luò)講解從LeNet到ResNet各種通用的卷積神經(jīng)網(wǎng)絡(luò)講解Part2一、

LeNet和AlexNet卷積神經(jīng)網(wǎng)絡(luò)(1)16個55卷積核

新一代人工智能：

從深度學(xué)習(xí)到大模型AlexNet神經(jīng)網(wǎng)絡(luò)6個55卷積核LeNet神經(jīng)網(wǎng)絡(luò)19LeNet(1989):兩個卷積層，兩個池化層，兩個全連接層，一個輸出層AvgPool，Sigmoid激活函數(shù)兩個卷積層都是55窗口兩個全連接層的神經(jīng)元數(shù)量分別為120和84創(chuàng)新性：卷積神經(jīng)網(wǎng)絡(luò)的開山之作。完成了CNN從0到1的過程。AlexNet(2012年ImageNet競賽冠軍)：五個卷積層，三個池化層，兩個全連接層，一個輸出層MaxPool，ReLU激活函數(shù)第一層卷積1111窗口，以后55，

33兩個全連接層的神經(jīng)元數(shù)量均為4096兩個全連接層之間使用了Dropout技術(shù)，隨機一半隱層節(jié)點值為0(因為當(dāng)模型的參數(shù)太多，而訓(xùn)練樣本太少時，易產(chǎn)生過擬合)創(chuàng)新性：AlexNet比LeNet更深一些，但是架構(gòu)和流程沒變20一、

LeNet和AlexNet卷積神經(jīng)網(wǎng)絡(luò)(2)新一代人工智能：

從深度學(xué)習(xí)到大模型AlexNetLeNetVGG-16有13個卷積層，3個全連接層(含輸出層)，5個池化/下采樣操作創(chuàng)新點：神經(jīng)網(wǎng)絡(luò)更深了，深度大約是AlexNet的兩倍

在ResNet

出來之前，是最常用的神經(jīng)網(wǎng)絡(luò)模型。特點是采用較小的卷積核，替代之前的大尺度卷積核21詳見本書教材第84-87頁二、

VGG-16

卷積神經(jīng)網(wǎng)絡(luò)新一代人工智能：

從深度學(xué)習(xí)到大模型512個

256個512個

256個512個

256個128個64個128個64個創(chuàng)新點：Inceptionv1引入了1*1卷積和多個Inception塊神經(jīng)網(wǎng)絡(luò)結(jié)構(gòu)設(shè)計上進行大膽突破和嘗試三、

GoogLeNet

卷積神經(jīng)網(wǎng)絡(luò)

Inception

v1Stem模塊，是傳統(tǒng)卷積層，含若干層3*3的卷積，

一個1*1的卷積，若干3*3的卷積2014年ImageNet競賽冠軍新一代人工智能：

從深度學(xué)習(xí)到大模型2223創(chuàng)新點：使用了多種不同的Inception塊首次使用了批歸一化四、

Inception

v3及后續(xù)衍生版本新一代人工智能：

從深度學(xué)習(xí)到大模型Reduction

模塊Inceptionv3(1)(2)(3)ResNet創(chuàng)新點：使用了殘差塊--捷徑連接，在輸入激活函數(shù)前，將前層網(wǎng)絡(luò)的輸入與當(dāng)前層網(wǎng)絡(luò)層的輸出進