激活函數(shù)主講：孫靜激活函數(shù)首先激活函數(shù)顧名思義就是一個(gè)函數(shù)，為神經(jīng)元提供規(guī)模化非線性化能力，激活函數(shù)的最大作用就是非線性化，激活函數(shù)是一個(gè)掰彎利器，將正常的輸入的線形函數(shù)變成非線性的。比如當(dāng)進(jìn)行邏輯回歸即分類(lèi)時(shí)，如果沒(méi)有激活函數(shù)那么神經(jīng)網(wǎng)絡(luò)相當(dāng)于一個(gè)線形函數(shù)，這種情況下就無(wú)法將數(shù)據(jù)分成固定的幾個(gè)類(lèi)別了，而使用激活函數(shù)就可以將線性的數(shù)據(jù)掰彎成自己想要類(lèi)型的數(shù)據(jù)。

Sigmoid函數(shù)：函數(shù)示意圖如右圖所示。函數(shù)式如下所示：激活函數(shù)可以看到sigmoid函數(shù)將輸入的實(shí)數(shù)壓縮在0～1之間，將非常大的正數(shù)壓縮成1，將非常大的負(fù)數(shù)壓縮成0。

Sigmoid函數(shù)優(yōu)缺點(diǎn)激活函數(shù)優(yōu)點(diǎn)：1處處連續(xù)，便于求導(dǎo)，方便應(yīng)用到反向傳播。2將數(shù)據(jù)從實(shí)數(shù)空間R變換到概率空間[0,1]。缺點(diǎn)：1在數(shù)值趨向無(wú)窮的時(shí)候數(shù)值變化不大，梯度趨向于0，在深層神經(jīng)網(wǎng)絡(luò)的反向傳播中容易發(fā)生梯度消失，這一點(diǎn)在圖像中表現(xiàn)在函數(shù)線趨向于直線x=1，所以導(dǎo)數(shù)是0即梯度也是0，比如當(dāng)你初始值特別大時(shí)，函數(shù)的梯度為0，因此梯度下降算法失效，學(xué)習(xí)失敗；2整個(gè)函數(shù)的輸出值在0～1之間，因此輸出值的平均值不會(huì)是0，這個(gè)缺點(diǎn)的影響在于導(dǎo)致計(jì)算的梯度始終會(huì)大于0，梯度下降會(huì)以z字型下降。3計(jì)算量大.

tanh函數(shù)：函數(shù)示意圖如右圖所示。函數(shù)式如下所示：激活函數(shù)可以很明顯的看到tanh()是sigmoid函數(shù)的優(yōu)化，優(yōu)化了sigmoid函數(shù)的第二個(gè)缺點(diǎn)，而tanh函數(shù)其他特點(diǎn)也都和sigmoid類(lèi)似。

relu函數(shù)：函數(shù)示意圖如右圖所示。函數(shù)式如下所示：激活函數(shù)由函數(shù)圖像和表達(dá)式可以很清楚的看到，當(dāng)輸入值小于等于0時(shí)，輸出0；大于0時(shí)，輸入本身。

relu函數(shù)優(yōu)缺點(diǎn)激活函數(shù)優(yōu)點(diǎn)：relu在使用SGD時(shí)收斂速度明顯會(huì)加快。其次，相比于sigmoid/tanh，ReLU只需要一個(gè)閾值就可以得到激活值，而不用去算一大堆復(fù)雜的運(yùn)算。缺點(diǎn)：但同時(shí)relu也有缺點(diǎn)，這個(gè)缺點(diǎn)在我用python手寫(xiě)神經(jīng)網(wǎng)絡(luò)時(shí)也遇到了，就是當(dāng)使用較大的learningrate時(shí)神經(jīng)元死掉。

softmax函數(shù)：函數(shù)式如下兩種形式所示：激活函數(shù)這里假設(shè)分類(lèi)結(jié)果有C種(minist中即有10種)，y代表的就是第i種的概率，那么結(jié)果會(huì)是一個(gè)C維向量(y1,y2...yc),其中y1代表該輸出是第一類(lèi)的概率，y2代表該輸出是第2類(lèi)的概率以此類(lèi)推。然后我們選取其中概率最大的一個(gè)作為我們的結(jié)果

softmax函數(shù)：函數(shù)式如下兩種形式所示：激活函數(shù)例如識(shí)別手寫(xiě)數(shù)字minist模型中C=10有10種分類(lèi)，輸出為y=(0.9,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1,0.1)，這個(gè)結(jié)果代表輸入值為0,