人工神經網絡設計07回聲狀態網絡目錄回聲狀態網絡的結構和工作原理01020304回聲狀態網絡的學習過程回聲狀態網絡的設計回聲狀態網絡的應用實例01回聲狀態網絡的結構和工作原理ESN是一種特殊的遞歸神經網絡，主要有輸入層、隱含層（或稱為儲備池層）和輸出層，如圖7-1所示。

回聲狀態網絡的結構輸入層：輸入層是網絡接收外部信息的入口，負責將輸入信號傳遞給儲備池層。輸入信號通常被編碼為向量，并通過輸入權值與儲備池層相連，且輸入權值在網絡初始化后保持不變。儲備池層：儲備池層是ESN的核心組成部分，具有以下特點：隨機稀疏連接、權值不變性、高維狀態空間映射、非線性特性、短期記憶能力、回聲狀態屬性。圖7-1ESN的結構3隨機稀疏連接:儲備池層由大量神經元組成，神經元之間的連接是隨機且稀疏的，這不僅可以豐富網絡的動態特性，還能降低計算成本。權值不變性：儲備池內部權值一經初始化便固定不變，這種設計顯著簡化了訓練過程。高維狀態空間映射：儲備池層通過將低維的輸入信號映射到高維狀態空間，使得網絡能夠有效地捕獲輸入信號中復雜的動態特性。非線性特性：儲備池層中的神經元通常使用非線性激活函數，如tanh或Sigmoid，增強了網絡捕捉數據中非線性特征的能力。

回聲狀態網絡的結構01回聲狀態網絡的結構和工作原理4短期記憶能力：儲備池層通過遞歸連接的神經元持續更新內部狀態，遞歸連接允許信息在神經元之間“回蕩”，從而實現對輸入信號的短期記憶。回聲狀態屬性：回聲狀態屬性(EchoStateProperty,ESP)是確保ESN穩定的關鍵特性。ESP的實現通常與儲備池內部權值矩陣的譜半徑有關。當譜半徑小于1時，儲備池的響應不會隨著時間的推移而逐漸發散。ESP的存在意味著儲備池可以對輸入信號做出豐富的動態響應，但同時其內部狀態不會失控。

回聲狀態網絡的結構01回聲狀態網絡的結構和工作原理圖7-2tanh和Sigmoid激活函數的圖像5

回聲狀態網絡的工作原理1.輸入層的信號接收

輸入信號進入ESN后，立即被輸入層接收，準備進行下一步處理。2.儲備池層的動態狀態更新

儲備池層接收來自輸入層的信號，并通過輸入權值將這些信號傳遞給內部神經元。儲備池狀態

根據當前時刻的輸入信號

和上一時刻的儲備池狀態

進行狀態更新。更新過程通過非線性激活函數

（常用tanh激活函數）實現，確保了網絡能夠捕捉和處理輸入信號的復雜動態特性。儲備池狀態更新方程如下01回聲狀態網絡的結構和工作原理(7-3)6

回聲狀態網絡的工作原理3.

輸出層的信號生成

在ESN中，輸出信號的生成融合了儲備池狀態和輸入信號。這種融合策略使得網絡能夠同時考慮歷史狀態和當前輸入，以生成更為精準的輸出。

例7-1假設輸入信號為[7,8,9]，儲備池規模為3，隨機初始化的輸入權值和儲備池內部權值為01回聲狀態網絡的結構和工作原理(7-4)7

回聲狀態網絡的工作原理訓練后得到的輸出權值為儲備池的初始狀態為基于上述設置計算時間步長為3時的ESN網絡輸出。

解：首先，根據當前時刻的輸入信號和上一時刻的儲備池狀態依次計算儲備池狀態

：01回聲狀態網絡的結構和工作原理8

回聲狀態網絡的工作原理

當時間步長

時

代入假設得

當時間步長

時01回聲狀態網絡的結構和工作原理(7-5)(7-6)(7-7)9

回聲狀態網絡的工作原理

同理，可得

時的儲備池狀態

最后將時間步長為3時的儲備池狀態和輸入信號合并，然后通過輸出權值進行線性變換得到時間步長為3時的網絡

即01回聲狀態網絡的結構和工作原理(7-8)(7-9)(7-10)10（1）輸入權值和儲備池內部權值的隨機生成儲備池內部權值矩陣的譜半徑對于ESP至關重要。當譜半徑大于1時，網絡可能會無限放大歷史輸入的影響，進而引發動態不穩定。當譜半徑小于1時，網絡能夠有效平衡新舊輸入信號的影響，避免對歷史輸入的過度依賴，確保網絡的穩定性。下面給出了ESN滿足ESP的充分條件以及證明過程。

ESN的學習過程02回聲狀態網絡的學習過程(7-11)(7-12)(7-13)11

定理7-1

假設f是tanh激活函數，當儲備池內部權值W的最大奇異值小于1時，即

，則ESN具有ESP。

證明：假設ESN中有兩個不同的儲備池狀態

和

，并假設

，對于相同的輸入信號

，根據式(7-3)可得

ESN的學習過程02回聲狀態網絡的學習過程(7-14)12式中，

表示

范數。根據范數相容性得

從而有

因此，當儲備池內部權值W滿足

時，ESN具有ESP。

綜上可知，ESP與儲備池內部權值W密切相關。定理7-1是ESN滿足ESP的充分條件。但是因為這個條件較為嚴格，所以在實際應用中常常不被采用。而為了便于應用，只需要滿足ESN的必要條件：儲備池內部權重的譜半徑小于1，即

。

ESN的學習過程02回聲狀態網絡的學習過程(7-15)(7-16)13（2）輸出權值的確定在ESN的訓練過程中，輸出權值可以通過最小化預測輸出和期望輸出之間誤差來進行調整。這通常通過線性回歸算法完成，其中儲備池狀態矩陣X不僅包含了在一系列時間步上的儲備池狀態，還融合了輸入信號。

ESN的學習過程02回聲狀態網絡的學習過程(7-17)(7-18)(7-19)14

然而，過大的儲備池規模容易產生過擬合問題，從而降低網絡的性能。為了解決這個問題，可在式(7-17)中加入

正則化項，如下所示：

式(7-20)可以通過嶺回歸算法求得，即：

ESN的學習過程02回聲狀態網絡的學習過程(7-20)(7-21)15優良的計算效率：由于輸入權值和儲備池內部權值在網絡初始化后保持固定，ESN無須使用復雜的反向傳播算法來調整這些權值。這一設計大大減少了訓練時間和計算成本。強大的動態捕捉能力：隨機生成的輸入權值和儲備池內部權值賦予了網絡豐富的動態影響能力，使得ESN能夠精確地捕獲時間序列數據中的復雜非線性模式。良好的泛化能力：簡化的訓練過程和隨機權值的引入有助于ESN在新數據上保持較好的泛化性能，避免過擬合。易于實現和調整：ESN的訓練過程主要涉及線性回歸算法來求解輸出權值，這使得ESN的實現更加直觀和容易調整，適合應用于各種問題場景。

ESN學習過程所具有的網絡特點02回聲狀態網絡的學習過程16強適應性：由于儲備池層能夠存儲豐富的歷史信息，ESN能夠適應各種時間序列數據的特性，尤其是在處理非平穩和長期依賴關系時表現出色。良好的魯棒性：固定的儲備池內部權值減少了對特定訓練數據的依賴性，使得ESN在應對噪聲和異常值時表現出更高的魯棒性。

ESN學習過程所具有的網絡特點02回聲狀態網絡的學習過程17權值初始化階段：隨機生成輸入權值和儲備池內部權值。儲備池狀態更新階段：儲備池狀態根據當前時刻的輸入信號和上一時刻的儲備池狀態，通過非線性激活函數進行狀態更新。輸出權值計算階段：結合得到的儲備池狀態和輸入信號計算輸出權重。

ESN學習過程步驟02回聲狀態網絡的學習過程18當設計ESN時，采用一種系統化的方法是至關重要的。這種方法不僅有助于保證模型的高效性，而且能夠確保其在特定任務中達到預期的表現。為了實現這一目標，我們需要遵循一系列詳細步驟，這些步驟將引導我們從設計過程的啟動到最終的完成，系統地設計和優化ESN。

回聲狀態網絡的設計過程圖7-3

ESN設計過程流程圖03回聲狀態網絡的設計19

增長型回聲狀態網絡圖7-4

GESN的結構03回聲狀態網絡的設計Qiao等人提出了一種創新的網絡設計方法——增長型回聲狀態網絡(GrowingESN，GESN)。GESN的核心優勢在于其能夠自動調整拓撲結構，以適應不同的數據特性和應用需求。此外，還能顯著提高訓練效率，使得GESN在多種任務中都能展現出卓越的性能。20

增長型回聲狀態網絡03回聲狀態網絡的設計1.奇異值分解

矩陣的奇異值分解（SingularValueDecomposition,SVD）是指，將一個非零的

實矩陣W，表示為以下三個實矩陣乘積形式的運算，即進行矩陣的因子分解

(7-22)式中，(7-23)(7-24)(7-25)(7-26)(7-27)21

增長型回聲狀態網絡03回聲狀態網絡的設計2.GESN的儲備池內部權值

首先，隨機生成一個對角矩陣

，其對角線上的元素（即奇異值）在

范圍內。同時生成兩個正交矩陣

和

，其元素值在

范圍內。利用SVD計算子儲備池權值矩陣

，公式為

。由于

和

是正交矩陣，

是對角矩陣，所以

和

具有相同的奇異值，且這些奇異值都小于1，這保證了子儲備池權重矩陣的穩定性。

在網絡增長過程中，如果需要添加另一個子儲備池，可以類似地生成另一個對角矩陣

和對應的正交矩陣

和

，然后計算新的子儲備池權值矩陣

。22

增長型回聲狀態網絡03回聲狀態網絡的設計3.GESN

步驟1：初始化子儲備池的數量

，瞬態時間

，狀態矩陣

和期望輸出矩陣

。步驟2：增加子儲備池的數量

。根據均勻分布，生成對角矩陣

，正交矩陣

和

，其中

和

。然后，我們有第k個子儲備池權重矩陣

。步驟3：根據任意連續概率分布隨機生成輸入權重矩陣

。步驟4：從任意內部狀態

開始，使用式(7-28)和訓練輸入

運行第k個子儲備池，然后收集內部狀態

，其中

。定義第k個子儲備池的23

增長型回聲狀態網絡03回聲狀態網絡的設計

狀態矩陣為

。

(7-28)

步驟5：如果

，則使用式(7-29)計算輸出權值

(7-29)

否則(7-30)(7-31)(7-32)24

增長型回聲狀態網絡03回聲狀態網絡的設計

步驟6：使用式(7-33)計算訓練誤差

(7-33)

步驟7：如果滿足停止條件，轉到步驟9；否則，轉到步驟8。

步驟8：通過式(7-34)和式(7-35)更新權值矩陣和內部狀態矩陣，然后轉到步驟2。

如果

(7-34)

否則(7-35)

步驟9：計算測試誤差。

25

數據集04回聲狀態網絡的應用實例Lorenz混沌時間序列

NARMA時間序列太陽黑子時間序列圖7-5Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列26

參數設置

本節涉及在所有數據集上ESN的參數設置，見表7-1，包括儲備池規模、稀疏度、正則化系數、譜半徑、輸入縮放因子和清洗數量。

04回聲狀態網絡的應用實例27

性能指標評估

根據任務類型（如回歸和分類等），選擇適當的性能指標。對于時間序列預測，常用的指標包括均方誤差（MeanSquaredError,MSE）、均方根誤差（RootMeanSquaredError,RMSE）、平均絕對誤差（MeanAbsoluteError,MAE）和平均絕對百分比誤差（MeanAbsolutPercentageError,MAPE）。

04回聲狀態網絡的應用實例(7-38)(7-39)(7-40)(7-41)28

實驗結果

Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列上ESN的期望輸出和預測輸出如圖7-6所示。圖7-6中顯示出期望輸出與預測輸出的高度一致性，從而說明了ESN具有較高的預測能力。04回聲狀態網絡的應用實例圖7-6Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列上ESN的期望輸出和預測輸出29

實驗結果

Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列上ESN的預測誤差幅度如圖7-7所示。圖7-7中顯示出在Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列上ESN的預測誤差幅度分別維持在0附近、-0.2到0.2之間以及-5到5之間震蕩，只有少數幾個例外。04回聲狀態網絡的應用實例圖7-7Lorenz混沌時間序列、NARMA時間序列和太陽黑子時間序列上ESN的預測誤差30

實驗結果

在所有數據集上，ESN都進行了30次獨立實驗，其平均結果見表7-2，包括訓練RMSE和測試RMSE的均值和標準差。由表7-2可知，ESN在所有數據集上都顯示出較低的RMSE均值以及較小的標準差，這表明ESN具有較強的預測能力和穩定性。04回聲狀態網絡的應用實例31人工神經網絡設計08卷積神經網絡目錄卷積神經網絡基礎01020304卷積神經網絡結構及其學習算法典型卷積神經網絡應用實例01卷積神經網絡基礎卷積神經網絡（CNN）是一類包含卷積計算且具有深度結構的前饋神經網絡，以其出色的性能和廣泛的應用而聞名。

卷積神經網絡概述起源與發展：CNN起源可以追溯到20世紀60年代，但直到21世紀初，隨著深度學習技術的興起，才在圖像識別和處理領域展現出顯著優勢。深度學習的催化劑：CNN憑借其在圖像識別任務上的卓越性能，成為了深度學習領域的重要催化劑，推動了整個AI行業的發展。結構與優勢：作為前饋神經網絡的一種，CNN尤其在處理具有網格結構的數據（如圖像）時表現出色。3圖8-1卷積過程示意圖01卷積神經網絡基礎卷積運算是卷積神經網絡的核心操作。通過卷積操作，卷積神經網絡能夠從輸入數據中提取特征并逐層構建更為抽象的表示。

卷積運算401卷積神經網絡基礎例8-1假設有兩個連續時間函數f(t)和g(t)，它們分別定義如下：f(t)=e?|t|，g(t)=δ(t?1)，計算這兩個函數的卷積(f?g)(t)。

卷積運算

501卷積神經網絡基礎

卷積運算離散域:卷積定義為兩個序列的逐點乘積后的求和

對于輸出序列中的每一個元素，我們都將輸入序列x[n]與卷積核w[n]進行對齊，然后將對應的元素相乘，并將所有乘積求和得到當前位置的輸出值。這個過程對所有可能的對齊方式進行，從而得到輸出序列的每一個元素。

如果將一張圖像或其他二維數據作為輸入，使用一個二維的卷積核w，則卷積運算的輸出為601卷積神經網絡基礎例8-2假設有兩個離散時間序列f[n]和g[n]，定義如下：f[n]={1,2,3}，g[n]={4,5}。計算這兩個序列的卷積(f?g)[n]。

卷積運算

701卷積神經網絡基礎與普通神經網絡相比，卷積神經網絡有著獨特的卷積層（ConvolutionLayer）和池化層（PoolingLayer），本小節將通過卷積層和池化層對卷積神經網絡中的基本概念進行介紹。

卷積神經網絡的基本概念8圖8-2卷積網絡結構示意圖01卷積神經網絡基礎卷積層是卷積神經網絡中最關鍵的一層，也是“卷積神經網絡”名字的由來。卷積核是一個小的權重矩陣，整個卷積運算便是通過它來實現的。它在輸入數據（如圖像）上滑動，計算核與數據局部區域之間的點積，從而產生特征圖。卷積核像是一個過濾器，通過它可以捕捉到輸入數據中的特定模式或特征。

卷積層局部感受野指卷積核覆蓋的輸入數據的局部區域。每個卷積核只與輸入數據的一小部分相連接，有助于網絡有效地學習空間層次結構。權重共享在同一輸入數據的不同空間位置上進行卷積時，權重在整個數據上是共享的，大大減少了網絡的復雜性。步長卷積核在輸入數據上滑動的步幅。步長決定了卷積核移動的間距，從而影響到輸出特征圖的大小和計算效率。901卷積神經網絡基礎例8-3假設有一個5×5的輸入矩陣，以及一個3×3的卷積核。在步長為1和2時，分別進行卷積操作。

卷積層將卷積核在輸入矩陣上按照步長進行滑動。對于每一次滑動，計算對應位置的元素相乘并求和，填入輸出矩陣R中對應位置。以第一個元素為例，R[0,0]=(1×1)+(0×2)+(0×3)+(0×6)+(1×7)+(0×8)+(0×11)+(0×12)+(1×13)=1+0+0+0+7+0?13=?5，之后的其他元素可依次得到。當步長為1時，卷積后結果的尺寸為3×3；當步長為2時，卷積結果的尺寸為2×2。41圖8-3步長為1的卷積結果圖8-4步長為2的卷積結果01卷積神經網絡基礎例8-4假設有一個3×3的輸入矩陣，以及一個2×2的卷積核，在輸入矩陣周邊做1行或1列0填充步長為1，進行卷積操作。

卷積層將3×3輸入圖的4個邊界填充0后，卷積輸出的尺寸變為4×4，分辨率沒有降低。為了控制卷積輸出的尺寸，一般會使用填充操作。常見的填充方法為按0填充和重復邊界值填充。填充不僅保持了輸出尺寸，還使得卷積運算更加靈活和可控。42圖8-5一行/列0填充的卷積結果01卷積神經網絡基礎卷積層中的特征圖通常由多個圖層組成。特征圖大小為C×H×W，由C個H×W大小的特征構成。C為通道數，指代特征的數量或深度。通道數的大小直接影響了卷積神經網絡的特征提取能力和計算復雜度。增加通道數，可以增強CNN的特征提取能力，但也會增加計算復雜度。

卷積層假設輸入特征圖大小是Ci×Hi×Wi，輸出特征圖大小是Co×Ho×Wo。則每個輸出特征圖都由Ci個卷積核進行逐通道卷積，然后將結果相加，一共需要Ci×Co個卷積核，每Ci個為一組，共Co組。43圖8-6特征圖示意圖01卷積神經網絡基礎池化層可以實現特征圖的降采樣。圖像中的相鄰像素之間很大程度上具有相似性，通過池化操作，不僅減少計算負擔，也讓網絡對位置變化不敏感，增強了特征的泛化能力。常見的池化方法有兩種：最大池化和平均池化。

池化層最大池化最大池化是最常用的池化操作之一。它在特征圖的局部區域內取最大值作為該區域的代表。這種操作可以突出顯示特征圖中的顯著特征，并且對小的平移和變形具有一定的不變性。平均池化平均池化計算特征圖局部區域內所有值的平均值。與最大池化相比，平均池化更加平滑，但可能會丟失一些特征細節。4401卷積神經網絡基礎例8-5特征圖F如圖所示，使用3×3的最大池化窗口，步長為3，不使用填充，對特征圖F進行最大池化操作，并給出池化后的特征圖F′。首先，確定池化窗口，使用3×3的窗口進行最大池化；然后，遍歷特征圖，以3×3的窗口和步長為3遍歷整個特征圖F；其次，選擇最大值，在每個3×3的區域內，選擇最大的數值；最后，構建新的特征圖，將所有最大值放入新的特征圖F′，完成最大池化。

池化層45圖8-7特征圖F圖8-8最大池化結果01卷積神經網絡基礎例8-6特征圖F如圖所示，使用3×3的最大池化窗口，步長為3，不使用填充，對特征圖F進行平均池化操作，并給出池化后的特征圖F′。首先，首先，確定池化窗口，使用3×3的窗口進行平均池化；

然后，遍歷特征圖，以3×3的窗口和步長為3遍歷整個特征圖F；其次，計算平均值，在每個3×3的區域內，計算所有數值的平均值；最后，構建新的特征圖，將所有平均值放入新的特征圖F′，完成平均池化。

池化層46圖8-9特征圖F圖8-10平均池化結果01卷積神經網絡基礎全局池化可對整個特征圖進行池化操作，只輸出一個單一的值。全局最大池化或全局平均池化通常用于網絡的最后幾層，以便將空間信息壓縮成一個單一的特征值。池化層可以在一定程度上保持特征的尺度不變性。池化操作就是圖像的“resize”，平時一張狗的圖像被縮小了一倍我們還能認出這是一張狗的照片，這說明這張圖像中仍保留著狗最重要的特征，圖像壓縮時去掉的信息只是一些無關緊要的信息，而留下的信息則是具有尺度不變性的特征，是最能表達圖像的特征。

池化層4702卷積神經網絡結構及其學習算法一個卷積神經網絡主要由以下五部分組成·輸入層/InputLayer ·卷積層/ConvolutionLayer·池化層/PoolingLayer ·全連接層/FullConnectionLayer·輸出層/OutputLayer

卷積神經網絡結構48圖8-11卷積神經網絡結構圖輸入層這是網絡的第一層，負責接收原始數據，例如圖像的像素值。輸入層的維度通常與數據的原始維度相匹配。卷積層卷積層使用一組可學習的卷積核來提取輸入數據的特征。卷積神經網絡一般包含多個卷積層，一個卷積層可以有多個不同的卷積核。每個卷積核負責檢測輸入數據中的特定模式或特征。組成卷積核的每個元素類似于一個前饋神經網絡的神經元。

卷積神經網絡結構4902卷積神經網絡結構及其學習算法池化層池化層通常跟在卷積層之后。池化操作的目的是對特征圖進行下采樣，減少數據的空間尺寸，從而減少后續層的參數數量和計算量。這不僅提高了計算效率，還增強了網絡對輸入數據的小變化的魯棒性，使模型對特征的位置、大小和方向有一定程度的不變性。全連接層全連接層是卷積神經網絡中的一個關鍵部分，通常位于網絡的末端。在這層中，每個神經元都與前一層的所有激活值相連，形成了一個完全連接的網絡結構。這種連接方式與傳統的神經網絡中的連接方式相同，因此得名“全連接層”。

卷積神經網絡結構5002卷積神經網絡結構及其學習算法輸出層根據任務的需求，輸出層可以是Softmax層、Sigmoid層或線性層，它們將網絡的內部表示轉化為需要的輸出，如類別標簽或連續值。正是通過從輸入層到卷積層（以可學習的卷積核提取局部特征，實現參數共享與局部感知），再到池化層（對特征圖下采樣，減少計算量并增強平移不變性），經全連接層整合全局信息，最終由輸出層根據任務輸出（如分類概率、回歸數值等），構建起卷積神經網絡對圖像、語音等數據的高效特征提取與模式識別能力，使其成為深度學習中處理空間結構化數據的核心架構之一。

卷積神經網絡結構5102卷積神經網絡結構及其學習算法類比于經典的多層感知機網絡反向傳播的算法，卷積神經網絡同樣通過正向傳播-反向傳播的步驟來更新網絡，使網絡通過梯度下降方法來調整權重和偏置，以最小化損失函數。

卷積神經網絡學習算法前向傳播：輸入數據在卷積神經網絡中從輸入層開始，經過卷積層、激活函數、池化層、全連接層，最終到達輸出層。反向傳播：使用損失函數（如交叉熵損失）來衡量網絡的預測輸出與真實標簽之間的差異。從輸出層開始，計算損失函數關于網絡中每個權重的梯度。這個過程涉及到鏈式法則，即對于每一層，需要計算損失函數對激活值的導數，然后計算激活值對權重的導數，通過梯度方法來調整權重和偏置。5202卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5302卷積神經網絡結構及其學習算法

卷積神經網絡學習算法

5402卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5502卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5602卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5702卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5802卷積神經網絡結構及其學習算法

卷積神經網絡學習算法5902卷積神經網絡結構及其學習算法例8-7考慮一個6×6的特征圖如圖所示，使用3×3的最大池化窗口，步長為3，不使用填充。最大池化后的特征圖如圖所示，求反向傳播梯度。假設損失函數L對F的梯度為?L/?F=[d1,d2;d3,d4]，因為梯度只傳遞給正向傳播中的最大值位置，所以，d1、d2、d3和d4分別為F中15、18、33和36的梯度。

卷積神經網絡學習算法60圖8-12最大池化結果圖圖8-13最大池化反向傳播結果02卷積神經網絡結構及其學習算法例8-8考慮一個6×6的特征圖如圖所示，使用3×3的最大池化窗口，步長為3，不使用填充。最大池化后的特征圖如圖所示，求反向傳播梯度。假設損失函數L對F的梯度為?L/?F=[d1,d2;d3,d4]，則梯度平均分配給所有輸入，分別為d1/9、d2/9、d3/9和d4/9。

卷積神經網絡學習算法61圖8-14平均池化結果圖圖8-15平均池化反向傳播結果02卷積神經網絡結構及其學習算法03典型卷積神經網絡LeNet-5是一個經典的深度卷積神經網絡，由YannLeCun在1998年提出，旨在解決手寫數字識別問題，被認為是CNN的開創性工作之一。該網絡是第一個被廣泛應用于數字圖像識別的神經網絡之一，也是深度學習領域的里程碑之一。

LeNet-5LeNet-5是一個應用于圖像分類問題的卷積神經網絡，其學習目標是從一系列由32×32×1灰度圖像表示的手寫數字中識別和區分0-9。LeNet-5的隱含層由2個卷積層、2個池化層構筑和2個全連接層組成，按如下方式構建：1)

(3×3)×1×6的卷積層（步長為1，無填充），2×2均值池化（步長為2，無填充），tanh激勵函數；2)(5×5)×6×16的卷積層（步長為1，無填充），2×2均值池化（步長為2，無填充），tanh激勵函數；3)2個全連接層，神經元數量為120和84。62

LeNet-5從深度學習的觀點來看，LeNet-5規模很小，但考慮YannLeCun提出時的數值計算條件，LeNet-5在該時期仍具有相當的復雜度。LeNet-5使用雙曲正切函數作為激勵函數，使用均方差作為誤差函數并對卷積操作進行了修改以減少計算開銷，這些設置在隨后的卷積神經網絡算法中已被更優化的方法取代。03典型卷積神經網絡63圖8-16LeNet-5結構圖AlexNet是2012年ILSVRC圖像分類和物體識別算法的優勝者。它的深層網絡結構和使用ReLU激活函數等創新點，顯著提高識別準確率，引發了深度學習的熱潮。

AlexNetAlexNet的隱含層由5個卷積層、3個池化層和3個全連接層組成，按如下方式構建：1)(11×11)×3×96的卷積層（步長為4，無填充，ReLU），3×3極大池化（步長為2、無填充），LRN；2)(5×5)×96×256的卷積層（步長為1，相同填充，ReLU），3×3極大池化（步長為2、無填充），LRN；3)(3×3)×256×384的卷積層（步長為1，相同填充，ReLU）；4)(3×3)×384×384的卷積層（步長為1，相同填充，ReLU）；5)(3×3)×384×256的卷積層（步長為1，相同填充，ReLU），3×3極大池化（步長為2、無填充）；6)3個全連接層，神經元數量為4096、4096和1000。03典型卷積神經網絡64

AlexNetAlexNet在卷積層中選擇ReLU作為激勵函數，使用了隨機失活，和數據增強技術，這些策略在其后的卷積神經網絡中被保