深度神經網絡相關算法介紹綜述目錄TOC\o"1-3"\h\u12156深度神經網絡相關算法介紹綜述 1253301.1深度神經網絡簡介 1234401.2卷積神經網絡 1319081.2.1卷積層 2278511.2.2池化層 214411.3循環神經網絡 353621.4長短期記憶網絡 5226461.4.1遺忘門 6319241.4.2輸入門 7148561.4.3輸出門 8247181.4.4LSTM總結 91.1深度神經網絡簡介人工神經網絡的起源可以追溯到上世紀四十年代。1943年代科學家們美從生物神經網絡的工作機制當中獲得啟發，提出了MP模型，后來又有科學家在其基礎上提出一種前饋神經網絡。其結構較為簡單，只有輸入層和輸出層，但是已經具備了自動學習權重，損失函數，梯度下降算法，優化器等當下神經網絡的主要思想。感知機相當于生物神經網絡中的神經元，通常以實數值向量作為輸入，計算這些輸入的線性組合。神經網絡就由這些感知機所組成，單個感知機就構成了最簡單的神經網絡。后來的神經網絡在輸入層和輸出層之間加入了隱藏層。加入了多層隱藏層之后就產生了后來的深度神經網絡。1.2卷積神經網絡上世紀六十年代科學家們從貓的腦皮層結構中得到靈感，設計了卷積神經網絡模型（ConvolutionalNerualNetworks，CNN）。CNN是一種基于卷積計算的神經網絡，主要用來識別具有類似網格結構的二維圖形。CNN在計算機視覺領域取得了優秀的成果，后來也逐漸被移植到情感分析中來。CNN的神經元之間是非全連接的，這一點和人的生物神經網絡類似。非全連接的結構使其具有局部相關性，即某些相近神經元之間的權重是共享的。這種特點有效降低了參數的規模和模型復雜度[7]。完整的CNN網絡結構包含若干交替存在的卷積層和池化層，最后和全連接層相連。其是一種監督學習的神經網絡，CNN通過卷積層提取特征，提取后的特征和其他特征的位置關系是確定的。每個卷積層后面緊跟一個池化層來進行特征映射。1.2.1卷積層卷積是一種局部操作，其執行的工作是將輸入層和權重矩陣進行卷積運算，通常還會設置偏置來增強模型的擬合能力。卷積計算過程如圖3-1所示，左邊是輸入層的特征圖，最外層灰色的區域是填充部分，邊界填充能使得原本的邊界特征得到充分利用。圖中設置的卷積核大小為3x3，步長是窗口每次移動的格數。卷積尺寸越小，步長越小，對特征圖的特征提取就越精細[8]。中間兩層為濾波器，由權重矩陣所組成。執行卷積操作時窗口在輸入的特征圖上進行滑動，并和濾波器中的權重矩陣進行計算，輸出結果到對應的位置中。圖3-1卷積層計算過程1.2.2池化層經過卷積運算之后的矩陣要經過池化處理。池化層的作用是壓縮特征圖，常用的方法有最大池化和平均池化。池化層所作的只是篩選和過濾，不包含計算，可以降低網絡模型的復雜度，同時提高模型的魯棒性。如圖3-2所示是最大池化處理，選取一片區域內的最大特征值，其最大優點是其不變性，此區域的其他值如果有微小的移動變化，池化后的結果依然保持不變。池化層之后是全連接層。前面說到CNN的神經元之間的非全連接的，但是最終的輸出元素仍是通過所有輸入元素進行線性計算得到的，因此通常我們也把它叫做全連接層。在全連接層中，前面提取到的所有特征會被綜合起來，相當于對特征進一步的提純，方便最后的分類器進行分類。圖3-2最大池化過程1.3循環神經網絡循環神經網絡（RecurrentNeraulNetworks，RNN）的出現本身就是為了解決傳統深度神經網絡無法對時間序列變化做出反應的問題，因此其很擅長處理序列化信息，包括時間序列和結構序列。由于RNN的這種特性，使它成為處理自然語言最自然的神經網絡結構。RNN的結構比較特殊，其展開是一個鏈式結構。不同于傳統深度神經網絡或者卷積神經網絡，RNN的隱藏層是相互連接的，上一層的權重值會傳遞到下一層進行計算更新，每一層的輸出都會輸入到下一個隱藏層，影響下一層的輸出[9]。圖3-3RNN展開結構圖如圖3-3是RNN的展開結構圖，RNN是按照時間進行傳遞的，每個時刻的輸入都會結合當前模型狀態進行計算然后輸出，然后選擇最后一層的輸出結果。圖3-4循環神經網絡結構循環神經網絡的整體結構如圖3-4所示，首先輸入向量x和權重矩陣U運算后進入隱藏層s。在隱藏層數據有兩種傳遞方向，一種是經過權重矩陣V到達輸出層，這是神經網絡中最基本的處理流程。除此以外，還有另一個權重矩陣W，W在隱藏層之間傳遞，是為了對隱藏層上次的權重進行更新，然后作為下次輸入權重的一部分。RNN在任意時刻的權重參數都是共享的，因此具有聯系上下信息之間關系的能力。但由于梯度消失和梯度爆炸的存在，其很難保持長時間的記憶，不能解決長時期依賴的問題[10]。1.4長短期記憶網絡上面的介紹中講到，RNN可以挖掘到數據的語義信息和時序信息，根據過去的信息來理解當前時刻，考慮到前后信息的相關性。但是由于梯度消失的原因，對于間隔跨度較大的前后信息，RNNs則不能捕捉到其中的聯系，即長時間依賴（long-termdependency）的問題。在此基礎上Hochreiter&Schmidhuber(1997)提出提出了LSTM（LongShort-TermMemory，LSTM），其針對的就是長時間依賴的問題。圖3-5和圖3-6是RNN和LSTM的展開結構對比。LSTM本質仍是一種循環神經網絡，結構與標準RNN類似，仍是將上一層的輸出作為下一層的輸入。在標準RNN中，神經元內部的結構非常簡單，每個神經元有兩個輸入，上個神經元傳來的t-1時刻的狀態信息ht-1和當前時刻的輸入xt，和權重聚合之后經過激活函數tanh輸出當前時刻的狀態信息[11]。LSTM在其基礎上增添了門結構，內部神經元結構如圖3-7所示，增添了遺忘門，輸入門和輸出門。通過門來控制狀態信息，使LSTM具備選擇性記憶和遺忘的能力，從而具備長時間的記憶。各個門的作用分別為：遺忘門：控制上一個神經元的信息有多少會被保存到當前神經元中。輸入門：控制輸入神經元的信息比重。輸出門：控制輸出到隱藏狀態的信息比重。圖3-5RNN內部結構圖3-6LSTM展開結構圖3-7LSTM神經元結構1.4.1遺忘門圖3-8細胞狀態傳輸通道相比于RNN結構，LSTM神經元中多出來的那條貫穿整個神經元的橫線就是最關鍵的部分，如圖3-8所示。它代表的是細胞的狀態。輸入的Ct-1在神經元中實際上只進行了少量的線性交互。信息在其上面傳輸能做到長時間的保留。這條橫線結構只承載信息，對信息的控制則通過門結構來實現。圖3-9遺忘門遺忘門是LSTM模型算法中特有的一種結構，如圖3-9所示。這部分的作用是決定哪些信息被保存，哪些信息需要被丟棄。激活函數sigmoid層的作用是加入非線性因素，增強模型的表達能力。輸入的ht-1和xt和權重矩陣聚合，bf是偏置，表示接受的誤差范圍，之后經過sigmoid層輸出一個0~1之間的向量，“0”和“1”分別代表“丟棄所有信息”和“保留所有信息”，所以得到的這個輸出向量就代表保留信息的比重。1.4.2輸入門圖3-10輸入門神經元中輸入門的部分如圖3-10所示，其作用是更新信息，輸入們層中同樣用到sigmoid層對輸入ht-1和xt進行處理獲得輸入狀態it。tanh層則是生成向量EQ\*jc0\*"Font:TimesNewRoman"\*hps12\o\ad(\s\up11(~),C)t，其是一個備用更新的內容，我們用它來和輸入狀態it結合起來，對細胞狀態進行更新。圖3-11狀態更新更新過程如圖3-11所示，我們將上個細胞的狀態Ct-1與遺忘門中輸出的ft進行矩陣元素相乘，忘記不想保留的信息，加上輸入狀態it和備用更新信息C^t的乘積，這部分乘積即是新的需要添加的內容，得到最終更新后當前時刻的細胞狀態Ct。1.4.3輸出門圖3-12輸出門圖3-12展示了輸出門的結構，和前兩步一樣，輸出層同樣需要用到sigmoid層處理的一個輸出比重，在這里是ot。之前計算得到的當前時刻的細胞狀態Ct經過tanh層進行非線性操作，輸出一個-1和1之間的數值。將這個輸出和ot進行權重矩陣相乘，決定最終被輸出的信息。得到最終的結果ht。1.4.4LSTM總結綜上所述，LSTM的核心運算由以下幾個公式概括：ft=σ（Wf?[ht-1，xt]+bf）it=σ（Wi?[ht-1，xt]+bi）EQ\*jc0\*"Font:TimesNe