深度學習常用模型簡介當前1頁，總共22頁。深度學習常用模型1.自動編碼器AutoEncoder2.稀疏編碼SparseCoding3.限制波爾茲曼機RestrictedBoltzmannMachine(RBM)4.深信度網絡DeepBeliefNetworks5.卷積神經網絡ConvolutionalNeuralNetworks目錄2當前2頁，總共22頁。1.AutoEncoder一種盡可能復現輸入信號的神經網絡。必須捕捉可以代表輸入數據的最重要的因素。具體過程如下。3當前3頁，總共22頁。1.AutoEncoder1.給定無標簽數據，用非監督學習學習特征現在我們只有無標簽數據，那么這個誤差怎么得到呢？4當前4頁，總共22頁。1.AutoEncoder通過調整encoder和decoder的參數，使得重構誤差最小誤差的來源就是直接重構后與原輸入相比得到5當前5頁，總共22頁。1.AutoEncoder3.有監督微調。

將最后層的特征code輸入到最后的分類器，通過有標簽樣本，通過監督學習進行微調，這也分兩種，

（1）只調整分類器（黑色部分）：6當前6頁，總共22頁。AutoEncoder3.有監督微調。

將最后層的特征code輸入到最后的分類器，通過有標簽樣本，通過監督學習進行微調，這也分兩種，

（2）通過有標簽樣本，微調整個系統一旦監督訓練完成，這個網絡就可以用來分類了此外，AutoEncoder存在一些變體，

如SparseAutoEncoder、DenoisingAutoEncoders（訓練數據中加入噪聲）7當前7頁，總共22頁。2.SparseCoding

利用線性代數中基的概念，即O=a1*Φ1

+a2*Φ2+….+an*Φn，Φi是基，ai是系數，我們可以得到這樣一個優化問題：Min|I–O|，I表示輸入，O表示輸出。通過求解這個最優化式子，我們可以求得系數ai和基Φi，這些系數和基就是輸入的另外一種近似表達。8當前8頁，總共22頁。2.SparseCoding就是將一個信號表示為一組基的線性組合，而且要求只需要較少的幾個基就可以將信號表示出來。“稀疏性”定義為：只有很少的幾個非零元素或只有很少的幾個遠大于零的元素。稀疏編碼算法是一種無監督學習方法，它用來尋找一組“超完備”基向量來更高效地表示樣本數據（也就是說，基向量的個數比輸入向量的維數要大）。9當前9頁，總共22頁。2.SparseCoding不同方向的Edge就能夠描述出整幅圖像，10當前10頁，總共22頁。2.SparseCodingSparsecoding分為兩個部分：1）Training階段：給定一系列的樣本圖片[x1,x2,…]，我們需要學習得到一組基[Φ1,Φ2,…,

Φk]，也就是字典。訓練過程就是一個重復迭代的過程，按上面所說，我們交替的更改a和Φ使得下面這個目標函數最小。a）固定字典Φ[k]，然后調整a[k]，使得上式，即目標函數最小b）然后固定住a[k]，調整Φ[k]，使得上式，即目標函數最小

不斷迭代，直至收斂。這樣就可以得到一組可以良好表示這一系列x的基，也就是字典。11當前11頁，總共22頁。2.SparseCodingSparsecoding分為兩個部分：1）Coding階段：給定一個新的圖片x，由上面得到的字典，通過解一個LASSO問題得到稀疏向量a。這個稀疏向量就是這個輸入向量x的一個稀疏表達了。例如12當前12頁，總共22頁。3.RestrictedBoltzmannMachine(RBM)RBM的特點二部圖每一層的節點之間沒有鏈接一層是可視層，即輸入數據層（v)，一層是隱藏層(h)，節點都是隨機二值變量節點（0或1）全概率分布p(v,h)滿足Boltzmann分布

那么這個模型就是限制玻爾茲曼機13當前13頁，總共22頁。3.RestrictedBoltzmannMachine(RBM)隱藏層的層數增加，我們可以得到DeepBoltzmannMachine(DBM)如果我們在靠近可視層的部分使用貝葉斯信念網絡（即有向圖模型），而在最遠離可視層的部分使用RestrictedBoltzmannMachine，我們可以得到DeepBeliefNet（DBN）14當前14頁，總共22頁。4.DeepBeliefNetworks深信度網絡概率生成模型建立一個觀察數據和標簽之間的聯合分布15當前15頁，總共22頁。5.ConvolutionalNeuralNetworks卷積神經網絡1.卷積神經網絡的特點：人工神經網絡的一種，已成為當前語音分析和圖像識別領域的研究熱點。第一個真正成功訓練多層網絡結構的學習算法

權值共享網絡結構使之更類似于生物神經網絡，降低了網絡模型的復雜度，減少了權值的數量。使圖像可以直接作為網絡的輸入，避免了傳統識別算法中復雜的特征提取和數據重建過程。2.卷積神經網絡的網絡結構16當前16頁，總共22頁。5.ConvolutionalNeuralNetworks卷積神經網絡3.關于參數減少與權值共享圖像的空間聯系是局部的，就像人是通過一個局部的感受野去感受外界圖像一樣，每一個神經元都不需要對全局圖像做感受，每個神經元只感受局部的圖像區域，然后在更高層，將這些感受不同局部的神經元綜合起來就可以得到全局的信息了。局部感受野權值共享時間或空間亞采樣17當前17頁，總共22頁。5.ConvolutionalNeuralNetworks卷積神經網絡4.典型舉例一種典型的用來識別數字的卷積網絡是LeNet-5，共有7層，不包含輸入，每層都包含可訓練參數（連接權重）C1：卷積層（原信號特征增強，并且降低噪音）S2：下采樣層C3：卷積層S4：是一個下采樣層C5：是一個卷積層18當前18頁，總共22頁。5.ConvolutionalNeuralNetworks卷積神經網絡5.卷積和子采樣過程19當前19頁，總共22頁。5.ConvolutionalNeuralNetworks卷積神經網絡6.訓練過程主要包括4步，這4步被分為兩個階段：第一階段，向前傳播階段：a）從樣本集中取一個樣本(X,Yp)，將X輸入網絡；b）計算相應的實際輸出Op。第二階段，向后傳播階段a）算實際輸出Op與相應的理想輸出Yp的差；b）按極小化誤差的方法反向傳播調整權矩陣20當前20頁，總共22頁。5.ConvolutionalNeuralNetw