深度信念網(wǎng)絡

DeepBeliefNetwork《神經(jīng)網(wǎng)絡與深度學習》2025主要內容玻爾茲曼機受限玻爾茲曼機深度信念網(wǎng)絡玻爾茲曼機

BoltzmannMachine

玻爾茲曼機（BoltzmannMachine）包含六個變量的玻爾茲曼機兩個基本問題：推斷p(h|v)參數(shù)學習W玻爾茲曼機的推斷

吉布斯采樣

模擬退火

Hopfield網(wǎng)絡隨機性方法確定性方法Hopfield網(wǎng)絡和玻爾茲曼

的能量變化對比玻爾茲曼機的參數(shù)學習最大似然估計采用梯度上升法玻爾茲曼機的參數(shù)學習基于Gibbs采樣來進行近似求解受限玻爾茲曼機

RestrictedBoltzmannMachines受限玻爾茲曼機（RestrictedBoltzmannMachines，RBM）受限玻爾茲曼機是一個二分圖結構的無向圖模型。在受限玻爾茲曼機中，變量可以為兩組，分別為隱藏層和可見層（或輸入層）。節(jié)點變量的取值為0或1。和兩層的全連接神經(jīng)網(wǎng)絡的結構相同。全條件概率從無向圖的性質可知，在給定可觀測變量時，隱變量之間互相條件獨立．在給定隱變量時，可觀測變量之間也互相條件獨立．全條件概率吉布斯采樣受限玻爾茲曼機可以并行地對所有的可觀測變量（或所有的隱變量）同時進行采樣，從而可以更快地達到熱平衡狀態(tài)．參數(shù)學習采用梯度上升法時，參數(shù)W,a,b可以用下面公式近似地更新根據(jù)受限玻爾茲曼機的條件獨立性，可以對可觀測變量和隱變量進行分組輪流采樣。對比散度算法ContrastiveDivergence

深度信念網(wǎng)絡

DeepBeliefNetwork深度信念網(wǎng)絡（DeepBeliefNetwork）深度信念網(wǎng)絡是深度的概率有向圖模型和全連接的神經(jīng)網(wǎng)絡結構相同。頂部的兩層為一個無向圖，可以看做是一個受限玻爾茲曼機。認知權重生成權重深度信念網(wǎng)絡中所有變量的聯(lián)合概率可以分解為局部條件概率局部條件概率認知權重生成權重

只有一層的簡單Sigmoid信念網(wǎng)絡參數(shù)學習訓練深度信念網(wǎng)絡-逐層訓練逐層訓練是能夠有效訓練深度模型的最早的方法。訓練深度信念網(wǎng)絡-精調（Fine-Tuning）作為判別模型的精調深度信念網(wǎng)絡作為神經(jīng)網(wǎng)絡的預訓練模型作為生成模型的精調ContrastiveWake-Sleep算法Wake階段：認知過程，通過外界輸入（可見變量）和向上認知權重，計算每一層隱變量的后驗概率并采樣。然后，修改下行的生成權重使得下一層的變量的后驗概率最大“如果現(xiàn)實跟我想象的不一樣，改變我的權重使得我想象的東西就是這樣的”；Sleep階段：生成過程，通過頂層的采樣和向下的生成權重，逐層計算每一層的后驗概率并采樣。然后，修改向上的認知權重使得上一層變量的后驗概率最大。“如果夢中的景象不是我腦中的相應概念，改變我的認知權重使得這種景象在我看來就是這個概念”；