反向傳播算法課件_第1頁
反向傳播算法課件_第2頁
反向傳播算法課件_第3頁
反向傳播算法課件_第4頁
反向傳播算法課件_第5頁
已閱讀5頁，還剩12頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

Addupeverythingwhatyoulikeandeverythingwhatyouwant夢想，要比昨天走的更遠神經網絡與深度學習目錄/contents使用矩陣快速計算輸出的方法關于代價函數的兩個假設反向傳播的四個基本方程及證明反向傳播算法反向傳播算法為什么要提出反向傳播算法？在反向傳播算法提出之前人們應該想到了使用SGD學習模型，也想到了一些辦法求解網絡模型的偏導數，但這些算法求解效率比較低，所以提出反向傳播算法來更高效的計算偏導數。反向傳播算法最初在1970年代被提及，但是人們直到DavidRumelhart,GeoffreyHinton和RonaldWiliams的著名的1986年的論文中才認識到這個算法的重要性。這使得使用神經網絡來解決之前無法完成的問題變得可行。現在，反向傳播算法已經是神經網絡學習的重要組成部分了。偏置和激活值（23）（對比上一章公式（4))最后我們引入向量化函數來按照矩陣形式重寫公式如果我們的作用函數是，那么向量化的f函數作用就起到下面的效果了解這些，方程就可以表示為下式（24）（25）在使用方程（25）的過程中，我們計算了中間量，這個量其實是非常有用的：我們稱關于代價函數的兩個假設第一個假設就是代價函數可以被寫成在沒個訓練樣本x的代價函數第二個假設就是代價可以寫成神經網絡輸出的函數例如二次代價函數滿足這個要求，則對于一個單獨訓練樣本x的二次代價函數寫作(26)(27)反向傳播的四個基本方程及證明我們定義l層的第j個神經元上的誤差（29）通過組合（BP1）和（BP2），我們可以計算任何層的誤差。首先使用(BP1)計算，然后用方程（BP2）來計算，然后再次用方程（BP2）來計算，如此一步一步地反向傳播整個網路。代價函數關于網絡中任意偏置的改變率：（BP3）這其實是，誤差和偏導數完全一致。這是很好的性質，因為（BP1）和（BP2）已經告訴我們如何計算。所以就將（BP3）簡記為：總結一下，我們已經學到，如果輸入神經元激活值很低，或者輸出神經元已經飽和了（過高或者過低的激活值），權重會學習緩慢。反向傳播算法：反向傳播方程給出了一種計算代價函數的方法。讓我們顯示的用算法描述出來。檢視這個算法，你可以看到為何它被稱作反向傳播。我們從最后一層開始向后計算誤差向量。這看起來有點奇怪，為何要從后面開始。但是如果你認真思考反向傳播的證明，這種反向移動其實是代價函數是網絡輸出函數的結果。為了理解代價隨前面層的權重和偏置變化的規律，我們需要重復作用鏈式法則，反向地獲得需要的表達式。總結反向傳播的核心是一個對代價函數C關于任何權重w（或者偏置b）的偏導數的表達式。這個表達式告訴我們在改變權重和偏置時，代價函數變化的快慢。反向傳播的大體思路就是找到一個中間變量，通過鏈式法則來求解誤差對參數的偏導數。感謝各位聆聽Addupeverythi

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論