2023學年完整公開課版多層感知_第1頁
2023學年完整公開課版多層感知_第2頁
2023學年完整公開課版多層感知_第3頁
2023學年完整公開課版多層感知_第4頁
2023學年完整公開課版多層感知_第5頁
已閱讀5頁，還剩2頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

多層感知主講：馮宇健機多層感知機多層感知機在單層神經網絡的基礎上引入了一到多個隱藏層（hiddenlayer）。隱藏層位于輸入層和輸出層之間。下圖多層感知機結構示意圖：多層感知機

模型圖所示的多層感知機中，輸入和輸出個數分別為4和3，中間的隱藏層中包含了5個隱藏單元。由于輸入層不涉及計算，模型圖中的多層感知機的層數為2。由模型圖可見，隱藏層中的神經元和輸入層中各個輸入完全連接，輸出層中的神經元和隱藏層中的各個神經元也完全連接。因此，多層感知機中的隱藏層和輸出層都是全連接層。

我們先來看一種含單隱藏層的多層感知機的設計：也就是將隱藏層的輸出直接作為輸出層的輸入。如果將以上兩個式子聯立起來，可以得到：多層感知機多層感知機激活函數：引入非線性變換，例如對隱藏變量使用按元素運算的非線性函數進行變換，然后再作為下一個全連接層的輸入。這個非線性函數被稱為激活函數。下面我們介紹幾個常用的激活函數。ReLU函數提供了一個很簡單的非線性變換。給定元素x，該函數定義為：可以看出，ReLU函數只保留正數元素，并將負數元素清零。為了直觀地觀察這一非線性變換，我們先定義一個繪圖函數xyplot。

多層感知機%matplotlibinlineimportd2lzhasd2lfrommxnetimportautograd,nddefxyplot(x_vals,y_vals,name):d2l.set_figsize(figsize=(5,2.5))d2l.plt.plot(x_vals.asnumpy(),y_vals.asnumpy())d2l.plt.xlabel('x')d2l.plt.ylabel(name+'(x)')x=nd.arange(-8.0,8.0,0.1)x.attach_grad()withautograd.record():

y=x.relu()xyplot(x,y,‘relu’)

顯然，當輸入為負數時，

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論