13.4算法總結13.1算法概述13.2算法原理13.3算法案例目錄第十三章BP神經網絡人工智能算法與實踐—1

—

01算法概述PartTHREE—2

—

13.1.1

人工神經網絡—3

—

人工神經網絡又稱神經網絡或全連接神經網絡等，是模仿生物神經網絡（動物中樞神經系統）的結構和功能來估計或近似函數的數學模型或計算模型。人工神經網絡非常的強大，其算法也是妙不可言，絕大部分的神經網絡模型都采用BP神經網絡及其變化形式。BP神經網絡就是一個萬能的通用模型，每次根據訓練得到的結果與預想結果進行誤差分析，一步一步修改權值和閾值，得到和預想結果一致的模型。這就是BP神經網絡的核心。大腦神經回路（左）與人工神經網絡（右）13.1.1

人工神經網絡—4

—

圖1三層神經網絡神經網絡主要是由輸入層，隱藏層和輸出層組成。輸入層的每個神經元都代表著這個網絡的一個特質輸出層的個數代表著網絡分類標簽個數隱藏層的層數和隱藏層神經元都是人為設定的—5

—

13.1.2BP神經網絡圖2三層BP神經網絡BP神經網絡是1986年由Rinehart和McClelland為首的科學家小組提出，是一種按誤差逆傳播算法訓練的多層前饋網絡，能學習和存貯大量的輸入-輸出模式映射關系，而無需事前揭示描述這種映射關系的數學方程。BP神經網絡是一種簡化的生物模型，它的學習規則是使用最速下降法，通過反向傳播來不斷調整網絡的權值和閾值，使網絡的誤差平方和最小。每層神經網絡都是由神經元構成的，單獨的每個神經元相當于一個感知器。輸入層是單層結構的，輸出層也是單層結構的，而隱藏層可以有多層，也可以是單層的。輸入層得到刺激后傳給隱藏層，隱藏層則會根據神經元相互聯系的權重并根據規則把這個刺激傳給輸出層，輸出層對比結果，如果不對則返回進行調整神經元相互聯系的權值。這樣就可以進行訓練并最終學會，這就是BP神經網絡模型。—6

—

13.1.2BP神經網絡BP神經網絡信號是前向傳播的，而誤差是反向傳播的。神經網絡的基本組成單元是神經元，常用的激活函數有閾值函數、sigmoid函數和雙曲正切函數。BP算法由數據流的前向計算（正向傳播）和誤差信號的反向傳播兩個過程構成。正向傳播時，傳播方向為輸入層→隱藏層→輸出層，每層神經元的狀態只影響下一層神經元。若在輸出層得不到期望的輸出，則轉向誤差信號的反向傳播流程。通過這兩個過程的交替進行，在權向量空間執行誤差函數梯度下降策略，動態迭代搜索一組權向量，使網絡誤差函數達到最小值，從而完成信息提取和記憶過程。圖3BP神經網絡示意圖02算法原理PartTHREE—7

—

—8

—

13.2.1

正向傳播

—9

—

13.2.2

反向傳播

反向傳播是“誤差反向傳播”的簡稱，是一種與最優化方法（如梯度下降法）結合使用的，用來訓練人工神經網絡的常見方法。該方法對網絡中所有權重計算損失函數的梯度。這個梯度會反饋給最優化方法，用來更新權值以最小化損失函數。

—10

—

13.2.2

反向傳播

—11

—

13.2.2

反向傳播

—12

—

13.2.2

反向傳播

—13

—

13.2.3Sigmoid函數

—14

—

13.2.4BP神經網絡具體步驟

BP神經網絡已廣泛應用于非線性建摸、函數逼近、系統辨識等方面，但對實際問題，其模型結構需由實驗確定，無規律可尋。具體步驟為：將訓練集數據輸入到神經網絡的輸入層，經過隱藏層，最后達到輸出層并輸出結果，這是前向傳播過程；由于輸出結果與實際結果有誤差，則計算估計值與實際值之間的誤差，并將該誤差從輸出層向隱藏層反向傳播，直至傳播到輸入層；在反向傳播的過程中，根據誤差調整各種參數的值；不斷迭代上述過程，直至收斂。

—15

—

13.2.5

三層BP神經網絡算法實現當訓練次數為1000次時，其預測結果已經非常的精確了，實踐發現，通過調整隱藏層的結構和增加訓練的次數都可以提升預測的準確率，但要在準確率和預測時間之間取一個最優解，既要準確率也要訓練和預測效率。03算法案例PartTHREE—16

—

13.3.1

天氣溫度預測—17

—

給定山東某地區2016年4月，共30×24小時溫度數據。選擇1—20日（20×24小時）的數據為訓練數據集，21—30日（10×24小時）的數據為測試數據集。對山東某地區歷史溫度數據進行BP神經網絡訓練，通過前3小時溫度數據，預測第4小時溫度值。13.3.2

代碼實現—18

—

定義神經網絡結構及參數初始化權值和閾值13.3.2

代碼實現—19

—

構建圖讀取溫度數據13.3.2

代碼實現—20

—

數據歸一化13.3.2

代碼實現—21

—

創建會話執行圖，訓練神經網絡13.3.2

代碼實現—22

—

測試13.3.2

代碼實現—23

—

預測效果圖04算法總結PartTHREE—24

—

13.4

算法總結—25

—

優點：非線性映射能力：適合求解內部機制復雜的問題自學習和自適應能力：在訓練時能夠通過學習自動提取輸出、輸出數據間的“合理規則”，并自適應地將學習內容記憶于網絡的權值中。泛化能力：在保證對分類對象進行正確分類，能對未見過的模式或有噪聲污染的模式進行正確的分類。容錯能力：在其局部的或者部分的神經元受到破壞后對全局的訓練結