第六章R的人工神經網絡：數據預測學習目標理論方面，理解神經網絡分類預測的基本原理，適用性和方法特點。實踐方面，掌握R的神經網絡實現、應用以及結果解讀，能夠正確運用神經網絡實現數據的分類預測人工神經網絡概述人工神經網絡（ArtificialNeuralNetwork,ANN）是一種人腦的抽象計算模型，是一種模擬人腦思維的計算機建模方式人工神經網絡的應用研究正從人工智能逐步跨入以數據分析為核心的數據挖掘領域，并大量應用于數據的分類和回歸預測中。也可應用于聚類分析中人工神經網絡由相互連接的神經元，也稱處理單元組成。如果將人工神經網絡看作一張圖，則處理單元也稱為節點。節點之間的連接稱為邊，反映了各節點之間的關聯性，關聯性的強弱體現在邊的連接權重上人工神經網絡概述人工神經網絡的種類:拓撲結構角度劃分兩層神經網絡三層神經網絡和多層神經網絡神經網絡的最底層稱為輸入層，最頂層稱為輸出層，中間層稱為隱層。神經網絡的層數和每層的處理單元的數量，決定了網絡的復雜程度人工神經網絡概述處理單元按層次分布于神經網絡的輸入層、隱層和輸出層中，分別稱為輸入節點、隱節點和輸出節點輸入節點負責接收和處理訓練樣本集中各輸入變量值。輸入節點的個數取決于輸入變量的個數隱節點負責實現非線性樣本的線性變換，隱層的層數和節點個數可自行指定輸出節點給出關于輸出變量的分類預測結果，輸出節點個數依具體問題而定人工神經網絡概述人工神經網絡的種類:從連接方式角度劃分根據層間連接方式，神經網絡可分為前饋式神經網絡：前饋式神經網絡的節點連接是單向的，上層節點的輸出是下層節點的輸入反饋式神經網絡：除單向連接外，輸出節點的輸出又作為輸入節點的輸入層內連接方式是指神經網絡同層節點之間是否相互連接人工神經網絡中的節點和意義節點：完整的節點由加法器和激活函數組成人工神經網絡中的節點和意義節點接收的輸入用向量X表示，節點給出的輸出用y表示，節點與上層連接的連接權重用向量W表示，節點的偏差用表示，則第j個節點的加法器定義為：第j個節點的激活函數定義為：人工神經網絡中的節點和意義計算示例節點的意義對于分類問題，一個節點是一個分割兩個類別的超平面對于回歸問題，一個節點是一個回歸平面人工神經網絡建立的一般步驟建立人工神經網絡的一般步驟第一，數據準備輸入變量的取值范圍通常要求在0至1之間，否則輸入變量的不同數量級別將直接影響權重的確定、加法器的計算結果及最終的預測第二，網絡結構的確定隱層的層數和每層隱節點個數決定了網絡的復雜程度對于隱節點的個數，目前尚沒有權威的確定準則人工神經網絡建立的一般步驟建立人工神經網絡的一般步驟第三，確定連接權重第一步，初始化連接權重向量W第二步，計算各處理單元的加法器和激活函數值，得到樣本的預測值第三步，比較樣本的預測值與實際值并計算預測誤差，根據預測誤差值重新調整各連接權重重新返回到第二步，相應的計算和連接權重的調整將反復進行，直到滿足迭代終止條件為止。至此，一組相對合理的連接權重便被確定下來，超平面或回歸平面也被確定下來感知機模型感知機模型：最基本的前饋式雙層神經網絡模型，僅由輸入層和輸出層構成。輸出節點只有一個只能實現二分類的預測和單個被解釋變量的回歸預測感知機的學習過程第一，開始時（即0時刻），初始化各個連接權重和輸出節點的偏差感知機模型第二，輸入訓練樣本。t時刻，根據樣本輸入變量值x=(x1(t),x2(t),…xp(t))和連接權重，計算輸出節點的輸出值為：第三，t時刻，根據輸出節點j的期望值yj(t)，計算輸出節點j的期望值與輸出值（或預測值）的誤差第四，調整第i個輸入節點和第j個輸出節點之間的連接權重和以及第j個輸出節點的偏差：第五，判斷是否滿足迭代終止條件。如果滿足，則算法終止，否則重新回到第二步，直到滿足終止條件為止。權重調整策略遵從delta規則，即權重的調整與誤差及所連接的輸入成正比感知機模型B-P反向傳播網絡B-P（BackPropagation）反向傳播網絡是一種典型的人工神經網絡，是一種前饋式多層感知機模型B-P反向傳播網絡的主要特點：包含隱層反向傳播激活函數采用Sigmoid函數B-P反向傳播網絡B-P反向傳播網絡中隱層的作用實現非線性樣本的線性化轉化B-P反向傳播網絡B-P反向傳播網絡中的反向傳播：相對于正向傳播正向傳播：樣本信息從輸入層開始，由上至下逐層經隱節點計算處理，上層節點的輸出為下層節點的輸入，最終樣本信息被傳播到輸出層節點，得到預測結果。正向傳播期間所有連接權重保持不變反向傳播：B-P反向傳播網絡無法直接計算隱節點的預測誤差，它利用輸出節點的預測誤差來逐層估計隱節點的誤差，即將輸出節點的預測誤差反方向逐層傳播到上層隱節點，逐層調整連接權重，直至輸入節點和隱節點的權重全部得到調整為止，最終使網絡輸出值越來越逼近實際值B-P反向傳播網絡B-P反向傳播網絡中的Sigmoid函數Sigmoid函數使節點的輸出被限制在0~1范圍內。對于回歸問題，輸出節點給出的是標準化處理后的預測值，只需還原處理即可；對于分類問題，輸出節點給出的是預測類別的概率值Sigmoid函數較好地體現了連接權重修正過程中模型從近似線性到非線性的漸進轉變進程Sigmoid函數不但具有非線性、單調特點，還具有無限次可微的特點，這使B-P反向傳播網絡能夠采用梯度下降法調整連接權重B-P反向傳播算法連接權值確定方法的特點：采用梯度下降法，每個時刻都本著使損失函數減小最快的原則調整連接權重t時刻輸出節點j的誤差函數：損失函數L是參數W的平滑非線性復雜函數，沒有閉合形式的解。采用迭代方式，在誤差函數L曲率的局部信息引導下，搜索局部最小值B-P反向傳播算法步驟：初始化：為參數向量W選取初始值W0第i次迭代，令：重復上步直到損失函數達到局部最小值多次重復啟動，以避免局部而非全局最小B-P連接權重W的調整連接權重調整的目標是使損失函數L達到最小。t時刻連接權重調整應沿著損失函數曲面下降最快的方向，即負梯度方向進行令：，稱為第j個輸出節點t時刻的局部梯度t時刻第l隱層的第j個節點的局部梯度定義為：有：B-P反向傳播網絡中的學習率學習率對神經網絡的權重調整有較為明顯的影響學習率過大，連接權重改變量較大，可能導致網絡工作的不穩定，且當問題的解逼近誤差最小點時可能會因震蕩而永遠達不到最小值的位置；學習率過小，超平面逼近正確目標的進程可能會很漫長簡單的誤差函數：E=w2+1B-P反向傳播網絡的R函數neuralnet包中的neuralnet函數neuralnet(輸出變量~輸入變量,data=數據框名,hidden=1,threshold=0.01,stepmax=100000,eff.fac=誤差函數名,linear.outpu=TURE,learningrate=學習率,algorithm=算法名)nnet包中的nnet函數nnet(輸出變量~輸入變量,data=數據框名,size=隱節點個數,linout=FALSE/TREU,entropy=FALSE/TRUE,maxit=100,abstol=0.0001)Neuralnet函數的應用示例neuralnet函數的應用：精準預測顧客的消費行為建立神經網絡模型評價輸入變量的重要性：廣義權重比較輸入變量不同水平組合對輸出變量的影響利用ROC曲線確定概率分割值ROC曲線:

接受者操作特性曲線，用于評價模型的分類性能，也是輔助確定概率分割值的有效工具TP/(TP+FN)：TPR，稱為敏感性(Sensitivity)：TN/(FP+TN)：TNR1－TNR：FPR，稱為特異性（Specificity）TPR和TNR同時較大，FPR較小，表明分類模型的分類精度較高利用ROC曲線確定概率分割值典型的ROC曲線的橫坐標為FPR，縱坐標為TPR首先,將預測概率值按降序排序然后,選擇其中的幾個典型值（或所有值）依次作為概率分割值，并計算在各概率分割值下，分類模型的當前累計TPR和FPR恰當的概率分割值應處于TPR較大且FPR較小，如2或3處?；騎PR與FPR之比最大，如2處。利用R