1、第24卷第5期 2008年10月天津理工大學學報JoURNAL oF TIANJIN UNIVERSnY OF TECHNOLOGY文章編號:1673095X(200805-001303BP神經網絡隱含層單元數的確定沈花玉1,王兆霞1,高成耀2,秦 娟1,姚福彬1,徐 巍1(1.天津理工大學電子信息與通信工程學院,天津300191;2.天津大學電子信息工程學院,天津300072摘要:本文針對BP神經網絡隱含層單元數難以確定的問題,提出了一種改進的方法,并通過實驗證明該方法有效 的減少了驗證次數,提高了確定隱含層最佳單元教的效率,具有較高的應用價值.關鍵詞:BP神經網絡;隱含層;單元;誤差中圖分

2、類號:TPl83文獻標識碼:ADetermining the number of BP neural network hidden layer units SHEN Hua-yul,WANG Zhaoxial,GAO Cheng.ya02,QIN Juanl,YAO Fu.binl,XU Weil(1.School of Electronics Information and Communications Engineering,Tianjin University 0f Technology,Tianjin 300191,China;2.School of Electronic and In

3、formation Englneering,Tianjin University,Tianjin 300072,ChinaAbstract:This paper puts forward an improved method to contrapose the problem which is difl3cult to determine the nnmbeT 0f BP neural network hidden l且yer units.It is proved that the method is effective in reducing the frequency of test th

4、rough ex pefiments,and improves the efficiency of determining the best number of hidden Layer units,which is more valuable in the applyication.Key words:BP Neural Network;hidden layer;unit;eiTorBP(Back Propagation神經網絡¨。1是1986年由Rumelhart和Mccelland為首的科學家小組提出,是一種單向傳播的多層前饋網絡,是目前應用最廣泛的神經網絡模型H1之一.但BP

5、神經網絡至今仍存在一個難以解決的問題:難以確定隱含層單元的個數.本文提出一種確定隱含層單元數的方法,并加以驗 證,證明了其可行性,具有一定的應用價值.1BP神經網絡BP神經網絡結構如圖1所示.由圖1可見,BP 神經網絡是一種具有3層或3層以上的神經網絡, 包括輸入層(input layer、隱含層(hidden layer和輸 出層(output layer,上下層之間實現全連接,而每層 神經元之間無連接.當一對學習樣本提供給網絡后, 神經元的激活值從輸入層經各隱含層向輸出層傳輸入層 隱含層 輸出層圖1BP神經網絡結構示意圖Fig.1The structure of BP neural net

6、work播,在輸出層的各神經元獲得網絡的輸入響應.接 下來,按照減少期望輸出與實際輸出之間誤差的方 向,從輸出層經過各中間隱含層逐層修正各連接權 值,最后回到輸入層,隨著這種誤差逆的傳播修正 不斷進行,網絡對輸入模式響應的正確率也不斷 上升5|.收稿日期:2007-11.26.基金項目:天津市高等學校科技發展基金(20041325;中國博士后科學基金(2005037529. 第一作者:沈花玉(1981一 ,女,碩士研究生.14 天津理工大學學報 第24卷第5期2隱含層單元數的確定隱含層的單元數目選擇是個十分復雜的問題,往往需要根據設計者的經驗和多次實驗來確定,因而不存在一個理想的解析式來表示.

7、隱含層單元的數目與問題的要求、輸A/輸出單元的數目都有著直 接關系.若數目太少,則網絡所能獲取的用以解決問題的信息太少;若數目太多,不僅增加訓練時間,更重要的是隱含層單元數過多會導致學習時間過長, 且誤差不一定最佳,也會導致容錯性差、不能識別以 前沒有訓練過的樣本,還可能出現所謂“過渡吻合” (Overfitting問題,即測試誤差增大導致泛化能力下降.因此合理選擇隱含層單元數非常重要,一定存在一個最佳的隱單元數.2.1隱含層單元數的確定方法以下3種途徑可用于選擇最佳隱含層單元數時的參考公式怕J.B1芝:c:i>露,其中,后為樣本數,廳。為隱含層 再而。單元數,廳為輸入單元數,i為0,廳

8、之間的常數,如果.2尼。=知+m+a,其中,l,為隱含層單元數,l為輸入單元數,m為輸出單元數,口為1,10之間的常數.3廳。=log:廳,其中,n。為隱含層單元數,n為輸 入單元數.在實際問題中應該選擇哪種方法來確定最佳隱 含層單元數?通常的選擇就是每種方法分別驗證其最佳隱含層單元數,然后將各方法得出的最佳隱含 層單元數綜合比較,然后確定網絡最終的最佳隱含 層單元數,這樣就需要驗證幾十次甚至幾百次.作者 提出一種方法:由方法1,2,3綜合確定最佳隱 含層單元數的邊界數,n。一min,乃,一瑚x,從最小單元 數n。_rain開始訓練網絡,逐個增加單元數,驗證到 最大單元數,llmsx,一共驗證

9、玨lm缸一nlmin+1次,在每種隱含層單元數情況下,待網絡收斂后,比 較在訓練集相同的情況下網絡的收斂速度;最后,根 據訓練結果得到的訓練誤差和測試誤差來選擇隱含 層最佳單元數.這樣可以有效的減少驗證次數,從而 以最快的速度找到隱含層最佳單元數. 2.2實例驗證下面給出一個具體問題,根據這個具體問題來 驗證這種確定隱含層最佳單元數的方法.1問題描述.設定樣本數據M1如表l所示,其 中l12為訓練樣本,1315為測試樣本:表1樣本數據Tab.1Sample data樣本序號樣本輸入特征數據類別3O0.10780.22460.203l0.24280.20500.07040.04030.00440

10、.04670.07l 91.47360.28453.0r7240.21080.19040.14670.1096-0.200l 一1.60020.20l lO.10210.13940.10010.15720.1584-0.279151.03140.15210.11010.08010.03470.04820.01580.030l3l l l l 22223333l 2123456789mn心n H2008年10月 沈花玉,等:BP神經網絡隱含層單元數的確定 15 對任何在閉區間內的連續函數,都可以用一個隱含層的BP神經網絡來逼近,因而一個3層的BP 神經網絡可以完成任意的n維到m維的映照.因此 本

11、文從含有一個隱含層的網絡開始進行訓練.下面需要確定樣本數、輸入單元數和輸出單元 數,由上表可知:一共12個樣本,即樣本數,每個樣 本中有8個輸入特征數據,即輸入單元數,該12組 樣本數據一共有1,2,3種類別,為了簡化網絡,用 (0,1表示第1類狀態,用(1,0表示第2類狀態,用 (1,1表示第3類狀態,因此在網絡輸出層中只設計 兩個輸出單元就可以表示這3種狀態類別,即輸出 單元數.2隱含層單元數邊界的確定.由以上分析可知:樣本數,輸入單元數3,輸出單元數.根據上述3個 參考公式可知:最佳隱含層單元數應處在3一13之 間,依次從最小單元數n。_min=3開始到最大單元數 玨lmax:13彭JJ

12、練網絡.3訓練結果.本文采用MATLAB81軟件,訓練結 果如表2,圖2所示.其中,表2為隱含層單元數與訓 練誤差、測試誤差的關系,圖2表明,當隱含層單元 數n,=9時,網絡訓練至第9次達到了目標誤差,網 絡訓練結束.裹2隱含層單元數與訓練誤差、測試誤差的關系1 Tab.2The relationship 1betw啪the number of hidden layer units and the trainjng error.test error由圖2可以看出.增加隱含層單元數可以減少 訓練誤差,超過10以后測試誤差產生微小波動,綜 合比較各隱含層單元數的訓練誤差和測試誤差,決 定隱含層單元

13、數選用9.并非隱含層單元的個數越 多,網絡的性能就越好,在測試本組樣本數據時,訓 練誤差隨著隱含層單元的個數增加而逐漸減小,而jo三1oo三柚點點昌b 圈2隱含層單元數廳。=9時的訓練圖Fig.2The tmUang figure of the numberof hidden layer units-廳I=9在個數為913時,訓練誤差隨著隱含層單元的個 數增加而逐漸增大,雖然增大的幅度不是很大,但足 以影響網絡的性能.對于普通的確定隱含層單元數的方法,即從隱 含層單元數n.=1時開始訓練,至少一直訓練到隱含 層單元數凡。=2n+1=17,對于該具體問題來說,需 要驗證17次,才能決定隱含層單元

14、數為9.而通過本 文提出的方法只驗證了11次隱含層單元數便可得 出最佳隱含層單元數為9,結果相同.3結束語通過實驗證明,用此方法減少了驗證次數,可以 有效且直觀的來確定隱含層單元數,提高了確定隱 含層最佳單元數的效率,從而也提高了確定網絡結 構的速度,具有一定的可行性.參考文獻:1袁曾任.人工神經元網絡及其應用M.北京:清華大 學出版社,1999.2Dayhoff J E,Deleo J M.Artificial neural networksJ. Cancer,2001,91(8:1615-1634.3蔣宗禮.人工神經網絡導論M.北京:高等教育出版 社,2001.4焦李成.神經網絡系統理論M

15、.西安:西安電子科技 大學出版社,1996.5閻平凡,張長水.人工神經網絡與模擬進化計算M. 北京:清化大學出版社,2000.6飛思科技產品研發中心.神經網絡理論與MATLAB7實 現M.北京:電子工業出版社,2005.7鄭阿奇.MATLAB實用教程M.北京:電子工業出版 社,2005. BP神經網絡隱含層單元數的確定作者:沈花玉 , 王兆霞 , 高成耀 , 秦娟 , 姚福彬 , 徐巍 , SHEN Hua-yu, WANG Zhao-xia, GAO Cheng-yao, QIN Juan, YAO Fu-bin, XU Wei作者單位:沈花玉,王兆霞,秦娟,姚福彬,徐巍,SHEN Hua-

16、yu,WANG Zhao-xia,QIN Juan,YAO Fu-bin,XU Wei(天津理工大學,電子信息與通信工程學院,天津,300191 , 高成耀,GAO Cheng-yao(天津 大學,電子信息工程學院,天津,300072刊名:天津理工大學學報英文刊名:JOURNAL OF TIANJIN UNIVERSITY OF TECHNOLOGY年,卷(期:2008,24(5被引用次數:5次參考文獻(7條1. 鄭阿奇 MATLAB實用教程 20052. 飛思科技產品研發中心 神經網絡理論與MATLAB7實現 20053. 閻平凡;張長水 人工神經網絡與模擬進化計算 20004. 焦李成 神經網絡系統理論 19965. 蔣宗禮 人工神經網絡導論 20016. Dayhoff J E;Deleo J MArtificial neural networks 2001(087. 袁曾任 人工神經元網絡及其應用 1999引證文獻(5條1. 楊云超 . 吳非