第一章緒論

科學發展大趨勢InfoCognoBioNanoEnhancingHumanPerformanceNewHumanbeingNewIndustriesNewSocietyNewApplicationsNewSciencesNewEducation技術創新浪潮的經濟長波規律

第一次浪潮第二次浪潮第三次浪潮第四次浪潮第五次浪潮1785

1845

1900

195019901999

2020

創新步伐水力紡織鐵蒸汽鐵路鋼電化學品內燃機石油化學電子航空60年55年50年40年30年機械化鐵路化電氣化電子化數字化對21世紀技術創新浪潮第一次浪潮第二次浪潮第三次浪潮第四次浪潮1990

2020

2050

20802100創新步伐數字網絡軟件新媒體生物基因（蛋白質）納米材料腦科學智能技術？？？？？？

科學發展大趨勢

——智能科學Actionsfromthoughts(Nature409,2001)

對21世紀技術創新浪潮智能科學是一門交叉學科，主要由：腦科學認知科學人工智能

等學科共同研究智能行為的基本理論和實現技術。對21世紀技術創新浪潮腦科學

腦科學從分子水平、細胞水平、行為水平研究腦結構,建立腦模型，揭示自然智能機理和腦本質。硬件系統對21世紀技術創新浪潮神經網絡認知科學認知科學是研究人類感知、學習、記憶、思維、意識等人腦心智活動過程的科學。學習、記憶在腦內如何發生，是神經生物學的核心問題之一。學習導致神經系統結構和功能上的精細修飾，形成記憶痕跡。揭示學習、記憶的神經機制，對理解人類智力的本質具有重大意義。

軟件系統人工智能用人工的方法和技術，模仿、延伸和擴展人的智能,實現機器智能。仿真系統

人工神經網絡是當前人工智能領域最領人感興趣和最富有魅力的研究課題之一。 人工神經網絡是由大量的、功能比較簡單的形式神經元互相連接而構成的復雜網絡系統，可以模擬大腦的許多基本功能和簡單的思維方式。通過學習來獲取外部的知識并存貯在網絡內，在解決諸如語音和圖像的識別、理解、知識的處理、組合優化計算和智能控制等一系列本質上為非計算的問題方面表現突出。人工神經網絡第一節人工神經網絡的概念與發展

T.Kohonen的定義：“人工神經網絡是由具有適應性的簡單單元組成的廣泛并行互連的網絡，它的組織能夠模擬生物神經系統對真實世界物體所作出的交互反應。”人工神經網絡歷史回顧萌芽期（20世紀40年代）第一高潮期（1950～1968）反思期（1969～1982）第二高潮期（1983～1990）再認識與應用研究期（1991~）人工神經網絡萌芽期（20世紀40年代）

人工神經網絡的研究最早可以追溯到人類開始研究自己的智能的時期，到1949年止。1943年，心理學家McCulloch和數學家Pitts建立起了著名的閾值加權和模型，簡稱為M-P模型。發表于數學生物物理學會刊《BulletinofMethematicalBiophysics》1949年，心理學家D.O.Hebb提出神經元之間突觸聯系是可變的假說——Hebb學習律人工神經網絡第一高潮期（1950～1968）以MarvinMinsky,FrankRosenblatt,BernardWidrow等為代表人物，代表作是單級感知器（Perceptron）。可用電子線路模擬。人們樂觀地認為幾乎已經找到了智能的關鍵。許多部門都開始大批地投入此項研究，希望盡快占領制高點。人工神經網絡反思期（1969～1982）M.L.Minsky和S.Papert，《Perceptron》，MITPress，1969年“異或”運算不可表示二十世紀70年代和80年代早期的研究結果

認識規律：認識—實踐—再認識人工神經網絡第二高潮期（1983～1990）

1)1982年，J.Hopfield提出循環網絡用Lyapunov函數作為網絡性能判定的能量函數，建立ANN穩定性的判別依據闡明了ANN與動力學的關系用非線性動力學的方法來研究ANN的特性指出信息被存放在網絡中神經元的聯接上

人工神經網絡2）1984年，

J.Hopfield設計研制了后來被人們稱為Hopfield網的電路。較好地解決了著名的TSP問題，找到了最佳解的近似解，引起了較大的轟動。3）1985年，UCSD的Hinton、Sejnowsky、Rumelhart等人所在的并行分布處理（PDP）小組的研究者在Hopfield網絡中引入了隨機機制，提出所謂的Boltzmann機。人工神經網絡4）1986年，并行分布處理小組的Rumelhart等研究者重新獨立地提出多層網絡的學習算法——BP算法，較好地解決了多層網絡的學習問題(Paker1982和Werbos1974年)。5）國內首屆神經網絡大會是1990年12月在北京舉行的人工神經網絡再認識與應用研究期（1991~）問題：

1）應用面還不夠寬

2）結果不夠精確

3）存在可信度的問題

人工神經網絡研究：開發現有模型的應用，并在應用中根據實際運行情況對模型、算法加以改造，以提高網絡的訓練速度和運行的準確度。希望在理論上尋找新的突破，建立新的專用/通用模型和算法。進一步對生物神經系統進行研究，不斷地豐富對人腦的認識。人工神經網絡人工神經網絡的特點：

（1）高度的并行性 （2）高度的非線性全局作用 （3）良好的容錯性與聯想記憶功能 （4）強大的自適應、自學習功能人工神經網絡第二節人工神經網絡的基本結構與模型

（1）細胞體（2）樹突（3）軸突（4）突觸簡單神經元網絡及其簡化結構圖人工神經網絡人工神經元模型輸入分量pj（j=1，2，…，r）激活函數f(·)權值分量wj（j=1，2，…，r）偏差(bias)b人工神經網絡權值和輸入的矩陣形式可以由W的行矢量和P的列矢量表示：模型的輸出矢量表示為：人工神經網絡人工神經網絡的基本概念結構單元：信號的輸入、綜合處理、輸出。輸出信號的強度大小反映該單元對相鄰單元影響的強弱。人工神經網絡：人工神經元之間通過互相連接形成的網絡。連接模式：神經元之間相互連接的方式。相互間連接度由連接權值體現。人工神經網絡人工神經網絡構造的基本原則：由一定數量的基本單元分層聯接構成；每個單元的輸入、輸出信號以及綜合處理內容都比較簡單；網絡的學習和知識存儲體現在各單元之間的聯接強度上。人工神經網絡

激活轉移函數（Activationtransferfunction）的基本作用：控制輸入對輸出的激活作用；對輸入、輸出進行函數轉換；將可能無限域的輸入變換成指定的有限范圍內的輸出。人工神經網絡常用激活函數

1、閾值型（硬限制型）：將任意輸入轉換為0或1的輸出。

輸入/輸出關系：人工神經網絡閾值型激活函數：(a)沒有偏差的閾值型激活函數(b)帶有偏差的閾值型激活函數人工神經網絡2、線性型：

網絡的輸出等于加權輸入和加上偏差。人工神經網絡線性激活函數：(a)沒有偏差的線型激活