課時安排:48學時,1~16周。參考書目：最新中文書籍；NeuralNetworks:AComprehensiveFoundation(SecondEdition)Simon.Haykin清華大學出版社,2001;相關刊物。第一章概述ArtificialNeuralNetwork,簡記ANN;ConnectionismModel,連接機制模型ParallalDistributedModel,并行分布處理模型§1.1人工神經網絡概念的提出現代計算機有很強的計算、信息處理能力，但是解決像模式識別、感知、評判和決策等復雜問題的能力卻遠不如人；只能按人事先編好的程序機械地執行，缺乏向環境學習適應環境的能力。

人腦生物進化的最高產物；最復雜、最完善和最有效的信息處理系統；高級精神活動（智能、思維和情緒等）的物質基礎；人類認識較少的領域之一。根據19世紀末創建的神經元學說：人腦由大約1011～1012

神經元和1014～1015個突觸組成的巨系統。人腦的固有特征：1.并行分布處理單個神經細胞反應速度:10-3s

電子元件計算速度:10-9s決策過程只需1秒：記憶回溯、語言理解、直覺推理、圖像識別等；從部分信息構造人和物的圖像。100步程序長度（J.A.Feldman）:串行工作模式沒有這么快的反應能力。2.可塑性和自組織性:突觸的信息傳遞特性可變，細胞間聯接是柔軟的。3.系統性:相互作用;調節。4.系統的恰當退化：少量神經元損傷（或正常死亡），網絡總體功能繼續有效。人腦與計算機信息處理能力的比較1.記憶與聯想能力2.學習與認知能力3.信息加工能力4.信息綜合能力5.信息處理速度人腦與計算機信息處理機制的比較1.系統結構2.信號形式3.信息存儲4.信息處理機制從大腦組織結構和運行機制的絕妙特點，追求新型的信號處理系統：超越人的計算能力，探尋新的信息表示、存儲和處理方式，設計全新的計算處理結構模型；類似于人的識別、判斷、聯想和決策的能力，解決傳統的馮·諾依曼計算機難以解決的問題。對神經網絡的分析和研究：揭示人腦的工作機理；了解神經系統進行信息處理的本質。目的：設計類似人腦某些功能的智能系統。微觀（結構）：與生物神經網絡拓撲一致；宏觀功能：與人類智能行為恰當對應。用機器代替人腦的部分勞動是當今科學技術發展的重要標志。僅用人工的機械系統完全模擬人腦是不可能的！以人腦的組織結構和功能特征為原型，設法構建與人腦結構和功能拓撲對應的人造智能系統來模擬人類智能行為。原則上講，是智能模擬中一個很有前途的發展方向。智能模擬研究的兩條不同途徑：1.心理學派：人類的智能行為本質上是以思維為主要特征的一系列心理活動的結果。這一模式的典型：人工智能學科智能模擬方式：傳統的馮?諾依曼(VonNeumann)計算機體現機構為基礎;邏輯推理和符號操作為特征。在模擬實現人的學習能力、聯想記憶能力和人腦大規模并行處理能力等功能時，遇到困難。2.生理學模式:典型:人工神經網絡,當前被認為是很有發展前途的另一種智能模擬方法。人們通過對人腦神經系統的初步認識，嘗試構造人工神經元，組成人工神經網絡系統，對人的智能、思維行為進行研究，試圖從理性角度闡明人腦的高級功能。HechtNielsen關于人工神經網絡的定義:“神經網絡是由多個非常簡單的處理單元彼此按某種方式相互連接而形成的計算系統,該系統是靠其狀態對外部輸入信息的動態響應來處理信息的”美國國防高級研究計劃局關于人工神經網絡的解釋是:“人工神經網絡是一種由許多簡單的并行工作的處理單元組成的系統,其功能取決于網絡的結構、連接強度以及各單元的處理方式。”綜合人工神經網絡的來源、特點及各種解釋，可以簡單表述為：人工神經網絡是一種旨在模仿人腦結構及其功能的信息處理系統。目前有上百種ANN模型：基本處理單元：人工神經元----對生物神經元的近似仿真。人工神經元有不同的模型：算法在不同程度上或多或少地接近神經信息處理的原則。輸出信號的強度大小：反映該單元對相鄰單元影響的強弱。人工神經元之間通過互相聯接形成網絡：人工神經網絡（ANN）。ANN是由大量高度互連的信號或信息處理單元（人工神經元）組成的計算系統：用于模擬人腦行為的復雜網絡系統，反映人腦功能的許多基本特征。1.對人腦神經系統的某種簡化、抽象和模擬；2.理論化的人腦神經網絡的數學模型。目前ANN的構造大體采用如下原則：1.一定數量的基本單元分層聯接;2.每個單元的輸入、輸出信號以及綜合處理內容比較簡單；3.網絡的學習和知識存儲體現在各單元之間的聯接強度上。ANN的固有特征：1.信息的處理和記憶分布在整個網絡上,把硬件與軟件在結構上分開是困難的；2.高度的并行性：大量簡單處理單元并行活動。3.高度的非線性全局作用：網絡之間互相制約和互相影響，實現從輸入空間到輸出狀態空間的非線性映射;網絡整體性能不是網絡局部性能的簡單迭加。4.良好的容錯性與聯想記憶功能：記憶的信息存儲在神經元之間的聯接（權值）中；分布式的存儲方式。5.處理單元（神經元）包含典型的非線性激活函數;6.魯棒性:高度冗余的并行結構表現出很高的非敏感性。7.自適應、自學習功能：聯接模式：神經元之間相互聯接的方式。相互之間聯接度通過聯結權重體現。ANN中,改變信息處理過程及其能力,實際上就是修改網絡權值的過程。神經元的重要方面：突觸（聯接）按照自適應改變。至今提出的真實生物神經網絡的人工模型是很簡單的，只是真實生物結構的粗略近似。人工神經網絡結構問題仍是一個困難的尚未解決的問題！是否有必要盡可能精確模擬生物構造？是否能通過不完全對應于真實生物神經系統的模型，取得期望的性質？§1.2人工神經網絡的發展人工神經網絡是一門高度綜合的交叉學科,其發展大致分為四個時期:探索時期;第一次研究熱潮時期;低潮時期;第二次研究熱潮時期.一.探索時期:

(40年代)1890年,WilliamJames發表了第一部詳細論述人腦結構及功能的專著:PrinciplesofPsychology(心理學原理)對相關學習、聯想記憶的基本原理做了開創性研究：當一個基本的腦細胞曾經一起或相繼被激活過，其中一個受刺激重新激活時會將刺激傳播到另一個；神經細胞激活是細胞所有輸入疊加的結果。1943年，神經元理論建模；二值神經元模型：神經細胞視為二值（MP模型）開關元件，細胞按不同方式組合聯接來實現。模型過于簡單。W.C.McCullochandW.A.PittsALogicalCalculationsoftheIdeasLmmanentinNervousActivityBulletinofmathematicalBiophysics,Vol.5:115~133,19431949年，Hebb學習法則；腦細胞活動時細胞間的聯系被加強---通過調節神經元之間的聯接強度來實現ANN的學習功能。D.O.Hebb

TheOrgnizationofBehaviorJohnWiley,NewYork,1949二.第一次研究熱潮時期:(50年代末~60年代初)1958年：感知器（Perceptron）：模擬人腦的感知和學習能力，主要用于模式分類。1959年：自適應線性元件（AdaptiveLinearElementAdaline）：感知器的變化形式。從工程實際出發，在計算機上模擬了這種ANN；硬件實現，第一個用于解決實際問題的ANN。1962年，Rosenblatt著作：ThePrincipleofNeurodynamic詳細介紹感知器網絡。模型比較簡單，但顯示與當時流行的馮?諾依曼(VonNeumann)計算機的一些不同性質：可學習性；分布式存儲；連續計算。感知器應用研究：學習記憶；文字識別；聲音識別；聲納信號識別。F.Rosenblatt

ThePerceptron:aProbabilistiedModelforInformationStorageandOrganizationinTLBrainPsychologicalReview,Vol.65:386~408,1958B.WidrowandE.HoffAdaptiveSwitchingCircuit,IREWESCONConventionRecordPart4,Computers,Man-MachineSystems:96~104,1960三.低潮時期:(60年代末~70年代)理論上:計算機技術正處于迅速發展階段,掩蓋了發展ANN理論的必要性和迫切性;技術條件:硬件實現ANN非常困難;人為因素。M.MinskyandS.PapertPerceptrons

MITPress,1969其它研究:神經網絡動態過程的數理分析；自組織理論研究；聯想記憶。四.第二次研究熱潮時期:(80年代~至今)1.Hopfield網絡模型：用于聯想記憶和優化計算的反饋互連網絡。網絡穩定性的明確判據；電子模擬電路實現：神經網絡執行的運算，不同于布爾代數運算----由此興起新一代電子神經計算機的研究。2.BP網絡：（

BackPropagation）解決了感知器不能解決的問題；找到了Minsky提出的問題的解決方法。J.J.Hopfield

NeuralNetworksandPhysicalSystemswithEmergentCollectiveComputationalAbilitiesProc.Natl.Acad.Sci.,U.S.A.Vol.79:2554~2558,1982NeuronswithGradedResponsehaveCollectiveComputationalPropertiesLikeThoseofTwo-stateneurous

Proc.Natl.Acad.Sci.,U.S.A.Vol.81:3088~3092,1984D.E.RumelhartandD.E.McClellandParallelDistributedProcessing:ExplorationsintheMicrostructureofCognitionMITPress,CambridgeMA,19861987年6月:IEEE(國際電氣和電工工程師協會)在SanDiego召開“第一屆神經網絡國際學術討論會”;《IEEETransationonNeuralnetworks》同年,國際神經網絡學會(INNS)成立《NeuralNetworks》迄今為止的ANN研究，大體上分為三個方向：探求人腦神經網絡的生物結構和機制；用微電子學或光學器件形成特殊功能網絡；NN理論作為解決某些問題的手段和方法。我國的NN研究起步于己于1988年；1992年在北京召開----國際網絡學會和IEEE神經網絡委員會聯合學術會議（IJCNN）總體上，我國的研究領域、論文數量，與國外有相當大的差距。IEEE-INNS-ENNS:InternationalJointConferenceonNeuralNetworks,7.24~7.27,2000,Italy論文：526，大陸：10監督學習24多層感知器17進化計算17時序預測16模式識別14人臉識別14醫療應用20系統監別15機器15硬件實現24通信18新的動向：1.神經計算的基礎理論框架以及生理層面的研究仍需深入;2.監督學習:仍有很多研究的問題;非監督學習:起步較晚,發展空間大;3.新的模型和結構:現有網絡：多層感知機、徑向基函數網絡、自組織特征映射網絡、自適應諧振理論網絡、模糊神經網絡、循環神經網絡等。脈沖神經網絡(SpikingNeuralNetwork)支持向量機(SupportVectorMachine)4.增強ANN的可理解性研究:神經計算和機器學習界的研究熱點。5.神經計算技術與其它技術,尤其是進化計算技術的結合;混合方法和混合系統是研究的熱點。6.應用領域的不斷擴大。§1.3人工神經網絡研究的意義神經科學研究長期目標：揭示人腦的工作機制，了解思維的本質；近期目標：研究和利用大腦神經網絡的一些特性，設計出具有類似的某些大腦功能的智能系統。

神經網絡的理論