人工神經(jīng)網(wǎng)課程第一講大腦內(nèi)視覺信息處理過程示意圖視覺第一通路HVS-V1、V2—V3、V4、MT—IT大腦皮層

◆大腦皮層將大腦分為左、右兩個(gè)半球的裂紋和一個(gè)將大腦分為前、后兩個(gè)區(qū)域的回間溝

◆視覺通過V1區(qū)的主感知區(qū)進(jìn)入大腦皮層，V1區(qū)感覺到的是最低級(jí)的視覺特性。V1區(qū)將這些特性向上傳給V4區(qū)和IT區(qū)以及其它一系列區(qū)域根據(jù)視覺系統(tǒng)的解剖、生理和功能特點(diǎn)，在腦內(nèi)有兩條視覺通路：1、腹側(cè)通路（色彩通路）沿著大腦皮層的枕顳葉分布。從枕葉的初級(jí)視皮層(V1)區(qū)、次級(jí)視皮層(V2)區(qū)經(jīng)高級(jí)視皮層(V4)區(qū)投射至下顳葉。腹側(cè)通路的神經(jīng)元主要對(duì)顏色和形狀等物體特征進(jìn)行反應(yīng)，功能是對(duì)物體進(jìn)行識(shí)別2、背側(cè)通路（運(yùn)動(dòng)通路）沿著枕頂葉分布，從V1、V2、V3區(qū)經(jīng)內(nèi)側(cè)顳葉(MT)投射至枕頂葉。背側(cè)通路的神經(jīng)元主要對(duì)運(yùn)動(dòng)速度與方向等特征進(jìn)行反應(yīng)，功能是對(duì)物體空間位置和運(yùn)動(dòng)進(jìn)行識(shí)別

國(guó)家中長(zhǎng)期科學(xué)和技術(shù)發(fā)展規(guī)劃綱要

（2006━2020年）

六、基礎(chǔ)研究

2科學(xué)前沿問題（7）腦科學(xué)與認(rèn)知科學(xué)(主要研究方向)?腦功能的細(xì)胞和分子機(jī)理?腦重大疾病的發(fā)生發(fā)展機(jī)理?腦發(fā)育、可塑性與人類智力的關(guān)系?學(xué)習(xí)記憶和思維等腦高級(jí)認(rèn)知功能的過程及其神經(jīng)基礎(chǔ)?腦信息表達(dá)與腦式信息處理系統(tǒng)?人腦與計(jì)算機(jī)對(duì)話等人腦的復(fù)雜的系統(tǒng)結(jié)構(gòu)視覺系統(tǒng)聽覺系統(tǒng)記憶系統(tǒng)……結(jié)構(gòu)單元與功能單元復(fù)雜分子突觸神經(jīng)元局部網(wǎng)絡(luò)運(yùn)算單元系統(tǒng)腦1埃1微米100毫米1毫米1厘米10厘米1米結(jié)構(gòu)單元與功能單元一致皮層功能柱……神經(jīng)遞質(zhì)━受體分子水平亞細(xì)胞結(jié)構(gòu)（樹突、軸突）◆神經(jīng)系統(tǒng)的層次結(jié)構(gòu)（物質(zhì)結(jié)構(gòu)層次）系統(tǒng)水平網(wǎng)絡(luò)水平分子水平（神經(jīng)元以下水平）人腦的復(fù)雜的系統(tǒng)結(jié)構(gòu)層次結(jié)構(gòu)為腦的特點(diǎn)之一，上一層次結(jié)構(gòu)由多個(gè)下一層次結(jié)構(gòu)為單元的組件組成細(xì)胞水平到神經(jīng)網(wǎng)絡(luò)水平研究、網(wǎng)絡(luò)水平到系統(tǒng)水平的研究；前者目前是研究的熱點(diǎn)；過去后者研究較多?！羯窠?jīng)系統(tǒng)的并行工作同類信息通過多條并行的通路傳遞和處理人腦的并行處理機(jī)制還需要深入研究◆神經(jīng)結(jié)構(gòu)的可塑性比如突觸的可塑性變化，可以改變神經(jīng)元之間的聯(lián)系，從而改變神經(jīng)網(wǎng)絡(luò)的特性，實(shí)現(xiàn)記憶與學(xué)習(xí)功能。神經(jīng)元是結(jié)構(gòu)與功能相對(duì)獨(dú)立的單元，可以在分子層與系統(tǒng)層間起著某種“隔離”作用。◆各種腦機(jī)制研究及其成果功能性核磁共振成像（fMRI）……視覺成像、聽覺成像等的腦機(jī)制……JeffHawkins解讀大腦的三個(gè)標(biāo)準(zhǔn)

◆大腦功能的時(shí)間概念真正的大腦快速處理大量不斷變化的信息流，在I/O的信息流中沒有任何東西靜止不動(dòng)

◆反饋的重要性神經(jīng)解剖學(xué)家已發(fā)現(xiàn)大腦浸潤(rùn)在反饋連接中。反饋也通過大腦皮層控制了大部分的連接

◆任何大腦模型或理論都應(yīng)解釋大腦的物理結(jié)構(gòu)

新大腦皮層并不是一個(gè)簡(jiǎn)單的構(gòu)造，是由一個(gè)不斷重復(fù)的層級(jí)結(jié)構(gòu)組成，任何神經(jīng)網(wǎng)絡(luò)對(duì)這一結(jié)構(gòu)認(rèn)識(shí)不足，就無法像大腦一樣工作

但是現(xiàn)有的神經(jīng)網(wǎng)絡(luò)模型極其簡(jiǎn)單，與上面的三個(gè)標(biāo)準(zhǔn)不吻合。這些簡(jiǎn)單的神經(jīng)網(wǎng)絡(luò)只能處理靜止的模式，不涉及反饋，與大腦沒有任何相似之處。開啟計(jì)算機(jī)“高智商”新時(shí)代

IBM成功構(gòu)建模擬人腦功能的認(rèn)知計(jì)算機(jī)芯片

（2011-8-18）

通過模擬大腦結(jié)構(gòu)，首次成功構(gòu)建出兩個(gè)具有感知認(rèn)知能力的硅芯片原型，可以像大腦一樣具有學(xué)習(xí)和處理信息的能力。

兩個(gè)計(jì)算機(jī)芯片結(jié)合了神經(jīng)元的計(jì)算能力、突觸（或神經(jīng)節(jié)）的記憶能力和軸突的通信能力———開發(fā)新一代計(jì)算機(jī)◆模仿大腦構(gòu)建智能計(jì)算機(jī)的曲折挑戰(zhàn)以馮·諾依曼架構(gòu)為基礎(chǔ)，內(nèi)存和處理器分開，以總線作為數(shù)據(jù)通道。利用軟件實(shí)現(xiàn)人工智能一個(gè)更大的局限，就是受限于計(jì)算機(jī)的結(jié)構(gòu)，被計(jì)算機(jī)科學(xué)家稱為“馮·諾依曼瓶頸”。◆類腦芯片----目前最接近復(fù)雜的認(rèn)知計(jì)算機(jī)

?新的計(jì)算機(jī)芯片的核心是其構(gòu)造與大腦類似，有“神經(jīng)元”，有“突觸”，還有“軸突”。“神經(jīng)元”是計(jì)算機(jī)的數(shù)字信息處理器；“突觸”是學(xué)習(xí)和記憶的基礎(chǔ)；“軸突”則是數(shù)據(jù)通道。

?新芯片采用45納米工藝，晶體管構(gòu)造，設(shè)計(jì)模仿大腦神經(jīng)元和突觸組織。兩個(gè)芯片均有256個(gè)數(shù)字神經(jīng)元和256個(gè)軸突，數(shù)字神經(jīng)元為10兆赫，具有芯片的標(biāo)準(zhǔn)功能，如存儲(chǔ)器、通信控制器等，可基于輸入動(dòng)態(tài)連接突觸，神經(jīng)元可記住最近的活動(dòng)，引發(fā)突觸。使用量大的軸突，其權(quán)重較大。其中一個(gè)芯片擁有262144個(gè)可編程突觸；而另一個(gè)芯片擁有65356個(gè)學(xué)習(xí)突觸，這種芯片最令人感興趣。理論上,每個(gè)數(shù)字神經(jīng)元可同時(shí)與另外255個(gè)數(shù)字神經(jīng)元連接，對(duì)于擁有65356個(gè)學(xué)習(xí)突觸的芯片而言，可產(chǎn)生1700個(gè)不同的組合。◆模仿大腦構(gòu)建智能計(jì)算機(jī)的曲折挑戰(zhàn)IBM完成本次一代類腦芯片原型，就動(dòng)用了6個(gè)實(shí)驗(yàn)室，聯(lián)合了來自康奈爾大學(xué)、威斯康星大學(xué)、加州大學(xué)、哥倫比亞大學(xué)和政府研究機(jī)構(gòu)的上百位研究人員。不算IBM的投入，僅美國(guó)國(guó)防部高級(jí)研究計(jì)劃局就資助了4100萬美元的研究經(jīng)費(fèi)。即使這樣，該研究也歷時(shí)6年，耗費(fèi)人工高達(dá)數(shù)百萬小時(shí)。距離實(shí)用又進(jìn)一步

IBM公布仿人腦功能的芯片

（2014-8-8）

已研制出一款能模擬人腦神經(jīng)元、突觸功能以及其他腦功能的微芯片，從而完成計(jì)算功能，這是模擬人腦芯片領(lǐng)域所取得的又一大進(jìn)展。IBM表示這款名為TrueNorth的微芯片擅長(zhǎng)完成模式識(shí)別和物體分類等繁瑣任務(wù)，而且功耗還遠(yuǎn)低于傳統(tǒng)硬件。由三星電子為IBM生產(chǎn),制造技術(shù)與三星電子生產(chǎn)智能手機(jī)及其他移動(dòng)設(shè)備使用的微處理器制造技術(shù)一致◆在仿人腦功能芯片技術(shù)方面實(shí)現(xiàn)重大進(jìn)展

IBM阿爾馬登研究中心（AlmadenResearchCenter）研究員、腦靈感計(jì)算首席科學(xué)家哈門德拉?莫得哈（DharmendraModha）：“我們擁有極具野心的商業(yè)化目標(biāo)?！辈贿^他也表示，TrueNorth不會(huì)取代傳統(tǒng)電腦芯片，他們是互補(bǔ)的關(guān)系。TrueNorth微芯片(左)的熱成像圖

人類認(rèn)知芯片的進(jìn)展

IBM發(fā)明世界首個(gè)人造神經(jīng)元，人工智能的底層硬件基石已完成

（2016-8-4）

相變神經(jīng)元IBM蘇黎世研究中心隨機(jī)相變神經(jīng)元具有生物神經(jīng)元的特性可用于制造高密度、低功耗的認(rèn)知學(xué)習(xí)芯片（90納米）以模擬人類大腦的工作方式進(jìn)行信號(hào)處理人工神經(jīng)網(wǎng)絡(luò)及其應(yīng)用

方濤§1緒論主講內(nèi)容◆§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能◆§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念◆

§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧◆§1.4本課程的主要內(nèi)容安排◆§1.5主要參考書目◆§1.6課程結(jié)業(yè)第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能★1.1.1神經(jīng)元及其行為機(jī)理1.1.1.1解剖學(xué)研究神經(jīng)元的基本結(jié)構(gòu)1.1.1.2神經(jīng)元的生物學(xué)功能1.1.1.3突觸的生物學(xué)功能1.1.1.4生物神經(jīng)網(wǎng)絡(luò)★1.1.2神經(jīng)元的信息處理與傳遞1.1.2.1神經(jīng)元的興奮與抑制1.1.2.2神經(jīng)元的信息傳遞及閾值特性1.1.2.3神經(jīng)元的信息傳遞的單向性和延時(shí)性1.1.2.4神經(jīng)元的信息綜合特性1.1.2.5神經(jīng)元、突觸的D/A、A/D特性1.1.2.6神經(jīng)元建模1.1.2.7人腦的特征第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.1神經(jīng)元及其行為機(jī)理

構(gòu)成人工神經(jīng)網(wǎng)絡(luò)的基礎(chǔ)是生物神經(jīng)系統(tǒng)研究的━━神經(jīng)元。人腦100億生物神經(jīng)元1.1.1.1解剖學(xué)研究神經(jīng)元的基本結(jié)構(gòu)

第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能▲生物神經(jīng)元是大腦的基本加工單元，具有信息存儲(chǔ)與處理功能▲由細(xì)胞體、軸突、樹突與突觸組成①細(xì)胞體→內(nèi)部包括細(xì)胞核、核糖體、原生質(zhì)網(wǎng)狀結(jié)構(gòu)等②樹突→細(xì)胞體延伸部分產(chǎn)生的分枝，接受從其它神經(jīng)元傳入的信息，是信息的入口③軸突→細(xì)胞體突出的延伸最長(zhǎng)的管狀纖維（可達(dá)1m)，將該神經(jīng)元本身的興奮信息傳遞到其它神經(jīng)元，是信息的出口

④突觸(Synapse)→一個(gè)神經(jīng)元與另一個(gè)神經(jīng)元相聯(lián)系并傳遞信息的結(jié)構(gòu)。第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能突觸包括：突觸前成分━━神經(jīng)元的軸突末梢；突觸間隙━━突觸前成份和后成份之間的空間；突觸后成分━━細(xì)胞體、樹突或軸突▲興奮性突觸與抑制性突觸（細(xì)胞膜電位變化）▲樹突的數(shù)目和長(zhǎng)度與突觸的數(shù)目有關(guān)第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能單個(gè)神經(jīng)元細(xì)胞及突觸體內(nèi)識(shí)別新技術(shù)(2010-7-28)----利用外源基因片段,神經(jīng)元細(xì)胞便會(huì)發(fā)出紅色熒光，相應(yīng)的突觸則會(huì)發(fā)出綠色熒光.▲破解人類大腦之迷是本世紀(jì)最重要的科學(xué)研究方向之一▲人類大腦中的神經(jīng)網(wǎng)絡(luò)非常復(fù)雜，成百上千億個(gè)神經(jīng)元細(xì)胞之間通過突觸來相互通訊,從而使信息在神經(jīng)網(wǎng)絡(luò)中進(jìn)行傳遞，并最終導(dǎo)致各種復(fù)雜的思維活動(dòng)?！畔⒘魇侨绾卧谏窠?jīng)網(wǎng)絡(luò)中進(jìn)行傳遞的?▲神經(jīng)系統(tǒng)中神經(jīng)元細(xì)胞功能和結(jié)構(gòu)上的多樣性，神經(jīng)回路的高度復(fù)雜性對(duì)這個(gè)當(dāng)代神經(jīng)生物學(xué)的關(guān)鍵性問題提出了極大的挑戰(zhàn)?！壳暗纳窠?jīng)網(wǎng)絡(luò)研究極大地受限于神經(jīng)細(xì)胞標(biāo)識(shí)技術(shù)

▲該技術(shù)觀察未分化的腦細(xì)胞是如何發(fā)育為單個(gè)的復(fù)雜神經(jīng)細(xì)胞，然后形成復(fù)雜的神經(jīng)網(wǎng)絡(luò)。-----一項(xiàng)基礎(chǔ)性的突破，對(duì)于破解人類大腦之迷有著極其重大的意義------美國(guó)斯坦福大學(xué)駱利群實(shí)驗(yàn)室神經(jīng)生物學(xué)家李凌,主要研究哺乳動(dòng)物神經(jīng)網(wǎng)絡(luò)發(fā)育第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.1.2神經(jīng)元的生物學(xué)功能▲能夠處于興奮或者抑制狀態(tài)；▲神經(jīng)元的信息傳遞及其閾值特性▲神經(jīng)元信息傳遞及其單向性▲神經(jīng)元的信息傳遞及其延時(shí)性（0.5～1ms延時(shí)），（通過突觸傳遞引起的）▲具有自適應(yīng)性▲能夠進(jìn)行時(shí)空信息的綜合第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.1.3突觸的生物學(xué)功能▲能夠進(jìn)行信息的綜合▲產(chǎn)生漸次變化的傳送▲電接觸或化學(xué)接觸等多種連接方式▲會(huì)產(chǎn)生延時(shí)激發(fā)第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.1.4生物神經(jīng)網(wǎng)絡(luò)▲生物神經(jīng)網(wǎng)絡(luò)的形成通過突觸將多個(gè)神經(jīng)元有機(jī)聯(lián)系形成▲10萬個(gè)突觸/神經(jīng)元▲計(jì)算能力—連通性▲可塑性（plasticityconnectivity)可塑性是指神經(jīng)元的基因表達(dá)、結(jié)構(gòu)和功能在生理和病理?xiàng)l件下發(fā)生顯著改變，在神經(jīng)系統(tǒng)發(fā)育和學(xué)習(xí)記憶中起著至關(guān)重要的作用,是前沿領(lǐng)域。突觸在神經(jīng)細(xì)胞持續(xù)活動(dòng)影響下可發(fā)生特異性的結(jié)構(gòu)和功能變化，稱為“突觸可塑性”第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能突觸可塑性的最新研究

(2008.11，NatureNeuroscience)▲神經(jīng)細(xì)胞之間通過特異的通訊結(jié)構(gòu)——“突觸”，形成功能性神經(jīng)環(huán)路來傳遞和存儲(chǔ)信息▲在神經(jīng)環(huán)路組成中，釋放神經(jīng)遞質(zhì)谷氨酸和γ-氨基丁酸（GABA）的神經(jīng)元分別傳遞興奮性和抑制性信息.其中占總細(xì)胞少數(shù)（約10%-20%）的GABA神經(jīng)元卻對(duì)神經(jīng)環(huán)路的功能平衡、復(fù)雜性以及計(jì)算建構(gòu)起著關(guān)鍵作用，其突觸傳遞在神經(jīng)信息的編碼、分選和傳遞中發(fā)揮重要作用▲少數(shù)的GABA能突觸的可塑性發(fā)生機(jī)理卻知之甚少▲中國(guó)科學(xué)院神經(jīng)科學(xué)研究所蒲慕明研究員和章曉輝研究員指導(dǎo)博士研究生徐春和趙漫夏完成的關(guān)于GABA能突觸可塑性的發(fā)生模式和機(jī)理的重要研究工作▲揭示了發(fā)育中GABA能突觸可塑性的發(fā)生模式和細(xì)胞分子機(jī)制，闡明了神經(jīng)環(huán)路建立中GABA能突觸連接的自我精細(xì)修整（refinement）的工作方式。第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2神經(jīng)元的信息處理與傳遞1.1.2.1神經(jīng)元的興奮與抑制▲細(xì)胞膜的膜電位由細(xì)胞膜內(nèi)外層之間的電位差形成的（神經(jīng)元最外層為細(xì)胞膜）▲膜電位表征了神經(jīng)元的興奮與抑制興奮狀態(tài)━膜的內(nèi)外間有內(nèi)負(fù)外正電位差；抑制狀態(tài)━膜的內(nèi)外間有內(nèi)正外負(fù)電位差；▲人工神經(jīng)網(wǎng)絡(luò)就是模擬神經(jīng)元的興奮與抑制第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.2神經(jīng)元的信息傳遞及閾值特性▲神經(jīng)元信息的傳遞過程①一個(gè)神經(jīng)元的電脈沖━（不衰減地通過其軸突）━到達(dá)軸突末梢━導(dǎo)致軸突末梢中囊泡產(chǎn)生變化━→釋放神經(jīng)遞質(zhì)(neurotransimitters

)；②神經(jīng)遞質(zhì)━（通過突觸的間隙）━進(jìn)入另一個(gè)神經(jīng)元的樹突中━該樹突中受體接受神經(jīng)遞質(zhì)━導(dǎo)致其膜電位發(fā)生變化?！窠?jīng)元信息傳遞的閾值特性神經(jīng)元接受來自其它神經(jīng)元的信息時(shí)，膜電位開始漸變，超過設(shè)定的閾值時(shí)，產(chǎn)生沿軸突傳遞的電脈沖。第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.3神經(jīng)元的信息傳遞的單向性和延時(shí)性▲單向性從前一級(jí)神經(jīng)元的軸突末梢傳向后一級(jí)神經(jīng)元的樹突或細(xì)胞體，不能反向▲延時(shí)性信息經(jīng)由突觸傳遞，要產(chǎn)生0.5～1ms延時(shí)第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.4神經(jīng)元的信息綜合特性▲空間綜合特性在一個(gè)神經(jīng)元的樹突上，可以處理來自不同神經(jīng)元的輸入信息（神經(jīng)元周圍有10萬個(gè)左右的突觸）▲時(shí)間綜合特性神經(jīng)元可以對(duì)來自同一個(gè)神經(jīng)元突觸的信息進(jìn)行綜合第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.5神經(jīng)元、突觸的D/A、A/D特性▲從神經(jīng)元的閾值特性來看，其軸突上傳遞的信息是等幅、恒寬、編碼的離散脈沖信號(hào)▲突觸的D/A功能突觸中釋放的神經(jīng)遞質(zhì)和另一個(gè)神經(jīng)元的樹突中膜電位連續(xù)變化，即突觸具有D/A功能▲神經(jīng)元的A/D功能當(dāng)接受信息的神經(jīng)元樹突中膜電位高于某閾值時(shí)，膜電位轉(zhuǎn)換為電脈沖，由軸突傳送出去，即神經(jīng)元具有A/D功能第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.6神經(jīng)元建模神經(jīng)元是神經(jīng)網(wǎng)絡(luò)中基本的信息處理單元，組成部分：▲一組突觸和聯(lián)結(jié)，聯(lián)結(jié)具有權(quán)值w1,w2,…,wn▲通過加法器功能，計(jì)算輸入的權(quán)值之和

▲激勵(lì)函數(shù)限制神經(jīng)元的輸出幅度第一講緒論§1.1生物神經(jīng)網(wǎng)絡(luò)及其生理機(jī)能1.1.2.7人腦的特征▲1011神經(jīng)元（100億-相當(dāng)于整個(gè)銀河系星體總數(shù)），▲神經(jīng)元轉(zhuǎn)換（switching）時(shí)間大于10-3秒▲每個(gè)神經(jīng)元平均有幾千個(gè)連接▲每秒幾百次運(yùn)算▲高度并行計(jì)算▲分布式表達(dá)第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念★1.2.1從生物神經(jīng)元到人工神經(jīng)元★1.2.2人工神經(jīng)元及其工作機(jī)制★1.2.3什么是人工神經(jīng)網(wǎng)絡(luò)★1.2.4人工神經(jīng)網(wǎng)絡(luò)信息處理原理★1.2.5人工神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)構(gòu)★1.2.6人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)★1.2.7人工神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容★1.2.8人工神經(jīng)網(wǎng)絡(luò)研究涉及多學(xué)科★1.2.9人工神經(jīng)網(wǎng)絡(luò)與模式識(shí)別第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念NN期望探究：將一簇神經(jīng)元連接起來會(huì)產(chǎn)生什么樣的行為。連接主義者期望研究神經(jīng)元的相互作用，讓智能不可捉摸的特性變得清晰，并期望通過復(fù)制神經(jīng)元的連接，讓一些令A(yù)I束手無策的問題得以解決。NN不同于計(jì)算機(jī)，沒有CPU，不能對(duì)信息進(jìn)行中央存儲(chǔ)，整個(gè)網(wǎng)絡(luò)的知識(shí)和記憶就象真正的大腦那樣都分散在所有的連接上。第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念1.2.1從生物神經(jīng)元到人工神經(jīng)元（神經(jīng)網(wǎng)絡(luò)模型）從神經(jīng)元特性看，單個(gè)神經(jīng)元是一個(gè)多輸入單輸出的信息存儲(chǔ)和處理單元，信息處理具有非線性特性。生物學(xué)上神經(jīng)元簡(jiǎn)化為著名的McCulloch-Pitts神經(jīng)元模型（1943年）━━MP模型第一講緒論樹突細(xì)胞體軸突McCulloch-Pitts神經(jīng)元模型§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念

x1,x2,…,xn━神經(jīng)元的輸入（來自前一級(jí)的n個(gè)神經(jīng)元的軸突信息）━神經(jīng)元i的閾值wi1,wi2,…win━神經(jīng)元i對(duì)輸入x1,x2,…,xn的權(quán)系數(shù)或叫連接權(quán)（表明突觸的傳遞效率）f[·]━神經(jīng)元i的激勵(lì)函數(shù)（決定神經(jīng)元i受到輸入的共同刺激達(dá)到閾值時(shí)以何方式輸出）yi━神經(jīng)元i的輸出第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念1.2.2人工神經(jīng)元及其工作機(jī)制

▲神經(jīng)元的輸入端接受來自不同神經(jīng)元的輸入信號(hào)▲輸入信號(hào)與連接權(quán)作用（乘積和或內(nèi)積）后，匯入神經(jīng)元細(xì)胞體，產(chǎn)生輸出信號(hào)▲輸入信號(hào)與連接權(quán)乘積和與閾值比較，或使神經(jīng)元處于激勵(lì)狀態(tài)，或使神經(jīng)元處于抑制狀態(tài)▲神經(jīng)元的工作狀態(tài)①回憶狀態(tài)━━對(duì)來自外部輸入與連接權(quán)作用，匯入神經(jīng)元細(xì)胞體，在激勵(lì)函數(shù)作用下，產(chǎn)生輸出②學(xué)習(xí)狀態(tài)━━由輸入不斷修正連接權(quán)，并向其它神經(jīng)元輸出信號(hào)1.2.3什么是人工神經(jīng)網(wǎng)絡(luò)▲是在現(xiàn)代神經(jīng)科學(xué)研究成果的基礎(chǔ)上提出來的，是由大量處理單元（人工神經(jīng)元）互聯(lián)組成的非線性、自適應(yīng)信息處理系統(tǒng)。其目的是通過模擬大腦神經(jīng)網(wǎng)絡(luò)處理、記憶信息的方式，來進(jìn)行信息處理?！鳷.Kohonen教授對(duì)人工神經(jīng)網(wǎng)絡(luò)下的定義：由簡(jiǎn)單單元組成的廣泛并行互連的網(wǎng)絡(luò)，它的組織能夠模擬生物神經(jīng)系統(tǒng)的真實(shí)世界物體所作出的交互反應(yīng)。第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念1.2.4人工神經(jīng)網(wǎng)絡(luò)的計(jì)算結(jié)構(gòu)（一般結(jié)構(gòu)）▲激勵(lì)狀態(tài)及其規(guī)則▲輸入/輸出單元和隱含單元▲連接權(quán)及其修正和傳播規(guī)則1.2.5人工神經(jīng)網(wǎng)絡(luò)的特點(diǎn)

▲生物學(xué)特性━━學(xué)習(xí)能力━━自適應(yīng)能力━━自組織能力━━信息分布式存儲(chǔ)━━容錯(cuò)和自修復(fù)能力━━大規(guī)模并行處理能力第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念▲數(shù)學(xué)特性━━非線性（激活和抑制兩個(gè)基本狀態(tài)）━━非局限性（人工神經(jīng)元之間相互作用表現(xiàn)了信息處理與存儲(chǔ)能力）━━非凸性---比如能量函數(shù)有多個(gè)極值，系統(tǒng)有多個(gè)平衡態(tài)，體現(xiàn)了多樣性的演化━━非常定性----網(wǎng)絡(luò)具有自組織、自適應(yīng)、自學(xué)習(xí)能力1.2.7人工神經(jīng)網(wǎng)絡(luò)的研究?jī)?nèi)容▲神經(jīng)網(wǎng)絡(luò)模型研究━━人腦的生理結(jié)構(gòu)━━以信息科學(xué)、認(rèn)知科學(xué)來研究人腦思維機(jī)制━━神經(jīng)網(wǎng)絡(luò)的計(jì)算模型（實(shí)驗(yàn)?zāi)Ｐ停┅ォド窠?jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法和學(xué)習(xí)系統(tǒng)第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念▲神經(jīng)網(wǎng)絡(luò)的基本理論研究━━神經(jīng)網(wǎng)絡(luò)的基本性能：穩(wěn)定性、魯棒性、容錯(cuò)性、動(dòng)力學(xué)特性━━非線性機(jī)制：自適應(yīng)性、自組織、協(xié)同、突變、奇異吸引子、混沌、分維、非線性動(dòng)力學(xué)等━━神經(jīng)網(wǎng)絡(luò)的能力和判別準(zhǔn)則：計(jì)算能力、準(zhǔn)確性、存儲(chǔ)容量、表達(dá)與綜合▲神經(jīng)網(wǎng)絡(luò)的應(yīng)用研究▲神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)研究第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念1.2.8人工神經(jīng)網(wǎng)絡(luò)研究涉及多學(xué)科1.2.8.1神經(jīng)生理科學(xué)━━解剖學(xué)角度，研究人腦的神經(jīng)系統(tǒng)結(jié)構(gòu)，了解人腦信息采集、存儲(chǔ)、傳遞和加工的生物學(xué)機(jī)理━━19世紀(jì)末創(chuàng)立了神經(jīng)元學(xué)說━━目前已經(jīng)開始從分子生物水平研究人腦的學(xué)習(xí)、記憶機(jī)制。1.2.8.2認(rèn)知科學(xué)推理、學(xué)習(xí)、知覺、語(yǔ)言、情緒、意識(shí)、靈感等一系列心理活動(dòng)，將神經(jīng)網(wǎng)絡(luò)中的神經(jīng)元看成是一個(gè)巨大的狀態(tài)向量空間。1.2.8.3數(shù)理科學(xué)知識(shí)1.2.8.4信息論和計(jì)算機(jī)科學(xué)第一講緒論§1.2人工神經(jīng)網(wǎng)絡(luò)的基本概念1.2.9人工神經(jīng)網(wǎng)絡(luò)與模式識(shí)別1.2.9.1人工神經(jīng)網(wǎng)絡(luò)研究分兩類▲神經(jīng)元模型研究（關(guān)心與生物神經(jīng)網(wǎng)絡(luò)的相似性）━━模擬人腦感知、學(xué)習(xí)和記憶組織的能力，以設(shè)計(jì)類人惱的人工神經(jīng)網(wǎng)絡(luò)▲利用人工神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)、并行處理能力解決工程應(yīng)用1.2.9.2人工神經(jīng)網(wǎng)絡(luò)進(jìn)行模式識(shí)別研究▲利用人工神經(jīng)網(wǎng)絡(luò)特性建造模式識(shí)別系統(tǒng)▲構(gòu)造人工神經(jīng)網(wǎng)絡(luò)分類器第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧★1.3.1二十世紀(jì)40年代到60年代早期發(fā)展★1.3.2二十世紀(jì)70年代（低潮期）

★

1.3.3二十世紀(jì)80年代----高潮★1.3.3二十世紀(jì)90年代至今★1.3.4人類腦計(jì)劃（HumanBrainProject,HBP)★1.3.5上世紀(jì)90’s末期至今★1.3.62013年人類基因組計(jì)劃后最宏大的研究項(xiàng)目★1.3.7

當(dāng)前神經(jīng)科學(xué)的前沿性問題第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧1.3.1二十世紀(jì)40年代到60年代早期發(fā)展▲43年，心理學(xué)家McCulloch和數(shù)學(xué)家Pitts(USA芝加哥）━━MP模型（開創(chuàng)了神經(jīng)網(wǎng)絡(luò)理論研究時(shí)代）特點(diǎn)：只有興奮和抑制兩種神經(jīng)元聯(lián)系方式；MP模型固定不變；形式神經(jīng)元?！?9年，心理學(xué)家Hebb━━神經(jīng)網(wǎng)絡(luò)學(xué)習(xí)機(jī)理的“突觸聯(lián)系效率可變假設(shè)”，即連接權(quán)調(diào)整原則或Hebb學(xué)習(xí)規(guī)則只有當(dāng)兩個(gè)神經(jīng)元都處于興奮狀態(tài)時(shí)，其連接權(quán)得到加強(qiáng)?！?1年，Rosenblatt（USA康乃爾）━━著名的“Perceptron”模型（多層感知器）從理論研究進(jìn)入工程實(shí)踐，掀起了人工神經(jīng)網(wǎng)絡(luò)研究熱潮，最早可用于模擬人與動(dòng)物的感知和學(xué)習(xí)功能

（第一代神經(jīng)網(wǎng)絡(luò)）▲62年，Widrow（USA斯坦福）━━自適應(yīng)線性神經(jīng)元模型（Perceptron的變形）第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧▲60年代Minsky和Papert對(duì)perceptron的研究觀點(diǎn)，使人工神經(jīng)網(wǎng)絡(luò)研究進(jìn)入低潮期[原因之一]━━線性感知器只能進(jìn)行線性分類和求解一階謂詞問題━━具有隱含單元的多層神經(jīng)網(wǎng)絡(luò)才能解決高階謂詞問題━━難以找到具有隱含單元的多層網(wǎng)絡(luò)的有效學(xué)習(xí)算法1.3.2二十世紀(jì)70年代（低潮期）

對(duì)人工神經(jīng)網(wǎng)絡(luò)理論，增加網(wǎng)絡(luò)功能，各種學(xué)習(xí)算法研究為神經(jīng)網(wǎng)絡(luò)理論、數(shù)學(xué)模型、體系結(jié)構(gòu)的研究打下了基礎(chǔ)。（客觀上，AI研究成就也掩蓋了ANN的研究意義和工作）▲Marr及Poggio等（MIT的AI實(shí)驗(yàn)室）━━視覺計(jì)算理論視覺信息加工經(jīng)歷視覺初級(jí)到高級(jí)加工階段━━初級(jí)視覺正則化理論（在視覺計(jì)算理論與實(shí)現(xiàn)機(jī)制間的橋梁）第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧▲Grossberg（USA波士頓大學(xué)）━━自適應(yīng)諧振理論——研究心理學(xué)與腦科學(xué)━━二進(jìn)制輸入的ART1模型━━連續(xù)信號(hào)輸入的ART2模型━━ART3模型▲甘利俊一（日本東京大學(xué)）━━神經(jīng)網(wǎng)絡(luò)數(shù)學(xué)理論研究▲70年，F(xiàn)ukushima（NHK）━━視覺認(rèn)知網(wǎng)絡(luò)理論----研究視覺系統(tǒng)的時(shí)空人工神經(jīng)系統(tǒng)模型，及腦的空間和時(shí)間的人工神經(jīng)系統(tǒng)模型━━認(rèn)知機(jī)模型▲71年，Kohonen（波蘭）－－－Self-OrganizingMaps1995━━著名的自組織特征映射（無導(dǎo)師的競(jìng)爭(zhēng)學(xué)習(xí)算法）第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧▲Anderson━━線性聯(lián)想記憶（LAM）1.3.3二十世紀(jì)80年代----高潮▲科學(xué)背景━━非平衡系統(tǒng)的自組織理論（耗散結(jié)構(gòu)理論）━━協(xié)同學(xué)創(chuàng)立━━混沌現(xiàn)象發(fā)現(xiàn)▲視覺理論研究成果（神經(jīng)系統(tǒng)處理信息的普遍原則）━━側(cè)抑制原理━━感受野（每個(gè)視神經(jīng)細(xì)胞只能看到物體的一點(diǎn)，并排列為與大腦表面垂直的柱狀結(jié)構(gòu)）━━皮層的功能柱結(jié)構(gòu)━━信息的并行處理與層次加工▲81年，84年，Hopfield（加州理工學(xué)院生化系）－━━著名的Hopfield模型（ANN研究發(fā)展史上兩項(xiàng)重大研究成果）

（第二代神經(jīng)網(wǎng)絡(luò)）第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧

◆結(jié)點(diǎn)全互聯(lián)的人工神經(jīng)網(wǎng)絡(luò)計(jì)算結(jié)構(gòu)（模擬人腦記憶、聯(lián)想、分類/識(shí)別、容錯(cuò)等處理能力）

◆引入能量函數(shù)

◆成功解決旅行商問題（TSP）◆神經(jīng)網(wǎng)絡(luò)計(jì)算機(jī)研究的開始━━BP反向傳播算法━━雙向聯(lián)想記憶模式BAM━━Boltzmam機(jī)（GeoffreyHinton（UniversityofToronto

）andTerrySejnowski

）━━并行分布處理模型PDP1.3.4二十世紀(jì)90年代━━神經(jīng)網(wǎng)絡(luò)有廣泛的應(yīng)用領(lǐng)域━━與專家系統(tǒng)的結(jié)合━━理論研究的進(jìn)展━━與其它技術(shù)的結(jié)合

━━脈沖神經(jīng)網(wǎng)絡(luò)提出（第三代神經(jīng)網(wǎng)絡(luò)）第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧1.3.5二十一世紀(jì)前10年

深度學(xué)習(xí)出現(xiàn)

腦計(jì)劃再一次隆重推出。。。第一講緒論§1.3人工神經(jīng)網(wǎng)絡(luò)的發(fā)展歷史回顧1.3.6

人類腦計(jì)劃（HumanBrainProject,HBP)━━繼人類基因計(jì)劃后，又一國(guó)際性科研大計(jì)劃━━1991年美國(guó)NIMH正式成立━━1995年神經(jīng)科學(xué)與信息科學(xué)的結(jié)合JimHuffman:“我們正處于思維的新時(shí)代的初期。神經(jīng)網(wǎng)絡(luò)的重要性已超出我們是不是建立一個(gè)計(jì)算機(jī)的問題，更重要的吸引力是弄清楚大腦是如何工作的。”1.3.7

上世紀(jì)90’s末期至今（神經(jīng)元以下水平研究）━━開展分子生物水平上的腦神經(jīng)科學(xué)研究━━研究設(shè)備fMRI（功能性核磁共振成像）、PET（正電子發(fā)射斷層技術(shù)）、……━━記憶功能的神經(jīng)網(wǎng)絡(luò)研究━━思維過程的神經(jīng)網(wǎng)絡(luò)模型研究━━……

比如：突觸可