第一節人工神經網絡方法簡介 第八章地理計算模型 人工神經網絡方法簡介 第1部分從生物神經元到人工神經網絡 人工神經網絡方法簡介 大腦與神經細胞 神經細胞與神經細胞構成了龐大天文數字量級的高度復雜的網絡系統 也正是有了這樣的復雜巨系統 大腦才能擔負起人類認識世界和改造世界的任務 世界上最大的未開發疆域 是我們兩耳之間的空間 美國漢諾威保險公司總裁比爾 奧伯萊恩 一 生物神經系統和大腦的復雜性 生物系統是世界上最為復雜的系統 生物神經系統活動和腦的功能 其復雜性是難以想象的 人工神經網絡方法簡介 人大腦平均只有3磅左右 只占身體重量比例的1 30 它令你的心臟每天不假思索地跳動10萬多次 它令你的眼睛可以辨別1000萬種細微的顏色 它使你的肌肉 如果全部向同一個方向運動 產生25噸的拉力 它是由100億個腦細胞和10兆個神經交匯叢組成 整個大腦的神經網絡足足有10英里長 大腦的有關數據 人工神經網絡方法簡介 你的大腦就像一個沉睡的巨人 英國的心理學家 教育家托尼 布贊 如果我們迫使頭腦開足1 4的馬力 我們就會毫不費力地學會40種語言 把整個百科全書從頭到尾背下來 還可以完成十幾個大學的博士學位 前蘇聯學者伊凡 一個正常的大腦記憶容量有大約6億本書的知識總量 相當于一部大型電腦儲存量的120萬倍 大腦使你從出生開始每一秒鐘可存儲1000條信息 直到老死為止 全世界的電話線路的運作只相當于大約一粒綠豆體積的腦細胞 即使世界上記憶力最好的人 其大腦的使用也沒有達到其功能的1 人類的知識與智慧 仍是 低度開發 人的大腦是個無盡寶藏 可惜的是每個人終其一生 都忽略了如何有效地發揮它的 潛能 潛意識中激發出來的能量 大腦復雜性的無限性 人工神經網絡方法簡介 二 人工智能及其三個學派 人類的夢想重新構造人腦 并讓其代替人類完成相應的工作 無數科幻故事 探索智能的奧秘智能 intelligence 觀察 學習 理解和認識的能力 牛津大辭典 理解和各種適應性行為的能力 韋氏大辭典 智能是個體有目的地行為 合理的思維 以及有效的適應環境的綜合能力 也可以說是個體認識客觀事物和運用知識解決問題的能力 人工神經網絡方法簡介 人類智能的具體含義 感知與認識客觀事物 客觀世界和自我的能力 通過學習獲得經驗 積累知識的能力 理解知識 運用知識和經驗分析 解決問題的能力 聯想 推理 判斷 決策的能力 運用語言進行抽象 概括的能力 以上5點是人類智能的基本能力 發現 發明 創造 創新的能力 實時 迅速 合理地應付復雜環境的能力 預測 洞察事物發展 變化的能力 以上3點是前5種能力新的綜合表現形式 人工神經網絡方法簡介 人工智能 人工智能 ArtificialIntelligence 1956年初次引入人工智能研究怎樣用計算機模仿人腦從事推理 設計 思考 學習等思維活動 以解決和處理較復雜的問題 目的之一 增加人類探索世界 推動社會前進的能力 通過制造和使用工具來加強和延伸人類的生存 發展 目的之二 進一步認識自己 用物化的智能來考察和研究人腦智能的物質過程和規律 人工神經網絡方法簡介 人工智能的3個主要流派 1991年 人工智能學家D Krish在 Int J ArtificialIntelligence 上提出人工智能的5個基本問題 知識和概念化是否人工智能的核心 認知能力能否與載體分開來研究 認知的軌跡是否可以用類自然語言來描述 學習能力能否與認知分開來研究 所有的認識是否有一種統一的結構 對以上5個基本問題的不同回答已經形成3個主要的學術流派 符號主義 Symbolicisim 聯結主義 connetionism 行為主義 actionism 人工神經網絡方法簡介 人工智能的符號主義流派 即傳統的人工智能 認為人工智能源于數理邏輯 主張以知識為基礎 通過推理來進行問題求解 在研究方法上采用計算機模擬人類認知系統功能的功能模擬方法Simon Minsky和Newell等認為 人和計算機都是一個物理符號系統 因此可用計算機的符號演算來模擬人的認知過程 作為智能基礎的知識是可用符號表示的一種信息形式 因此人工智能的核心問題是知識表示 知識推理和知識運用的信息處理過程 符號主義對符號系統的描述 人工神經網絡方法簡介 人工智能的聯結主義流派 又稱仿生學派 認為人工智能源于仿生學 人思維的基本單元是神經元 而非符號處理過程 主張用大腦工作模式取代符號操作的電腦工作模式 智能的本質是聯結機制 神經網絡是一個由大量簡單的處理單元組成的高度復雜的大規模非線性自適應系統 結構 功能 的研究方法 認為功能 結構和智能行為是密切相關的 1943年 McCulloch和Pitts從神經元入手研究神經網絡模型 MP模型 此為人工神經網絡研究之始 人工神經網絡方法簡介 人工神經網絡 ArtificialNeuralNetwork ANN 從四個方面刻畫人腦的基本特征 1 物理結構模仿生物神經元的功能 構造人工神經元的聯結網絡 人工神經網絡方法簡介 2 計算模擬人腦神經元既有局部的計算和存儲功能 又通過聯結構成統一的系統 人腦的計算建立在該系統的大規模并行模擬處理基礎之上 ANN以具有局部計算能力的神經元為基礎 同樣實現信息的大規模并行處理 3 存儲與操作大腦對信息的記憶是通過改變突觸的強度來實現并分布存儲 ANN模擬信息的大規模分布存儲 4 訓練后天的訓練使得人腦具有很強的自組織和自適應性 ANN根據人工神經元網絡的結構特性 使用不同的訓練過程 自動從 實踐 即訓練樣本 中獲取相關知識 并存儲在系統中 人工神經網絡方法簡介 人工智能的行為主義流派 進化主義學派 控制論學派 認為人工智能來源于控制論 智能取決于感知和行動 提出智能行為的 感知 動作 模式 采用行為模擬方法 對符號主義 聯結主義采取批判的態度 智能不需要知識 表示和推理 只需要與環境交互作用 20世紀80年代誕生智能控制和智能機器人系統學科 R A Brooks 為機器人研究開創了新的方法 人工神經網絡方法簡介 ANN是基于聯結主義流派的人工智能 聯結主義學派與高速發展的計算機技術相結合 發展為計算智能學派 是人工智能在1980年代后的深化和發展 計算智能 借助現代計算機技術模擬人的智能控制 生命演化過程和人的智能行為 從而進行信息獲取 處理 應用的理論和方法 計算智能是以數學模型 計算模型為基礎 以分布 并行 仿生計算為特征 包含數據 算法和實現的信息系統 計算智能強調模型的建立和構成 強調系統的自組織 自學習和自適應 計算智能的3個主要分支 人工神經網絡 模擬智能產生與作用賴以存在的結構 遺傳算法 模擬生命生成過程與智能進化過程 模糊邏輯 模擬智能的表現行為 人工神經網絡方法簡介 三 人工神經網絡概述 生物神經元系統 人工神經網絡是受生物神經網絡的啟發構造而成 James 心理學 1890年 大腦皮層每一點的活力產生于其它點勢能釋放的綜合效能 即其它點的興奮次數 強度和所接受的能量 大腦含約1011個神經元 它們通過1015個聯結構成一個網絡 每個神經元具有獨立的接受 處理和傳遞電化學信號的能力 這種傳遞由神經通道來完成 人工神經網絡方法簡介 神經元的結構樹突從細胞體伸向其它神經元 神經元之間的接受信號的聯結點為突觸 通過突觸輸入的信號起著興奮 抑制作用 當細胞體接受的累加興奮作用超過某閾值時 細胞進入興奮狀態 產生沖動 并由軸突輸出 人工神經網絡方法簡介 神經元系統的基本特征神經元及其聯結神經元之間的聯結強度決定信號傳遞的強弱神經元之間的聯結強度可以隨訓練而改變信號分為興奮型和抑制型一個神經元接受的信號的累計效果決定該神經元的狀態每個神經元有一個閾值 人工神經網絡方法簡介 ANN理論及其發展階段 軸突 突觸 樹突 內核 軸突 第一階段1943年 心理學家McCulloch和數學家Pitts對神經元進行形式化研究 提出了神經元的數學模型 MP模型 1944年 D O Hebb提出改變神經元聯結強度的Hebb學習規則 至今仍然是人工神經網絡學習算法的一個基本原則 1957年 Rosenblatt首次引進感知器 Perceptron 概念來模擬生物的感知 學習能力 1962年 Widros提出用于自適應系統的連續取值的線性網絡 人工神經網絡方法簡介 第二階段1969年 M L Minsky和S Papert從理論上證明了當時單隱含層感知器網絡模型無法解決的許多簡單問題 包括最基本的 異或 XOR 問題 使ANN理論的發展進入一個低谷 1974年 Webos提出BP學習理論 S Grossberg提出自適應共振理論 ART 第三階段突破性進展 1982年 CalTech的物理學家J Hopfield提出Hopfield神經網絡系統 HNNS 模型 提出能量函數的概念 用非線性動力學方法來研究ANN 開拓了ANN用于聯想記憶和優化計算的新途徑 1988年 McClelland和Rumelhart利用多層反饋學習算法解決了 異或 XOR 問題 人工神經網絡方法簡介 人工神經網絡的幾種形式 無反饋前向網多輸入 多輸出的多層無環圖 同一層間無聯結 神經元分層排列 組成輸入層 中間層 隱層 輸出層 人工神經網絡方法簡介 有反饋前向網從輸出層到輸入層存在反饋的前向網 人工神經網絡方法簡介 層內有聯結的前向網在無反饋前向網中同一層內存在神經元間的聯結回路 人工神經網絡方法簡介 有向網任意兩個神經元間都可能存在有向聯結 網絡處在動態中 直至達到某一平衡態 周期態或者混沌狀態 人工神經網絡方法簡介 第2部分感知器 Perceptron 人工神經網絡的基本構件 人工神經網絡方法簡介 感知器 Perceptron 是最早被設計并實現的人工神經網絡 W McCulloch和W Pitts總結生物神經元的基本生理特征 提出一種簡單的數學模型與構造方法 建立了閾值加權和模型 簡稱M P模型 ALogicalCalculusImmanentinNervousActivity BulletinofMathematicalBiophysics 1943 5 115 133 人工神經元模型是M P模型的基礎 一 感知器的數學模型 WarrenMcCulloch 1898 1969 WalterPitts 1923 1969 人工神經網絡方法簡介 生物神經元的基本特征神經元及其聯結神經元之間的聯結強度決定信號傳遞的強弱神經元之間的聯結強度可以隨訓練而改變信號分為興奮型和抑制型一個神經元接受的信號的累計效果決定該神經元的狀態每個神經元有一個閾值 軸突 突觸 樹突 內核 軸突 人工神經網絡方法簡介 模擬神經元的首要目標 輸入信號的加權和人工神經元可以接受一組來自系統中其它神經元的輸入信號 每個輸入對應一個權 所有輸入的加權和決定該神經元的激活狀態 每個權就相當于突觸的聯結強度 1 人工神經元數學模型 多輸入 單輸出的加權和結構 人工神經網絡方法簡介 設X x1 x2 xn 表示n個輸入 W w1 w2 wn 表示它們對應的聯結權重 故神經元所獲得的輸入信號累計效果為 稱u x 為整合函數 人工神經網絡方法簡介 感知器的激活函數 神經元獲得網絡輸入信號后 信號累計效果整合函數u x 大于某閾值 時 神經元處于激發狀態 反之 神經元處于抑制狀態 構造激活函數 用于表示這一轉換過程 要求 是 1 1 之間的單調遞增函數 激活函數 通常為3種類型 由此決定了神經元的輸出特征 人工神經網絡方法簡介 1 激活函數 為符號函數 人工神經網絡方法簡介 2 激活函數 為分段線性函數 人工神經網絡方法簡介 3 激活函數 為Sigmoid函數 其特點是單調遞增 光滑且具有漸近值 具有解析上的優點和神經生理學特征 人工神經網絡方法簡介 2 M P模型 將人工神經元的基本模型與激活函數 結合 即McCulloch Pitts模型 人工神經網絡方法簡介 二 感知器的學習算法 什么是 學習 Theconceptualschemefor learning inthiscontextisamachinewithaninputchannelforfigures apairofYESandNOoutputindicators andareinforcementor reward buttonthatthemachine soperatorcanusetoindicatehisapprovalordisapprovalofthemachine sbehavior M L MinskyandS A Papert Perceptron 1988 人工神經網絡方法簡介 ANN可以學會它表達的任何東西 Rosenblatt 1962年 ANN的表達能力有限 其學習能力也受到限制 ANN的學習過程就是訓練過程 在將訓練樣本集輸入到網絡的過程中 按照一定的方式來調整神經元之間的聯結權重值 使得網絡能夠將訓練樣本集的內涵以聯結權重矩陣的方式存儲起來 從而使得網絡在接受輸入時 能夠給出適當的輸出 有監督的學習 Supervisedlearning 無監督的學習 Unsupervisedlearning 人工神經網絡方法簡介 基本思想感知器的學習是有監督的學習 學習的問題歸結為求權重系數W w1 w2 wn 和閾值 的問題 基本思想 逐步將訓練集中的樣本輸入到網絡中 根據輸出結果和理想輸出之間的差別來調整網絡中的權重值 人工神經網絡方法簡介 設X x1 x2 xn 表示n個輸入 W w1 w2 wn 表示它們對應的聯結權重 假設取符號函數為激活函數 此為經典的M P模型 人工神經網絡方法簡介 訓練集的樣本 輸入向量 輸出值 為 t為樣本數目 其中 人工神經網絡方法簡介 三 關于感知器的基本理論問題 線性不可分 問題的困境及其解決 MarvinMinskyMITMediaLabandMITAILabToshibaProfessorofMediaArtsandSciencesProfessorofE E andC S M I Tminsky media mit edu 1969年 Minsky和Papert在 Perceptron 一書中從理論上證明單層感知器無法解決許多簡單的問題 包括 異或 XOR 問題 使得ANN理論的發展在1970 80年代處于低潮 導致政府和企業資助減少 研究人員撤退 人工神經網絡方法簡介 異或 Exclusive OR 運算 是一個雙輸入 單輸出問題 對應的單層感知器為 無論如何選擇參數a b 都無法滿足劃分 這種由單層感知器不能表達的問題稱為線性不可分問題 人工神經網絡方法簡介 考慮n個自變量的二值函數 當n 4時 線性不可分的函數個數遠遠超過線性可分函數的個數 R O Windner 1960 表明單層感知器不能表達的問題的數量遠遠超過它可以表達的問題的數量 人工神經網絡方法簡介 解決途徑 多層網絡 一個單層網絡可以將空間劃分成兩部分 用多個單層網絡組合在一起 并用其中的一個去綜合其它單層網絡的結果 構成一個二層網絡 即可用來在空間劃分出一個封閉或開放的凸域 子空間 人工神經網絡方法簡介 感知器學習算法的計算問題 算法的收斂性對于線性可分問題 感知器的學習算法是收斂的 算法的復雜度 略 算法的容量 略 人工神經網絡方法簡介 非線性感知器 取權重函數為非線性函數的單級傳感器系統 其學習過程涉及到求解非線性方程組的方法 高階感知器 主要討論可線性化的非線性傳感器系統 第3部分單層前向網 多層前向網與BP學習算法簡介 人工神經網絡方法簡介 人工神經網絡方法簡介 一 單層前向網絡 單層前向網模型 設有c 1個感知器 其中第k個感知器的輸出為yk 對于輸入信號x x1 x2 xn 每個感知器有d個輸入uj x j 1 2 d 輸入層 輸出層 人工神經網絡方法簡介 一個單層前向網可表示為 激活函數 wk wk1 wk2 wkd 第k個感知器的權重系數 k 第k個感知器的閾值 u u1 u2 ud 基函數x Rn u x Rn若記wk0 k u0 1 則上式變換為 人工神經網絡方法簡介 記yk wk x 為第k個感知器當權重系數為wk Rd 輸入為x Rn時的輸出 設訓練集為A x t 1 2 N 其中 表示訓練集數據編號 x Rn為輸入 t Rc為輸出 tk 為第k個感知器的期望輸出 基于訓練集A的誤差函數定義為 單層前向網的學習目標函數 人工神經網絡方法簡介 學習的目標就是求wk k 1 2 c 使得誤差函數E w 取最小值 這就是目標函數 單層前向網的學習原理本質上仍是感知器的學習原理 人工神經網絡方法簡介 線性單層前向網的解 關于基函數u x 對學習集的每一個數據 記 其中 1 2 N 由此 定義學習集A的擴展集B 人工神經網絡方法簡介 不妨假設激活函數 為恒等函數 此時網絡為線性單層前向網 由此寫出誤差函數 優化的目標函數為 人工神經網絡方法簡介 根據最小二乘法求解目標函數 由多元函數取極值的必要條件 有 人工神經網絡方法簡介 寫成矩陣形式 W c d 1 U N d 1 T N c 人工神經網絡方法簡介 解的形式為 解存在的條件 略 人工神經網絡方法簡介 二 多層前向網絡 BP學習算法 雙層前向網 多層前向網的結構特點 1 允許網絡具有數層相連的處理單元 2 聯結是從前一層的每一個節點到下一層所有節點 不存在其它聯結 3 同一層內的節點之間不存在聯結 4 不含任何反饋 故輸出可以用輸入和權重來表示 L層神經網絡 具有L層可調節權重參數 人工神經網絡方法簡介 雙層前向網模型 具有兩層可調節參數且同層無聯結的不含反饋的人工神經網絡 X層 輸入層Y層 輸出層Z層 隱層兩層可調節權重參數 W 1 W 2 人工神經網絡方法簡介 設輸入層的輸入為 x1 x2 xn Rn 首先考察隱層 設隱層神經元的激活函數為 第j個隱層神經元的整合函數為aj 輸出值為zj 第1層 隱層 權重矩陣中第i個輸入聯結到第j個隱神經元的權重 第j個隱神經元的閾值 人工神經網絡方法簡介 同樣考察輸出層 設輸出層神經元的激活函數為 第k個輸出神經元以z z1 z2 zM RM為輸入 其整合函數為bk 輸出值為yk 第2層 輸出層 權重矩陣中第j個隱神經元聯結到第k個輸出神經元的權重 第k個輸出神經元的閾值 人工神經網絡