1、 ANN：Artificial Neural Network 使用梯度下降來調節網絡參數以擬合由輸入-輸出對組成的訓練集合 對于訓練數據中的錯誤魯棒性（robust）很好 應用： 視覺場景分析（interpreting visual scenes） 語音識別 機器人控制 應用：反向傳播算法（back propagation） 學習識別手寫字符 學習識別口語 學習識別人臉 ANN的研究主要是受到了生物學啟發 生物的學習系統是由相互連接的神經元（neuron）組成的異常復雜的網絡 ANN由一系列簡單的單元相互密集連接構成的： 每個單元有一定數量的實值輸入 產生單一的實值輸出（可能成為其他很多單元的

2、輸入） 人類的大腦： 人類的大腦是由1011個神經元相互連接組成的密集網絡 平均每一個神經元與其他104個神經元相連 神經元的活性通常被通向其他神經元的連接激活或抑制 目前所知最快的神經元轉換時間是10-3秒級別，而同時計算機的轉換時間為10-10 人腦通過視覺識別自己的母親只需要0.1秒，神經元的轉換次數只有數百步 ANN： 人類大腦的高超處理能力可能得益于高度并行處理算法 構建ANN系統的一個動機就是獲得這種基于分布表示的高度并行算法 大多數ANN軟件在串行機器上仿真分布處理，但高度并行機和專門為ANN應用設計的專用硬件也已出現 但ANN并未模擬生物神經系統中的很多復雜特征。 【TED】用

3、超級計算機構造大腦用超級計算機構造大腦 【TED】吉爾伯特泰勒的奇跡吉爾伯特泰勒的奇跡兩類：1.目標：使用ANN研究和模擬生物學習過程2. 目標：獲得高效的機器學習算法，而不管這種過程是否反映了生物學過程現今主要研究集中于目標2。本書的內容也集中于目標2Why？ ALVINN系統： Autonomous Land Vehicle In a Neural Network 通過學習，該系統可以在高速公里上以正常速度駕駛汽車 輸入是一個30X32像素的網格，像素亮度來自安裝在車輛上的一個前向攝像機 輸出是對車輛行進方向的控制 ALVINN網絡經過5分鐘訓練，在高速公路上以70英里/小時的時速行駛了9

4、0英里 非常合理的問題：訓練集合為含有噪聲的復雜傳感器數據 問題應該有以下特征： 實例是用很多“屬性-值”對表示的 目標函數的輸出可能是離散值、實數值或者由若干實數屬性或離散屬性組成的向量 訓練數據可能包含錯誤 可以進行長時間的訓練 可能需要快速求出目標函數值 人類能否理解學習到的目標函數是不重要的 HP公司：The Machine： 基于憶阻器（memristor） 計算機的內存和硬盤：數據來回穿梭 憶阻器可以同時替代兩者 更強計算能力，同時更節能省電 其上運行新操作系統：Linux+ 有記憶功能的非線性電阻器 具備比內存更快的讀取速度 節省數據來回的電力和時間 關閉電源后仍具有記憶數據的能

5、力1. 介紹組成神經網絡的幾種主要單元：感知器（perceptron）線性單元（linear unit）sigmoid單元（sigmoid unit）2. 給出訓練這些單元組成的多層網絡的反向傳播算法3. 人臉識別的神經網絡算例 以實數值向量作為輸入，計算這些輸入的線性組合 如果結果大于某個閾值，就輸出1，否則輸出-1otherwisexxxxxonnn 10. if 1),.,(221101 單個感知器只能表示線性決策面 反向傳播算法所學習的多層網絡能夠表示種類繁多的非線性曲面 例：多層前饋網絡 Sigmoid函數取代開關函數xex11)( 收斂性：一種有效的函數逼近算法 局部極小值：不一定

6、能收斂到全局最小誤差 網絡的權越多，誤差曲面的維數就越高，越不容易墜入局部極小值 如何緩解局部極小值問題： 為梯度更新法則加一個沖量項 使用隨機的梯度下降 使用不同的局部極小值，但用不同的隨機權值初始化每個網絡 布爾函數：任何布爾函數可以被具有兩層單元的網絡準確表示 連續函數：每個有界的連續函數可以由一個兩層的網絡以任意小的誤差逼近 任意函數：可以被一個有三層單元的網絡以任意精度逼近 局限：梯度下降是從一個初始的權值開始的，因此搜索范圍里的網絡權向量可能不包含所有的權向量 新發現：可以從網絡內部的隱藏層發現有用的中間表示 從而實現特征抽取，即自動發現有用表示 舉例：學習結束后的隱層表示。 反向傳播算法需要規定停止條件： 直接的想法：確定一個閾值，若訓練樣例的誤差E小于閾值則停止 缺點：過度擬合，導致對未見過實例不適應 泛化精度（Generalization Accuracy）：網絡擬合訓練數據外實例的精度 P80 圖4-8 過度擬合：訓練樣例的特異性對尋找一般規律的干擾 任務： 對不同姿態的人臉圖像進行分類 設計要素： 輸入編碼 輸出編碼 網絡結構圖 學習算法的其他參數：學習速率 沖量 學習到的隱藏層表示：見下圖參