神經網絡基礎1、感知機2、人工神經網絡神經網絡基礎1、感知機1機器學習與應用：Tensorflow、神經網絡課件2機器學習與應用：Tensorflow、神經網絡課件3感知機有n個輸入數據，通過權重與各數據之間的計算和，比較激活函數結果，得出輸出應用：很容易解決與、或、非問題Rosenblatt在1957年，于Cornell航空實驗室時所發明的一種人工神經網絡感知機有n個輸入數據，通過權重與各數據之間的計算和，Rose4機器學習與應用：Tensorflow、神經網絡課件5感知機與邏輯回歸的聯系與區別激活函數、結果分析感知機與邏輯回歸的聯系與區別激活函數、結果分析6演示：/#activation=sigmoid®ularization=L2&batchSize=10&dataset=circle®Dataset=reg-plane&learningRate=0.03®ularizationRate=0&noise=0&networkShape=3&seed=0.84062&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&showTestData_hide=true&learningRate_hide=true®ularizationRate_hide=true&percTrainData_hide=true&numHiddenLayers_hide=true&discretize_hide=true&activation_hide=true&problem_hide=true&noise_hide=true®ularization_hide=true&dataset_hide=true&batchSize_hide=true&playButton_hide=false演示：http://playground.tensorflo7神經網絡的發展定義：在機器學習和認知科學領域，人工神經網絡（artificialneuralnetwork，縮寫ANN），簡稱神經網絡（：neuralnetwork，縮寫NN）或類神經網絡，是一種模仿生物神經網絡的結構和功能的計算模型，用于對函數進行估計或近似。神經網絡的種類：?基礎神經網絡：單層感知器，線性神經網絡，BP神經網絡，Hopfield神經網絡等?進階神經網絡：玻爾茲曼機，受限玻爾茲曼機，遞歸神經網絡等?深度神經網絡：深度置信網絡，卷積神經網絡，循環神經網絡，LSTM網絡等?神經網絡的發展定義：在機器學習和認知科學領域，人工神經網絡（8杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEverestHinton）（1947年12月6日－）是一位英國出生的計算機學家和心理學家，以其在神經網絡方面的貢獻聞名。辛頓是反向傳播算法的發明人之一，也是深度學習的積極推動者。杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEver9GeoffreyHintonYannLecunYoshuaBengioAndrewNgGeoffreyHintonYannLecunYoshu10神經網絡的特點輸入向量的維度和輸入神經元的個數相同每個連接都有個權值同一層神經元之間沒有連接由輸入層，隱層，輸出層組成第N層與第N-1層的所有神經元連接，也叫全連接神經網絡的特點輸入向量的維度和輸入神經元的個數相同11結構（Architecture）例如，神經網絡中的變量可以是神經元連接的權重激勵函數（ActivityRule）大部分神經網絡模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。學習規則（LearningRule）學習規則指定了網絡中的權重如何隨著時間推進而調整。（反向傳播算法）神經網絡的組成結構（Architecture）例如，神經網絡中的變量可以是12機器學習與應用：Tensorflow、神經網絡課件13機器學習與應用：Tensorflow、神經網絡課件14淺層人工神經網絡模型1、SoftMax回歸2、損失計算API3、其他方法API介紹淺層人工神經網絡模型1、SoftMax回歸15Mnist數據集神經網絡分析Mnist數據集神經網絡分析16機器學習與應用：Tensorflow、神經網絡課件17one-hot編碼分析one-hot編碼分析18機器學習與應用：Tensorflow、神經網絡課件19one-hotAPI介紹one-hotAPI介紹20fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets(FLAGS.data_dir,one_hot=True)獲取數據fromtensorflow.examples.tutor21SoftMax回歸公式：SoftMax回歸公式：22機器學習與應用：Tensorflow、神經網絡課件23機器學習與應用：Tensorflow、神經網絡課件241、全連接-從輸入直接到輸出特征加權：tf.matmul(a,b,name=None)+biasreturn:全連接結果，供交叉損失運算不需要激活函數（因為是最后的輸出）1、全連接-從輸入直接到輸出特征加權：25想一想線性回歸的損失函數，那么如何去衡量神經網絡的損失？想一想線性回歸的損失函數，那么如何去26損失計算-交叉熵損失公式（了解）公式：注：

損失計算-交叉熵損失公式（了解）公式：注：

272、SoftMax計算、交叉熵tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)

計算logits和labels之間的交叉損失熵labels:標簽值（真實值）logits：樣本加權之后的值return:返回損失值列表2、SoftMax計算、交叉熵tf.nn.softmax_c28損失值列表平均值計算tf.reduce_mean(input_tensor)計算張量的尺寸的元素平均值損失值列表平均值計算tf.reduce_mean(input29其他方法-損失下降APItf.train.GradientDescentOptimizer(learning_rate)梯度下降優化learning_rate:學習率，一般為minimize(loss):最小化損失return:梯度下降op其他方法-損失下降APItf.train.GradientD30準確性計算1、equal_list=tf.equal(tf.argmax(y,1),tf.argmax(y_label,1))2、accuracy=tf.reduce_mean(tf.cast(equal_list,tf.float32))準確率準確性計算1、equal_list=tf.equal(t31Mnist數據集神經網絡實現流程1、準備數據2、全連接結果計算3、損失優化4、模型評估（計算準確性）Mnist數據集神經網絡實現流程1、準備數據32深層的神經網絡深度學習網絡與更常見的單一隱藏層神經網絡的區別在于深度，深度學習網絡中，每一個節點層在前一層輸出的基礎上學習識別一組特定的特征。隨著神經網絡深度增加，節點所能識別的特征也就越來越復雜。深層的神經網絡深度學習網絡與更常見的單一隱藏層神經網絡的區別33卷積神經網絡1、卷積神經網絡與簡單的全連接神經網絡的比較2、卷積神經網絡的發展歷史3、卷積神經網絡的結構分析4、卷積網絡API介紹卷積神經網絡1、卷積神經網絡與簡單的全連接神經網絡的比較34全連接神經網絡的缺點參數太多，在cifar-10的數據集中，只有32*32*3，就會有這么多權重，如果說更大的圖片，比如200*200*3就需要120000多個，這完全是浪費沒有利用像素之間位置信息，對于圖像識別任務來說，每個像素與周圍的像素都是聯系比較緊密的。層數限制全連接神經網絡的缺點參數太多，在cifar-10的數據集中，35卷積神經網絡的發展歷史卷積神經網絡的發展歷史36卷積神經網絡錯誤率卷積神經網絡錯誤率37卷積神經網絡的結構分析卷積神經網絡的結構分析38

神經網絡(neural

networks)的基本組成包括輸入層、隱藏層、輸出層。而卷積神經網絡的特點在于隱藏層分為卷積層和池化層(pooling

layer，又叫下采樣層)。卷積層：通過在原始圖像上平移來提取特征，每一個特征就是一個特征映射池化層：通過特征后稀疏參數來減少學習的參數，降低網絡的復雜度，（最大池化和平均池化）

神經網絡(neuralnetworks)的基本組成包括輸39數據變化數據變化40機器學習與應用：Tensorflow、神經網絡課件41卷積神經網絡的結構1、卷積層過濾器個數大小步長零填充卷積層輸出深度、輸出寬度深度由過濾器個數決定輸出寬度：1、激活函數1、池化層2、全連接層卷積神經網絡的結構1、卷積層過濾器42卷積層計算過程（一個通道一個Filter一步長）卷積層計算過程（一個通道一個Filter一步長）43卷積層計算過程（當步長為2的時候）卷積層計算過程（當步長為2的時候）44卷積層的零填充卷積核在提取特征映射時的動作稱之為padding（零填充），由于移動步長不一定能整出整張圖的像素寬度。其中有兩種方式，SAME和VALIDSAME：越過邊緣取樣，取樣的面積和輸入圖像的像素寬度一致。VALID：不越過邊緣取樣，取樣的面積小于輸入人的圖像的像素寬度卷積層的零填充卷積核在提取特征映射時的動作稱之為paddin45如果需要卷積之后輸出大小一樣：零填的大小為2如果需要卷積之后輸出大小一樣：零填的大小為246卷積網絡API介紹卷積層：tf.nn.conv2d(input,filter,strides=,padding=,name=None)計算給定4-D

input和filter張量的2維卷積input：給定的輸入張量，具有[batch,heigth,width,channel]，類型為float32,64filter：指定過濾器的大小，[filter_height,filter_width,in_channels,out_channels]strides：strides=[1,stride,stride,1],步長padding：“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”。其中”VALID”表示滑動超出部分舍棄，“SAME”表示填充，使得變化后height,width一樣大卷積網絡API介紹卷積層：47多通道圖片-外圍補充與多Filter多通道圖片-外圍補充與多Filter48新的激活函數-Relu新的激活函數-Relu49機器學習與應用：Tensorflow、神經網絡課件50第一，采用sigmoid等函數，反向傳播求誤差梯度時，計算量相對大，而采用Relu激活函數，整個過程的計算量節省很多

第二，對于深層網絡，sigmoid函數反向傳播時，很容易就會出現梯度消失的情況（求不出權重和偏置）第一，采用sigmoid等函數，反向傳播求誤差梯度時，計算量51激活函數：tf.nn.relu(features,name=None)features:卷積后加上偏置的結果return:結果激活函數：52池化層(Pooling)計算Pooling層主要的作用是特征提取，通過去掉FeatureMap中不重要的樣本，進一步減少參數數量。Pooling的方法很多，最常用的是MaxPooling。池化層(Pooling)計算Pooling層主要的作用是特征53池化：

tf.nn.max_pool(value,ksize=,strides=,padding=,name=None)輸入上執行最大池數value:4-D

Tensor形狀[batch,height,width,channels]ksize:池化窗口大小，[1,ksize,ksize,1]strides:步長大小，[1,strides,strides,1]padding:“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”池化：

tf.nn.max_pool(value,ksiz54Full

Connected層分析：前面的卷積和池化相當于做特征工程，后面的全連接相當于做特征加權。最后的全連接層在整個卷積神經網絡中起到“分類器”的作用。FullConnected層分析：前面的卷積和池化相當于做55Mnist手寫數字圖片識別卷積網絡案例Mnist手寫數字圖片識別卷積網絡案例56Mnist數據集人工神經網絡分析Mnist數據集人工神經網絡分析57機器學習與應用：Tensorflow、神經網絡課件58Mnist數字識別卷積實現流程：1、準備數據2、卷積、激活、池化（兩層）3、全連接層4、計算準確率Mnist數字識別卷積實現流程：59常見卷積網絡模型的結構LeNet：1986年常見卷積網絡模型的結構LeNet：1986年60AlexNet：2012年60M以上的參數總量AlexNet：2012年60M以上的參數總量61GoogleNet：GoogleNet：62神經網絡基礎1、感知機2、人工神經網絡神經網絡基礎1、感知機63機器學習與應用：Tensorflow、神經網絡課件64機器學習與應用：Tensorflow、神經網絡課件65感知機有n個輸入數據，通過權重與各數據之間的計算和，比較激活函數結果，得出輸出應用：很容易解決與、或、非問題Rosenblatt在1957年，于Cornell航空實驗室時所發明的一種人工神經網絡感知機有n個輸入數據，通過權重與各數據之間的計算和，Rose66機器學習與應用：Tensorflow、神經網絡課件67感知機與邏輯回歸的聯系與區別激活函數、結果分析感知機與邏輯回歸的聯系與區別激活函數、結果分析68演示：/#activation=sigmoid®ularization=L2&batchSize=10&dataset=circle®Dataset=reg-plane&learningRate=0.03®ularizationRate=0&noise=0&networkShape=3&seed=0.84062&showTestData=false&discretize=false&percTrainData=50&x=true&y=true&xTimesY=false&xSquared=false&ySquared=false&cosX=false&sinX=false&cosY=false&sinY=false&collectStats=false&problem=classification&initZero=false&showTestData_hide=true&learningRate_hide=true®ularizationRate_hide=true&percTrainData_hide=true&numHiddenLayers_hide=true&discretize_hide=true&activation_hide=true&problem_hide=true&noise_hide=true®ularization_hide=true&dataset_hide=true&batchSize_hide=true&playButton_hide=false演示：http://playground.tensorflo69神經網絡的發展定義：在機器學習和認知科學領域，人工神經網絡（artificialneuralnetwork，縮寫ANN），簡稱神經網絡（：neuralnetwork，縮寫NN）或類神經網絡，是一種模仿生物神經網絡的結構和功能的計算模型，用于對函數進行估計或近似。神經網絡的種類：?基礎神經網絡：單層感知器，線性神經網絡，BP神經網絡，Hopfield神經網絡等?進階神經網絡：玻爾茲曼機，受限玻爾茲曼機，遞歸神經網絡等?深度神經網絡：深度置信網絡，卷積神經網絡，循環神經網絡，LSTM網絡等?神經網絡的發展定義：在機器學習和認知科學領域，人工神經網絡（70杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEverestHinton）（1947年12月6日－）是一位英國出生的計算機學家和心理學家，以其在神經網絡方面的貢獻聞名。辛頓是反向傳播算法的發明人之一，也是深度學習的積極推動者。杰弗里·埃弗里斯特·辛頓

（英語：GeoffreyEver71GeoffreyHintonYannLecunYoshuaBengioAndrewNgGeoffreyHintonYannLecunYoshu72神經網絡的特點輸入向量的維度和輸入神經元的個數相同每個連接都有個權值同一層神經元之間沒有連接由輸入層，隱層，輸出層組成第N層與第N-1層的所有神經元連接，也叫全連接神經網絡的特點輸入向量的維度和輸入神經元的個數相同73結構（Architecture）例如，神經網絡中的變量可以是神經元連接的權重激勵函數（ActivityRule）大部分神經網絡模型具有一個短時間尺度的動力學規則，來定義神經元如何根據其他神經元的活動來改變自己的激勵值。學習規則（LearningRule）學習規則指定了網絡中的權重如何隨著時間推進而調整。（反向傳播算法）神經網絡的組成結構（Architecture）例如，神經網絡中的變量可以是74機器學習與應用：Tensorflow、神經網絡課件75機器學習與應用：Tensorflow、神經網絡課件76淺層人工神經網絡模型1、SoftMax回歸2、損失計算API3、其他方法API介紹淺層人工神經網絡模型1、SoftMax回歸77Mnist數據集神經網絡分析Mnist數據集神經網絡分析78機器學習與應用：Tensorflow、神經網絡課件79one-hot編碼分析one-hot編碼分析80機器學習與應用：Tensorflow、神經網絡課件81one-hotAPI介紹one-hotAPI介紹82fromtensorflow.examples.tutorials.mnistimportinput_datamnist=input_data.read_data_sets(FLAGS.data_dir,one_hot=True)獲取數據fromtensorflow.examples.tutor83SoftMax回歸公式：SoftMax回歸公式：84機器學習與應用：Tensorflow、神經網絡課件85機器學習與應用：Tensorflow、神經網絡課件861、全連接-從輸入直接到輸出特征加權：tf.matmul(a,b,name=None)+biasreturn:全連接結果，供交叉損失運算不需要激活函數（因為是最后的輸出）1、全連接-從輸入直接到輸出特征加權：87想一想線性回歸的損失函數，那么如何去衡量神經網絡的損失？想一想線性回歸的損失函數，那么如何去88損失計算-交叉熵損失公式（了解）公式：注：

損失計算-交叉熵損失公式（了解）公式：注：

892、SoftMax計算、交叉熵tf.nn.softmax_cross_entropy_with_logits(labels=None, logits=None,name=None)

計算logits和labels之間的交叉損失熵labels:標簽值（真實值）logits：樣本加權之后的值return:返回損失值列表2、SoftMax計算、交叉熵tf.nn.softmax_c90損失值列表平均值計算tf.reduce_mean(input_tensor)計算張量的尺寸的元素平均值損失值列表平均值計算tf.reduce_mean(input91其他方法-損失下降APItf.train.GradientDescentOptimizer(learning_rate)梯度下降優化learning_rate:學習率，一般為minimize(loss):最小化損失return:梯度下降op其他方法-損失下降APItf.train.GradientD92準確性計算1、equal_list=tf.equal(tf.argmax(y,1),tf.argmax(y_label,1))2、accuracy=tf.reduce_mean(tf.cast(equal_list,tf.float32))準確率準確性計算1、equal_list=tf.equal(t93Mnist數據集神經網絡實現流程1、準備數據2、全連接結果計算3、損失優化4、模型評估（計算準確性）Mnist數據集神經網絡實現流程1、準備數據94深層的神經網絡深度學習網絡與更常見的單一隱藏層神經網絡的區別在于深度，深度學習網絡中，每一個節點層在前一層輸出的基礎上學習識別一組特定的特征。隨著神經網絡深度增加，節點所能識別的特征也就越來越復雜。深層的神經網絡深度學習網絡與更常見的單一隱藏層神經網絡的區別95卷積神經網絡1、卷積神經網絡與簡單的全連接神經網絡的比較2、卷積神經網絡的發展歷史3、卷積神經網絡的結構分析4、卷積網絡API介紹卷積神經網絡1、卷積神經網絡與簡單的全連接神經網絡的比較96全連接神經網絡的缺點參數太多，在cifar-10的數據集中，只有32*32*3，就會有這么多權重，如果說更大的圖片，比如200*200*3就需要120000多個，這完全是浪費沒有利用像素之間位置信息，對于圖像識別任務來說，每個像素與周圍的像素都是聯系比較緊密的。層數限制全連接神經網絡的缺點參數太多，在cifar-10的數據集中，97卷積神經網絡的發展歷史卷積神經網絡的發展歷史98卷積神經網絡錯誤率卷積神經網絡錯誤率99卷積神經網絡的結構分析卷積神經網絡的結構分析100

神經網絡(neural

networks)的基本組成包括輸入層、隱藏層、輸出層。而卷積神經網絡的特點在于隱藏層分為卷積層和池化層(pooling

layer，又叫下采樣層)。卷積層：通過在原始圖像上平移來提取特征，每一個特征就是一個特征映射池化層：通過特征后稀疏參數來減少學習的參數，降低網絡的復雜度，（最大池化和平均池化）

神經網絡(neuralnetworks)的基本組成包括輸101數據變化數據變化102機器學習與應用：Tensorflow、神經網絡課件103卷積神經網絡的結構1、卷積層過濾器個數大小步長零填充卷積層輸出深度、輸出寬度深度由過濾器個數決定輸出寬度：1、激活函數1、池化層2、全連接層卷積神經網絡的結構1、卷積層過濾器104卷積層計算過程（一個通道一個Filter一步長）卷積層計算過程（一個通道一個Filter一步長）105卷積層計算過程（當步長為2的時候）卷積層計算過程（當步長為2的時候）106卷積層的零填充卷積核在提取特征映射時的動作稱之為padding（零填充），由于移動步長不一定能整出整張圖的像素寬度。其中有兩種方式，SAME和VALIDSAME：越過邊緣取樣，取樣的面積和輸入圖像的像素寬度一致。VALID：不越過邊緣取樣，取樣的面積小于輸入人的圖像的像素寬度卷積層的零填充卷積核在提取特征映射時的動作稱之為paddin107如果需要卷積之后輸出大小一樣：零填的大小為2如果需要卷積之后輸出大小一樣：零填的大小為2108卷積網絡API介紹卷積層：tf.nn.conv2d(input,filter,strides=,padding=,name=None)計算給定4-D

input和filter張量的2維卷積input：給定的輸入張量，具有[batch,heigth,width,channel]，類型為float32,64filter：指定過濾器的大小，[filter_height,filter_width,in_channels,out_channels]strides：strides=[1,stride,stride,1],步長padding：“SAME”,“VALID”，使用的填充算法的類型，使用“SAME”。其中”VALID”表示滑動超出部分舍棄，“SAME”表示填充，使得變化