第四章

神經網絡與深度學習

《人工智能應用概論（第2版）》RengongZhinengYingyongGailun“十四五”廣西壯族自治區職業教育規劃教材

新編21世紀高等職業教育精品教材·通識課系列Part0101神經網絡與深度學習概念Part0202

深度學習原理目

錄contentPart0303卷積神經網絡

【課程導入】現實中，我們的大腦接收眼睛或耳朵傳遞來的數據（輸入源），會通過一層層的神經元去解析數據（神經元），然后得到我們對于所見的判斷（輸出源）。對整個實現過程的抽象理解如圖4-2所示Part01神經網絡與深度學習概念4.1.1生物神經元（Biologicalneuron）人工神經網絡是受到人類大腦結構的啟發而創造出來的。生物神經元是神經系統的基本功能單元，負責接收、處理和傳遞信息。人類大腦中包含大約860億個神經元，它們通過復雜的網絡相互連接，實現各種神經功能。生物神經元的結構包括細胞體、樹突、軸突和突觸。以下是具體介紹：細胞體：細胞體是神經元的主要部分，包含細胞核、細胞質和細胞膜。它是神經元的代謝中心，維持細胞的生命活動。樹突：樹突是從細胞體向外延伸的分支纖維，主要作用是接收來自其他神經元的信號。一個神經元可以有多個樹突，這使得神經元能從多個源頭接收信號。軸突：軸突是一條長的纖維，從細胞體延伸出來，負責將信號從細胞體傳遞到其他神經元或組織。一個神經元只有一個軸突，其長度可從幾微米到一米不等。突觸：突觸是神經元之間傳遞信息的連接點，通常是軸突末端與其他神經元的樹突或細胞體相接觸的部分。在這里，神經遞質被釋放，從而將信號從一個神經元傳遞到另一個神經元。4神經網絡是一種模擬人腦神經元結構的計算模型。人工神經網絡（ANN）由神經元（圓圈）和權重w（直線）兩部分組成，分為輸入層、隱藏層、輸出層。其中，輸入層相當于輸入元，隱藏層相當于人工神經網絡輸出層相當于輸出源。三層之間的神經元相互連接，和權重組（w1，w2）經過前向算法和反饋算法的數學運算，最終將結果以“激活碼”的方式輸出，這與生物（人類）神經元中的突觸十分相似。輸入層是神經網絡與外界數據的接口，負責接收并傳輸輸入數據到網絡中。隱藏層通過非線性變換和特征提取來加工輸入數據。輸出層將神經網絡的處理結果轉換為外界可以理解的格式。4.1.2人工神經網絡(ArtificialNeuralNetworks）4神經網絡是深度學習的基礎，而深度學習是神經網絡的一種特殊形式。深度學習是一種特殊的機器學習方法，采用多層神經網絡來學習數據的高級特征。每一層網絡都從前一層的輸出中提取更復雜的信息，如自動駕駛。4.1.3深度學習(DeepLearning)如：自動駕駛中，將攝像頭、雷達、GPS、速度數據集放入到輸入層，經過多層神經網絡層計算，最終輸出層輸出方向、剎車、加速參數，實現自動駕駛的效果。4八大深度學習神經網絡：CNN卷積神經網絡（圖像識別與分類）、RNN循環神經（）、GAN對抗神經網絡（生成式AI，生成新圖片）、LSTM長短期（天氣預測）、Transformer神經網絡（自然語言處理）。4.1.3深度學習(DeepLearning)4傳統機器學習和深度學習算法的主要區別在于特征。傳統機器學習算法中，我們需要手工編碼特征；在深度學習算法中，特征由算法自動完成，但耗時且需要海量數據。4.1.4深度學習(DeepLearning)與機器學習Part02神經網絡技術原理4感知器，也可翻譯為感知機（神經元），是FrankRosenblatt在1957年就職于Cornell航空實驗室時所發明的一種人工神經網絡,被視為一種最簡單形式的前饋式人工神經網絡，是一種二元線性分類器。工作機制：輸入層I*W（I1*W1+I2*W2+I3*W3+......）求和sum,將sum放入到f(X)激活函數，如果大于閾值T則為1，否則為0。如使用感知層識別西瓜和香蕉。4.2.1感知機模型-單層感知層1.假設西瓜和香蕉都僅有兩個特征（feature）：形狀和顏色，特征x1代表輸入顏色，特征x2代表形狀；2.進一步簡化，我們把權重w1和w2默認值都為1，閾值θ（亦稱偏值——bias）設置為0；3.感知器輸出為“1”，代表判定為“西瓜”，而輸出為“0”，代表判定為“香蕉”4多層感知機（MLP，MultilayerPerceptron）除了輸入輸出層，它中間可以有多個隱層。最簡單的MLP只含一個隱層，即三層的結構，層與層之間是全連接的。輸入層是神經網絡與外界數據的接口，負責接收并傳輸輸入數據到網絡中。隱藏層通過非線性變換和特征提取來加工輸入數據。輸出層將神經網絡的處理結果轉換為外界可以理解的格式。4.2.1感知機模型-多層感知機44.2.2深度神經網絡（DeepNeuralNetworks）【深度學習工作原理】深度學習是不停更改實驗因素的參數，讓預測值接近真實值的過程。深度學習的過程首先是輸入層接收數據，經過隱藏層的前向算法（數據變換）得到一個預測值，預測值與真實目標值代入損失函數，使用反饋算法計算出最小的損失值，然后把損失值放入優化器中來有方向性地更改權重值，這樣就完成了一次學習過程。不斷循環以上過程更改參數，讓預測值接近真實目標值，這就是深度學習的過程。44.2.3深度學習核心算法-前向傳播前向傳播用來計算預測值y。在神經網絡中，信息從上一個神經元直接流轉到下一個神經元，直到輸出，最終得到在當前參數下的損失函數的過程，稱為前向傳播算法。（類似學生做試題寫答案）44.2.3深度學習核心算法-反向傳播算法反向傳播算法是計算預測輸出與真實標簽之間的誤差。反向傳播是一種基于微積分中鏈式法則的算法，用于計算神經網絡中各層權重和偏差的梯度。其核心思想是從輸出層開始，逐層向輸入層逆向傳播誤差，并計算每個參數的梯度。這一過程利用了前向傳播中保存的中間結果，避免重復計算，提高了訓練效率。44.2.3深度學習核心算法-梯度下降梯度下降的過程可把求解損失函數最小值的過程看成“站在山坡某處去尋找山坡的最低點”。我們并不知道最低點的確切位置，梯度下降的策略是每次向“下坡路”的方向走一小步，經過長時間地走“下坡路”，最后停留的位置也大概率在最低點附近。我們選這個“下坡路”的方向為梯度方向的負方向，因為每個點的梯度負方向是在該點處函數下坡最陡的方向，如圖4-7所示。在計算出梯度后，使用梯度下降算法更新網絡參數。更新規則為：新參數=舊參數-學習率*梯度，使得每次更新的參數其誤差縮小最快。44.2.4深度學習應用場景-信貸場景下客戶信用評分信貸評分卡模型（見圖4-8）是當前最常見的金融風控手段之一，在信貸場景下客戶貸前申請、貸中調額、貸后催收等貸款生命周期的主要環節中已經被普遍應用。它主要是根據客戶的各種屬性和行為數據，建設信用評分模型，基于模型判斷是否給予授信以及授信的額度，從而識別和減少金融業務中的交易風險。在對客戶進行信用評分時，核心難點在于突發事件等因素可能導致模型效果不穩定，因此需要能有效快速進行模型自迭代的完整循環。輸入客戶特征數據違約1/不違約0CHiME-6被稱為“史上最難的語音識別任務”4深度學習在圖像和物體識別方面的能力遠遠超過了人類CHiME-6“史上最難的語音識別任務”科大訊飛多場景語音識別大賽上奪冠。4.2.4深度學習應用場景CHiME-6被稱為“史上最難的語音識別任務”4深度學習可以應用到醫療臨床檢測與診斷各個環節中4.2.4深度學習應用場景CHiME-6被稱為“史上最難的語音識別任務”4深度學習加速推進智慧城市建設4.2.4深度學習應用場景Part03卷積神經網絡卷積神經網絡通過卷積、激活、池化等操作層層遞進地處理圖像數據，最終通過全連接層輸出結果。這種結構使得CNN在計算機視覺等領域表現出色，成為深度學習的重要工具。4.3.1深度學習經典網絡-卷積神經網絡卷積層是完成圖像特征提取池化層是圖像降維（32*32像素

降維到5*5）全連接層是圖像分類將圖片8放入輸入層經過Layer1卷積層提取圖片特征經過Layer1池化層圖片降維14*14經過Layer2卷積層提取圖片特征經過Layer2池化層圖片降維5*5經過全連接神經網絡層完成圖片分類，最終輸出預測值y‘。卷積神經網絡通過卷積、激活、池化等操作層層遞進地處理圖像數據，主要是特征提取。最終通過全連接層輸出結果。這種結構使得CNN在計算機視覺等領域表現出色，成為深度學習的重要工具。4.3.2深度學習經典網絡-卷積層卷積神經網絡特征提取池化層在卷積神經網絡（CNN）中的主要作用是通過降低特征圖的空間維度來減少參數數量和計算量，同時保留重要信息以增強特征的不變性。池化層方式有2*2最大池化、2*2平均池化、2*2隨機池化。4.3.3深度學習經典網絡-池化層全連接層在卷積神經網絡（CNN）中的主要作用是將前層（如卷積層和池化層）提取的特征進行整合，并將這些特征映射到樣本標記空間，從而實現分類或回歸任務。全連接層通常位于CNN的最后幾層，每個神經元都與前一層的所有神經元相連。4.3.4深度學習經典網絡-全連接層全連接層Part03神經網絡模型TensorFlow是谷歌推出的深度學習開源框架，并且發布了TensorFlow游樂場。有了TensorFlow游樂場，我們在瀏覽器中就可以訓練自己的神經網絡，還有好看的圖像讓我們更直觀地了解神經網絡的主要功能以及計算流程。/4.4.1TensorFlow游樂場TensorFlow游樂場的左側提供了四個不同的數據集（見圖4-1