課程簡介深度學習歡迎選課選課動機大模型AIGCActive(主動）Concentrated（專注）Telligent（理解）Inquisitive（勤學好問）Vigorous(活力）Extreme（極致）MindandHand（MIT校訓，既要動腦，也要動手）如何去做？課程團隊1課程基本信息2教材3課程內容4目錄Contents課程評估5課程團隊首席教授徐俊剛，xujg@主講教師******助教

************課程類型:

專業課學時/學分:40/2預修課程:Python程序設計，機器學習，計算機算法與分析課程網站：***微信群：***課程基本信息徐俊剛.深度學習.北京:機械工業出版社,2024.教材課程內容第一章引言第二章

卷積神經網絡第三章

循環神經網絡第四章Transformer第五章

生成對抗網絡第六章深度生成模型第七章

正則化與優化第八章

深度學習框架課程內容課堂筆試:**%(閉卷/開卷)實驗(必做和可選):**%課程評估計算機視覺實驗（供參考）

必做實驗（每個人）:（1）基于CNN的手寫數字識別；（2）基于ViT的CIFAR10圖像分類。

可選實驗（每組，不超過3人）：（1）基于YOLOv5的目標檢測；（2）基于SegNet的街景分割。注：部分實驗需基于GPU進行，可基于學校教學實驗室或者外部在線GPU資源進行。課程評估自然語言處理實驗（供參考）必做實驗（每個人）:（1）基于LSTM的自動寫詩；（2）基于Transformer的神經機器翻譯?？蛇x實驗（每組，不超過3人）：（1）基于LSTM的語言模型；（2）基于CNN-Transformer的圖像描述。注：部分實驗需基于GPU進行，可基于學校教學實驗室或者外部在線GPU資源進行。課程評估祝愿第一章引言深度學習深度學習的起源與發展12深度學習與機器學習、AI的關系3深度學習的基本概念與典型算法45目錄Contents本章人物深度學習的主要應用概述196中英文術語對照深度學習的起源與發展1“深度學習（DeepLearning）”的概念是2006年由多倫多大學（UniversityofToronto）的GeoffreyHinton教授與他的同事們提出的，他也因此被稱為“深度學習之父”。但是，由于深度學習與人工神經網絡（ArtificialNeuralNetwork，ANN）息息相關，它的起源可以追溯到更早的時間。21深度學習的起源HintonGE,OsinderoSandTehY.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18:1527-1554.HintonGE,SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science,2006,313(5786):504-507.22深度學習的起源深度學習的起源23第一階段（1943-1969）1943年：WarrenMcCulloch和WalterPitts提出了M-P神經元模型，模擬了人類神經元的結構和工作原理。1949年：生理心理學家DonaldOldingHebb提出了Hebb學習規則，奠定了人工神經網絡學習算法的基礎。1957年：FrankRosenblatt提出了由兩層神經元組成的感知機（Perceptron）。1969年：MarvinMinsky和SeymourPapert指出感知器無法解決XOR運算這樣的線性不可分問題，導致人工神經網絡的研究陷入低谷。深度學習的起源24第二階段（1980-1998）1980年：KunihikoFukushima(福島邦彥)提出了模擬生物視覺傳導通路的神經認知機，被認為是卷積神經網絡的原始模型。1982年：JohnHopfield提出了Hopfield神經網絡，有連續型和離散型兩種類型，分別用于優化計算和聯想記憶。1986年：DavidRumelhart、GeoffreyHinton和RonaldWilliams重新獨立提出了誤差反向傳播算法（ErrorBackPropagation,BP）（1974年PaulWerbos首次提出了BackPropagation算法），并指出多層感知機可以解決異或操作（XOR）這樣的線性不可分問題。1986年與1990年，分別出現了JordanNetwork與ElmanNetwork兩種循環神經網絡（RecurrentNeuralNetworks，RNN）。深度學習的起源25第二階段（1980-1998）1995年：CorinnaCortes和VladimirVapnik提出了支持向量機（SupportVectorMachine，SVM），除了其簡單的訓練方法與優越的性能超過了人工神經網絡之外，其良好的可解釋性使得人工神經網絡研究再次進入低谷期。1997年：JurgenSchmidhuber和SeppHochreiter提出了長短期記憶網絡（Long-ShortTermMemory，LSTM），極大地提高了循環神經網絡的效率和實用性。1998年：YannLeCun提出了稱作LeNet-5的卷積神經網絡（ConvolutionalNeuralNetworks，CNN），率先將人工神經網絡應用于圖像識別任務，但在當時也沒有引起大的轟動。深度學習的起源26第三階段（2006-）2006年：GeoffreyHinton和他的同事們提出了一種稱作深度信念網絡（DeepBeliefNetworks，DBN）的多層網絡并進行了有效的訓練，同時提出了一種通過多層神經網絡進行數據降維的方法，正式提出了深度學習的概念。深度學習在2012年之后在業界引起了巨大的反響。深度學習的發展27深度學習的發展282012年：FrankSeide等人使用深度神經網絡進行語音識別，相比于傳統的GMM和HMM，識別錯誤率下降了20%-30%，取得了突破性的進展。2012年：AlexKrizhevsky等人提出了AlexNet，它引入了ReLU激活函數，并使用GPU進行加速。在著名的ImageNet圖像識別大賽中，AlexNet使得圖像識別錯誤率從26%左右下降到了15%左右，并奪得2012年的冠軍。在隨后幾年的ImageNet圖像識別大賽中，又出現了一些經典的卷積神經網絡，如VGGNet、GoogleNet、ResNet和SENet等，圖像識別錯誤率繼續下降。2017年：SENet的圖像識別錯誤率已經下降到了2.25%，由于錯誤率已經到了極限，這也導致ImageNet圖像識別大賽從2018年開始不再舉辦。深度學習的發展292014年起：R-CNN、FastR-CNN、FasterR-CNN等一系列目標檢測模型的提出，極大地提升了目標檢測的精度，但是它們需要兩個階段才能完成，模型訓練效率較低。2016年：YOLO目標檢測模型被提出，由于它是一個端到端的模型，大大提高了模型訓練與推理效率，但模型的精度不如R-CNN系列高，之后YOLO的后續版本陸續被推出，目前已經到了第八版。2014年：生成對抗網絡由當時還在蒙特利爾大學讀博士的IanJ.Goodfellow提出，由于它無需標注大量的數據即可進行訓練，在學術界迅速掀起了研究熱潮。深度學習的發展30在自然語言處理領域，LSTM、門限循環單元（GatedRecurrentUnit，GRU）等循環神經網絡在語言模型、機器翻譯等任務上也取得了很大的進展。特別是隨著Transformer的出現，使得BERT、GPT等預訓練大模型進入人們的視野，這些大模型在自然語言處理領域多個任務上都超越了已有方法。2022年以來：ChatGPT、GPT4.0的相繼問世更是使得大型通用語言模型達到了前所未有的高度，被譽為信息技術領域里程碑式的突破。2023年：百度公司在國內也率先推出了大型通用語言模型“文心一言”，之后清華大學、復旦大學、華為公司、阿里公司、科大訊飛也都發布了自己的大模型，開啟了大型中文語言模型的新時代。深度學習的發展31當前，深度學習仍然是人工智能領域關注度最高的主題之一，研究如火如荼，應用也是多點開花。在研究方面：基于AI的內容生成、多模態數據分析、深度強化學習等工作正在火熱進行。在應用方面：深度學習已經在安防、醫療、金融、智能制造、無人駕駛等多個領域取得了顯著的成果。深度學習與機器學習、AI的關系2深度學習與機器學習、AI的關系FromNvidia33深度學習與機器學習、AI的關系34人工智能人工智能定義“人工智能”的概念最早在1956年的美國達特茅斯會議（DartmouthConference）上提出，當時會議的主題是“用機器來模仿人類學習以及其它方面的智能”。因此，1956年被認為是人工智能的元年。一般認為，人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新興學科。35人工智能已實現基本實現未來熱點36人工智能分類人工智能人工智能技術搜索理論、知識表示與推理方法、機器學習算法、感知、決策與控制技術等。參考書史忠植.高級人工智能.北京:科學出版社.[美]史蒂芬·盧奇（StephenLucci）,丹尼·科佩克（DannyKopec）著,林賜譯.人工智能（第2版）.北京:人民郵電出版社,2018.37機器學習機器學習定義讓計算機具有像人一樣的學習和思考能力的技術的總稱。具體來說是從已知數據中獲得規律，并利用規律對未知數據進行預測的技術。一個簡單的例子：利用機器學習算法對往年的天氣預報數據進行學習，就能夠預測未來的天氣預報數據。38機器學習機器學習分類有監督學習（跟學師評）：有老師（環境）的情況下，學生（計算機）從老師（環境）那里獲得對錯指示、最終答案的學習方法。包含線性回歸、多項式回歸、決策樹和隨機森林等回歸算法，以及KNN、邏輯回歸、貝葉斯和支持向量機等分類算法。無監督學習（自學標評）：沒有老師（環境）的情況下，學生（計算機）自學的過程，一般使用一些既定標準進行評價，或無評價。包含K-Means聚類、主成分分析、關聯分析和密度估計等算法。弱監督學習：僅有少量環境提示（教師反饋）或者少量數據（試題）標簽（答案）的情況下，機器（學生）不斷進行學習的方法。包含強化學習、半監督學習和多示例學習等算法。3940有監督學習和無監督學習41強化學習42機器學習常見算法43機器學習參考書周志華.機器學習.北京:清華大學出版社,2016.李航.統計學習方法（第2版）.北京:清華大學出版社,2019.深度學習的基本概念與典型算法3為什么需要深度學習？45深度學習基本概念46深度學習定義深度學習是指通過構建多層神經網絡結構來學習數據的特征，以便于進行數據分類、回歸與生成。深度學習與淺層學習相比，神經網絡結構的層數更多（一般大于或等于4層），通過多層神經網絡結構可以學習得到更豐富的數據特征。深度學習基本概念47淺層前饋神經網絡和深度前饋神經網絡典型深度學習算法48典型深度學習算法49有監督學習的淺層學習算法：決策樹、支持向量機、感知機和Boosting等。無監督學習的淺層學習算法：自編碼器、受限玻爾茲曼機、高斯混合模型和稀疏自編碼器等有監督學習的深度學習算法：深度前饋神經網絡、卷積神經網絡、循環神經網絡、Transformer、膠囊網絡和深度森林等。無監督學習的深度學習算法：深度自編碼器、生成對抗網絡、深度玻爾茲曼機和深度信念網絡等。典型深度學習算法50深度前饋神經網絡卷積神經網絡典型深度學習算法51循環神經網絡Transformer典型深度學習算法52生成對抗網絡深度信念網絡與深度玻爾茲曼機典型深度學習算法53深度自編碼器深度學習的主要應用概述4深度學習的主要應用55計算機視覺領域主要應用（基礎任務）圖像分類：整幅圖像的分類或識別。目標檢測：檢測圖像中物體的位置進而識別物體。圖像分割：對圖像中的特定物體按邊緣進行分割，并識別物體類別或個體。圖像回歸：預測圖像中物體或者物體組成部分的坐標。細化深度學習的主要應用56圖像分類圖像分割目標檢測圖像回歸深度學習的主要應用57計算機視覺領域主要應用（高級任務）人臉識別：首先通過目標檢測提取人的正臉，然后通過人臉識別人員身份。行人重識別：檢測視頻序列中的行人，并識別特定人員的身份。目標跟蹤：在連續的視頻幀中定位某一行人或者其他運動目標。動作識別：識別視頻中人體的動作/行為。產品缺陷檢測：檢測工業產品存在的缺陷。深度學習的主要應用58語音識別領域主要應用語音識別：將人類說話的語音轉換成文字。聲紋識別：根據說話人的聲波特性進行身份識別，又稱為說話人識別。語音合成：將文本轉換為語音。深度學習的主要應用59自然語言處理領域主要應用（基礎任務）詞法分析：以詞為單位進行分析，包括詞性標注、拼寫校正等。句法分析：以句子為單位進行分析，主要包括句法結構分析和依存句法分析等。語義分析：分析自然語言的深層含義，包括詞匯級語義分析、句子級語義分析和篇章級語義分析。信息抽取：從自然語言中抽取出結構化信息，包括實體抽取、事件抽取等。語言模型：根據之前的單詞預測下一個單詞。深度學習的主要應用60自然語言處理領域主要應用（高級任務）情感分析：分析文本體現的情感，可包含正負向、正負中或多態度等類型。神經機器翻譯：基于神經網絡語言模型的多語種互譯。神經自動摘要：根據單文檔或者多文檔自動生成文檔摘要。機器閱讀理解：通過閱讀文本回答問題、完成選擇題或完型填空。自動問答：用戶給出問題，機器可以進行回答，也稱單輪對話。人機對話：通過訓練大量語料，支持人與機器之間的自由對話，通常指的是多輪對話。深度學習主要應用61多模態處理領域的應用圖像描述：機器可以根據圖像給出描述圖像的句子，也稱看圖說話?？梢晢柎穑簷C器可以回答特定圖像或視頻相關的問題。圖像生成：機器可以根據文本描述生成相應的圖像。視頻生成：機器可以根據文字描述自動生成相應的視頻。虛擬主播：自動播報新聞的虛擬人物。本章人物5本章人物63GeoffreyHinton多倫多大學杰出教授，英國皇家科學院院士，美國國家工程院外籍院士，美國藝術與科學院外籍院士，2018圖靈獎獲得者。在BP算法、玻爾茲曼機、時間延遲神經網絡、變分學習和深度學習領域做出杰出文獻，被譽為“深度學習之父”。個人主頁：/~hinton/。中英文術語對照6中英文術語對照65深度學習：DeepLearning人工神經網絡：ArtificialNeuralNetworks，ANNM-P神經元模型：McCulloch-PittsNeuronModel感知機：Perceptron神經認知機：Neocognitron反向傳播算法：BackPropagation，BP循環神經網絡：RecurrentNeuralNetworks，RNN支持向量機：SupportVectorMachine，SVM長短期記憶網絡：Long-ShortTermMemory，LSTM中英文術語對照66卷積神經網絡：ConvolutionalNeuralNetworks，CNN深度信念網絡：DeepBeliefNetworks，DBN高斯混合模型：GaussianMixtureModel，GMM隱馬爾可夫模型：HiddenMarkovModel，HMM生成對抗網絡：GenerativeAdversarialNetworks，GAN門限循環單元：GatedRecurrentUnit，GRU基于Transformer的雙向編碼器表示模型：BidirectionalEncoderRepresentationfromTransformers，BERT生成式預訓練Transformer：GenerativePre-trainingTransformer，GPT中英文術語對照67計算智能：ComputationalIntelligence感知智能：PerceptualIntelligence認知智能：CognitiveIntelligenceK-近鄰：K-NearestNeighbor，KNN深度前饋神經網絡：DeepFeedforwardNeuralNetworks，DFNN多層感知機：Multi-LayerPerceptron，MLP自注意力：Self-attention編碼器-解碼器結構：Encoder-DecoderSigmoid信念網：SigmoidBeliefNetworks，SBN中英文術語對照68受限玻爾茲曼機：RestrictedBoltzmannMachines，RBM深度玻爾茲曼機：DeepBoltzmannMachine，DBM自編碼器：Autoencoder，AE深度自編碼器：DeepAutoencoder，DAE時間延遲神經網絡：Time-delayNeuralNetworks變分學習：VariationalLearning對比散度算法：ContrastiveDivergence，CD膠囊網絡：CapsuleNetworks前向-前向算法：Forward-ForwardAlgorithm69第二章卷積神經網絡深度學習卷積神經網絡的起源與發展1卷積神經網絡的基本結構2卷積神經網絡的訓練3典型卷積神經網絡45目錄Contents中英文術語對照7卷積神經網絡的主要應用6本章人物卷積神經網絡的起源與發展1卷積神經網絡的起源73D.H.Hubel（1926-2013）andT.N.Wiesel（1924-）.

Receptivefields,binocularinteractionandfunctionalarchitectureinthecat‘svisualcortex.

JournalofPhysiology,1962,160(1):106-154.Hubel-Weisel實驗（1959年）卷積神經網絡的起源74。簡單細胞（SimpleCell）：對光束的位置有反應。復雜細胞（ComplexCell）：對光束的位置和移動有反應。超級復雜細胞（Hyper-complexCell）：對有端點的光束移動有反應。層次關系：通過對光束特征的不斷提取和綜合實現整個光束的識別。Hubel-Weisel實驗（1959年）卷積神經網絡的起源75KunihikoFukushima.Neocognitron:Aself-organizingneuralnetworkmodelforamechanismofpatternrecognitionunaffectedbyshiftinposition.BiologicalCybernetics,1980,36:193–202.福島邦彥神經認知機（1980年）卷積神經網絡的起源76

神經認知機（1980年）卷積神經網絡的發展卷積神經網絡的基本結構2卷積神經網絡的基本結構79典型的卷積神經網絡一般由卷積層（含激活函數）、池化層、全連接層和輸出層構成，其中卷積層與池化層一般交替排列，之后接一層或者多層全連接層，最后是輸出層。卷積層80卷積運算卷積運算（Convolution）是數學中的常見運算，分為離散卷積與連續卷積。

例子：求兩個骰子之和為4的概率81例子：求兩個骰子之和為4的概率82

例子：求兩個骰子之和為4的概率83例子：求兩個骰子之和為4的概率84兩枚骰子點數加起來為4的概率為：

f(1)g(3)+f(2)g(2)+f(3)g(1)

寫成標準的形式：

卷積公式

85一維連續卷積一維離散卷積卷積公式二維卷積：86二維連續卷積二維離散卷積87卷積層

88卷積層卷積核相當于傳統計算機視覺領域中的特征算子，用于提取圖像特征。傳統的Sobel梯度算子45°方向模板被設計為：89卷積層數據填充：

p=1s=190卷積層在使用PyTorch等深度學習框架時，卷積層有Padding參數，有三種選擇：‘Full’、‘Valid’和‘Same’?！瓼ull’表示需要填充，當卷積核與輸入開始接觸時進行卷積操作，‘Valid’表示不需要填充，‘Same’表示需要填充并保證輸出與輸入具有相同的尺寸。91卷積層步幅：

p=1s=292卷積層通道（Channel）：一般指的圖像的顏色通道。單通道圖像：一般指的灰度圖像。多通道圖像：一般指的基于RGB的圖像，有R、G、B三個通道。特征圖（Featuremap）：經卷積和激活函數處理后的圖像。93卷積層單通道卷積：單通道圖像的卷積。單卷積核單通道卷積多卷積核單通道卷積94卷積層多通道卷積：多通道圖像的卷積。單卷積核多通道卷積（一般不這樣做）多卷積核多通道卷積95卷積層多通道卷積：多通道圖像的卷積。多卷積核多通道卷積（卷積計算）96卷積層多通道卷積：多通道圖像的卷積。多卷積核多通道卷積（求和）97卷積層多通道卷積：多通道圖像的卷積。多卷積核多通道卷積（偏置（bias））98卷積層

CS231N：http://cs231n.github.io/convolutional-networks/多通道卷積99卷積層卷積層的主要作用淺層卷積層：提取的是圖像基本特征，如邊緣、方向和紋理等特征。深層卷積層：提取的是圖像高階特征，出現了高層語義模式，如“車輪”、“人臉”等特征。100卷積層卷積層的主要作用101卷積層卷積層的主要作用102激活函數激活函數的引入，增強了人工神經網絡的非線性表達能力，從而提高了模型的學習能力。在人工神經網絡發展的初期，Sigmoid激活函數起到了十分重要的作用，但隨著人工神經網絡層數的增加以及反向傳播算法的使用，會產生梯度消失問題。在卷積神經網絡中，為了緩解梯度消失問題，常用的激活函數有ReLU、PReLU、ERU和Maxout等。

103激活函數Sigmoid激活函數存在“梯度飽和效應”問題，即Sigmoid激活函數兩端梯度都趨于0，因此在使用誤差反向傳播算法進行網絡訓練時，該區域的誤差無法傳遞到前一層，從而導致網絡訓練失敗。104激活函數105激活函數

Tanh激活函數同樣存在“梯度飽和效應”問題，即Tanh激活函數兩端梯度也都趨于0，因此在使用誤差反向傳播算法進行網絡訓練時，該區域的誤差也無法傳遞到前一層，從而導致網絡訓練失敗。106激活函數107激活函數

與Sigmoid激活函數相比，ReLU在x≥0部分消除了“梯度飽和效應”，且ReLU的計算更簡單，計算速度更快。但ReLU本身也存在缺陷，如果輸入為負值，其梯度等于0，導致“神經元死亡”，將無法進行權重更新，進而無法完成網絡訓練。即便如此，ReLU仍然是當前深度學習領域中最為常用的激活函數之一。108激活函數109激活函數

110激活函數111激活函數

ELU激活函數的優點是處理含有噪聲的數據有優勢，與Sigmoid激活函數相比更容易收斂。ELU激活函數的缺點是計算量較大，與ReLU激活函數相比，收斂速度較慢。112激活函數113激活函數

Maxout激活函數的優點是能夠緩解梯度消失問題，規避了ReLU激活函數“神經元死亡”的缺點。Maxout激活函數的缺點是增加了一層神經網絡，無形中增加了參數和計算量。114激活函數卷積神經網絡中的激活函數選擇CNN在卷積層盡量不要使用Sigmoid和Tanh，將導致梯度消失。首先選用ReLU，使用較小的學習率，以免造成神經元死亡的情況。如果ReLU失效，考慮使用LeakyReLU、PReLU、ELU或者Maxout，此時一般情況都可以解決。115激活函數116池化層池化操作使用某位置相鄰輸出的總體統計特征作為該位置的輸出。常用類型：最大池化（max-pooling）和均值池化（average-pooling）。池化層不包含需要訓練學習的參數，僅需指定池化操作的核大小、步幅以及池化類型。117池化層池化層的作用對輸入對象進行“降采樣（Downsampling）”操作，一定程度上提高了模型的容錯能力。保證了當輸入出現少量平移時，輸出近似不變，增強了網絡對輸入圖像中的小變形、扭曲、平移的魯棒性(輸入里的微小扭曲不會改變池化輸出）。池化核的指定相當于在空間范圍內對特征圖的特征進行了維度約減，同時縮小了下一層輸入的特征圖尺寸，進而在一定程度上減少了網絡的參數個數和計算量。118全連接層全連接層一般由一到多層的全連接神經網絡組成，功能是對卷積層或池化層輸出的特征圖（二維）進行降維。119全連接層可以將不同的區域特征合并為一個完整的特征。/weixin_40903337/article/details/100074878120輸出層分類問題：使用Softmax函數遞歸問題：使用線性函數

121卷積神經網絡的訓練以圖像分類任務為例用隨機數初始化網絡需訓練的參數（如權重、偏置）。將訓練圖像作為輸入，進行卷積層、ReLU、池化層以及全連接層的前向傳播，并計算每個類別的對應輸出概率。計算輸出層的總誤差：總誤差=-∑(目標概率×log?(輸出概率))。使用BP算法計算總誤差相對于所有參數的梯度，并用梯度下降法或其他優化算法更新所有參數的值，以使輸出誤差最小。卷積核個數、卷積核大小以及網絡架構，是在步驟1之前就已經確定的，且不會在訓練過程中改變，只有網絡的其他參數，如神經元的權重、偏置會更新。122卷積神經網絡的訓練池化層的訓練：把池化層改為多層神經網絡的形式。123卷積神經網絡的訓練池化層的訓練：最大池化和均值池化的誤差反向傳播。最大池化均值池化124卷積神經網絡的訓練卷積層的訓練：首先把卷積層也改為多層神經網絡的形式，之后使用BP算法進行訓練。125卷積神經網絡的訓練

126卷積神經網絡的訓練

127卷積神經網絡的訓練

典型卷積神經網絡4LeNet-5AlexNetVGGNetGoolgeNetResNet129經典卷積神經網絡130LeNet-5LeNet-5由LeCun等人提出于1998年提出。主要進行手寫數字識別和英文字母識別。LetNet雖小，各模塊齊全，是學習CNN的基礎。/exdb/lenet/。Y.LeCun,L.Bottou,Y.Bengio,andP.Haffner.Gradient-basedlearningappliedtodocumentrecognition.ProceedingsoftheIEEE,November1998.131LeNet-5132LeNet-5輸入層：尺寸大小為32×32的圖像。C1層（卷積層）：選用6個5×5的卷積核，步長為1，得到6個大小為28×28的特征圖（32-5+1=28），神經元的個數為6×28×28=4704。133LeNet-5S2層（下采樣層）：對C1所得6個28×28的特征圖進行均值池化，池化核大小選擇2×2，步長為2，得到的均值乘上一個權重加上一個偏置作為Sigmoid激活函數的輸入，得到6個14×14的特征圖，神經元個數為6×14×14=1176。134LeNet-5C3層（卷積層）：選用16個5×5卷積核組（前6個卷積核組中的卷積核個數為3，中間6個為4，之后3個為4，最后1個為6）對S2層輸出的特征圖進行卷積，加偏置和激活函數(Sigmoid)后得到16張10×10（14-5+1=10）新特征圖。此時神經元個數為16×10×10=1600?！?35LeNet-5S4層（下采樣層）：對C3的16張10×10特征圖進行最大池化，池化核大小為2×2，步長為2，得到的最大值乘以一個權重參數，再加上一個偏置參數作為激活函數（Sigmoid）的輸入，得到16張5×5的特征圖，神經元個數已經減少為16×5×5=400。136LeNet-5C5層（卷積層）：選用16個5×5的卷積核進行卷積，乘以一個權重參數并求和，再加上一個偏置參數作為激活函數（Sigmoid）的輸入，得到1×1（5-5+1=1）的特征圖。然后我們希望得到120個特征圖，就要用總共120個5×5卷積核組（每個組16個卷積核）進行卷積，神經元減少為120個。137LeNet-5F6層（全連接層）：與C5層全連接，有84個神經元，對應于一個7×12的比特圖。將輸入乘以一個權重并求和，再加上一個偏置作為Sigmoid函數的輸入，得到84個值。ASCII編碼圖（每個字符7X12像素）C5層120個138LeNet-5Output層（全連接層）：與F6層全連接，共有10個神經元，分別代表數字0到9。輸出層采用徑向基函數（RadialBasisFunction，RBF）的網絡連接方式。139LeNet-5

140LeNet-5總結：卷積核大小、卷積核個數（特征圖需要多少個）、池化核大小和步長等這些參數都是變化的，這就是所謂的CNN調參，需要學會根據需要進行不同的選擇。141AlexNetAlexNet由Hinton的學生AlexKrizhevsky于2012年提出。獲得ImageNetLSVRC-2012（物體識別挑戰賽）的冠軍，數據集包含1000個類別120萬幅高清圖像，Error:26.2%(2011)→15.3%(2012)。通過AlexNet確定了CNN在計算機視覺領域的王者地位。A.Krizhevsky,I.Sutskever,andG.Hinton.Imagenetclassificationwithdeepconvolutionalneuralnetworks.InNIPS,2012.142AlexNet首次成功應用ReLU作為CNN的激活函數。使用Dropout丟棄部分神元，避免了過擬合。使用重疊MaxPooling（讓池化層的步長小于池化核的大?。嵘颂卣鞯呢S富性。首次使用CUDA加速訓練過程。使用了數據增強，在原始圖像大小為256×256的原始圖像中重復截取224×224大小的區域，大幅增加了數據量。對圖像數據通過主成分分析方法進行降維處理。143AlexNetAlexNet的原始結構144AlexNetAlexNet的簡化結構145AlexNetAlexNet可分為8層（池化層未單獨算作一層），包括5個卷積層以及3個全連接層。輸入層：AlexNet首先使用大小為224×224×3圖像作為輸入，后改為227×227×3。146AlexNet第一個卷積層（含池化）：包含96個大小為11×11的卷積核組，卷積步長為4，因此第一層輸出大小為55×55×96（（227-11）/4+1=55），分為兩組，每組48個；然后構建一個核大小為3×3、步長為2的最大池化層進行數據降采樣，進而輸出大小為27×27×96(（55-3）/2+1=27)，每組48個。147AlexNet第二個卷積層（含池化）：包含256個大小為5×5的卷積核組，卷積步長為1，同時利用padding保證輸出尺寸不變，因此該層輸出大小為27×27×256；然后再次通過核大小為3×3、步長為2的最大池化層進行數據降采樣，進而輸出大小為13×13×256((27-3）/2+1=13)。148AlexNet第三層與第四層（卷積層）：均為卷積核大小為3×3、步長為1的same卷積，共包含384個卷積核，因此兩層的輸出大小都為13×13×384。149AlexNet第五層（卷積層）：同樣為卷積核大小為3×3、步長為1的same卷積，但包含256個卷積核，進而輸出大小為13×13×256；在數據進入全連接層之前再次通過一個核大小為3×3、步長為2的最大池化層進行數據降采樣，數據大小降為6×6×256((13-3)/2+1=6)，并將數據扁平化處理展開為9216個單元。150AlexNet第一個、第二個和第三個全連接層：第一個全連接層與第二個全連接層的神經元個數都是4096，第三個全連接層神經元個數為1000個，使用Softmax分類器輸出1000類的分類結果。151VGG-16

K.SimonyanandA.Zisserman.Verydeepconvolutionalnetworksforlarge-scaleimagerecognition.InICLR,2015.152VGG-16153VGG-16

Conv1Conv2Conv3Conv4Conv5卷積層數22333卷積核數64128256512512154VGG-16兩個卷積核大小為3*3的卷積層串聯后的感受野尺寸為5*5，相當于單個卷積核大小為5*5的卷積層。兩者參數數量比值為(2*3*3)/(5*5)=72%

，前者參數量更少。此外，兩個卷積層串聯可使用兩次ReLU激活函數，而一個卷積層只使用一次。155GoogleNet由Google公司2014年提出，獲得ImageNetLSVRC-2014冠軍。它的主要思想是除了在網絡深度上加深（22層）之外，在寬度上也加寬。GoogleNet的核心是Inception模塊，Inception模塊包含4個分支，每個分支均使用了1×1卷積，它可以跨通道組織信息，提高網絡的表達能力，同時還可以對輸出通道進行升維和降維。Inception模塊中包含了1×1、3×3、5×5三種不同尺寸的卷積和1個3×3最大池化，增強了網絡對不同尺度特征圖的適應性。156GoogleNet深度：層數更深，采用了22層。寬度：InceptionModule包含4個分支，在卷積核3x3、5x5之前、maxpooling之后分別加上了1x1的卷積核，起到了降低特征圖厚度的作用。157InceptionNetInception四個版本所對應的論文及ILSVRC中的Top-5錯誤率：[v1]GoingDeeperwithConvolutions:6.67%testerror。[v2]BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift:4.8%testerror。[v3]RethinkingtheInceptionArchitectureforComputerVision:3.5%testerror。[v4]Inception-v4,Inception-ResNetandtheImpactofResidualConnectionsonLearning:3.08%testerror。

參考鏈接：/p/cc830a6ed54b

158ResNetResNet（ResidualNeuralNetwork），又叫做殘差神經網絡，是由微軟研究院的何凱明等人2015年提出。獲得ImageNetILSVRC2015比賽冠軍。獲得CVPR2016最佳論文獎。KaimingHe,XiangyuZhang,ShaoqingRen,JianSun.DeepResidualLearningforImageRecognition.CVPR2016:770-778159ResNet隨著卷積網絡層數的增加，誤差的逆傳播過程中存在的梯度消失和梯度爆炸問題同樣也會導致模型的訓練難以進行。甚至會出現隨著網絡深度的加深，模型在訓練集上的訓練誤差會出現先降低再升高的現象。殘差網絡的引入則有助于解決梯度消失和梯度爆炸問題。160ResNet梯度消失和梯度爆炸問題原因深度神經網絡訓練問題。激活函數問題。/qq_25737169/article/details/78847691。161ResNetResNet的核心是叫做殘差塊（Residualblock）的小單元，殘差塊可以視作在標準神經網絡基礎上加入了跳躍連接（Skipconnection）。

162ResNet卷積神經網絡的主要應用5164卷積神經網絡的主要應用目標檢測：R-CNN系列，YOLO系列圖像分割：FCN，SegNet，UNet姿態估計：DeepPose，基于沙漏網絡的姿態估計人臉識別：DeepFace，DeepID/DeepID2，FaceNet165目標檢測目標檢測是指將圖像或者視頻中的目標物體用邊框（BoundingBox）標記并識別出該目標物體的類別。目前目標檢測任務有兩類模型一類是以區域卷積神經網絡（Region-CNN，R-CNN）系列為代表的兩階段模型一類是以YOLO系列為代表的一階段模型166R-CNN系列R-CNN由RossGirshick等人2014年提出。首先在ImageNet上訓練模型，然后在PASCALVOC數據集上進行Fine-tuning。在PascalVOC2012的數據集上，能夠將目標檢測的驗證指標mAP提升到53.7%，這相對于之前最好的結果提升了整整13.3%。RossB.Girshick,JeffDonahue,TrevorDarrell,JitendraMalik.RichFeatureHierarchiesforAccurateObjectDetectionandSemanticSegmentation.CVPR2014:580-587167R-CNN系列168R-CNN系列實現過程區域劃分：給定一張輸入圖片，采用SelectiveSearch算法從圖片中提取2000左右類別獨立的候選區域。特征提?。簩τ诿總€區域利用Alexnet抽取一個固定長度的特征向量。目標分類：對每個區域利用SVM

進行分類。邊框回歸：使用BoundingboxRegression（Bbox回歸)進行邊框坐標偏移優化和調整。169R-CNN系列Crop就是從一個大圖摳出網絡輸入大小的patch，比如227×227Warp把一個邊界框boundingbox的內容resize成227×227170R-CNN系列區域劃分SelectiveSearch算法的核心思想：圖像中物體可能存在的區域應該有某些相似性或者連續性的，算法采用子區域合并的方法提取候選邊界框。首先，通過圖像分割算法將輸入圖像分割成許多小的子區域。其次，根據這些子區域之間的相似性(主要考慮顏色、紋理、尺寸和空間交疊4個方面的相似性)

進行區域迭代合并。每次迭代過程中對這些合并的子區域做Boundingboxes(外切矩形)，這些子區域的外切矩形就是通常所說的候選框。SelectiveSearch算法相似度計算考慮了顏色、紋理、尺寸和是否交疊四個方面：171R-CNN系列[1]PedroF.Felzenszwalb,DanielP.Huttenlocher.EfficientGraph-BasedImageSegmentation.IJCV,200459(2):167-181JasperR.R.Uijlings,KoenE.A.vandeSande,TheoGevers,ArnoldW.M.Smeulders.SelectiveSearchforObjectRecognition.IJCV,2013,104(2):154-171層次分組算法（HierarchicalGroupAlgorithm）輸入：（彩色）圖像輸出：目標定位假設L的集合EndEnd172R-CNN系列173R-CNN系列174R-CNN系列SVM分類（二分類）訓練時，把Ground-truth作為該類別的正例，把IoU小于0.3的Proposal作為該類別的負例。調優CNN時，把IoU大于0.5的Proposal作為該類別的正例，其他作為負例（所有類別的背景）。IntersectionoverUnionIoU=(A∩B)/(A∪B)175R-CNN系列邊框回歸GroundtruthProposal176R-CNN系列邊框回歸：是使得預測的邊框盡可能與人工標定的邊框越接近越好。177R-CNN系列

178R-CNN系列

179R-CNN系列

基于邊長的歸一化尺度比例的對數180R-CNN系列

181R-CNN系列邊框回歸182R-CNN系列mAP:meanAveragePrecision,是多標簽圖像分類任務中的評價指標。AP衡量的是學出來的模型在給定類別上的好壞，而mAP衡量的是學出的模型在所有類別上的好壞。/xw_2_xh/article/details/88190806183SPPNet

KaimingHe,XiangyuZhang,ShaoqingRen,JianSun.

SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition.IEEETrans.PatternAnal.Mach.Intell.37(9):1904-1916(2015)184SPPNet

KaimingHe,XiangyuZhang,ShaoqingRen,JianSun.

SpatialPyramidPoolinginDeepConvolutionalNetworksforVisualRecognition.IEEETrans.PatternAnal.Mach.Intell.37(9):1904-1916(2015)185R-CNN系列SPPnet如圖所示，在conv5層得到的特征圖是256個，每個都做一次spatialpyramidpooling。先把每個特征圖分割成多個不同尺寸的網格，比如網格分別為4*4、2*2、1*1,然后對每個網格做maxpooling，這樣256個特征圖就形成了16*256，4*256，1*256維特征。它們連起來就形成了一個固定長度的特征向量，將這個向量輸入到后面的全連接層。186R-CNN系列FastR-CNN使用Softmax分類替換R-CNN中的SVM分類。將候選框目標分類與邊框回歸同時放入全連接層，形成一個多任務學習（Multi-taskLearning）模型，設計了聯合損失函數，將Softmax分類、邊框回歸一起訓練。添加感興趣區域池化（RegionofInterestPooling，RoIPooling）層，實現了不同大小區域特征圖的池化。訓練時所有的特征存在緩存中，不再存到硬盤上，提升了速度。RossB.Girshick.

FastR-CNN.ICCV2015:1440-1448187R-CNN系列訓練時：RoI共64個測試時：RoI共2000個188R-CNN系列189R-CNN系列ROIPooling層：將每個候選區域均勻分成M×N塊，對每塊進行maxpooling。將特征圖上大小不一的候選區域轉變為大小統一的數據，送入下一層。190R-CNN系列在R-CNN中的流程是先提proposal，然后CNN提取特征，之后用SVM分類器，最后再做Bbox回歸進行候選框的微調。FastR-CNN在CNN提取特征后，做一個RoIpooling，再將候選框目標分類與Bbox回歸同時放入全連接層，形成一個multi-task模型。191R-CNN系列

即對真實分類的概率取負log192R-CNN系列

193R-CNN系列194R-CNN系列195R-CNN系列FasterR-CNNRPN（RegionProposalNetwork）：使用全卷積神經網絡來生成區域建議（Regionproposal），替代之前的Selectivesearch。

ShaoqingRen,KaimingHe,RossB.Girshick,JianSun.FasterR-CNN:TowardsReal-TimeObjectDetectionwithRegionProposalNetworks.IEEETrans.PatternAnal.Mach.Intell.39(6):1137-1149(2017)196R-CNN系列/p/31426458197R-CNN系列FasterR-CNN卷積層（Convlayers）：首先使用一組Conv+ReLU+Pooling組合提取Image的特征圖（Featuremaps），特征圖被共享用于后續的RPN和RoIPooling。區域建議網絡（RegionProposalNetworks，RPN）：RPN用于生成regionproposals。它通過Softmax判斷區域是有目標的正例（Positive）還是沒有目標的負例（Negative），再利用邊框回歸獲得候選區域。198R-CNN系列FasterR-CNNRoIPooling：該層接收卷積層的featuremaps和RPN層的proposals，綜合這些信息后提取proposalfeaturemaps，送入全連接層判定目標類別。Classification：利用proposalfeaturemaps計算proposal的類別，同時再次使用Bbox回歸獲得檢測框最終的精確位置。199R-CNN系列RPNAnchor：矩形框。RPN中使用了長寬比為1:1,1:2和2:1三種矩形框。輸入圖像需要reshape適應Anchor大小。200R-CNN系列RPNClslayer用Softmax計算Anchor內是某個object的概率。Reglayer實現Anchor邊界框回歸輸出。201R-CNN系列RPN通過Softmax分類anchors獲得positive和negative分類。計算anchors的Bbox回歸的偏移量。最后的Proposal綜合positiveanchors和對應Bbox回歸偏移量獲取proposals，同時剔除太小和超出邊界的proposals。202R-CNN系列

203R-CNN系列

204R-CNN系列FasterR-CNN訓練方式Alternatingtraining。Approximatejointtraining。Non-approximatejointtraining。205R-CNN系列206R-CNN系列207R-CNN系列208YOLO系列YOLO與R-CNN系列最大的區別是用一個卷積神經網絡結構(one-stage)就可以從輸入圖像直接預測boundingbox和類別概率，實現了End2End訓練。可以學到物體的全局信息，背景誤檢率比R-CNN降低一半，泛化能力強。準確率不如R-CNN高，小物體檢測效果較差。速度非?？?，實時性好。JosephRedmon,SantoshKumarDivvala,RossB.Girshick,AliFarhadi.YouOnlyLookOnce:Unified,Real-TimeObjectDetection.CVPR2016:779-788209YOLO系列210YOLO系列若某個物體的中心位置的坐標落入到某個格子，那么這個格子就負責檢測出這個物體211YOLO系列x，y是boundingbox中心位置相對于當前格子位置的偏移值，并且被歸一化到[0,1]內。w和h的值根據圖像的寬度和高度把boundingbox寬度和高度歸一化到[0,1]內。212YOLO系列

xy213YOLO系列214YOLO系列215YOLO系列

216YOLO系列

217YOLO系列

218YOLO系列

219YOLO系列YOLO損失函數位置誤差含有目標的置信度誤差不含目標的置信度誤差分類誤差第i個Cell的第j個Bbox負責object，與groundtruthBbox的IoU值最大的負責220YOLO系列221YOLO系列YOLO2和YOLO9000JosephRedmon,AliFarhadi.YOLO9000:Better,Faster,Stronger.CVPR2017:6517-6525222YOLO系列YOLOv2Batchnormalization:在每一個卷積層后添加batchnormalization，極大的改善了收斂速度同時減少了對其它regularization方法的依賴，使得mAP獲得了2%的提升。分辨率修改：YOLOv2首先修改預訓練分類網絡的分辨率為448*448，在ImageNet數據集上訓練10輪（10epochs），mAP獲得了4%的提升。多尺度訓練：YOLO使用全連接層數據進行boundingbox預測（要把1470*1的全鏈接層reshape為7*7*30的最終特征），這會丟失較多的空間信息導致定位不準，丟棄全連接層使用RPN中的anchorbox去做Bbox回歸。223YOLO系列BatchnormalizationSergeyIoffe,

ChristianSzegedy.BatchNormalization:AcceleratingDeepNetworkTrainingbyReducingInternalCovariateShift./abs/1502.03167v3224YOLO系列YOLO2225YOLO系列YOLO9000首先基于Wordnet構建WordTree層次分類?；赪ordTree進行圖像分類和目標檢測的聯合訓練。226YOLO系列YOLOV3更好的主干網Darknet-53。多尺度預測。更好的分類器：Softmax不適用于多標簽分類使用獨立的多個logistic分類器，準確率不會下降227YOLO系列YOLOV3228YOLO系列YOLOv4使用CSPDarknet-53作為骨干網絡，并引入特征金字塔池化、Mosaic數據增強和Mish激活函數等改進方法，與YOLOv3相比，檢測準確率有較大的提升。YOLOv5與YOLOv4相比，改進不大，主要是把最大池化由并行改為了串行。YOLOv6的改進也不大，主要的改進是骨干網絡由CSPDarknet-53改為了EfficientRep。229YOLO系列Mosaic數據增強：將四張圖片進行拼接到一張圖上作為訓練樣本隨機選取四張圖片。對每張圖片進行數據增強，翻轉、縮放、色域變化。進行圖片的組合和候選框的組合，形成一張圖片。Mish激活函數：光滑函數，比ReLU泛化能力更好230圖像分割全卷積網絡（FullyConvolutionalNetworks，FCN）是使用深度神經網絡進行圖像分割的開山之作。FCN與傳統的卷積神經網絡不同，僅包含卷積層和池化層，不再包含全連接層和輸出層。因此，它也不再對整幅圖像進行分類，而是實現了像素級的分類，進而輸出圖像分割的結果。J.Long,E.Shelhamer,andT.Darrell,“Fullyconvolutionalnetworksforsemanticsegmentation,”inProceedingsoftheIEEEConferenceonComputerVisionandPatternRecognition,2015,pp.3431–3440.FCN231FCN與傳統CNN的區別FCN232FCN中的卷積過程和上采樣過程FCN233image經過多個conv和一個maxpooling變為pool1feature，特征圖的寬高變為1/2。pool1feature再經過多個conv和一個maxpooling變為pool2feature，特征圖的寬高變為1/4。pool2feature再經過多個conv和一個maxpooling變為pool3feature，特征圖的寬高變為1/8。直到pool5feature，寬高變為1/32。FCN中的卷積過程FCN234對于FCN-32s，直接對pool5feature進行32倍上采樣獲得32xupsampledfeature，再對32xupsampledfeature每個點做softmaxprediction獲得32xupsampledfeatureprediction（即分割圖）。對于FCN-16s，首先對pool5feature進行2倍上采樣獲得2xupsampledfeature，再把pool4feature和2xupsampledfeature逐點相加，然后對相加的feature進行16倍上采樣，并softmaxprediction，獲得16xupsampledfeatureprediction。對于FCN-8s，首先進行pool4+2xupsampledfeature逐點相加，然后又進行pool3+2xupsampledfeature逐點相加，即進行更多次特征融合。FCN中的上采樣過程FCN235上采樣（upsampling）一般包括2種方式：調整尺寸(Resize)，如使用雙線性插值進行圖像放大。逆卷積(Deconvolution)，也叫TransposedConvolution。FCN236

FCN237SegNet238V.Badrinarayanan,A.Kendall,andR.Cipolla.

Segnet:Adeepconvolutionalencoder-decoderarchitectureforimagesegmentation,arXivpreprintarXiv:1511.00561,2016.http://mi.eng.cam.ac.uk/projects/segnet/EncoderVGG-16，13個卷積層（卷積+BatchNormalization+ReLU），不含全連接層。5個最大池化層。進行2×2最大池化時，存儲相應的最大池化索引（位置）。239SegNetDecoderVGG-16，13個卷積層（卷積+BatchNo-rmalization+ReLU），不含全連接層。5個上采樣層，采用Encoder的最大池化索引進行上采樣。使用K類Softmax分類器來預測每個像素的類別。240SegNetSegNet241SegNet242SegNet243UNet244OlafRonneberger,PhilippFischer,andThomasBrox.

U-Net:ConvolutionalNetworksforBiomedicalImageSegmentation.arXiv:1505.04597v1[cs.CV]18May2015Encoder-Decoder架構Encoder：左半部分，由兩個3x3的卷積層（RELU）再加上一個2x2的Maxpooling層組成，一共下采樣4次。Decoder：右半部分，由一個上采樣的逆卷積層加上特征拼接再加上兩個3x3的卷積層（ReLU）組成，也相應上采樣4次。245UNetSkipconnection在同一個層次進行了特征Copy，保證了最后恢復出來的特征圖融合了更多的底層特征，也使得不同尺度（scale）的特征得到了的融合，從而可以進行多尺度預測，4次上采樣也使得分割圖恢復邊緣等信息更加精細。246UNetUNet247UNet248基于UNet的眼球血管圖像分割DRIVE數據集，/UNet249基于UNet的醫學圖像分割姿態估計250姿態估計（PoseEstimation）：可視為圖像或視頻中人體關節位置（也稱為關鍵點，如手肘、膝蓋、肩膀等）的定位問題，因此也被稱為人體關鍵點檢測。MSCOCO人體姿態關鍵點格式人體姿態識別示例0:nose1:neck2:rightshoulder3:rightelbow4:rightwrist5:leftshoulder6:leftelbow7:leftwrist8:righthip9:rightknee10:rightankle11:lefthip12:leftknee13:leftankle14:righteye15:lefteye16:rightear17:leftear姿態估計251姿態估計分類單人姿態估計（SinglePersonPoseEstimation，SPPE）。多人姿態估計（MultiplePersonPoseEstimation，MPPE）。姿態估計方法最初集中于SPPE，但MPPE更