第一章引言深度學習深度學習的起源與發展12深度學習與機器學習、AI的關系3深度學習的基本概念與典型算法45目錄Contents本章人物深度學習的主要應用概述26中英文術語對照深度學習的起源與發展1“深度學習（DeepLearning）”的概念是2006年由多倫多大學（UniversityofToronto）的GeoffreyHinton教授與他的同事們提出的，他也因此被稱為“深度學習之父”。但是，由于深度學習與人工神經網絡（ArtificialNeuralNetwork，ANN）息息相關，它的起源可以追溯到更早的時間。4深度學習的起源HintonGE,OsinderoSandTehY.AFastLearningAlgorithmforDeepBeliefNets[J].NeuralComputation,2006,18:1527-1554.HintonGE,SalakhutdinovRR.ReducingtheDimensionalityofDatawithNeuralNetworks[J].Science,2006,313(5786):504-507.5深度學習的起源深度學習的起源6第一階段（1943-1969）1943年：WarrenMcCulloch和WalterPitts提出了M-P神經元模型，模擬了人類神經元的結構和工作原理。1949年：生理心理學家DonaldOldingHebb提出了Hebb學習規則，奠定了人工神經網絡學習算法的基礎。1957年：FrankRosenblatt提出了由兩層神經元組成的感知機（Perceptron）。1969年：MarvinMinsky和SeymourPapert指出感知器無法解決XOR運算這樣的線性不可分問題，導致人工神經網絡的研究陷入低谷。深度學習的起源7第二階段（1980-1998）1980年：KunihikoFukushima(福島邦彥)提出了模擬生物視覺傳導通路的神經認知機，被認為是卷積神經網絡的原始模型。1982年：JohnHopfield提出了Hopfield神經網絡，有連續型和離散型兩種類型，分別用于優化計算和聯想記憶。1986年：DavidRumelhart、GeoffreyHinton和RonaldWilliams重新獨立提出了誤差反向傳播算法（ErrorBackPropagation,BP）（1974年PaulWerbos首次提出了BackPropagation算法），并指出多層感知機可以解決異或操作（XOR）這樣的線性不可分問題。1986年與1990年，分別出現了JordanNetwork與ElmanNetwork兩種循環神經網絡（RecurrentNeuralNetworks，RNN）。深度學習的起源8第二階段（1980-1998）1995年：CorinnaCortes和VladimirVapnik提出了支持向量機（SupportVectorMachine，SVM），除了其簡單的訓練方法與優越的性能超過了人工神經網絡之外，其良好的可解釋性使得人工神經網絡研究再次進入低谷期。1997年：JurgenSchmidhuber和SeppHochreiter提出了長短期記憶網絡（Long-ShortTermMemory，LSTM），極大地提高了循環神經網絡的效率和實用性。1998年：YannLeCun提出了稱作LeNet-5的卷積神經網絡（ConvolutionalNeuralNetworks，CNN），率先將人工神經網絡應用于圖像識別任務，但在當時也沒有引起大的轟動。深度學習的起源9第三階段（2006-）2006年：GeoffreyHinton和他的同事們提出了一種稱作深度信念網絡（DeepBeliefNetworks，DBN）的多層網絡并進行了有效的訓練，同時提出了一種通過多層神經網絡進行數據降維的方法，正式提出了深度學習的概念。深度學習在2012年之后在業界引起了巨大的反響。深度學習的發展10深度學習的發展112012年：FrankSeide等人使用深度神經網絡進行語音識別，相比于傳統的GMM和HMM，識別錯誤率下降了20%-30%，取得了突破性的進展。2012年：AlexKrizhevsky等人提出了AlexNet，它引入了ReLU激活函數，并使用GPU進行加速。在著名的ImageNet圖像識別大賽中，AlexNet使得圖像識別錯誤率從26%左右下降到了15%左右，并奪得2012年的冠軍。在隨后幾年的ImageNet圖像識別大賽中，又出現了一些經典的卷積神經網絡，如VGGNet、GoogleNet、ResNet和SENet等，圖像識別錯誤率繼續下降。2017年：SENet的圖像識別錯誤率已經下降到了2.25%，由于錯誤率已經到了極限，這也導致ImageNet圖像識別大賽從2018年開始不再舉辦。深度學習的發展122014年起：R-CNN、FastR-CNN、FasterR-CNN等一系列目標檢測模型的提出，極大地提升了目標檢測的精度，但是它們需要兩個階段才能完成，模型訓練效率較低。2016年：YOLO目標檢測模型被提出，由于它是一個端到端的模型，大大提高了模型訓練與推理效率，但模型的精度不如R-CNN系列高，之后YOLO的后續版本陸續被推出，目前已經到了第八版。2014年：生成對抗網絡由當時還在蒙特利爾大學讀博士的IanJ.Goodfellow提出，由于它無需標注大量的數據即可進行訓練，在學術界迅速掀起了研究熱潮。深度學習的發展13在自然語言處理領域，LSTM、門限循環單元（GatedRecurrentUnit，GRU）等循環神經網絡在語言模型、機器翻譯等任務上也取得了很大的進展。特別是隨著Transformer的出現，使得BERT、GPT等預訓練大模型進入人們的視野，這些大模型在自然語言處理領域多個任務上都超越了已有方法。2022年以來：ChatGPT、GPT4.0的相繼問世更是使得大型通用語言模型達到了前所未有的高度，被譽為信息技術領域里程碑式的突破。2023年：百度公司在國內也率先推出了大型通用語言模型“文心一言”，之后清華大學、復旦大學、華為公司、阿里公司、科大訊飛也都發布了自己的大模型，開啟了大型中文語言模型的新時代。深度學習的發展14當前，深度學習仍然是人工智能領域關注度最高的主題之一，研究如火如荼，應用也是多點開花。在研究方面：基于AI的內容生成、多模態數據分析、深度強化學習等工作正在火熱進行。在應用方面：深度學習已經在安防、醫療、金融、智能制造、無人駕駛等多個領域取得了顯著的成果。深度學習與機器學習、AI的關系2深度學習與機器學習、AI的關系FromNvidia16深度學習與機器學習、AI的關系17人工智能人工智能定義“人工智能”的概念最早在1956年的美國達特茅斯會議（DartmouthConference）上提出，當時會議的主題是“用機器來模仿人類學習以及其它方面的智能”。因此，1956年被認為是人工智能的元年。一般認為，人工智能是研究、開發用于模擬、延伸和擴展人的智能的理論、方法、技術及應用系統的一門新興學科。18人工智能已實現基本實現未來熱點19人工智能分類人工智能人工智能技術搜索理論、知識表示與推理方法、機器學習算法、感知、決策與控制技術等。參考書史忠植.高級人工智能.北京:科學出版社.[美]史蒂芬·盧奇（StephenLucci）,丹尼·科佩克（DannyKopec）著,林賜譯.人工智能（第2版）.北京:人民郵電出版社,2018.20機器學習機器學習定義讓計算機具有像人一樣的學習和思考能力的技術的總稱。具體來說是從已知數據中獲得規律，并利用規律對未知數據進行預測的技術。一個簡單的例子：利用機器學習算法對往年的天氣預報數據進行學習，就能夠預測未來的天氣預報數據。21機器學習機器學習分類有監督學習（跟學師評）：有老師（環境）的情況下，學生（計算機）從老師（環境）那里獲得對錯指示、最終答案的學習方法。包含線性回歸、多項式回歸、決策樹和隨機森林等回歸算法，以及KNN、邏輯回歸、貝葉斯和支持向量機等分類算法。無監督學習（自學標評）：沒有老師（環境）的情況下，學生（計算機）自學的過程，一般使用一些既定標準進行評價，或無評價。包含K-Means聚類、主成分分析、關聯分析和密度估計等算法。弱監督學習：僅有少量環境提示（教師反饋）或者少量數據（試題）標簽（答案）的情況下，機器（學生）不斷進行學習的方法。包含強化學習、半監督學習和多示例學習等算法。2223有監督學習和無監督學習24強化學習25機器學習常見算法26機器學習參考書周志華.機器學習.北京:清華大學出版社,2016.李航.統計學習方法（第2版）.北京:清華大學出版社,2019.深度學習的基本概念與典型算法3為什么需要深度學習？28深度學習基本概念29深度學習定義深度學習是指通過構建多層神經網絡結構來學習數據的特征，以便于進行數據分類、回歸與生成。深度學習與淺層學習相比，神經網絡結構的層數更多（一般大于或等于4層），通過多層神經網絡結構可以學習得到更豐富的數據特征。深度學習基本概念30淺層前饋神經網絡和深度前饋神經網絡典型深度學習算法31典型深度學習算法32有監督學習的淺層學習算法：決策樹、支持向量機、感知機和Boosting等。無監督學習的淺層學習算法：自編碼器、受限玻爾茲曼機、高斯混合模型和稀疏自編碼器等有監督學習的深度學習算法：深度前饋神經網絡、卷積神經網絡、循環神經網絡、Transformer、膠囊網絡和深度森林等。無監督學習的深度學習算法：深度自編碼器、生成對抗網絡、深度玻爾茲曼機和深度信念網絡等。典型深度學習算法33深度前饋神經網絡卷積神經網絡典型深度學習算法34循環神經網絡Transformer典型深度學習算法35生成對抗網絡深度信念網絡與深度玻爾茲曼機典型深度學習算法36深度自編碼器深度學習的主要應用概述4深度學習的主要應用38計算機視覺領域主要應用（基礎任務）圖像分類：整幅圖像的分類或識別。目標檢測：檢測圖像中物體的位置進而識別物體。圖像分割：對圖像中的特定物體按邊緣進行分割，并識別物體類別或個體。圖像回歸：預測圖像中物體或者物體組成部分的坐標。細化深度學習的主要應用39圖像分類圖像分割目標檢測圖像回歸深度學習的主要應用40計算機視覺領域主要應用（高級任務）人臉識別：首先通過目標檢測提取人的正臉，然后通過人臉識別人員身份。行人重識別：檢測視頻序列中的行人，并識別特定人員的身份。目標跟蹤：在連續的視頻幀中定位某一行人或者其他運動目標。動作識別：識別視頻中人體的動作/行為。產品缺陷檢測：檢測工業產品存在的缺陷。深度學習的主要應用41語音識別領域主要應用語音識別：將人類說話的語音轉換成文字。聲紋識別：根據說話人的聲波特性進行身份識別，又稱為說話人識別。語音合成：將文本轉換為語音。深度學習的主要應用42自然語言處理領域主要應用（基礎任務）詞法分析：以詞為單位進行分析，包括詞性標注、拼寫校正等。句法分析：以句子為單位進行分析，主要包括句法結構分析和依存句法分析等。語義分析：分析自然語言的深層含義，包括詞匯級語義分析、句子級語義分析和篇章級語義分析。信息抽取：從自然語言中抽取出結構化信息，包括實體抽取、事件抽取等。語言模型：根據之前的單詞預測下一個單詞。深度學習的主要應用43自然語言處理領域主要應用（高級任務）情感分析：分析文本體現的情感，可包含正負向、正負中或多態度等類型。神經機器翻譯：基于神經網絡語言模型的多語種互譯。神經自動摘要：根據單文檔或者多文檔自動生成文檔摘要。機器閱讀理解：通過閱讀文本回答問題、完成選擇題或完型填空。自動問答：用戶給出問題，機器可以進行回答，也稱單輪對話。人機對話：通過訓練大量語料，支持人與機器之間的自由對話，通常指的是多輪對話。深度學習主要應用44多模態處理領域的應用圖像描述：機器可以根據圖像給出描述圖像的句子，也稱看圖說話。可視問答：機器可以回答特定圖像或視頻相關的問題。圖像生成：機器可以根據文本描述生成相應的圖像。視頻生成：機器可以根據文字描述自動生成相應的視頻。虛擬主播：自動播報新聞的虛擬人物。本章人物5本章人物46GeoffreyHinton多倫多大學杰出教授，英國皇家科學院院士，美國國家工程院外籍院士，美國藝術與科學院外籍院士，2018圖靈獎獲得者。在BP算法、玻爾茲曼機、時間延遲神經網絡、變分學習和深度學習領域做出杰出文獻，被譽為“深度學習之父”。個人主頁：/~hinton/。中英文術語對照6中英文術語對照48深度學習：DeepLearning人工神經網絡：ArtificialNeuralNetworks，ANNM-P神經元模型：McCulloch-PittsNeuronModel感知機：Perceptron神經認知機：Neocognitron反向傳播算法：BackPropagation，BP循環神經網絡：RecurrentNeuralNetworks，RNN支持向量機：SupportVectorMachine，SVM長短期記憶網絡：Long-ShortTermMemory，LSTM中英文術語對照49卷積神經網絡：ConvolutionalNeuralNetworks，CNN深度信念網絡：DeepBeliefNetworks，DBN高斯混合模型：GaussianMixtureModel，GMM隱馬爾可夫模型：HiddenMarkovModel，HMM生成對抗網絡：GenerativeAdversarialNetworks，GAN門限循環單元：GatedRecurrentUnit，GRU基于Transformer的雙向編碼器表示模型：BidirectionalEncoderR