深度學(xué)習(xí)導(dǎo)論人工智能前沿技術(shù)探索大腦啟發(fā)的學(xué)習(xí)算法課程概述1課程目標掌握深度學(xué)習(xí)核心理論2學(xué)習(xí)內(nèi)容神經(jīng)網(wǎng)絡(luò)架構(gòu)與算法3先修知識基礎(chǔ)線性代數(shù)、概率論什么是深度學(xué)習(xí)？定義多層神經(jīng)網(wǎng)絡(luò)的機器學(xué)習(xí)子領(lǐng)域與傳統(tǒng)機器學(xué)習(xí)區(qū)別自動特征提取能力應(yīng)用領(lǐng)域圖像識別、語音處理、自然語言理解深度學(xué)習(xí)的發(fā)展歷程1人工智能第一次浪潮1950s感知器提出2人工智能第二次浪潮1980s反向傳播算法3人工智能第三次浪潮2012+深度學(xué)習(xí)爆發(fā)神經(jīng)網(wǎng)絡(luò)基礎(chǔ)生物神經(jīng)元與人工神經(jīng)元模擬大腦工作原理激活函數(shù)Sigmoid、ReLU、Tanh單層感知器線性分類器原型多層感知器（MLP）結(jié)構(gòu)輸入層-隱藏層-輸出層前向傳播信息從輸入流向輸出反向傳播算法權(quán)重更新的核心機制損失函數(shù)均方誤差回歸問題常用交叉熵分類問題首選其他常用損失函數(shù)HingeLoss，HuberLoss優(yōu)化算法梯度下降法全數(shù)據(jù)集計算梯度1隨機梯度下降單樣本更新參數(shù)2小批量梯度下降批次數(shù)據(jù)平衡效率與穩(wěn)定性3高級優(yōu)化算法1Adam自適應(yīng)矩估計2RMSprop均方根傳播算法3Adagrad自適應(yīng)梯度算法過擬合與欠擬合欠擬合模型太簡單，無法捕捉數(shù)據(jù)規(guī)律良好擬合模型復(fù)雜度適中過擬合模型太復(fù)雜，記住了噪聲正則化技術(shù)1L1正則化促進稀疏性，特征選擇2L2正則化權(quán)重衰減，防止過大權(quán)重3早停法驗證集性能不再提升時停止訓(xùn)練Dropout技術(shù)原理訓(xùn)練時隨機關(guān)閉神經(jīng)元實現(xiàn)每層應(yīng)用不同概率的丟棄率效果防止共適應(yīng)，相當于集成學(xué)習(xí)批量歸一化原理標準化每一層的輸入分布優(yōu)勢加速收斂，緩解梯度消失實現(xiàn)方法在每層輸出后添加歸一化層卷積神經(jīng)網(wǎng)絡(luò)（CNN）概述結(jié)構(gòu)特點局部連接，權(quán)重共享應(yīng)用領(lǐng)域圖像識別，視頻分析優(yōu)勢空間特征提取能力強CNN的基本組件卷積層提取特征，減少參數(shù)量池化層降維，提取顯著特征全連接層分類決策，整合特征經(jīng)典CNN架構(gòu)1LeNet-5(1998)手寫數(shù)字識別先驅(qū)2AlexNet(2012)ImageNet競賽突破3VGGNet(2014)簡潔統(tǒng)一的深層結(jié)構(gòu)更深的CNN架構(gòu)ResNet殘差連接解決深度問題Inception多尺度特征提取DenseNet密集連接加強特征傳播目標檢測1R-CNN系列區(qū)域提議+分類2YOLO系列單步檢測，實時性強3SSD多尺度特征圖檢測語義分割FCN全卷積網(wǎng)絡(luò)，端到端U-Net編碼解碼結(jié)構(gòu)，醫(yī)學(xué)圖像處理DeepLab系列空洞卷積，提高分辨率循環(huán)神經(jīng)網(wǎng)絡(luò)（RNN）概述1結(jié)構(gòu)特點具有記憶能力的循環(huán)連接2應(yīng)用領(lǐng)域序列數(shù)據(jù)處理，如文本、語音3優(yōu)勢可處理變長輸入，保持時序信息長短期記憶網(wǎng)絡(luò)（LSTM）結(jié)構(gòu)記憶單元+三種門控單元1門控機制輸入門、遺忘門、輸出門2優(yōu)勢解決長期依賴問題3門控循環(huán)單元（GRU）結(jié)構(gòu)重置門和更新門與LSTM比較更簡單，參數(shù)更少應(yīng)用機器翻譯、文本生成序列到序列模型Encoder-Decoder結(jié)構(gòu)編碼器壓縮信息，解碼器生成輸出注意力機制關(guān)注輸入序列的相關(guān)部分應(yīng)用實例機器翻譯、摘要生成Transformer架構(gòu)自注意力機制捕捉序列內(nèi)部關(guān)聯(lián)多頭注意力并行捕捉不同特征位置編碼添加位置信息BERT模型1預(yù)訓(xùn)練與微調(diào)通用預(yù)訓(xùn)練+任務(wù)特定微調(diào)2雙向編碼考慮上下文雙向信息3應(yīng)用領(lǐng)域問答系統(tǒng)、文本分類GPT系列模型1架構(gòu)特點自回歸語言模型2訓(xùn)練方法預(yù)測下一個詞任務(wù)3應(yīng)用前景內(nèi)容生成、對話系統(tǒng)生成對抗網(wǎng)絡(luò)（GAN）基本原理生成器與判別器對抗訓(xùn)練1生成器與判別器偽造與鑒別的博弈2訓(xùn)練過程交替優(yōu)化兩個網(wǎng)絡(luò)3GAN的變體DCGAN深度卷積GAN，圖像生成CycleGAN循環(huán)一致性，無配對轉(zhuǎn)換StyleGAN風(fēng)格控制，高質(zhì)量人臉變分自編碼器（VAE）原理概率生成模型，學(xué)習(xí)潛在分布結(jié)構(gòu)編碼器-潛在空間-解碼器與GAN比較更穩(wěn)定，但生成質(zhì)量較低深度強化學(xué)習(xí)概述強化學(xué)習(xí)基礎(chǔ)智能體、環(huán)境、獎勵機制深度Q網(wǎng)絡(luò)Q學(xué)習(xí)與深度神經(jīng)網(wǎng)絡(luò)結(jié)合策略梯度方法直接優(yōu)化策略函數(shù)AlphaGo與AlphaZero算法原理蒙特卡洛樹搜索+深度神經(jīng)網(wǎng)絡(luò)突破性成果擊敗人類冠軍，自學(xué)圍棋規(guī)則影響與啟示通用算法解決復(fù)雜問題元學(xué)習(xí)1概念學(xué)會如何學(xué)習(xí)2方法基于優(yōu)化、基于記憶、基于度量3應(yīng)用場景少樣本學(xué)習(xí)，快速適應(yīng)遷移學(xué)習(xí)1原理從源任務(wù)遷移知識到目標任務(wù)2常用技術(shù)微調(diào)、特征提取、域適應(yīng)3應(yīng)用實例醫(yī)學(xué)圖像分析，少標注數(shù)據(jù)場景聯(lián)邦學(xué)習(xí)隱私保護數(shù)據(jù)本地訓(xùn)練，共享模型1分布式訓(xùn)練多設(shè)備協(xié)作學(xué)習(xí)2挑戰(zhàn)與機遇非獨立同分布數(shù)據(jù)，通信效率3自監(jiān)督學(xué)習(xí)原理從數(shù)據(jù)本身生成監(jiān)督信號方法對比學(xué)習(xí)，預(yù)測任務(wù)最新進展CLIP，SimCLR，MAE圖神經(jīng)網(wǎng)絡(luò)圖數(shù)據(jù)表示節(jié)點、邊、特征GCN卷積操作擴展到圖結(jié)構(gòu)GraphSAGE歸納學(xué)習(xí)，采樣聚合知識圖譜與深度學(xué)習(xí)知識表示實體和關(guān)系的嵌入知識推理路徑推理，規(guī)則歸納知識圖譜補全預(yù)測缺失的三元組神經(jīng)網(wǎng)絡(luò)壓縮模型剪枝移除不重要的連接和神經(jīng)元知識蒸餾大模型知識轉(zhuǎn)移到小模型量化技術(shù)降低參數(shù)精度神經(jīng)架構(gòu)搜索（NAS）1自動化架構(gòu)設(shè)計算法搜索最優(yōu)網(wǎng)絡(luò)結(jié)構(gòu)2搜索空間層類型、連接模式3搜索策略進化算法、強化學(xué)習(xí)可解釋性AI重要性安全性、合規(guī)性、信任方法特征歸因、可視化技術(shù)挑戰(zhàn)復(fù)雜模型黑箱特性對抗樣本概念微小擾動導(dǎo)致錯誤預(yù)測生成方法FGSM、PGD、C&W攻擊防御策略對抗訓(xùn)練、防御蒸餾深度學(xué)習(xí)硬件加速1GPU并行計算能力強2TPU谷歌專用張量處理器3專用芯片針對AI優(yōu)化的ASIC設(shè)計邊緣計算與深度學(xué)習(xí)概念設(shè)備端本地推理挑戰(zhàn)資源受限，功耗限制應(yīng)用場景智能家居，自動駕駛深度學(xué)習(xí)框架比較TensorFlowPyTorchMXNet各框架優(yōu)缺點對比數(shù)據(jù)預(yù)處理技術(shù)數(shù)據(jù)清洗缺失值處理，異常檢測特征工程特征選擇，特征變換數(shù)據(jù)增強翻轉(zhuǎn)，旋轉(zhuǎn)，縮放模型評估與選擇交叉驗證K折驗證評估性能1超參數(shù)調(diào)優(yōu)網(wǎng)格搜索，隨機搜索2模型集成投票，堆疊，Boosting3深度學(xué)習(xí)項目流程問題定義明確目標和評估指標數(shù)據(jù)收集與處理獲取數(shù)據(jù)，清洗，增強模型設(shè)計與訓(xùn)練架構(gòu)選擇，參數(shù)調(diào)優(yōu)部署與維護生產(chǎn)環(huán)境部署，監(jiān)控更新計算機視覺應(yīng)用圖像分類、人臉識別、自動駕駛領(lǐng)域的深度學(xué)習(xí)應(yīng)用自然語言處理應(yīng)用機器翻譯語言間自動轉(zhuǎn)換情感分析理解文本情感傾向問答系統(tǒng)自動回答用戶問題語音識別與合成聲學(xué)模型音頻轉(zhuǎn)換為音素序列語言模型音素序列轉(zhuǎn)換為文本端到端模型直接音頻到文本轉(zhuǎn)換推薦系統(tǒng)協(xié)同過濾基于用戶-物品交互推薦深度推薦模型神經(jīng)網(wǎng)絡(luò)提取復(fù)雜特征冷啟動問題新用戶新物品推薦策略醫(yī)療健康領(lǐng)域應(yīng)用疾病診斷醫(yī)學(xué)影像分析輔助診斷藥物發(fā)現(xiàn)分子結(jié)構(gòu)預(yù)測與篩選個性化醫(yī)療基于基因組學(xué)的治療方案金融領(lǐng)域應(yīng)用1風(fēng)險評估信用評分、欺詐檢測2量化交易市場預(yù)測、自動交易3反欺詐異常交易識別、行為分析工業(yè)領(lǐng)域應(yīng)用預(yù)測性維護故障預(yù)測，設(shè)備監(jiān)控質(zhì)量控制缺陷檢測，產(chǎn)品分類生產(chǎn)優(yōu)化流程優(yōu)化，資源調(diào)度藝術(shù)創(chuàng)作與深度學(xué)習(xí)風(fēng)格遷移、音樂生成、AI繪畫作品示例深度學(xué)習(xí)的倫理問題隱私保護數(shù)據(jù)安全與個人隱私算法偏見模型公平性與歧視問題社會影響就業(yè)變化與技術(shù)鴻溝深度學(xué)習(xí)的未來發(fā)展123趨勢預(yù)測低數(shù)據(jù)學(xué)習(xí)，多模態(tài)融合潛在突破點神經(jīng)符號結(jié)合，能量效率挑戰(zhàn)與機遇可解釋性，知識遷移如何持續(xù)學(xué)習(xí)學(xué)習(xí)資源推薦書籍