深度學習算法探索人工智能前沿課程概述1課程目標掌握深度學習核心算法原理2學習內容從基礎神經網絡到前沿模型架構先修知識什么是深度學習？定義機器學習子領域，基于深層神經網絡模擬人腦學習過程與傳統機器學習區別自動特征提取，無需人工設計特征深度學習優勢處理非結構化數據能力強，可學習復雜模式深度學習的發展歷程11943年McCulloch和Pitts提出首個神經元數學模型21986年Hinton提出反向傳播算法32012年AlexNet在ImageNet競賽中取得突破42016-至今Transformer革命與大型語言模型興起神經網絡基礎生物神經元vs人工神經元樹突→輸入，細胞體→加權求和，軸突→輸出激活函數引入非線性，使網絡能學習復雜函數單層感知器最簡單神經網絡，僅能解決線性可分問題多層感知器（MLP）結構輸入層、隱藏層、輸出層組成的前饋神經網絡前向傳播數據從輸入層流向輸出層，逐層計算反向傳播誤差從輸出層反向傳遞，更新各層權重激活函數詳解Sigmoid輸出范圍0-1，早期常用，存在梯度消失問題Tanh輸出范圍-1到1，零中心化，仍有梯度問題ReLUmax(0,x)，計算高效，解決梯度消失變體LeakyReLU、PReLU、ELU改進負值區間表現損失函數均方誤差（MSE）回歸任務常用，計算預測值與真實值差的平方和交叉熵分類任務首選，衡量兩個概率分布差異HingeLoss支持向量機中使用，最大化分類間隔優化算法梯度下降法使用全部數據計算梯度，更新慢但穩定隨機梯度下降每次僅用一個樣本，更新快但波動大Mini-batch梯度下降折中方案，平衡計算效率與穩定性高級優化算法1Momentum引入動量，加速收斂并克服局部最小值2AdaGrad自適應學習率，參數更新根據歷史梯度調整3Adam結合動量和自適應學習率，目前最流行算法過擬合問題定義模型訓練表現好，泛化能力差1表現訓練誤差低，測試誤差高2原因模型過于復雜，訓練數據不足3解決方向正則化、數據增強、提前停止4正則化技術L1正則化添加權重絕對值懲罰項，促進特征稀疏L2正則化添加權重平方懲罰項，防止權重過大Dropout訓練時隨機關閉部分神經元，防止共適應批量歸一化（BatchNormalization）原理標準化每層輸入，緩解內部協變量偏移優點加速訓練，允許更高學習率，減少初始化依賴實現在每個小批量上計算均值方差，進行歸一化轉換卷積神經網絡（CNN）概述1基本結構卷積層+池化層+全連接層的層級結構2與MLP區別局部連接和權重共享，空間結構敏感3適用場景圖像識別、視頻分析、語音處理等CNN核心組件：卷積層1卷積操作濾波器在輸入上滑動，計算點積2卷積核學習提取特定特征的權重矩陣3步長和填充控制輸出大小和邊界處理方式CNN核心組件：池化層最大池化：取區域最大值，保留顯著特征平均池化：計算區域平均值，平滑特征池化作用：降維、減少計算量、增加平移不變性經典CNN架構1LeNet-5(1998)首個成功CNN，手寫數字識別2AlexNet(2012)深度CNN突破，ImageNet冠軍3VGGNet(2014)使用小卷積核和深度設計，結構規整現代CNN架構ResNet殘差連接解決深層網絡退化問題Inception并行多尺度卷積，提高特征多樣性DenseNet密集連接每層，強化特征重用循環神經網絡（RNN）概述基本結構包含循環連接，能處理序列數據適用場景文本、語音、時間序列等順序數據與前饋網絡區別有記憶能力，考慮歷史信息RNN的前向傳播和反向傳播時間展開將循環結構展開為鏈式結構處理BPTT算法沿時間反向傳播誤差，更新權重長序列訓練時存在梯度消失或爆炸問題長短期記憶網絡（LSTM）1解決問題緩解梯度消失，捕獲長期依賴2門控機制輸入門、遺忘門、輸出門控制信息流3細胞狀態長期記憶通道，保存重要信息門控循環單元（GRU）結構特點更新門和重置門，簡化版LSTM與LSTM比較參數更少，訓練更快，性能相當應用場景資源受限環境，數據量較小情況序列到序列模型（Seq2Seq）編碼器將輸入序列編碼為固定長度向量解碼器將編碼向量解碼為目標序列應用機器翻譯、文本摘要、對話系統BeamSearch解碼時保留多個候選序列，提高質量注意力機制Self-Attention序列內部元素相互關注1Multi-Head多個注意力頭并行計算2優勢捕獲長距離依賴，并行計算3應用增強編解碼器模型能力4Transformer模型整體架構編碼器-解碼器結構，完全基于注意力機制位置編碼添加位置信息，彌補序列順序缺失優勢與應用并行訓練，處理長序列，NLP革命性進步BERT模型預訓練與微調大規模無監督預訓練后針對任務微調雙向編碼同時考慮上下文，全面理解語義應用場景文本分類、問答系統、命名實體識別GPT系列模型1自回歸特性單向預測，從左到右生成文本2規模突破GPT-3具1750億參數，少樣本學習能力強3倫理考量可能產生偏見內容，需謹慎使用生成對抗網絡（GAN）基本原理生成器和判別器相互博弈學習生成器創造逼真樣本，目標是欺騙判別器判別器區分真假樣本，提升鑒別能力訓練過程交替優化兩網絡，達到納什均衡GAN的變體DCGAN引入卷積層，穩定訓練，生成高質量圖像CycleGAN無需配對數據的圖像轉換，保持內容一致StyleGAN控制生成圖像風格，產生逼真人臉自編碼器1結構原理編碼器壓縮信息，解碼器重建數據2降噪自編碼器輸入加噪聲，學習恢復原始數據3變分自編碼器學習潛在空間概率分布，可控生成深度強化學習1234馬爾可夫決策過程狀態、動作、獎勵、狀態轉移Q-learning學習狀態-動作價值函數DQN深度Q網絡，結合Q學習與深度神經網絡經驗回放存儲交互經驗，打破樣本相關性策略梯度方法1REINFORCE直接優化策略，高方差2Actor-Critic結合策略和價值學習，降低方差3PPO近端策略優化，穩定高效遷移學習定義利用已有知識解決新問題預訓練模型大數據集訓練后遷移至小數據集微調策略凍結部分層，僅訓練任務相關層領域適應減少源域與目標域分布差異小樣本學習問題定義：僅少量樣本學習新類別元學習：學會如何學習，快速適應新任務原型網絡：計算類別原型，基于距離分類聯邦學習1核心思想數據本地訓練，僅共享模型更新2隱私保護原始數據不離開設備，降低泄露風險3應用場景醫療數據分析，移動設備協作圖神經網絡（GNN）圖數據表示節點、邊、特征的結構化信息消息傳遞聚合鄰居信息，更新節點表示圖卷積網絡拓展卷積到非規則數據結構知識圖譜與深度學習知識表示學習實體和關系嵌入到低維向量空間TransE模型關系建模為向量空間中的平移操作知識圖譜補全預測缺失的實體關系，擴展知識庫多模態學習跨模態表示將不同模態數據映射到共享語義空間視覺-語言預訓練圖像文本對聯合建模，理解雙模態內容CLIP模型對比學習連接圖像文本，零樣本遷移能力強神經網絡壓縮與加速模型剪枝移除不重要連接，減少參數量1知識蒸餾大模型知識遷移到小模型2量化技術降低權重精度，減少存儲需求3低秩分解分解權重矩陣，壓縮模型規模4AutoML與神經架構搜索1問題定義自動尋找最優網絡結構，減少人工設計2搜索空間定義可能架構集合，包含層類型和連接方式3搜索策略進化算法、強化學習、梯度下降等方法4效率提升權重共享、早停等技術加速搜索過程可解釋AI重要性增加透明度，建立信任，滿足法規要求局部解釋LIME、SHAP等解釋單個預測全局解釋理解模型整體行為和決策邊界對抗樣本與魯棒性1攻擊類型白盒攻擊利用梯度，黑盒攻擊不需內部信息2防御策略對抗訓練、輸入處理、模型蒸餾提高魯棒性3魯棒性評估測試在不同擾動下模型性能穩定性深度學習的可靠性與安全性不確定性估計模型預測置信度評估，知道何時不知道異常檢測識別偏離正常模式的樣本，提高安全性模型校準確保預測概率與真實概率一致因果推理與深度學習相關vs因果區分統計相關性與因果關系因果發現從數據中學習因果圖結構因果推理預測干預效果，回答"假如"問題深度學習在計算機視覺中的應用圖像分類識別圖像主要內容，如ImageNet挑戰目標檢測定位并識別多個物體，如YOLO、FasterR-CNN語義分割像素級分類，明確物體邊界深度學習在自然語言處理中的應用1文本分類情感分析、主題分類、垃圾郵件檢測2命名實體識別識別文本中人名、地點、組織等實體3機器翻譯語言間自動轉換，如谷歌翻譯4問答系統理解問題并生成答案深度學習在語音識別中的應用聲學模型：將語音信號轉換為音素序列語言模型：預測單詞概率，修正音素識別錯誤端到端ASR：直接從語音到文本，跳過中間步驟深度學習在推薦系統中的應用1協同過濾基于用戶相似性或物品相似性的推薦2深度興趣網絡建模用戶動態興趣，提高點擊率預測3序列推薦考慮用戶行為時序信息的個性化推薦深度學習在醫療健康領域的應用深度學習顯著提高了醫療準確率，尤其在藥物發現領域深度學習在金融領域的應用風險評估信用評分模型，違約風險預測欺詐檢測異常交易識別，防范金融欺詐量化交易市場預測，自動交易策略優化客戶畫像精準營銷，個性化金融產品推薦深度學習在自動駕駛中的應用環境感知物體檢測與追蹤，場景理解1路徑規劃安全高效導航，避障策略2決策控制行為預測，多智能體協調3端到端學習直接從感知到控制的映射4深度學習在游戲AI中的應用AlphaGo系列深度強化學習與蒙特卡洛樹搜索結合電子游戲從像素直接學習策略，超越人類水平游戲設計自動生成地形、角色、故事情節深度學習的硬件基礎1GPU加速并行計算能力強，矩陣運算高效2TPU與NPU專為神經網絡設計，能效比更高3分布式訓練多設備協同，加速大模型訓練4邊緣計算模型部署至終端設備，降低延遲深度學習框架對比框架優勢劣勢適用場景TensorFlow生產部署強API復雜工業應用PyTorch動態圖易用部署不便研究實驗MXNet多語言支持社區小分布式訓練模型部署與服務模型序列化ONNX格式轉換，跨平臺兼容容器化Docker封裝環境依賴，便于遷移API服務RESTful接口提供推理能力邊緣部署模型壓縮優化，適應資源受限設備深度學習的倫理問題隱私保護數據收集和使用中的用戶隱私考量1算法偏見訓練數據中的社會偏見可能被放大2透明度黑盒模型難以解釋的決策過程3社會影響就業替代、信息繭房等廣泛問題4深度學習的未來趨勢大規模預訓練超大模型如GPT、DALL-E成為基礎設施低資源學習小數據、低能耗、輕量級模型發展神經-符號融合結合神經網絡與符號推理優勢如何進行深度學習研究問題定義明確研究目標，文獻調研，找準切入點實驗設計合理