讀書筆記模板自然語言處理——原理、方法與應用01思維導圖目錄分析精彩摘錄內容摘要讀書筆記作者介紹目錄0305020406思維導圖自然語言處理原理書自然語言處理方法知識模型內容模型第章小結任務自然語言處理機器數據文本技術環境生成本書關鍵字分析思維導圖內容摘要內容摘要本書系統闡述自然語言處理基礎知識，以及自然語言處理高級模型應用等高級知識。全書共11章：第1~5章為自然語言處理的基礎知識，第6~11章則將自然語言處理知識應用于實戰。書中主要內容包括預訓練模型、文本分類、機器閱讀理解、命名實體識別、文本生成、模型蒸餾與剪枝及損失函數等知識。書中包含大量應用示例，不僅可以學會理論知識還可以靈活應用。書中示例基于Linux與PyTorch環境開發，讀者在學習自然語言處理知識的同時還可學會PyTorch框架技術，內容完整、步驟清晰，提供了工程化的解決方案。本書可作為有一定深度學習基礎的讀者的入門書，也可作為從事自然語言處理算法工作的技術人員及培訓機構的參考書。目錄分析1.1基于深度學習的自然語言處理1.2本書章節脈絡1.3自然語言處理算法流程1.4小結第1章導論2.1Linux服務器2.2Python虛擬環境2.3PyCharm遠程連接服務器2.4screen任務管理第2章Python開發環境配置2.6小結2.5Docker技術第2章Python開發環境配置2.1Linux服務器2.1.1MobaXterm2.1.2使用MobaXterm連接遠程服務器2.1.3在服務器上安裝Python開發環境2.1.4使用Anaconda國內源2.1.5pip設定永久阿里云源3.1人工規則與自然語言處理3.2機器學習與自熱語言處理3.3深度學習與自然語言處理3.4小結第3章自然語言處理的發展進程3.2機器學習與自熱語言處理3.2.1詞袋模型3.2.2n-gram3.2.3頻率與逆文檔頻率4.1淺層無監督預訓練模型4.3其他預訓練模型4.2深層無監督預訓練模型第4章無監督學習的原理與應用4.5小結4.4自然語言處理四大下游任務第4章無監督學習的原理與應用4.2深層無監督預訓練模型4.2.1BERT4.2.2Self-AttentionLayer原理4.2.3Self-AttentionLayer的內部運算邏輯4.2.4Multi-HeadSelf-Attention4.2.5LayerNormalization4.2.6BERT預訓練4.2.7BERT的微調過程4.3其他預訓練模型4.3.1RoBERTa4.3.2ERNIE4.3.3BERT_WWM4.3.4ALBERT4.3.5Electra4.3.6NEZHA4.3.7NLP預訓練模型對比4.4自然語言處理四大下游任務4.4.1句子對分類任務4.4.2單句子分類任務4.4.3問答任務4.4.4單句子標注任務5.1生成式對抗絡5.3小結5.2元學習第5章無監督學習進階5.2元學習5.2.1Metric-BasedMethod5.2.2Model-BasedMethod5.2.3Pretrain-BasedMethod6.1賽題任務6.3代碼框架6.2環境搭建第6章預訓練6.5小結6.4數據分析實踐第6章預訓練6.4數據分析實踐6.4.1數據預處理6.4.2預訓練任務模型構建與數據生成6.4.3模型訓練7.1數據分析7.2環境搭建7.3代碼框架7.4文本分類實踐7.5小結12345第7章文本分類7.4文本分類實踐7.4.1數據預處理7.4.2模型構建7.4.3數據迭代器7.4.4模型訓練7.4.5模型預測8.1機器閱讀理解的定義8.2評測方法8.3研究方法8.4經典結構第8章機器閱讀理解8.6小結8.5多文檔機器閱讀理解實踐第8章機器閱讀理解8.1機器閱讀理解的定義8.1.1完形填空8.1.2多項選擇8.1.3片段抽取8.1.4自由回答8.1.5其他任務8.3研究方法8.3.1基于規則的方法8.3.2基于神經絡的方法8.3.3基于深層語義的圖匹配方法8.4經典結構8.4.1BiDAF模型8.4.2QANet模型8.4.3基于BERT模型的機器閱讀理解8.5多文檔機器閱讀理解實踐8.5.1疫情政務問答助手8.5.2信息檢索8.5.3多任務學習8.5.4實踐9.1NER技術的發展現狀9.3命名實體識別模型9.2命名實體識別的定義第9章命名實體識別9.5小結9.4命名實體識別實驗第9章命名實體識別9.3命名實體識別模型9.3.1預訓練模型9.3.2下接結構9.3.3條件隨機場9.4命名實體識別實驗9.4.1數據介紹9.4.2評估指標9.4.3數據預處理9.4.4模型構建9.4.5數據迭代器9.4.6模型訓練9.4.7模型預測10.1文本生成的發展現狀10.2基于預訓練模型的文本生成模型10.3文本生成任務實踐10.4小結第10章文本生成10.1文本生成的發展現狀10.1.1文本生成模板10.1.2變分自編碼器10.1.3序列到序列技術10.3文本生成任務實踐10.3.1數據介紹10.3.2評估指標10.3.3模型構建10.3.4數據迭代器10.3.5模型訓練10.3.6模型預測11.1損失函數11.3損失函數的進階11.2常用的損失函數第11章損失函數與模型瘦身11.5小結11.4模型瘦身第11章損失函數與模型瘦身11.2常用的損失函數11.2.1回歸11.2.2分類11.3損失函數的進階11.3.1樣本不均衡11.3.2FocalLoss11.3.3DiceLoss11.3.4拒識11.3.5帶噪學習11.4模型瘦身11.4.1知識蒸餾11.4.2模型剪枝讀書筆記讀書筆記這是《自然語言處理——原理