自然語言處理教與學教學大綱課程代碼：課程名稱：自然語言處理英文名稱：NaturalLanguageProcessing課程性質：選修學分課時：3學分，48課時教學對象：大數據、人工智能等計算機類專業，及其交叉學科專業的大三本科學生或碩士研究生考核方式：出勤及平時專題討論并做展示匯報占總評成績的50%、期末開卷或論文考試占總評成績的50%教學方式：課堂講授占比50%，實踐討論占比50%。教學中要求理論聯系實際，采用導入式教學、案例教學和討論教學法。教師將會使用電腦放映教學PPT。出勤要求：要求學生關閉自有一切電子設備；不能無故缺席上課；上課專心聽講，積極參與課堂討論；課后認真復習課堂上講授內容，獨立完成教師布置的任務；并預習新課。學生缺勤不得多于總課時的四分之一。教師可以根據考勤情況決定學生是否可以參加考試、是否扣分。01課程簡介本課程主要介紹了利用深度學習進行自然語言處理的模型、原理、任務和應用等方面的具體細節和基本要點。同時，它包括利用深度自然語言處理技術進行實際任務處理。這是針對具有計算機編程語言基礎的研究生的專業選修課程，內容包括：自然語言處理基礎知識、依存句法分析、表征學習、神經網絡語言模型、前饋神經網絡、循環神經網絡、轉換器、大語言模型等。1.教學目標因此，本課程的教學目標是，通過教學使學生對深度學習自然語言處理的基本概念和基本方法有正確的理解和較深刻的認識，對編程使用深度學習模型來完成自然語言處理任務有較系統的掌握。2.先修課程Python或其他一門編程語言。3.課程學習資料（1）教材指定教材：雷擎，《自然語言處理——基于深度學習的理論與案例》，清華大學出版社，2024年3月。（2）參考教材[1]屠可偉等，動手學自然語言處理，人民郵電出版社，2024年05月（3）在線慕課網站：/detail/2375759814.課程答疑答疑郵箱：qleii@126.com在線課程論壇02教學內容第1章自然語言處理基礎知識【教學目標和要求】：復習python語言及常用第三方庫，了解自然語言處理的發展歷史和任務，了解自然語言處理的數學和計算機基礎知識，掌握數學基礎的向量、維度、矩陣、期望、方差、梯度等理論和計算方法。教學方式：講授，編程實驗準備知識：無【主要內容】：

1.0python復習

1.1自然語言處理概述

1.2數學基礎之線性代數

1.3數學基礎之概率分布

1.4數學基礎之梯度下降

1.5梯度下降算法示例

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第2章依存句法分析【教學目標和要求】：了解句法分析、依存句法分析的概念，學會依存關系形式化表達、依存樹方法，理解基于轉移的依存句法分析、神經依存句法分析的原理與架構。教學方式：講授準備知識：無【主要內容】：

2.1什么是句法分析

2.2依存語法

2.3基于轉移的依存句法分析

2.4神經依存句法分析

【教學時數】：2作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第3章表征學習【教學目標和要求】：掌握表征學習概念，了解表征學習的作用和種類、自監督表征學習的方法，掌握主成分分析PCA的原理，及PCA在表征學習中的作用和實現。教學方式：講授，編程實驗準備知識：無【主要內容】：3.1表征學習概念

3.2NLP自監督表征學習

3.3主成分分析PCA

3.4PCA應用實例

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第4章神經網絡語言模型【教學目標和要求】：學習詞袋模型和TF-IDF的原理和方法，理解詞嵌入，掌握Word2Vec原理，及使用Word2Vec進行自然語言向量化的應用方法。教學方式：講授，編程實驗準備知識：無【主要內容】：

4.1詞袋模型和TF-IDF

4.2詞嵌入

4.3Word2Vec

4.4Word2Vec應用實例

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第5章前饋神經網絡【教學目標和要求】：掌握感知器的概念、組成和作用原理，了解常用激活函數，掌握前饋神經網絡的概念，前向傳播與反向傳播的原理和過程。教學方式：講授，編程實驗準備知識：無【主要內容】：

5.1感知器

5.2反向傳播過程

5.3學習原理

5.4模型構建實例

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第6章循環神經網絡RNN

【教學目標和要求】：了解序列學習和序列學習的任務，了解RNN神經元架構，理解RNN原理pandas庫，掌握困惑度的評價原理和方法，實現RNN語言模型構建。教學方式：講授，編程實驗準備知識：無【主要內容】：

6.1序列學習

6.2RNN原理

6.3RNN語言模型

6.4RNN語言模型構建

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第7章RNN進階【教學目標和要求】：掌握LSTM、Seq2Seq、注意力機制的概念，理解這些模型的工作原理和過程，了解Seq2Seq模型任務。教學方式：講授，編程實驗準備知識：無【主要內容】：

7.1LSTM

7.2Seq2Seq模型

7.3注意力機制

7.4Seq2Seq模型任務

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第8章轉換器【教學目標和要求】：掌握轉換器的概念，掌握轉換器的組成和架構，理解轉換器工作的原理，理解自注意力機制的原理，掌握BLUE評價指標的計算方法。教學方式：講授，編程實驗準備知識：無【主要內容】：

8.1轉換器概述

8.2轉換器工作原理

8.3自注意力機制

8.4BLEU分數

【教學時數】：4作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整第9章大語言模型【教學目標和要求】：了解大語言模型的概念和目前流行的大語言模型，了解Bert大語言模型的架構和應用。教學方式：講授，編程實驗準備知識：無【主要內容】：

9.1什么是大語言模型

9.2Bert大語言模型

【教學時數】：2作業與思考題：見課件，教師根據學生接受情況有調整參考資料：見課件，教師根據學生接受情況有調整?參考書籍本書主要介紹神經網絡、深度學習和自然語言處理的基本原理、方法和應用，全書分為3部分，每部分涵蓋了不同的主題:

第1部分(第1～3章)介紹神經網絡和深度學習的基礎知識，包括人工神經網絡的起源和發展，神經網絡的表示方法、數學基礎理論和機器學習基礎，以及表征學習的概念；第2部分(第4章和第5章)介紹自然語言處理和轉換器網絡；第3部分(第6～10章)介紹自然語言處理的案例分析，包括文本分類任務、實體識別、文本生成和文本摘要的方法和技術、基于評審的問答系統等。本書是學習并實踐神經網絡、深度學習和自然語言處理的實用指南，每章都給出了代碼示例和實際案例，幫助讀者理解和實踐所學的知識。本書采用漸進式講解，理論與實踐結合，強調自然語言處理，并且關注前沿技術和趨勢，適合作為高等學校神經網絡、深度學習和自然語言處理相關課程的教材，也是相關專業人員很好的參考用書。第1部分神經網絡與深度學習第1章人工神經網絡/31.1起源和發展31.2什么是深度學習51.3神經網絡的表示81.4數學基礎理論121.4.1數據類型121.4.2函數基礎151.4.3線性代數201.4.4梯度計算281.4.5概率分布301.4.6代碼示例361.5機器學習基礎381.5.1什么是分類401.5.2一個簡單的分類器:

樸素貝葉斯451.5.3一個簡單的神經網絡:

邏輯回歸471.5.4評估分類結果541.6表征學習571.6.1主成分分析581.6.2詞袋的表征66第2章前饋神經網絡/692.1單層感知器692.2三層神經網絡752.3激活函數802.3.1線性函數802.3.2邏輯函數812.4更新權重872.4.1學習規則872.4.2反向傳播952.4.3梯度下降1022.5代碼示例1052.6修改和擴展1072.6.1預期泛化誤差1082.6.2正則化的思想1132.6.3調整超參數1192.6.4其他的問題123第3章深度學習網絡/1263.1深度的定義1273.2卷積神經網絡1283.2.1什么是卷積計算1293.2.2感受野與卷積層1313.2.3特征圖和池化層1363.2.4一個卷積網絡1383.2.5用于文本分類1413.3循環神經網絡1433.3.1不等長序列1433.3.2循環連接的構成1453.3.3長短期記憶網絡1483.3.4三種訓練方法1523.3.5一個簡單的實現1553.4深度分布式表征1603.4.1自編碼器1603.4.2神經語言模型167第2部分自然語言處理與轉換器網絡第4章自然語言處理/1794.1歷史發展1794.2常見任務1834.2.1字符和語音識別1834.2.2形態分析1834.2.3句法分析1854.2.4詞匯語義1864.2.5關系語義1874.2.6話語1884.2.7高級任務1904.3未來趨勢1924.4認識轉換器1954.4.1編碼器到解碼器框架1964.4.2注意力機制1984.4.3遷移學習2014.4.4Hugging

Face生態2054.4.5面對挑戰211第5章轉換器網絡/2125.1轉換器介紹2125.2理解編碼器2155.2.1輸入嵌入層2175.2.2位置編碼2185.2.3多頭自注意力層2215.2.4殘值連接與層歸一化2305.2.5前饋網絡層2325.3理解解碼器2335.3.1掩碼多頭注意力層2355.3.2多頭注意力層2395.3.3線性層和Softmax層2425.3.4運行流程2435.4訓練轉換器2445.5轉換器家族2465.5.1編碼器分支2465.5.2解碼器分支2535.5.3編碼器到解碼器分支2555.6概括258第3部分自然語言處理案例分析第6章文本分類案例分析/2616.1數據集2616.1.1查看數據2626.1.2轉換到數據框2656.1.3查看類別分布2666.1.4查看推文長度2666.2從文本到標記2676.2.1字符標記化2676.2.2詞標記化2696.2.3子詞標記化2706.2.4整個數據集2726.3訓練分類器2746.3.1特征提取器2756.3.2微調轉換器283第7章實體識別案例分析/2887.1數據集2887.2多語言轉換器2927.3標記化管道2947.4模型類剖析2977.4.1模型體和頭2977.4.2創建自定義模型2977.4.3加載自定義模型2997.5標記文本3017.6績效衡量3037.7微調XLMR3047.8錯誤分析305第8章文本生成