任務3-2挖掘文本背后的內涵：文本數據處理2知識&技能圖譜文本數據是信息傳遞的核心方式。無論是電子郵件中的文字、網頁上的文章內容，還是學術研究中的文獻資料，文本數據都蘊含著大量的信息。然而，計算機算法并不能像人類一樣直接解讀這些文本，它們需要我們將文本數據轉化為算法能夠理解的格式和結構。這就需要用到文本數據處理技術。本任務將提供60段文本，利用python的jieba模塊，完成給定文本的分詞和命名實體抽取。部分文本數據集如圖所示，文本包含多方面內容。實驗圖像實驗圖像

3.2.1文本數據處理的定義文本數據處理是利用計算機對文本數據進行各種操作和分析的技術。它通過提取文本中的關鍵詞、主題、情感等特征，實現文本分類、情感分析、主題建模、信息抽取等目的。文本數據處理涵蓋了從文本清洗、分詞、詞性標注到文本表示、特征提取等多個環節，旨在將原始的文本數據轉化為計算機能夠理解和分析的結構化信息。文本數據處理3.2.1文本數據處理的定義通過文本數據處理，我們可以從大量的文本數據中提取出有價值的信息和知識，為決策支持、信息檢索、自然語言理解等應用提供基礎。隨著自然語言處理技術的不斷發展，文本數據處理將在各個領域中發揮越來越重要的作用。文本數據處理3.2.2文本數據處理的應用場景文本數據處理在多個領域都有著廣泛的應用，包括自然語言理解、輿情分析、智能客服、信息檢索、文獻綜述、文本挖掘等。通過文本數據處理，我們可以提高文本信息的利用率，提取關鍵特征，實現自動化的文本分類、情感分析、主題提取等任務，為各個領域帶來更多的便利和效益。文本數據處理3.2.2文本數據處理的應用場景（1）在自然語言理解領域，文本數據處理技術可以幫助機器更好地理解和解析人類語言，實現人機對話、智能問答等功能。在輿情分析方面，文本數據處理可以幫助企業和政府監測社會輿論，及時發現并應對潛在的風險。文本數據處理3.2.2文本數據處理的應用場景（2）智能客服是文本數據處理技術的又一重要應用。通過對用戶提問的文本進行分析和理解，智能客服系統可以自動回答用戶的問題，提供個性化的服務。這大大提高了客戶服務的效率和質量，降低了企業運營成本。文本數據處理3.2.2文本數據處理的應用場景（3）在信息檢索領域，文本數據處理技術可以幫助搜索引擎更準確地理解用戶的查詢意圖，返回更相關的搜索結果。同時，文本數據處理還可以用于構建知識圖譜，實現知識的關聯和推理。文本數據處理3.2.2文本數據處理的應用場景（4）在文獻綜述和文本挖掘方面，文本數據處理可以幫助研究人員快速梳理和分析大量的文獻資料，提取研究主題和趨勢，為科研工作提供有力支持。文本數據處理3.2.2文本數據處理的應用場景（5）在工業界中，文本數據處理也發揮著重要作用。比如，在電商領域，文本數據處理可以幫助商家分析用戶評價，優化產品和服務；在金融領域，文本數據處理可以用于分析財經新聞、報告等文本數據，輔助投資決策。文本數據處理3.2.2文本數據處理的應用場景文本數據處理技術的應用場景豐富多樣，不僅提高了文本信息的處理效率和準確性，還為各個領域的發展帶來了更多的機遇和挑戰。隨著技術的不斷進步和應用場景的拓展，文本數據處理將在更多領域發揮重要作用。文本數據處理3.2.3文本數據處理的方法文本數據是指不能參與算術運算的任何字符，也稱為字符型數據。它通常包括英文字母、漢字、不作為數值使用的數字（以單引號開頭）和其他可輸入的字符。文本數據具有自己的特點，如半結構化、高數據量、語義性等。文本數據處理3.2.3文本數據處理的方法半結構化意味著文本數據既不是完全無結構的，也不是完全結構化的，可能包含結構字段，如標題、作者等，也可能包含大量的非結構化的數據，如摘要和內容。高數據量指的是文本庫中通常存在大量的文本樣本，處理這些數據的工作量非常龐大。語義性則涉及文本數據中的復雜情況，如同一詞匯在不同上下文中的不同含義。文本數據處理3.2.3文本數據處理的方法文本數據處理的方法多種多樣，包括但不限于分詞處理、停用詞過濾、詞性標注、實體識別、文本相似度計算等。這些方法在文本分析、自然語言理解、信息檢索、推薦系統等領域有廣泛的應用。綜合運用這些文本數據處理方法，能夠更全面、深入地理解和利用文本數據，為各種自然語言處理任務和應用場景提供有力支持，促進人工智能技術在語言領域的發展和應用。文本數據處理3.2.3文本數據處理的方法1分詞處理在自然語言處理（NLP）中，分詞處理是一項基礎且重要的任務。中文等語言由于其詞語間沒有明顯的分隔符，因此需要通過分詞處理將連續的字符序列切分為有意義的詞語。分詞處理對于后續的文本分析、信息抽取、機器翻譯等任務具有重要的支撐作用。文本數據處理3.2.3文本數據處理的方法分詞處理的主要目標是將輸入的字符序列按照語言的語法和語義規則切分為詞語序列。通過分詞處理，我們可以將連續的字符序列轉化為具有明確邊界的詞語，從而便于后續的詞性標注、命名實體識別等任務。文本數據處理3.2.3文本數據處理的方法分詞處理的方法主要有三種：（1）基于規則的分詞方法基于規則的分詞方法主要依賴于詞典和預定義的切分規則。其中，正向最大匹配、反向最大匹配和雙向最大匹配是常用的基于詞典的分詞方法。文本數據處理3.2.3文本數據處理的方法這些方法通過設定一個最大詞長，在詞典中查找與待切分字符序列相匹配的詞語。基于規則的分詞方法簡單、速度快，但對于詞典未收錄的新詞和歧義切分問題處理效果不佳。（2）基于統計的分詞方法基于統計的分詞方法利用機器學習或深度學習模型，通過訓練大量語料庫來學習分詞規律。文本數據處理3.2.3文本數據處理的方法隱馬爾可夫模型（HMM）、條件隨機場（CRF）和神經網絡等模型在分詞處理中得到了廣泛應用。這類方法能夠自動學習詞語的邊界信息，對新詞和未登錄詞的識別能力較強。但訓練模型需要大量的語料庫，計算復雜度較高。文本數據處理3.2.3文本數據處理的方法（3）混合方法混合方法結合了基于規則和基于統計的分詞方法，既利用了詞典和規則的優勢，又利用了統計模型對新詞的識別能力。通過結合兩者的優點，混合方法可以在保證分詞準確性的同時，提高處理速度和魯棒性。文本數據處理3.2.3文本數據處理的方法2停用詞過濾在自然語言處理任務中，文本數據往往包含大量對分析沒有實際貢獻的詞匯，這些詞匯通常被稱為停用詞（StopWords）。停用詞過濾是自然語言預處理的一個關鍵步驟，旨在去除文本中的這些無意義或冗余的詞匯，以提高后續處理任務的效率和準確性。文本數據處理3.2.3文本數據處理的方法（1）停用詞的定義：停用詞通常指的是在文本中出現頻率極高，但對文本含義貢獻較小的詞匯。這些詞匯主要包括一些常見的功能詞，如“的”、“是”、“在”等，以及一些對文本內容沒有實質性影響的詞匯，如“了”、“啊”、“嗯”等。停用詞的特點是它們在文本中的出現頻率非常高，但通常不攜帶重要的語義信息。文本數據處理3.2.3文本數據處理的方法（2）停用詞過濾的目的：停用詞過濾的主要目的是減少文本數據的稀疏性，提高后續處理任務的效率。通過去除這些無意義的詞匯，我們可以減少文本中不必要的噪聲，使文本更加簡潔、清晰。此外，停用詞過濾還可以降低后續處理任務的計算復雜度，提高處理速度。文本數據處理3.2.3文本數據處理的方法在實際應用中，停用詞過濾對于許多NLP任務都具有重要意義。例如，在信息檢索中，通過過濾停用詞，我們可以提高搜索結果的準確性和相關性；在文本分類中，去除停用詞可以減少特征空間的維度，提高分類器的性能；在機器學習中，停用詞過濾有助于減少模型的過擬合現象，提高模型的泛化能力。文本數據處理3.2.3文本數據處理的方法（3）停用詞過濾的方法停用詞過濾的方法通常包括基于詞典的方法和基于統計的方法。基于詞典的停用詞過濾方法是通過預先構建一個停用詞詞典，將文本中的詞匯與詞典中的停用詞進行匹配，從而去除文本中的停用詞。這種方法簡單、快速，但需要維護一個完整的停用詞詞典，且對于詞典未收錄的停用詞無法處理。文本數據處理3.2.3文本數據處理的方法基于統計的停用詞過濾方法是通過分析文本中詞匯的統計特性來識別停用詞。例如，我們可以計算詞匯在文本中的出現頻率、文檔頻率等統計指標，然后根據這些指標設定一個閾值，將低于閾值的詞匯視為停用詞進行過濾。這種方法可以自動發現一些詞典未收錄的停用詞，但需要處理大量的文本數據，計算復雜度較高。文本數據處理3.2.3文本數據處理的方法（4）停用詞過濾的注意事項在進行停用詞過濾時，需要注意以下幾點：選擇合適的停用詞詞典：停用詞詞典的選擇對過濾效果至關重要。應根據具體的任務和數據特點選擇合適的詞典，并定期更新詞典以適應新的語言現象。避免過度過濾：在過濾停用詞時，應避免過度過濾導致文本中重要信息的丟失。文本數據處理3.2.3文本數據處理的方法應根據實際情況調整過濾閾值，確保過濾后的文本仍然保留足夠的語義信息?？紤]領域特異性：不同領域的文本數據具有不同的語言特點，因此在進行停用詞過濾時應考慮領域特異性?？梢葬槍μ囟I域構建專門的停用詞詞典，以提高過濾效果。文本數據處理3.2.3文本數據處理的方法3詞性標注詞性標注（Part-of-SpeechTagging，簡稱POSTagging）是自然語言處理中的一個基礎任務，它旨在為文本中的每個詞分配一個合適的詞性標簽。詞性標注在句法分析、信息抽取、機器翻譯等眾多NLP任務中扮演著重要角色，它有助于計算機理解文本中的詞匯功能，進而實現更高級的語言處理任務。文本數據處理3.2.3文本數據處理的方法（1）詞性標注的定義詞性標注是指通過一定的算法或規則，自動確定文本中每個詞的詞性，并將詞性信息以標簽的形式標注出來。例如，在英文中，“run”可以是動詞（v.）或名詞（n.），而在“Iamrunning”這句話中，“run”的詞性應為動詞（v.）。文本數據處理3.2.3文本數據處理的方法在中文中，詞性標注同樣重要，如“學習”可以是動詞或名詞，根據上下文的不同，其詞性也會有所變化。詞性標注的意義在于為后續的NLP任務提供豐富的語法信息。通過詞性標注，我們可以更好地理解文本的結構和語義，提高信息抽取的準確性，優化機器翻譯的效果，以及改善句法分析的性能。文本數據處理3.2.3文本數據處理的方法（2）詞性標注的方法詞性標注的方法主要可以分為基于規則的方法和基于統計的方法兩大類。基于規則的方法主要依賴于手工編寫的語言學規則和詞典信息。它通過分析詞匯的形態、上下文以及語法結構等信息，結合預定義的規則進行詞性標注。文本數據處理3.2.3文本數據處理的方法這種方法簡單直觀，但對規則的編寫和詞典的完整性要求較高，且難以處理復雜的語言現象?；诮y計的方法利用機器學習或深度學習模型，通過訓練大量標注語料庫來學習詞性標注的規律。常用的模型包括隱馬爾可夫模型（HMM）、條件隨機場（CRF）和神經網絡等。文本數據處理3.2.3文本數據處理的方法這些方法能夠自動學習詞匯的上下文信息和詞性分布規律，對未登錄詞和復雜語言現象的處理能力較強。但訓練模型需要大量的標注語料庫，且計算復雜度較高。文本數據處理3.2.3文本數據處理的方法近年來，隨著深度學習技術的發展，基于神經網絡的詞性標注方法取得了顯著進展。這些方法通過構建復雜的神經網絡結構，如循環神經網絡（RNN）、卷積神經網絡（CNN）或Transformer等，來捕捉文本中的長距離依賴和上下文信息，從而提高詞性標注的準確性。文本數據處理3.2.3文本數據處理的方法4實體識別實體識別（EntityRecognition），又稱命名實體識別（NamedEntityRecognition，NER），是自然語言處理（NLP）中的一個核心任務。它的主要目的是從文本中識別出具有特定意義的實體，如人名、地名、組織名、日期、時間等，并將這些實體分類。文本數據處理3.2.3文本數據處理的方法實體識別在信息抽取、問答系統、機器翻譯等眾多NLP應用中發揮著關鍵作用。（1）實體識別的定義實體識別是指從文本中自動發現具有特定含義的實體，并為這些實體打上標簽的過程。根據實體的類型，實體識別通?？梢苑譃橐韵聨最悾何谋緮祿幚?.2.3文本數據處理的方法人名（Person）：識別文本中出現的人物名稱。地名（Location）：識別文本中提及的地點，如城市、國家等。組織名（Organization）：識別公司、機構、團體等組織實體的名稱。日期（Date）：識別文本中的日期信息。時間（Time）：識別文本中的具體時間點或時間段。文本數據處理3.2.3文本數據處理的方法此外，根據任務需求，還可以定義其他類型的實體，如產品名、事件名等。文本數據處理3.2.3文本數據處理的方法（2）實體識別的方法實體識別的方法主要可以分為基于規則的方法、基于統計的方法和深度學習方法。基于規則的方法依賴于手工編寫的規則模板和詞典資源。這些規則通?；谡Z言學知識、詞法句法信息以及領域知識等。通過匹配規則模板和詞典資源，可以識別出文本中的實體。文本數據處理3.2.3文本數據處理的方法然而，這種方法需要大量的規則編寫工作，且難以覆蓋所有的實體類型和語言現象?；诮y計的方法利用機器學習算法，通過訓練標注語料庫來學習實體的識別規律。常用的機器學習算法包括隱馬爾可夫模型（HMM）、條件隨機場（CRF）等。這些方法能夠自動學習文本中的實體分布規律，但通常需要大量的標注數據來訓練模型。文本數據處理3.2.3文本數據處理的方法近年來，深度學習在實體識別任務中取得了顯著進展。深度學習方法利用神經網絡模型，如循環神經網絡（RNN）、卷積神經網絡（CNN）和Transformer等，來自動學習文本的表示和實體的識別規律。通過構建復雜的神經網絡結構，深度學習方法能夠捕捉文本中的長距離依賴和上下文信息，從而提高實體識別的準確性。文本數據處理3.2.3文本數據處理的方法5文本相似度計算文本相似度計算是自然語言處理中的一個重要任務，旨在衡量兩個或多個文本之間的相似程度。在信息檢索、問答系統、文本聚類、抄襲檢測等領域中，文本相似度計算都發揮著至關重要的作用。通過比較文本間的語義和句法結構，我們可以判斷它們是否表達相同或相似的意思，從而進行相關的應用。文本數據處理3.2.3文本數據處理的方法（1）文本相似度的定義文本相似度是指兩個或多個文本在內容、主題、語義等方面的接近程度。根據具體應用場景和需求，文本相似度可以有不同的定義和計算方式。常見的文本相似度計算方法包括基于詞袋模型的方法、基于語義模型的方法和基于深度學習的方法等。文本數據處理3.2.3文本數據處理的方法（2）文本相似度計算的方法文本相似度計算的方法多種多樣，主要有兩種方式包括基于詞袋模型的相似度計算和基于語義向量的相似度計算。文本數據處理3.2.3文本數據處理的方法（3）基于詞袋模型的相似度計算詞袋模型是一種簡單直觀的文本表示方法，它將文本視為一個詞的集合，不考慮詞的順序和語法結構?；谠~袋模型的相似度計算通常使用TF-IDF（詞頻-逆文檔頻率）等權重分配策略來表示文本，并通過余弦相似度、歐氏距離等度量方式計算文本之間的相似度。文本數據處理3.2.3文本數據處理的方法（4）基于語義向量的相似度計算近年來，隨著深度學習技術的發展，基于語義向量的相似度計算方法受到了廣泛關注。這種方法通過訓練神經網絡模型，將文本映射到高維的語義空間中，得到文本的向量表示。然后，可以使用余弦相似度、點積等方式計算這些向量之間的相似度。常見的語義向量模型包括Word2Vec、GloVe、BERT等。文本數據處理3.2.3文本數據處理的方法在進行文本相似度計算時，需要注意（1）預處理，對文本進行適當的預處理是相似度計算的關鍵步驟。預處理包括分詞、去除停用詞、詞干提取或詞形還原等操作，以消除文本中的冗余和噪聲信息。（2）文本長度，文本長度對相似度計算的結果有很大影響。長文本可能包含更多的信息，但也增加了計算的復雜性。文本數據處理3.2.3文本數據處理的方法因此，在計算相似度時，需要考慮文本長度的因素，并選擇合適的度量方式。（3）域適應性，似度計算方法的性能往往受到文本領域的限制。不同的領域具有不同的詞匯和語義特點，因此需要針對特定領域進行模型訓練和調整，以提高相似度計算的準確性。文本數據處理64班級：組別：姓名：掌握程度：任務名稱基于jieba的文本處理任務目標文本分詞，去除停用詞，詞性標注，實體識別，計算文本相似度操作系統Win10、Win11工具清單Python，pycharm，jieba，gensim操作步驟1.文本分詞：使用jieba庫進行文本分詞2.去除停用詞：使用jieba庫去除停用詞3.詞性標注：使用jieba庫進行詞性標注4.實體識別：使用jieba庫進行實體識別5.計算文本相似度：使用gensim庫計算文本相似度考核標準正確生成要求的文本步驟一分詞處理1264SUGGESTION1一、新建項目，打開pycharm點擊左上角File按鈕并選擇新建項目。1264二、定義項目名稱和目錄，目錄里不需要包含項目名稱。之后選擇電腦中安裝的對應的python版本。最后，點擊右下角的創建按鈕來創建一個新的python項目。1264SUGGESTION1三、在終端輸入命令pipinstalljieba來安裝jieba模塊。注意要安裝在當前項目的虛擬環境下，即終端的代碼輸入的開頭要有.venv的字樣，以及檢查右下角的解釋器是否是當前項目虛擬環境下的。如圖：1264SUGGESTION11264SUGGESTION1Python的jieba庫是一個中文分詞工具，它可以將一段中文文本分割成一個一個的詞語，方便后續的自然語言處理任務，如文本分類、情感分析等。jieba庫使用了基于前綴詞典的分詞方法，能夠處理中文的各種復雜情況，如歧義詞、新詞等。它還提供了多種分詞模式，如精確模式、全模式、搜索引擎模式等，以適應不同場景的需求。此外，jieba庫還支持用戶自定義詞典，使得分詞結果更加準確。1264SUGGESTION1運行結果如下：1264步驟二停用詞過濾代碼示例如左：1264SUGGESTION1代碼中使用了re.findall()函數來查找文本text3中所有符合指定正則表達式[\u4e00-\u9fa5]+的中文字符。其中：1.[\u4e00-\u9fa5]是一個正則表達式范圍，表示Unicode編碼中漢字的范圍，\u4e00是第一個漢字“一”的Unicode編碼，\u9fa5是最后一個漢字“龥”的Unicode編碼。2.+表示匹配前面的字符1次或多次。3.re.S是一個標志參數，表示.可以匹配包括換行符在內的任意字符。12641知識擴展：1.Unicode編碼：Unicode是一種國際標準，用于文本的編碼和表示。每個字符都分配了一個唯一的Unicode碼點，可以通過\u前綴來表示。例如，漢字“一”的Unicode碼點是\u4e00。2.正則表達式：正則表達式是一種用于匹配文本模式的工具。在正則表達式中，[]用于表示字符范圍，+表示匹配前面的字符1次或多次。\u4e00-\u9fa5表示匹配所有的中文字符。3.re.findall()函數：re.findall()函數用于在文本中查找所有匹配的子串，并返回一個包含所有匹配子串的列表。12641步驟三詞性標注jieba分詞的詞性標注過程非常類似于jieba分詞的分詞流程，同時進行分詞和詞性標注。jieba分詞系統的詞性標注流程可簡要概括為以下幾個步驟：1.漢字判斷：首先，系統判斷每個詞語是否為漢字。如果是漢字，則基于前綴詞典構建有向無環圖，計算最大概率路徑，并查找詞性。如果未找到詞性，則將詞性標注為“x”（非語素字）。2.非漢字判斷：若詞語不是漢字，則根據正則表達式判斷其類型。如果是數字，則標注為“m”（數詞）。如果是英文，則標注為“eng”（英文）。這樣，jieba分詞系統能夠對句子進行分詞的同時，也能夠為每個詞語標注相應的詞性，從而幫助進一步的文本分析和理解。1264SUGGESTION1代碼示例及運行結果如右圖：12641psg.cut()函數接收一個字符串作為輸入，并返回一個生成器，生成器每次yield出一個由詞語和詞性組成的元組。當我們使用這段代碼時，實際上是在利用jieba來幫助我們處理文本。而這段代碼的作用就是把我們提供的文本按照詞語進行分割，并且為每個詞語確定一個詞性，比如說是名詞、動詞等等。更具體地說，代碼中的psg.cut()函數會接收我們提供的文本作為輸入，然后把它分割成一個個詞語，并且為每個詞語標注出它在句子中扮演的角色，就好像給每個詞語貼上一個標簽一樣。這樣，我們就可以更加方便地理解文本的結構和含義，從而進行后續的分析和處理。而生成器則是一種方便的數據結構，可以讓我們逐個地處理每個詞語及其對應的詞性信息，而不必一次性加載整個文本，從而節省內存和提高效率。12641步驟四實體識別jieba庫提供了命名實體識別（NamedEntityRecognition，簡稱NER）功能，可以用于從文本中識別和標注命名實體，如人名、地名、機構名等。這個功能可以幫助我們從文本中提取出重要的實體信息，對于信息提取、信息檢索等任務很有幫助。使用jieba進行命名實體識別的主要步驟如下：1.導入模塊：首先導入jieba庫中的命名實體識別模塊，通常是jieba.posseg。2.分詞并識別命名實體：將待識別的文本傳入分詞器，并指定需要識別的詞性（如人名、地名等）。通常使用jieba.posseg.cut()函數進行分詞和詞性標注。3.獲取命名實體：根據詞性標注的結果，提取出命名實體，如人名、地名等。4.處理命名實體：對識別出的命名實體進行后續處理，如統計、分析等。1264SUGGESTION1代碼示例及運行結果如下：運行代碼后，會輸出識別到的名詞實體，包括地名、人名以及機構名。步驟五文本相似度計算1264SUGGESTION1本次學習中我們需要使用gensim來進行文本相似度的計算。在終端輸入：pipinstallgensim，以此來安裝gensim。61若pip下載速度太慢，可以將pip換為國內鏡像源，在終端輸入：pipconfigsetglobal.index-urlhttps：///simple64SUGGESTION1將pip源更換為國內鏡像源有幾個好處：加快下載速度，國內鏡像源通常位于國內服務器，下載速度更快，特別是對于國外的包和庫，可以顯著減少下載時間。就像你在本地買東西一樣，不用等待國外快遞。此外，pip換源的穩定性更高，使用國內鏡像源可以減少由于網絡波動或跨國連接引起的下載中斷或失敗。有利于避免限制，有些國外源可能會被限制或屏蔽，導致無法正常下載包，而國內鏡像源則不受此影響。國內鏡像源：阿里云 http：///pypi/simple/豆瓣 http：///simple/清華大學 https：///simple/中國科學技術大學 http：///simple/華中科技大學 http：///這里我們用清華源作為鏡像源。1264代碼實例如左圖：12641這段代碼的目的是計算一個關鍵詞與一組文本之間的相似度。首先，gensim庫主要用于