《自然語言處理技術》基礎案例基于TF-IDF的文本向量化V1.0_第1頁
《自然語言處理技術》基礎案例基于TF-IDF的文本向量化V1.0_第2頁
《自然語言處理技術》基礎案例基于TF-IDF的文本向量化V1.0_第3頁
《自然語言處理技術》基礎案例基于TF-IDF的文本向量化V1.0_第4頁
全文預覽已結束

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

《自然語言處理技術》代碼42所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s12準備文本數據text_data=["真正的虛心,是自己毫無成見,思想完全解放,不受任何束縛,對一切采取實事求是的態度,具體分析情況對于任何方面反映的意見,都要加以考慮,不要聽不進去。","德育目標:在語文學習活動中,不斷充實精神生活,完善自我人格,提升人生境界,逐步加深對個人與國家、個人與社會、個人與自然關系的思考與認識。從而樹立積極向上的人生理想",]創建TF-IDF向量化器創建一個TF-IDF向量化器對象vectorizer,如REF_Ref133681793\h代碼43所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s13創建TF-IDF向量化器#創建TF-IDF向量化器vectorizer=TfidfVectorizer()進行文本向量化使用fit_transform()方法對文本數據進行向量化,并將向量化后的結果存儲在vectorized_data變量中,如REF_Ref133684239\h代碼44所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s14進行文本向量化#將文本數據向量化vectorized_data=vectorizer.fit_transform(text_data)輸出文本向量化結果獲取特征詞列表,并遍歷每個文本示例的向量化結果。對于每個特征詞,輸出它在當前文本示例中的TF-IDF值,如REF_Ref133684257\h代碼45所示。代碼STYLEREF1\s4SEQ代碼\*ARABIC\s15輸出文本向量化結果#獲取特征詞列表feature_names=vectorizer.get_feature_names()#輸出特征詞列表print("特征詞列表:")foriinrange(len(text_data)):#獲取當前文本示例的向量化結果row=vectorized_data[i]#輸出當前文本示例的索引print(f"文本示例{i+1}:")#遍歷當前文本示例的非零特征詞索引和對應的TF-IDF值forj,valueinzip(row.indices,row.data):#輸出特征詞和對應的TF-IDF值print(f"特征詞:{feature_names[j]},TF-IDF值:{value:.3f}")#輸出換行符,用于分隔不同的文本示例print('')運行代碼STYLEREF1\s4SEQ代碼\*ARABIC\s15,得到文本數據的特征詞和對應的TF-IDF值如下。特征詞列表:文本示例1:特征詞:不要聽不進去,TF-IDF值:0.354特征詞:都要加以考慮,TF-IDF值:0.354特征詞:具體分析情況對于任何方面反映的意見,TF-IDF值:0.354特征詞:對一切采取實事求是的態度,TF-IDF值:0.354特征詞:不受任何束縛,TF-IDF值:0.354特征詞:思想完全解放,TF-IDF值:0.354特征詞:是自己毫無成見,TF-IDF值:0.354特征詞:真正的虛心,TF-IDF值:0.354文本示例2:特征詞:從而樹立積極向上的人生理想,TF-IDF值:0.333特征詞:個人與自然關系的思考與認識,TF-IDF值:0.333特征詞:個人與社會,TF-IDF值:0.333特征詞:逐步加深對個人與國家,TF-IDF值:0.333特征詞:提升人生境界,TF-IDF值:0.333特征詞:完善自我人格,TF-ID

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論