自然語言及語音處理項目式教程 課件3.2.2-1文本向量化之離散表示_第1頁
自然語言及語音處理項目式教程 課件3.2.2-1文本向量化之離散表示_第2頁
自然語言及語音處理項目式教程 課件3.2.2-1文本向量化之離散表示_第3頁
自然語言及語音處理項目式教程 課件3.2.2-1文本向量化之離散表示_第4頁
自然語言及語音處理項目式教程 課件3.2.2-1文本向量化之離散表示_第5頁
已閱讀5頁，還剩10頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

了解文本向量化

深入文本進階處理知識引入文本向量化將文本表示成一系列能夠表達文本語義的向量。在NLP中，文本向量化是一個重要環節，其產出的向量質量將直接影響到后續模型的表現。NLP知識引入NLP領域特性計算機任何計算的前提都是向量化，而文本難以直接被向量化。文本的向量化應當盡可能地包含語言本身的信息，但文本中存在多種語法規則及其他種類的特性，導致向量化困難。自然語言本身可體現人類社會深層次的關系（如諷刺等語義），這種關系會給向量化帶來挑戰。此外，在文本向量化的過程中，根據映射方法的不同，將其分為文本離散表示和文本分布式表示。在實際應用中，可根據具體情況選擇適合的方法。知識引入文本離散表示文本分布式表示文本離散表示離散表示：基于規則和統計的向量化方式。特點：忽略文本信息中的語序信息和語境信息；僅將其反映為若干維度的獨立概念。問題：如主語和賓語的順序問題，無法區分“我為你鼓掌”和“你為我鼓掌”。獨熱表示BOW模型TF-IDF表示獨熱表示獨熱表示用一個長的向量表示一個詞。向量長度為字典的大小。每個向量只有一個維度為1。其余維度全部為0。向量中維度為1的位置表示該詞語在字典中的位置。獨熱表示獨熱表示示例：實現中華民族偉大復興實現民族偉大團結構造字典：{"實現":1,"中華":2,"民族":3,"偉大":4,"復興":5,"團結":6}向量化：獨熱向量表示實現：[1,0,0,0,0,0]中華：[0,1,0,0,0,0]民族：[0,0,1,0,0,0]偉大：[0,0,0,1,0,0]復興：[0,0,0,0,1,0]團結：[0,0,0,0,0,1]獨熱表示獨熱表示優缺點：優點：操作簡單缺點：維數過大矩陣稀疏不能保留語義BOW模型BOW模型用一個向量表示一句話或一個文檔。忽略文檔的詞語順序、語法、句法等要素。將文檔看作若干個詞匯的集合。文檔中每個詞都是獨立的。每個維度上的數值代表ID對應的詞在句子里出現的頻次。BOW模型BOW模型示例：實現中華民族偉大復興實現民族偉大團結構造字典：{"實現":1,"中華":2,"民族":3,"偉大":4,"復興":5,"團結":6}向量化：詞庫句子向量1句子向量2實現11中華10民族11偉大11復興10團結01BOW模型BOW模型缺點：維數過大矩陣稀疏不能保留語義TF-IDF表示1用一個向量表示一個句話或一個文檔。2在

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論