自然語言及語音處理項目式教程 課件3.2.2-2文本向量化之Wd2Vec_第1頁
自然語言及語音處理項目式教程 課件3.2.2-2文本向量化之Wd2Vec_第2頁
自然語言及語音處理項目式教程 課件3.2.2-2文本向量化之Wd2Vec_第3頁
自然語言及語音處理項目式教程 課件3.2.2-2文本向量化之Wd2Vec_第4頁
自然語言及語音處理項目式教程 課件3.2.2-2文本向量化之Wd2Vec_第5頁
已閱讀5頁，還剩12頁未讀， 繼續免費閱讀

下載本文檔

版權說明：本文檔由用戶提供并上傳，收益歸屬內容提供方，若內容存在侵權，請進行舉報或認領

文檔簡介

了解文本向量化

深入文本進階處理文本離散表示文本分布式表示文本分布式表示文本分布式表示：將每個詞根據上下文從高維空間映射到一個低維度、稠密的向量。思想：詞的語義是通過上下文信息確定的。優點：考慮到了詞與詞之間存在的相似關系，減小了詞向量的維度。文本分布式表示分布式表示VS獨熱表示：形式上功能上獨熱表示的詞向量是一種稀疏詞向量，其長度就是字典長度。分布式表示是一種固定長度的稠密詞向量。分布式表示最大的特點是相關或相似的詞在語義距離上更接近。文本分布式表示常用方法：基于矩陣的分布式表示LSA矩陣分解模型PLSA潛在語義分析概率模型LDA文檔生成模型基于聚類的分布式表示基于神經網絡的分布式表示Word2Vec模型Doc2Vec模型Word2Vec模型Word2Vec模型：Google開源了一款用于詞向量建模的工具、簡單化的神經網絡模型?？梢栽诎偃f數量級的字典和上億數量級的數據集上進行高效的訓練。A得到的訓練結果可以很好地度量詞與詞之間的相似性。BWord2Vec模型Word2Vec模型特點：在模型訓練好后，不會使用訓練好的模型處理新的任務。使用模型通過訓練數據所學得的參數。Word2Vec模型Word2Vec模型訓練流程：構建語料庫創建詞匯表準備訓練數據訓練模型評估模型Word2Vec模型CBOW模型輸入：某一個特定詞的上下文對應的獨熱向量。輸出：這個特定詞的概率分布。小型語料庫。Skip-Gram模型輸入：一個特定詞的獨熱向量。輸出：這個特定詞的上下文的概率分布。大型語料庫。CBOW模型CBOW模型結構：CBOW模型將詞匯表中的所有詞都轉化為獨熱向量輸入到CBOW模型，CBOW模型由權重矩陣決定，權重矩陣的確定流程。對權重矩陣隨機值初始化權重矩陣可以通過隨機梯度下降法確定，按序訓練樣本，計算損失函數計算這些損失函數的梯度，在梯度方向更新權重矩陣CBOW模型CBOW模型示例：建設美麗新中國Skip-Gram模型Skip-Gram模型結構：Skip-Gram模型Skip-Gram模型的輸出是一個概率分布，表示在給定中心詞匯下，每個單詞作為上下文單詞的概率。該模型同樣是由權重矩陣決定，權重矩陣的訓練流程如下。對權重矩陣隨機值初始化通過隨機梯度下降算法確定權重矩陣，計算交叉熵損失函數計算交叉熵函

溫馨提示

  • 1. 本站所有資源如無特殊說明，都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等，如果需要附件，請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙，網頁內容里面會有圖紙預覽，若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間，僅對用戶上傳內容的表現方式做保護處理，對用戶上傳分享的文檔內容本身不做任何修改或編輯，并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容，請與我們聯系，我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論