熟悉文本分類與聚類

深入文本進階處理文本挖掘簡介文本分類與聚類的步驟用戶可獲得的信息包含技術(shù)資料、商業(yè)信息、新聞報道、娛樂資訊等，可構(gòu)成一個異常龐大的具有異構(gòu)性、開放性等特性的分布式數(shù)據(jù)庫。結(jié)合人工智能研究領(lǐng)域中的NLP技術(shù)，從數(shù)據(jù)挖掘中派生出了文本挖掘這個新興的數(shù)據(jù)挖掘研究領(lǐng)域。文本挖掘簡介文本挖掘概念文本分類常用算法文本聚類常用算法文本聚類常用算法文本聚類思想：對無類別標(biāo)識的文本集合進行分析。實質(zhì)：就是將相似度高的樣本聚為一類，并且期望同類樣本之間的相似度盡可能高，不同類別之間的樣本相似度盡可能低。聚類算法基于劃分的聚類算法基于層次的聚類算法基于密度的聚類算法基于模型的聚類算法文本聚類常用算法基于劃分的聚類算法基于劃分的聚類算法思想：給定一個有n個記錄的數(shù)據(jù)集，將數(shù)據(jù)集劃分為K個分組，每一個分組稱為一個簇。對于給定的K個分組，同一個分組內(nèi)的數(shù)據(jù)記錄距離越近越好，不同分組之間的距離則越遠(yuǎn)越好。方法：K-Means、Single-Pass增量聚類算法、K-Medoids和CLARANS基于隨機選擇的聚類算法（ClusteringAlgorithmbasedonRandomizedSearch，CLARANS）。基于劃分的聚類算法基于劃分的聚類算法——K-Means優(yōu)化目標(biāo)：基于劃分的聚類算法基于劃分的聚類算法——K-Means輸入樣本集合及聚類簇數(shù)。從樣本集中隨機選擇k個樣本點作為k個簇中心。計算每個樣本點到每個簇中心的距離。按照距離遠(yuǎn)近將每個樣本點歸入相應(yīng)的簇內(nèi)。更新每個簇的中心。重復(fù)步驟2～5，直至簇中心不再變化。輸出聚類結(jié)果。基于層次的聚類算法基于層次的聚類算法思想：將樣本集合合并成凝聚度更高或分裂成更細(xì)致的子樣本集合，最終樣本集合形成一棵層次樹。方法：變色龍算法、嵌套層次聚類算法（AgglomerativeNesting，AGNES）、基于代表的聚類算法（ClusteringUsingRepresentatives，CURE）?；趯哟蔚木垲愃惴ɑ趯哟蔚木垲愃惴ɑ具^程：基于層次的聚類算法基于層次的聚類算法輸入樣本集合、對聚類簇函數(shù)做出規(guī)定，給出聚類的簇數(shù)。將每個樣本點作為單獨的一簇。計算任何兩個簇之間的距離。按照距離最近原則合并簇。若當(dāng)前聚類簇數(shù)未到達(dá)規(guī)定的聚類簇數(shù)，則返回步驟3，否則聚類結(jié)束。輸出聚類結(jié)果?；诿芏鹊木垲愃惴ɑ诿芏鹊木垲愃惴ㄋ枷耄赫页雒芏容^高的樣本點，再將周圍相近的密度較高的樣本點連成一片，最后形成各類簇。方法：具有噪聲的基于密度的聚類（Density-BasedSpatialClusteringofApplicationswithNoise，DBSCAN）、基于排序點識別的聚類結(jié)構(gòu)（OrderingPointstoIdentifytheClustering，OPTICS）?；诿芏鹊木垲愃惴ɑ诿芏鹊木垲愃惴ā狣BSCAN：基于密度的聚類算法基于密度的聚類算法——DBSCAN輸入樣本集合、初始化距離參數(shù)，數(shù)目參數(shù)MinPts。確定核心對象集合。在核心對象集合中，隨機選擇一個核心對象作為種子。依據(jù)簇劃分原則生成一個簇，并更新核心對象集合。若核心對象集合為空，則算法結(jié)束，否則返回步驟3。輸出聚類結(jié)果?；谀Ｐ偷木垲愃惴ɑ谀Ｐ偷木垲愃惴ㄋ枷耄杭僭O(shè)每個類為一個模型，尋找與該模型擬合最好的數(shù)據(jù)。方法：基于概率（概率生成模型）：高斯混合模型（GaussianMixtureModels，GMM）基于神經(jīng)網(wǎng)絡(luò)基于模型的聚類算法基于模型的聚類算法——GMM：基于模型的聚類算法基于模型的聚類算法——GMM假設(shè)空間概率分布由k個高斯分布混合組成，初始化高斯分布，即初始化混合系數(shù)、均值和方差。計算各混合生成的后驗概率。通過EM算法計算參數(shù)更新。重復(fù)2、3步驟，直到滿足停止條件。將樣本按照最大化劃入相應(yīng)的簇中，最終得到k個聚類。文本分類與聚類的步驟文本分類與聚類的步驟：數(shù)據(jù)準(zhǔn)備：文本數(shù)據(jù)一般是非結(jié)構(gòu)化的數(shù)據(jù)，這些數(shù)據(jù)或多或少會存在數(shù)據(jù)缺失、數(shù)據(jù)異常、數(shù)據(jù)格式不規(guī)范等情況，這時需要對其進行預(yù)處理數(shù)據(jù)清洗、數(shù)據(jù)轉(zhuǎn)換、數(shù)據(jù)標(biāo)準(zhǔn)化、缺失值和異常值處理等，貫徹高質(zhì)量發(fā)展精神文本分類與聚類的步驟文本分類與聚類的步驟：特征提取：BOW模型：擁有過大的特征維數(shù)，數(shù)據(jù)過于稀疏TF、TF-IDF：運用統(tǒng)計的方法，將詞匯的統(tǒng)計特征作為特征集，但效果與BOW模型相差不大n-gramWord2Vec文本分類與聚類的步驟文本分類與聚類的步驟：模型選擇與訓(xùn)練：對處理好的數(shù)據(jù)進行分析，選擇適合用于訓(xùn)練的模型判斷數(shù)據(jù)中是否存在類標(biāo)簽有：歸為監(jiān)督學(xué)習(xí)問題無：劃分為無監(jiān)督學(xué)習(xí)問題文本分類與聚類的步驟文本分類與聚類的步驟：模型測試：通過測試數(shù)據(jù)可以對模型進行驗證，分析產(chǎn)生誤差的原因數(shù)據(jù)來源、特征、算法等尋找在測試數(shù)據(jù)中的