1、.：.；人工智能的文本分類方法簡述摘要：本文論述了一些根本的文本分類的方法，以及一些改良的文本文類的方法，并包含了一些文本分類的實(shí)踐運(yùn)用。其中著重論述了貝葉斯分類以及一些其他的的文本分類方法。最后提出了如今文本分類方法中存在的一些問題。關(guān)鍵詞：文本分類；貝葉斯方法；數(shù)據(jù)發(fā)掘；分類算法。0 引言文本分類是指在給定分類體系下 , 根據(jù)文本內(nèi)容 (自動) 確定文本類別的過程。20世紀(jì)90年代以前 ,占主導(dǎo)位置的文本分類方法不斷是基于知識工程的分類方法 , 即由專業(yè)人員手工進(jìn)展分類。目前在國內(nèi)也曾經(jīng)開場對中文文本分類方法進(jìn)展研討 , 相比于英文文本分類 , 中文文本分類的一個(gè)重要的差別在于預(yù)處置階段:

2、 中文文本的讀取需求分詞 , 不像英文文本的單詞那樣有空格來區(qū)分。從簡單的查詞典的方法 , 到后來的基于統(tǒng)計(jì)言語模型的分詞方法 , 中文分詞的技術(shù)已趨于成熟。并在信息檢索、Web文檔自動分類、數(shù)字圖書館、自動文摘、分類新聞組、文本過濾、單詞語義辨析以及文檔的組織和管理等多個(gè)領(lǐng)域得到了初步的運(yùn)用。人工智能的根本方法就是對人類智能活動的仿真。小樣本數(shù)據(jù)可以看作是一種先驗(yàn)知識不完全的數(shù)據(jù)集。人類在處置類似的決策問題時(shí),通常采用的戰(zhàn)略為: 1,利用多專家決策來提高決策的可信度; 2,專家的決策技藝在決策的過程中可以得到不斷的加強(qiáng),即專家具有學(xué)習(xí)功能; 3,在專家的技藝得到加強(qiáng)的根底上,再進(jìn)展決策可以提

3、高決策的正確性。這種方法同樣適用于小樣本數(shù)據(jù)的分類識別。經(jīng)過對上述方法的仿真,本文提出了智能分類器,它不僅可以對未知樣本進(jìn)展分類,同時(shí)它還具有多專家決策、 預(yù)分類和學(xué)習(xí)功能。1 分類的根本概念分類就是根據(jù)數(shù)據(jù)集的特點(diǎn)找出類別的概念描畫, 這個(gè)概念描畫代表了這類數(shù)據(jù)的整體信息,也就是該類的內(nèi)涵描畫,并運(yùn)用這種類的描畫對未來的測試數(shù)據(jù)進(jìn)展分類。分類的過程普通分為兩個(gè)步驟:第一步, 經(jīng)過知數(shù)據(jù)集建立概念描畫模型; 第二步, 就是利用所獲得的模型進(jìn)展分類操作。對各種分類方法的評價(jià)可以根據(jù)以下幾條規(guī)范進(jìn)展: 1)預(yù)測準(zhǔn)確率,指模型可以正確預(yù)測未知數(shù)據(jù)類別的才干; 2)速度,指構(gòu)造和運(yùn)用模型時(shí)的計(jì)算效率;

4、 3) 魯棒性,指在數(shù)據(jù)帶有噪聲或有數(shù)據(jù)遺失的情況下,模型仍能進(jìn)展正確預(yù)測的才干; 4) 可擴(kuò)展性, 指對處置大量數(shù)據(jù)并構(gòu)造相應(yīng)有效模型的才干; 5) 易了解性, 指所獲模型提供的可了解程度。2 常用的分類算法 2.1基于決策樹的分類所謂決策樹就是一個(gè)類似流程圖的樹型構(gòu)造,其中樹的每個(gè)節(jié)點(diǎn)對應(yīng)一個(gè)非類別屬性,每條邊對應(yīng)這個(gè)屬性的每種能夠值,而樹的每個(gè)葉結(jié)點(diǎn)代表一個(gè)類別( 如圖 1)。生成決策樹的一個(gè)著名的算法是 Quinlan 提出的 ID3算法, ID3 算法從樹的根節(jié)點(diǎn)處的一切訓(xùn)練樣本開場, 選取一個(gè)屬性來區(qū)分這些樣本, 屬性的每一個(gè)值產(chǎn)生一個(gè)分支。將分支屬性值的相應(yīng)樣本子集移到新生成的子

5、節(jié)點(diǎn)上。這個(gè)算法遞歸地運(yùn)用于每個(gè)子節(jié)點(diǎn), 直到一個(gè)節(jié)點(diǎn)上的一切樣本都分區(qū)到某個(gè)類中。屬性選擇采用信息增益的方法來確定。選擇具有最高信息增益( 熵減少的程度最大) 的屬性作為當(dāng)前結(jié)點(diǎn)的測試屬性, 這樣保證所產(chǎn)生的決策樹最為簡單,任務(wù)量最小。設(shè) S 為一個(gè)包含了 S 個(gè)數(shù)據(jù)樣本的集合,且類別屬性可以取 m 個(gè)不同的值 C 1, C 2, Cm 。假設(shè) Si 為類別Ci 中的樣本個(gè)數(shù); 那么對一個(gè)給定數(shù)據(jù)對象進(jìn)展分類所需求的信息量為:其中 p i= s i/ s。設(shè)一個(gè)屬性 A 取 v 個(gè)不同的值 a1 , a2, av , 利用屬性 A 將S 劃分為 v 個(gè)子集 S 1, S 2 , Sv , 設(shè)

6、 S i j 為子集 Sj中屬于Ci 類別的樣本數(shù)。那么利用屬性 A 劃分當(dāng)前樣本集合所需求的信息(熵)可以按如下公式計(jì)算:這樣利用屬性 A 對當(dāng)前分支結(jié)點(diǎn)進(jìn)展相應(yīng)樣本集合劃分所獲得的信息增益就是:經(jīng)過以上公式計(jì)算每個(gè)屬性的信息增益。選擇具有最高信息增益的屬性作為給定集合 S 的測試屬性, 創(chuàng)建一個(gè)節(jié)點(diǎn),并以該屬性標(biāo)志, 對屬性的每個(gè)值創(chuàng)建分支,進(jìn)展樣本劃分。ID3 算法在選擇屬性時(shí)利用了信息增益的概念,算法的根底實(shí)際明晰;決策樹的每個(gè)分支都對應(yīng)一個(gè)分類規(guī)那么, 因此產(chǎn)生的分類規(guī)那么易于了解;同時(shí), 分類速度較快,準(zhǔn)確率較高。但是 ID3 算法也存在著許多缺乏: 1) 不可以處置延續(xù)值屬性;

7、2) 計(jì)算信息增益時(shí)偏向于選擇取值較多的屬性; 3)對噪聲較為敏感; 4) 在構(gòu)造樹的過程中, 需求對數(shù)據(jù)集進(jìn)展多次的順序掃描和排序,因此導(dǎo)致算法的低效; 5) 只適宜于可以駐留于內(nèi)存的數(shù)據(jù)集運(yùn)用,當(dāng)訓(xùn)練集大得無法在內(nèi)存包容時(shí)程序無法運(yùn)轉(zhuǎn)。ID3 的改良算法有 C4. 5, C4. 5 用信息增益率來選擇屬性,抑制了用信息增益選擇屬性時(shí)偏向選擇屬性值多的屬性的缺乏。此外,在樹構(gòu)造過程中或構(gòu)造完成后進(jìn)展剪枝, 提高了抗噪聲才干;可以對延續(xù)值屬性進(jìn)展離散化處置; 可以對不完好數(shù)據(jù)進(jìn)展處置。常用的決策樹算法還有 SLIQ 算法。SLIQ 算法對 C4. 5分類算法的實(shí)現(xiàn)方法進(jìn)展了改良,在決策樹的構(gòu)造

8、過程中采用了預(yù)排序與廣度優(yōu)先增長戰(zhàn)略,使得該算法可以處置更大的訓(xùn)練集,因此在一定程度上具有良好的隨記錄個(gè)數(shù)和屬性個(gè)數(shù)增長的可擴(kuò)展性。但是它依然存在著一些缺乏; 1) 由于需求將類別列表存放于內(nèi)存,在一定程度上限制了可以處置的數(shù)據(jù)集的大小; 2) 由于采用了預(yù)排序技術(shù), 而排序算法的復(fù)雜度本身并不是與記錄個(gè)數(shù)成線性關(guān)系, 因此使得SLIQ 算法不能夠到達(dá)隨記數(shù)目增長的線性可擴(kuò)展性。2.2 貝葉斯分類貝葉斯分類是統(tǒng)計(jì)學(xué)分類在方法,它可以預(yù)測一個(gè)給定樣本屬于某一類別的概率。貝葉斯分類是基于貝葉斯定理而構(gòu)造出來的。根本貝葉斯分類( Naive Bayes) 首先假設(shè)一個(gè)屬性值對給定類的影響?yīng)毩⒂谄渌鼘?/p>

9、性的值, 即類條件獨(dú)立, 它可以協(xié)助 有效減少在構(gòu)造貝葉斯分類器時(shí)所需求的計(jì)算量。根本貝葉斯分類的任務(wù)過程如下:給定一個(gè)沒有類標(biāo)號的數(shù)據(jù)樣本 X ,用 X = x 1, x 2 ,x n表示,分別描畫 X 在 n 個(gè)屬性 A 1 , A 2 , An 上的屬性值。設(shè)有 m 個(gè)類 C1 , C2 , Cm ,那么, 將樣本 X 分配給類Ci 的條件就是:根據(jù)貝葉斯定理：其中, P ( X )對于一切類來說為常數(shù), P ( Ci) = si/ s。假定各屬性值相互條件獨(dú)立(類條件獨(dú)立) , 這樣 P ( X | Ci )的計(jì)算可運(yùn)用公式:概率 P( x k | Ci)可以由訓(xùn)練樣本估算: 1) 假

10、設(shè) Ak 是分類屬性, 那么 P ( x k | Ci) = s ik / si。2) 假設(shè) Ak 是延續(xù)值屬性,那么通常假定該屬性服從高斯分布, 用高斯密度的數(shù)計(jì)算。因此, 對未知樣本 X 分類,樣本 X 被分類到類 Ci,而且僅當(dāng)根本貝葉斯分類假定類條件獨(dú)立, 簡化了計(jì)算。當(dāng)假定成立時(shí), 與其它分類算法相比,根本貝葉斯分類是最準(zhǔn)確的。但實(shí)踐上變量間的相互依賴情況是較為常見的。為處理這個(gè)問題, 可運(yùn)用貝葉斯信心網(wǎng)絡(luò)描畫這種相互關(guān)聯(lián)的概率分布。該網(wǎng)絡(luò)可以描畫各屬性子集之間有條件的相互獨(dú)立, 它提供了一個(gè)圖形模型來描畫其中的因果關(guān)系。貝葉斯分類在處置大規(guī)模數(shù)據(jù)庫時(shí), 表現(xiàn)出了較高的分類準(zhǔn)確性和運(yùn)

11、算性能。它還可為其它分類算法提供理結(jié)論定。但是, 該算法沒有直接的分類規(guī)那么輸出。2.3 神經(jīng)網(wǎng)絡(luò)神經(jīng)網(wǎng)絡(luò)就是一組相互銜接的輸入輸出單元( 又稱神經(jīng)元) , 單元之間的每個(gè)銜接都與一個(gè)權(quán)重相關(guān)聯(lián)。在網(wǎng)絡(luò)學(xué)習(xí)階段, 網(wǎng)絡(luò)經(jīng)過調(diào)整權(quán)重來實(shí)現(xiàn)輸入樣本與其相應(yīng)類別的對應(yīng)。神經(jīng)網(wǎng)絡(luò)訓(xùn)練終了后, 只需把數(shù)據(jù)輸入到已訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)輸入端, 就可以從輸出端直接得到分類結(jié)果。神經(jīng)網(wǎng)絡(luò)分類過程可以分為訓(xùn)練和分類兩個(gè)階段。在訓(xùn)練階段,首先定義網(wǎng)絡(luò)的拓?fù)錁?gòu)造, 再對訓(xùn)練樣本中的每個(gè)屬性的值進(jìn)展規(guī)范化預(yù)處置, 然后用神經(jīng)網(wǎng)絡(luò)對已預(yù)處置的輸入進(jìn)展學(xué)習(xí)。訓(xùn)練終了后, 用訓(xùn)練好的神經(jīng)網(wǎng)絡(luò)對標(biāo)識樣本進(jìn)展分類。目前的神經(jīng)網(wǎng)絡(luò)模

12、型很多, 而反向傳播模型( BP模型)是運(yùn)用最多的典型神經(jīng)網(wǎng)絡(luò)。反向傳播算法在多層前饋神經(jīng)網(wǎng)絡(luò)上學(xué)習(xí), 如圖 2。其中的輸入對應(yīng)每個(gè)訓(xùn)練樣本的各個(gè)屬性取值; 輸入賦給輸入層單元,這些單元的輸出結(jié)合相應(yīng)的權(quán)重饋給第二層( 隱藏層) 單元;隱藏層的帶權(quán)輸出又作為輸入再饋給另一隱層等等,最后的隱層結(jié)點(diǎn)帶權(quán)輸出饋給輸出層單元, 輸出層單元最終給出相應(yīng)樣本的預(yù)測輸出。 反向傳播經(jīng)過迭代的處置一組訓(xùn)練樣本, 將每個(gè)樣本的網(wǎng)絡(luò)預(yù)測與實(shí)踐知道的類標(biāo)號進(jìn)展比較、 學(xué)習(xí),經(jīng)過修正權(quán),使網(wǎng)絡(luò)預(yù)測與實(shí)踐類之間的均方誤差最小。這種修正是向后進(jìn)展的, 即由輸出層, 經(jīng)過每個(gè)隱藏層,到第一個(gè)隱藏層。當(dāng)權(quán)最終收斂時(shí), 學(xué)習(xí)過

13、程停頓。神經(jīng)網(wǎng)絡(luò)法的優(yōu)點(diǎn)是有較強(qiáng)的抗噪才干,對未經(jīng)訓(xùn)練的數(shù)據(jù)也具有較好的預(yù)測分類才干。神經(jīng)網(wǎng)絡(luò)的主要缺陷是它的知識表示問題,也就是說用加權(quán)鏈連結(jié)單元的網(wǎng)絡(luò)所表示的知識很難被人了解。此外, 神經(jīng)網(wǎng)絡(luò)法的學(xué)習(xí)時(shí)間較長,僅適用于時(shí)間允許的運(yùn)用場所; 對于如網(wǎng)絡(luò)構(gòu)造等關(guān)鍵參數(shù),通常需求閱歷方能有效確定。 3 智能文本處置戰(zhàn)略由于文本本身的復(fù)雜性、不規(guī)律性的特征 ,文本自動分類系統(tǒng)是一個(gè)涉及多方面綜合的系統(tǒng) ,想獲得 良好的文本分類效果 ,不僅僅是單純的分類處置算法的問題 ,必需運(yùn)用多種手段加以處理 ,特別是文檔分類系統(tǒng)作為一個(gè)有指點(diǎn)的學(xué)習(xí)系統(tǒng),與其它控制系統(tǒng)具有類似的特性 ,可以自創(chuàng)其它的智能控制技術(shù)

14、加以處理。為此 ,根據(jù)文本自動分類處置的特點(diǎn),我們給出一種文本分類系統(tǒng)的多戰(zhàn)略智能處理方案,從影響分類處置的幾個(gè)主要環(huán)節(jié)入手 ,來優(yōu)化處置分類系統(tǒng)的流程 ,從而從效果上大大提高分類處置效果 ,為文本分類處置提供綜合的處理方法。處置上主要從以下幾方面對分類系統(tǒng)進(jìn)展了改善 訓(xùn)練 文檔 的優(yōu)化 從整個(gè)系統(tǒng)的入口環(huán)節(jié)入手 ,對系統(tǒng)進(jìn)展學(xué)習(xí)的樣本進(jìn)展控制 ,提高學(xué)習(xí)樣本的質(zhì)量 ,從而為分類模型的建立提供較好的保證。分類模型的運(yùn)用 戰(zhàn)略 從詳細(xì)分類方式的運(yùn)用上 ,進(jìn)一步加強(qiáng)系統(tǒng)的分類效果 。分類 系統(tǒng) 的反債 學(xué)習(xí) 實(shí)現(xiàn)系統(tǒng)在運(yùn)用過程中不斷的自我學(xué)習(xí) 、自我完善 ,從而到達(dá)其分類性能不斷提高的目的。模糊分

15、類處置 提高分類處置的智能化 ,使分類處置結(jié)果更能反響文本類別的真實(shí)特征 ,從而到達(dá)減小誤分類、提高分類精度的目的。3.1 多模型處置技術(shù)對于信息分類技術(shù)的研討,長期以來構(gòu)成了各種各樣的方法 ,如 Rule-based、Naive Bayesian、kNN、Decision Tree、SVM、Boosting 等,不同的方法都有各自不同的特點(diǎn),是從不同的方面實(shí)現(xiàn)了對分類問題的描畫,并且,一些簡單的分類方法往往也可以到達(dá)一個(gè)較好的效果就目前的研討來看,SMV方法作為性能較好的分類處置方法,比其它的分類方法具有一定的優(yōu)越性。但從實(shí)驗(yàn)結(jié)果闡明 ,其分類性能比傳統(tǒng)的簡單的分類方法 ,如kNN也并沒有一

16、個(gè)太大的提高 ,這是由我們所提到的文本本身的復(fù)雜性所決議的同時(shí),采用Boosting方法的實(shí)驗(yàn)結(jié)果闡明其也可獲得較好的分類效果,Boosting的主要思想用一些弱的分類規(guī)那么實(shí)現(xiàn)較高分類效果的目的。因此 ,針對這種情況 ,在詳細(xì)處置時(shí) ,我們可以將幾種不同的方法結(jié)合起來進(jìn)展處置 ,如將支持向量機(jī)方法與基于規(guī)那么的方法相結(jié)合等 ,使各種分類方法取長補(bǔ)短 ,相互補(bǔ)充 ,即幾個(gè)不同分類器的結(jié)合 ,其整體分類性能將高于任何一個(gè) ,從而提高分類的精度與效率。3.2 模糊分類處置技術(shù)模糊性是客觀事物的本質(zhì)特性。在分類處置中 ,對于待分類的文本 ,都是在某種程度上屬于某一個(gè)類別 ,而并非是絕對二值邏輯。在我

17、們根據(jù)詳細(xì)的分類模型進(jìn)展分類處置時(shí) ,我們得到的往往也是待分類文檔屬于各個(gè)類別的數(shù)值信息 ,在普通情況下往往是根據(jù)最大的結(jié)果數(shù)值來斷定系統(tǒng)的分類結(jié)果 ,這將會喪失大量的信息,呵斥大量的誤分類情況。而模糊處置技術(shù)正是根據(jù)事物本身模糊性的特征 ,在處置過程中根據(jù)模糊規(guī)那么進(jìn)展處置 ,從而更能真實(shí)地反映事物的本來面 目因此 ,為提高分類的智能性、準(zhǔn)確性 ,在進(jìn)展分類處置時(shí) ,可以運(yùn)用模糊處置技術(shù) ,對分類結(jié)果進(jìn)展模糊規(guī)那么處置 ,即先對分類模型的分類結(jié)果進(jìn)展模糊化處置 ,將詳細(xì)的數(shù)值量轉(zhuǎn)換成模糊變量 ,然后根據(jù)詳細(xì)情況制定相應(yīng)的分類處置規(guī)那么 ,實(shí)現(xiàn)模糊推理。運(yùn)用模糊分類處置 ,也可以很好地處置文本

18、分類中的兼類、拒類等情形 。當(dāng)只需屬于某一個(gè)類別的可信度為高時(shí) ,那么該類別為其所對應(yīng)分類 當(dāng)同時(shí)對應(yīng)于兩個(gè)或多個(gè)類別的可信度都高時(shí) ,那么該文檔可同時(shí)被分為多個(gè)類 ,即是兼類 而當(dāng)文檔所對應(yīng)的一切分類的可信度皆為低時(shí) ,那么為拒類 從而使分類處置具有了專家分類處置時(shí)的智能性 ,當(dāng)然也就更能準(zhǔn)確地反響文本本身所具有的實(shí)踐類別特征。4 改良的貝葉斯分類在文本分類中的運(yùn)用關(guān)鍵的一個(gè)技術(shù)是特征提取。文本分類中特征提取的步驟包括: 詞語切分, 詞頻統(tǒng)計(jì), 加權(quán)計(jì)算和特征選擇(二者通常結(jié)合在一同進(jìn)展)。在文本分類中有很多權(quán)重計(jì)算和特征選擇的公式, 如信息增益、 期望交叉嫡、 文本證據(jù)權(quán)、 zx統(tǒng)計(jì)量等,

19、 其中最著名的是 TFIDF公式.那么, 權(quán)重計(jì)算和特征選擇的公式終究哪個(gè)為優(yōu)呢? 其真實(shí)這些公式中, 關(guān)鍵在于特征選擇時(shí)的傾向: 高頻詞或稀有詞, 也就是公式中的 P(w)因子起很大作用。 因此, 在特征選擇時(shí), 理想的做法應(yīng)該是充分思索 P(w)因子的作用, 最好能兼顧到高權(quán)高頻詞和低頻高權(quán)詞。有學(xué)者對 TF*F 和 TF*IWF*IWFF 公式進(jìn)展了分析并作了一些改良, 以為關(guān)鍵詞在某類的權(quán)重受 3 個(gè)要素的影響: 該詞在當(dāng)前類中的出現(xiàn)頻率; 該詞在總語料中的出現(xiàn)頻率; 該詞在不同類別之間出現(xiàn)頻率的差別。最終得到關(guān)鍵詞在類中的權(quán)重計(jì)算公式:其中, Lj是類 cj含有的一切詞的次數(shù)之和,

20、Tij是詞 i 在類 cj出現(xiàn)的次數(shù);，其中 m為類別數(shù); N(wi)表示訓(xùn)練語料中出現(xiàn)詞 wi的次數(shù), N是訓(xùn)練語料中一切詞出現(xiàn)次數(shù)之和; n1。類別區(qū)別度用來表示某一個(gè)詞語對于文本分類的奉獻(xiàn)程度, 即詞語的領(lǐng)域區(qū)別程度。直觀地看, 假設(shè)一個(gè)詞語在每一類中都比較均勻地出現(xiàn), 那么它對于分類的奉獻(xiàn)幾乎為零, 類別區(qū)別度很低;假設(shè)某一詞語只在某一類中出現(xiàn), 那么它對于分類的奉獻(xiàn)很高,有的幾乎可以一詞定類, 類別區(qū)別度也就很高了。比如, 虛詞“ 的、 我、 在 的類別區(qū)別度很低, 而“ 魔獸爭霸、 重倉股、 手機(jī)操作系統(tǒng)這樣的詞語其類別區(qū)別度就很高。5 文本分類方法研討存在的問題分詞是影響文本分類的重要要素之一 , 分詞的速度和準(zhǔn)確率與最終的分類結(jié)果親密相關(guān)。尤其是Web上不斷出現(xiàn)新詞匯 , 對分詞實(shí)際的創(chuàng)新和詞典的構(gòu)造都提出了較高的要求。 由于中文文本分類起步晚和中文不同于英文的特性 , 目前中文 Web 文本分類還沒有規(guī)范的開放的文本測試集 , 各研討者大多運(yùn)用本人建立的文本集進(jìn)展訓(xùn)練和測試 , 其分類結(jié)果沒有可比