機器學習實驗報告樸素貝葉斯學習和分類文本（2015年度秋季學期）、實驗內容問題：通過樸素貝葉斯學習和分類文本目標：可以通過訓練好的貝葉斯分類器對文本正確分類、實驗設計

實驗原理與設計：在分類(classification)問題中，常常需要把一個事物分到某個類別。一個事物具有很多屬性，把它的眾多屬性看做一個向量，即x=(x1,x2,x3，…,xn)，用x這個向量來代表這個事物。類別也是有很多種，用集合Y=y1,y2,…ym表示。如果x屬于y1類別，就可以給x打上y1標簽，意思是說x屬于y1類別。這就是所謂的分類(Classification)。*的集合記為X，稱為屬性集。一般X和Y的關系是不確定的，你只能在某種程度上說x有多大可能性屬于類yl,比如說x有80%的可能性屬于類yl,這時可以把X和Y看做是隨機變量，P(Y|X)稱為Y的后驗概率(posteriorprobability),與之相對的，P(Y)稱為Y的先驗概率(priorprobability)1。在訓練階段，我們要根據從訓練數據中收集的信息，對X和Y的每一種組合學習后驗概率P(Y|X)。分類時，來了一個實例x,在剛才訓練得到的一堆后驗概率中找出所有的P(Y|x),其中最大的那個y,即為x所屬分類。根據貝葉斯公式，P(Y\X)=P(X\Y)P[Y}P(Y\X)=P(X\Y)P[Y}后驗概率為在比較不同Y值的后驗概率時，分母P(X)總是常數，因此可以忽略。先驗概率P(Y)可以通過計算訓練集中屬于每一個類的訓練樣本所占的比例容易地估計。在文本分類中，假設我們有一個文檔d￡X,X是文檔向量空間(documentspace),和一個固定的類集合C={c1,c2,…，cj},類別又稱為標簽。顯然，文檔向量空間是一個高維度空間。我們把一堆打了標簽的文檔集合〈山。＞作為訓練樣本，＜d,c＞￡XXC。例如：＜d,c＞={BeijingjoinstheWorldTradeOrganization,China}對于這個只有一句話的文檔，我們把它歸類到China,即打上china標簽。我們期望用某種訓練算法，訓練出一個函數Y,能夠將文檔映射到某一個類別：Y:X-C這種類型的學習方法叫做有監督學習，因為事先有一個監督者(我們事先給出了一堆打好標簽的文檔)像個老師一樣監督著整個學習過程。樸素貝葉斯分類器是一種有監督學習。實驗主要代碼：由于中文本身是沒有自然分割符(如空格之類符號),所以要獲得中文文本的特征變量向量首先需要對文本進行中文分詞。這里采用極易中文分詞組件

publicclassChineseSpliter(/**k特定的知三4行三Kij再paramteict洽定的注本paramsplitToken用干Si■利的課里"比"|"力^return在河癥早的毋ipublicstaticStringsplitfStringtexljStringsplitTokerStringresult=null;MMAnalyz^ranalyzer=n，MMAnal,yzer();tryresult=analyzer.seginent(te^tjsplitToken);catch(lOExceptione)e.printStackTrace();returnresultj先驗概率計算，N表示訓練文本集總數量。fpublizzlaaarriorFrcbabi1itirtzrivate啟；:二TraininjDataEanag-eetdm=neT.<7"ainingDataKanage"();**先驗概率Gpacam二給定的分類Oreturn給定條件下的先喊概率Vpi;bli2a:白；二二：二二百七caLculat之FtfEt=ingg-JzL?itrez=OF;三二ca:ITc=T±n,getTr-ainingFileCcunt^zula55i^ica-iDri{ci;IT=tim.getlrainingFileCcunt();re7-He『IT;returnre-;條件概率計算，為在條件A下發生的條件事件B發生的條件概率。x?給定的文本屬性，c?給定的分類

2atati2:二3日:calciilazeFxc<STrirLjKrStrinjc)「……四?It-二日:I-l^c=t±rbg=tCuuzi;匚0n;□1口區吃丫口工二]niliudtj.口m{u,也，；zloatlie=tdin.二二自ininn三二二巳匚unnttf二1己331：二匚己士10口(匚，；zlD3t7=tim.jetlraningZlasaizizatiDELS().length;Mt=(Nxc-1)/{Me-M-5；〃為了避免出現二:這樣極端情況，進行加權處理returnret;對給定的文本進行分類publicstringelasaizyI'Szrinj"extJtenns=ChireseSpliterrsplic(test,ri11hsplit("，)；〃中文分詞處理[分詞后結果可能還包含有信用伺〕t==比①￡七呼風工日口(正皿3”〃去掉停用同5以免星匆同分類ScringnClasses=tim.,gstlraningCldssifications()flc-atprcbilit^=0..OFrLLSLCCldS31*l-Re3LlL>CIS=H.SW&2匚己皿113K匚1日331二YRRSUI00；〃分類焙果(int±=0;i<01333￡3..length;i++)StringCi-口!anm[i];"第:1個分類prebility=ca.lcPrcd(t￡ms?Ci>；〃計苴給定的文本屬性向里比"3在給定的分類ti中的分類條件概率“保存分蟒果ClassizyEesultcr=newClassizi'Reault();cr.LiassiricaEldq=11;"分類cr.prDbiLity=probi二匚￥；“關鍵字在分類的條件概率Svst-emrout-,print;ln("Inprocess--Pr,):Syjtem.out.pziat1n(Cit11:"+probility)}crs.add(cr);三、測試數據訓練集文本：數據樣例選用Sogou實驗室的文本分類數據的mini版本.C000007.C000007.cooooos.COOOO1O.COOOO130000014C00001S.C000020COOOO22.COOOO23CW0024,ClasELiEt.brt2O1S/V320；1B文件夾2016/1/320:13文件夾2016/1732018文件夾2015/1/320:13文件夾2016/1/320；18文件夾2016/17320:10文件夾2O16/V320:18文件夾2016/1/320:18文件夾2016/1/32018文件夾2O1&/1/32糖13文件夾2006/10/2611:37立本文檔類別及標號C000007汽車C000008財經C000010ITC000013健康C000014便育C000016旅游C000020教育C000022招聘C000023文化C000024軍事測試數據文本：燃公司斜山4兆覲帥觸響觸中國網2月二日報道美聯社消息，他就公司提出以氾啟憶美元現金加股票的侑格收購搜索網站觸必司，齦棉出以每股31美元的價格收購底虎。徵軟的收購報價棚叫二月1日的收盤柏二一，*美瀚價曉仙桃處司通虎公司的股東可以選擇以現金或股票進行交易。燃和雅虎公司在二式《年底和2口口?年初已在尋求雙方合作口而近兩年，底虐一直處于困it：市場份額下涓■1運營業震不佳、股價大幅下跌。對于力圖瓶以網福有斫作為的制域說?雌鹿虎瑙是—荊監0M方具用潸強般補性口：小和通過觀察可知，該文本預期為IT類文章三、實驗結果運行結果如下圖

Inproce5sC^^00734.0S54457E-7InprocessC&W00S：3.7337093E-9Inproce553.9367528E-4InprocessCW0@13：4.&463947E-11InprocessC&&e914L.395S&73E-Z?InprocessC^O016=L.436?195E-15InprocessCW?02?：6.3035146E-18InprocessC&W022：5.,2257925E-16Inprocess,,,.CW*023：Q.&S93S7E-22Inprocess