1、.基于weka的數據分類分析實驗報告1實驗基本內容本實驗的基本內容是通過使用weka中的三種常見分類方法（樸素貝葉斯，knn和決策樹c4.5）分別在訓練數據上訓練出分類模型，并使用校驗數據對各個模型進行測試和評價，找出各個模型最優的參數值，并對三個模型進行全面評價比較，得到一個最好的分類模型以及該模型所有設置的最優參數。最后使用這些參數以及訓練集和校驗集數據一起構造出一個最優分類器，并利用該分類器對測試數據進行預測。2數據的準備及預處理2.1格式轉換方法原始數據是excel文件保存的xlsx格式數據，需要轉換成weka支持的arff文件格式或csv文件格式。由于weka對arff格式的支持更好

2、，這里我們選擇arff格式作為分類器原始數據的保存格式。轉換方法：在excel中打開“movie_given.xlsx”，選擇菜單文件-另存為，在彈出的對話框中，文件名輸入“total_data”，保存類型選擇“csv（逗號分隔）”，保存，我們便可得到“total_data.csv”文件；然后，打開weka的exporler，點擊open file按鈕，打開剛才得到的“total_data”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“arff data files（*.arff）”，這樣得到的數據文件為“total_data.arff”。2.

3、2如何建立數據訓練集，校驗集和測試集數據的預處理過程中，為了在訓練模型、評價模型和使用模型對數據進行預測能保證一致性和完整性，首先要把movie_given.xslx和test.xslx合并在一起，因為在生成arff文件的時候，可能會出現屬性值不一樣的情況，否則將為后來的測試過程帶來麻煩。通過統計數據信息，發現帶有類標號的數據一共有100行，為了避免數據的過度擬合，必須把數據訓練集和校驗集分開，目前的拆分策略是各50行。類標號為female的數據有21條，而類標號為male的數據有79條，這樣目前遇到的問題是，究竟如何處理僅有的21條female數據？為了能在訓練分類模型時有更全面的信息，所以

4、決定把包含21條female類標號數據和29條male類標號數據作為模型訓練數據集，而剩下的另49條類標號類male的數據將全部用于校驗數據集，這是因為在校驗的時候，兩種類標號的數據的作用區別不大，而在訓練數據模型時，則更需要更全面的信息，特別是不同類標號的數據的合理比例對訓練模型的質量有較大的影響。精品.2.3預處理具體步驟第一步：合并movie_given.xlsx和test.xlsx，保存為total_data.xlsx；第二步：在total_data.xlsx中刪除多余的id列信息；第三步：在excel中打開“total_data.xlsx”，選擇菜單文件-另存為，在彈出的對話框中，文

5、件名輸入“total_data”，保存類型選擇“csv（逗號分隔）”；第四步：使用ultraedit工具把total_data.csv中的數據缺失部分補上全局常量？；第五步：打開weka的exporler，點擊open file按鈕，打開剛才得到的“total_data.csv”文件，點擊“save”按鈕，在彈出的對話框中，文件名輸入“total_data”，文件類型選擇“arff data files（*.arff）”，這樣得到的數據文件為“total_data.arff”。第六步：從total_data.arff文件里面剪切所有沒有分類標號的數據作為預測數據集（test.arff），共26

6、項。第七步：把剩下含有類標號數據的total_data.arff文件復制一份，作為總的訓練數據集。文件名稱為build_model.arff。第八步：從total_data.arff文件中剩下的數據里面選取所有分類標號為male的49行數據作為校驗數據集（validate_data.arff）。第九步：從把剩下的total_data.arff文件改名為train_data.arff。3. 實驗過程及結果截圖3.1決策樹分類用“explorer”打開剛才得到的“train-data.arff”，并切換到“class”。點“choose”按鈕選擇“tree (weka.classifiers.tr

7、ees.j48)”，這是weka中實現的決策樹算法。選擇cross-validatioin folds=10，然后點擊“start”按鈕：訓練數據集訓練決策樹得出的結果精品.使用不同配置訓練參數，得到的實驗數據：配置不同的葉子節點的實例個數實例數/葉節點23456準確率54%60%56%56%56%結果分析：使用決策樹時，每個葉子節點最優的實例個數為3。校驗數據集校驗決策樹得出的結果精品.初步結果分析：使用決策樹進行分類，對于已知的49個類標號為male的數據都進行了準確的分類，并且達到100%；雖然是個很好的數據，但是完美背后隱藏了缺陷，是以對female類的低準確率作為代價的，因為這樣會說

8、明該分類器很有可能偏向male類。3.2 k最近鄰算法分類點“choose”按鈕選擇“laze-ibk”，這是weka中實現的決策樹算法。選擇cross-validatioin folds=10，然后點擊“start”按鈕：訓練數據集訓練knn得出的結果精品.使用不同配置訓練參數，得到的實驗數據：配置不同的葉子節點的實例個數k值12345678910準確率52%54%56%58%60%58%60%68%62%62%結果分析：使用knn算法分類時，k最優值為8。校驗數據集校驗knn得出的結果精品.初步結果分析：對使用k=8訓練出來的分類模型進行校驗的結果，準確率達到77.6%，算是一個比較合理的

9、分類結果。3.3 樸素貝葉斯分類點“choose”按鈕選擇“bayes”，這是weka中實現的決策樹算法。選擇cross-validatioin folds=10，然后點擊“start”按鈕：訓練數據集訓練nave bayes得出的結果精品.校驗數據集校驗nave bayes得出的結果精品.初步結果分析：評價結果中準確率僅僅達到59.1%，結果不是很讓人滿意。3.4 三類分類方法的校驗結果比較決策樹k最近鄰樸素貝葉斯校驗準確率100%77.55%59.18%訓練混淆矩陣校驗混淆矩陣標準誤差0.420.46540.5918比較結果分析： 根據上述數據，雖然決策樹有最高的完美的準確率和相對較好的標

10、準誤差，但是這種完美的背后，很有可能是以類標號female的較大錯誤率作為代價，這點可以從訓練混淆矩陣中得到印證；而樸素貝葉斯分類算法的準確率相對較低，而標準誤差也較高，綜合評價可以得知，當前最好的分類算法是knn算法，并且它是最優設置參數為k=8。3.5 訓練最優模型使用預處理中的buildmodel_data.arff數據文件訓練分類模型，算法為k=8的knn。數據集訓練knn得出的結果精品.使用最終模型對測試集進行預測結果4.三種算法在進行測試的性能比較 4.1實驗結果決策樹的測試結果：精品.knn測試結果：精品.樸素貝葉斯測試結果：精品.比較分析結論： 性能分析應該包括兩個部分，一個部分是測試速度，另一個部分是測試的質量。由于本次使用所使用的數據量太少，在測試速度的對比上相差太少，無法進行準確的分析。而在測試質量上，可以從上述數據中得到，決策樹依然是由于它對與male類標號的偏愛，導致質量的降低；而knn與樸素貝葉斯相比