第9章分 類 規 則 挖 掘 與 預 測主要內容l 分類與預測的基本概念l 決策樹方法l 分類規則挖掘的ID3算法l 其他分類規則挖掘算法l 分類規則的評估l 微軟決策樹及其應用9.1分類與預測的基本概念1. 什么是分類數據分類（data classfication）是數據挖掘的主要內容之一，主要是通過分析訓練數據樣本，產生關于類別的精確描述。這種類別通常由分類規則組成，可以用來對未來的數據進行分類和預測。數據分類（data classfication）是一個兩個步驟的過程：l 第1步：建立一個模型，描述給定的數據類集或概念集（簡稱訓練集）。通過分析由屬性描述的數據庫元組來構造模型。每個元組屬于一個預定義的類，由類標號屬性確定。用于建立模型的元組集稱為訓練數據集，其中每個元組稱為訓練樣本。由于給出了類標號屬性，因此該步驟又稱為有指導的學習。如果訓練樣本的類標號是未知的，則稱為無指導的學習（聚類）。學習模型可用分類規則、決策樹和數學公式的形式給出。l 第2步：使用模型對數據進行分類。包括評估模型的分類準確性以及對類標號未知的元組按模型進行分類。訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則分類規則分模型評估類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練數據訓練數據規則分類規則練分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據分類分類規則數據新數據新元組數據