1、數據倉庫與數據挖掘課程實驗本實驗是數據倉庫與數據挖掘課程的驗證性實驗環節課程共計 8 學時。·實驗目標 :1、掌握建立和配置數據倉庫的基本操作技能。主要包括數據倉庫系統的安 裝。2、掌握數據倉庫中數據的處理技術。主要包括數據倉庫的建模、事務數據的 轉換、備份數據的恢復。3、掌握基于數據倉庫的自動數據分析技術的基本操作技能。包括多維數據分 析和數據挖掘。4、掌握一種專用數據挖掘軟件 ,用以分析處理文本或電子表格的數據。實驗環境:l Microsoft SQLServer2000l Microsoft SQLServer2000 Analysis Servcel DBMiner2.0l

2、Microsoft SQLServer2000 PACK4l JAVA 運行時環境 :JRE5.0l WEKA3.55實驗項目:l 實驗 1:安裝數據倉庫系統平臺 1.5 學時l 實驗 2:構建數據倉庫數據環境 1.5 學時l 實驗 3:多維數據分析 1.5 學時l 實驗 4:基于數據倉庫的數據挖掘實驗 2.0 學時l 實驗 5:數據挖掘平臺應用實驗 1.5 學時實驗 1:安裝數據倉庫系統平臺l 實驗任務 :1. 掌握 Microsoft Server2000 數據倉庫系統的安裝與配置2. 安裝實驗分析環境 :1 安裝 Microsoft Server2000 analysis Service

3、2 安裝 DBMiner2.03 安裝 Java運行時環境 JRE5.04 安裝 WEKAl 實驗準備 :請從黑板或網上獲取安裝文件所在的網絡地址。并記在下面 :網絡資料的地址是 :本實驗不得超過 1.5 學時。l 實驗指導 :Lab1.1檢查并安裝 Microsoft Server2000單元目標 :確保完整正確的數據倉庫實驗環境工作步驟:1. 檢查你所使用的電腦上是否有 Microsoft Server2000。如果有 ,啟動并檢查 Microsoft Server2000 是否安裝了 Server Pack3以上的補丁文件。2. 如果以上都沒問題 ,則本實驗結束。3. 下載相應的系統文件

4、安裝。先安裝 Microsoft Server2000,再安裝 Server Pack3 或 Server Pack4。Lab1.2檢查并安裝數據分析環境單元目標 :確保安裝了相應的數據分析軟件工作步驟:1. 檢查你所使用的電腦是否安裝了 Microsoft Server2000 analysisService,DBMiner2.0, JRE5.0, WEKA3.5.5。如果都已安裝且能正常運行,則本實驗結束。否則進入以下步驟。2. 如果沒有安裝以上軟件。請按以下次序從網絡資料地址上下載軟件完成安裝。完成 Lab1.1 和 Lab1,2后,本實驗結束。實驗 2:構建數據倉庫數據環境l 實驗任務

5、 :本實驗主要驗證 ETL 的數據處理過程。主要實驗任務有 :1. 構建數據倉庫模型 ,并在數據倉庫系統中生成相應的數據表。2. 將事務數據庫中的數據轉入數據倉庫中。3. 還原備份和還原的數據倉庫中的數據。l 實驗準備 :請從黑板或網上獲取數據文件所在的網絡地址。并記在下面 :數據文件的地址是 :本_ 實驗不得超過 1.5 學時。本實驗將使用 Microsoft SQLserver 的示例數據庫 :Northwind, 這是一個商貿公司 的銷售數據庫。我們將這個事務型的數據導入到分析型的數據倉庫中去。l 實驗指導 :Lab2.1用 caseStudio2.15建 立數據倉庫的星型模型單元目標

6、:建立 Northwind_DW 的數據倉庫模型。如下圖所示。并根據該模型生成相應的 數據倉庫的維表和事實表的結構。工作步驟:1. 按下圖樣式建立 Northwind_DW 的昨型數據模型 ,請根據原事務數據庫中相應字段的數據類型和寬度 ,對應地設計相應字段的數據類型和寬度2. 安裝并啟動 CaseStudio2.15設, 計以上模型。3. 運行生成腳本 (Generate script生成相應的 SQL 代碼。Lab2.2將事務型數據加載到分析數據環境中單元目標 :根據以上實驗單元建立的數據模型 ,在 MicrosoftSQL2000 中建立相應的物理數 據倉庫。工作步驟:1. 請從教師課件

7、中 “數據倉庫與數據挖掘 ”目錄下的 Lab2008中下載文檔“多維數據分析操作演練 .pdf ”2. 用 Adobe reader打開該文檔。3. 在數據倉庫創建部分 ,可以使用 Lab2.1中的模型進行創建和轉化4. 按照上面所列步驟進行操作。最終完成事實表和維表的數據轉移Lab2.3數據倉庫中數據的備份與恢復單元目標 :1. 將已生成的數據倉庫的數據進行備份。2. 利用備份文件向新的數據庫中還原數據倉庫的數據。工作步驟:1、備份打開 Sqlserver企業管理器 ,在需要備份的數據庫上點鼠標右鍵 ,所有任務中選備 份數據庫。再從 Sqlserver安裝目錄中的 Data目錄下 ,拷貝出要

8、備份的數據庫文件 *.mdf,*.ldf, 并備份這兩個文件2、還原將要還原的數據庫文件 *.mdf,*.ldf 拷貝到 Sqlserver安裝目錄下的 Data 目錄 下。打開 Sqlserver企業管理器 ,新建一個數據庫 ,在數據庫這一項上點鼠標右鍵 ,在所 有任務中選導入數據庫 ,以拷貝到 Data目錄下的 mdf 恢復數據庫。還原過程中 ,如果有什么異常 ,請參考 “數據倉庫與數據挖掘技術 上機 ”目錄下的 “數據倉庫實習指導 .pdf ”中的還原部分的內容。實驗 3:多維數據分析l 實驗任務 :本實驗主要驗證 OLAP 多維分析的過程。主要包括完成 OLAP 數據庫的創建 , 多維

9、數據集的創建。存儲和處理多維數據 ,瀏覽多維數據集等實驗任務。l 實驗準備 :本實驗使用的操作參考為 Lab2.2中下載的文檔 , “多維數據分析操作演 練 .pdf 。”本實驗不得超過 1.5 學時。l 實驗指導 :Lab3.1多維數據分析實驗單元目標 :1.掌握 Microsoft analysis Service的中對 OALP 數據庫的操作步驟2. 在使用過程中熟悉和理解相應的概念。工作步驟:1.在“多維數據分析操作演練 .pdf 中”從 P85 開始進行相應的操作演練。2.在實驗過程中 ,如果對相應的操作還不是很理解 ,請在 ”數據倉庫 與數據挖掘技術 上機 ”目錄下有 “Sqlse

10、rve數r 據分析 .rar 文”檔 ,解 壓后 ,有詳細的幫助和演練信息。實驗 4:基于數據倉庫的數據挖掘實驗l 實驗任務 :1.基于 Microsoft SQLserver2000 Analyses Service的數據挖掘模型對數據 倉庫中的數據進行決策樹分析和聚類分析 ;2.使用 DBMiner2.0 對數據倉庫中的數據進行聚類、關聯分析3. 使用 DBMiner2.0 對數據倉庫的數據分析進行可視化。l 實驗準備 :本實驗的實驗指導參考資料在網上 ,請下載參考。本實驗不得超過 1.5 學時。l 實驗指導 :Lab4.1 基于 Microsoft SQLserver2000 Analy

11、ses Service的數據挖掘單元目標 :掌握 Microsoft SQLserver2000 Analyses Service的數據挖掘模型的使用步驟工 作步驟:請在”數據倉庫與數據挖掘技術 上機 ”目錄下有 “Sqlserve數r 據分析 .rar 文”檔, 解壓后,按下圖所指 ,完成“數據挖掘”的演練。Lab4.2 基于 DBMiner2.0 的數據挖掘 （選做單元目標 :掌握 DBminer2.0 對數據倉庫中的數據進行可視化分類、聚類、關聯分析 由于時間有限 ,指導教師將進行一些現場的演練指導。工作步驟:1. 在”數據倉庫與數據挖掘技術 ”目錄下下載相應的操作手冊“ DBMiner

12、Manual.pdf 文”檔 ,閱讀第一、二章。2. 對多維數據集進行可視化分析。 (chapter 43. 對多維數據集進行關聯分析。 (chapter 64. 對多維數據集進行分類挖掘。 (chapter 75. 對多維數據集進行聚類分析。 (chapter 8實驗 5:數據挖掘平臺應用實驗l 實驗任務 :1.熟悉 WEKA 數據挖掘平臺的基本功能。2.能夠對存于文本或電子表格中的數據進行數據挖掘分析3. 本實驗為選做 ,對畢業論文分析數據有利用價值。l 實驗準備 :1.下載 Java運行時環境 JRE1.5。2.下載 WEKA 并安裝運行3. 在”數據倉庫與數據挖掘技術”目錄下下載 “W

13、EKA中文使用手冊 .pdf ”有,較詳細的使用說明4. 所需要的數據存放在 “數據倉庫與數據挖掘技術WEKA_DAT”A下。l 實驗指導 :Lab5.1用 WEKA 進行決策樹分析單元目標 :掌握 WEKA 進行決策樹分析的步驟。工作步驟:WEKA 把分類 (Classification 和回歸 (Regression都放在 “ Classify選項”卡中 ,這是 有原因的。在這兩個任務中 ,都有一個目標屬性 (輸出變量。我們希望根據一個樣本 (WEKA 中稱作實例的一組特征 (輸入變量 ,對目標進行預測。為了實現這一目的 ,我們需要有 一個訓練數據集 ,這個數據集中每個實例的輸入和輸出都是

14、已知的。觀察訓練集中 的實例 ,可以建立起預測的模型。有了這個模型 ,我們就可以新的輸出未知的實例進 行預測了。衡量模型的好壞就在于預測的準確程度。在 WEKA 中 ,待預測的目標 (輸出被 稱作 Class屬性,這應該是來自分類任務的 “類”。一般的,若 Class屬性是分類型時我 們的任務才叫分類 ,Class屬性是數值型時我們的任務叫回歸。選擇算法我們使用 C4.5 決策樹算法對 bank-data建立起分類模型。我們來看原來的 “ban-kdata.csv 文”件。 “ ID屬”性肯定是不需要的。由于 C4.5算法可以處理數值型的 屬性,我們不用像前面用關聯規則那樣把每個變量都離散化成

15、分類型。盡管如此,我們還是把 “Children屬”性轉換成分類型的兩個值 “YES”和“NO”。另 外 ,我們的訓練集僅取原來數據集實例的一半 ;而從另外一半中抽出若干條作為待預 測的實例 ,它們的 “pep屬”性都設為缺失值。經過了這些處理的訓練集數據在這里下 載;待預測集數據在這里下載。我們用 “Explorer打”開訓練集 “bank.arff 觀”察,一下它是不是按照前面的要求處 理好了。切換到 “Classify選”項卡 ,點擊 “Choose按”鈕后可以看到很多分類或者回歸 的算法分門別類的列在一個樹型框里。3.5 版的 WEKA 中,樹型框下方有一個 “Filter.按鈕”,點

16、擊可以根據數據集的特性過濾掉不合適的算法。我們數據集的輸入屬性中有 “Binary型”( 即只有兩個 類的分類型和數值型的屬性 ,而 Class變量是 “Binary的”;于是我們勾選 “Binary attributes ”“ Numeric attri和bu“tesBinary” class。 ”點“OK”后回到樹形圖 ,可以發現一些算法名稱變紅了 ,說明它們不能用。選擇 “ trees下”的“ J48這”就,是我們需要的 C4.5 算法,還好它沒有變紅。點擊 “Choose右”邊的文本框 ,彈出新窗口為該算法設置各種參數。點 “More”查 看參數說明 ,點“Capabilities是查

17、”看算法適用范圍。這里我們把參數保持默認。現在 來看左中的 “Test Option。”我們沒有專門設置檢驗數據集 ,為了保證生成的模型的準 確性而不至于出現過擬合 (overfitting 的現象 ,我們有必要采用 10 折交叉驗證 (10-fold cross validation來選擇和評估模型。若不明白交叉驗證的含義可以 Google 一下。建 模結果 OK,選上“Cros-svalidation 并”在“Folds框”填上 “10。”點“Start按”鈕開始讓算 法生成決策樹模型。很快 ,用文本表示的一棵決策樹 ,以及對這個決策樹的誤差分析 等等結果出現在右邊的 “Classifie

18、r output中。同”時左下的 “Results list出現”了一個項 目顯示剛才的時間和算法名稱。如果換一個模型或者換個參數,重新“Start一”次 ,則“ Results list又會多”出一項。我們看到 “ J48算”法交叉驗證的結果之一為 Correctly Classified Instances 206 68.6667 % 也就是說這個模型的準確度只有 69%左右也許我們需要對原屬性進行處理 ,或者修改算法的參數來提高準確度。但這里 我們不管它 ,繼續用這個模型。右鍵點擊 “ Results list剛才”出現的那一項 ,彈出菜單中選擇 “Visualize tree新窗”,

19、口里可以看到圖形模式的決策樹。建議把這個新窗口最大化,然后點右鍵 ,選“Fit toscreen ”可,以把這個樹看清楚些。看完后截圖或者關掉。這里我們解釋一下 “Confusion Matrix的”含義。= Confusion Matrix =a b <- classified as74 64 | a = YES30 132 | b = NO這個矩陣是說 ,原本“pep是”“YES”的實例,有 74個被正確的預測為 “YES”有,64 個錯誤的預測成了 “NO”原;本“pep是”“NO”的實例,有 30個被錯誤的預測為 “YES”, 有 132 個正確的預測成了 “NO”。74+64+

20、30+132 = 300 是實例總數 ,而（74+132/300 = 0.68667正好是正確分類的實例所占比例。這個矩陣對角線上的數字越大 ,說明預測得越好。模型應用現在我們要用生成的模型對那些待預測的數據集進行預測了,注意待預測數據集和訓練用數據集各個屬性的設置必須是一致的。WEKA 中并沒有直接提供把模型應用到帶預測數據集上的方法 ,我們要采取間 接的辦法。Test Opion中選”擇 “ Supplied test set并且 “”S,e成t ”“ ban-knew.arff 文”件。重新“Start一”次。注意這次生成的模型沒有通過交叉驗證來選擇 ,“Classifier outpu

21、t 給”出的誤差分析也沒有多少意義。這也是間接作預測帶來的缺陷吧。現在 , 右鍵點擊“Result list中剛”產生的那一項 ,選擇“Visualize classifier errors。我們不”去 管新窗口中的圖有什么含義 ,點“Save按”鈕,把結果保存成“ban-kpredicted.arff 。這”個 ARFF 文件中就有我們需要的預測結果。在 “Explorer的”“Preproces選s 項”卡中打開 這個新文件 ,可以看到多了兩個屬性“Instance_numbe和r ”“predictedpep ”“ Instance_nu是m指be一r ”個實例。在原 “ ban-kne

22、w.arff 文”件中的位置， “predictedpep就是”模型預測的結果。點 “ Edit按”鈕 或者在“ArffViewer模”塊中打開可以查看這個數據集的內容。 比如，我們對實例 0 的 pep 預測值為“YES”， 對實例 4 的預測值為“NO”使 。用命令行（推薦）雖然 使用圖形界面查看結果和設置參數很方便，但是最直接最 靈活的建模及應用的辦 法仍是使用命令行。打開“Simple CLI模”塊，像上面那樣使用“J48算”法的命令格 式為： java weka.classifiers.trees.J48 -C 0.25 -M 2 -t directory-pathbank.arff

23、 -d directory-path bank.model 其中參數“- C 0.25 和”“-M 2”是和圖形界面中所設的一樣 的。“-t 后”面跟著的是訓練數據集的完整路徑（包括目錄和文件名），“-d ”后 面跟著的是保存模型的完整路徑。 注意！這里我們可以把模型保存下來。 輸入上述 命令后，所得到樹模型和誤差分析會在 “Simple CLI上”方顯示，可以復制下來保存 在文本文件里。誤差是把模型應用到訓練集上給出的。 把這個模型應用到 “ ban-knew.arff 所”用 命令的格式為： java weka.classifiers.trees.J48 -p 9 -l directory

24、-pathbank.model -T directory-path bank-new.arff 其中“-p 9 ”說 的是模型中 的 Class 屬性是第 9 個（也就是“pep，”） “-l ”后面是模型的完整路徑， “-T”后面 是待預測數據集的完整路徑。 輸入上述命令后，在“Simple CLI上”方會有這樣一些 結果： 0 YES 0.75 ? 1 NO 0.7272727272727273 ? 2 YES 0.95 ? 3 YES 0.8813559322033898 ? 4 NO 0.8421052631578947 ? .這. 里的第一列就是我們提到過 的“ Instance_n

25、umber，”第 二列就是剛才的“predictedpep，”第 四列則是“ban-k new.arff 中”原來的“pep值”（這里都是“?缺”失值） 。第三列對預測結果的置信度 （confidence ） 。比如說對于實例 0，我們有 75%的把握說它的“pep的”值會是 “YES”， 對實例 4 我們有 84.2%的把握說它的“pep值”會是“NO”。 我們看到，使 用命令行至少有兩個好處。一個是可以把模型保存下來，這樣有 新的待預測數據 出現時，不用每次重新建模，直接應用保存好的模型即可。另一 個是對預測結果 給出了置信度，我們可以有選擇的采納預測結果，例如，只考慮 那些置信度在 85

26、%以上的結果。可惜，命令行仍不能保存交叉驗證等方式選擇過的模型，也不 能將它們應用到待預測數據上。要實現這一目的，須用到 “ KnowledgeFlow 模”塊 的“ PredictionAppender。 L”ab 5.2 用 WEKA 進行關聯分 析單元目標：掌握 WEKA 進行關聯分析的步驟。 工作步驟：目前，WEKA 的關 聯規則分析功能僅能用來作示范，不適合用來挖掘大型數 據集。我們打算對前面 的“ban-kdata ”數據作關聯規則的分析。 用“Explorer打”開“ban-kdata-final.arff 后”， 切換到“Associate選”項卡。默認關聯規則分析是用 Apr

27、iori 算法，我們就用這個算 法，但是點“Choose右”邊的文本框修改默認的參數，彈出的窗口中點 “More”可以 看到各參數的說明。背景知識首先我們來溫習一下 Apriori 的有關知識。對于一條 關聯規則 L->R，我們常用支持度( Support)和置信度( Confidence)來衡量它的 重要性。規則的支持度是用來估計在一個購物籃中同時觀察到 L 和 R 的概率 P(L,R，而規則的置 信度是估計購物欄中出現了 L 時也出會現 R 的條件概率 P(R|L。關聯規則的目標 一般是產生支持度和置信度都較高的規則。 有幾個類似的度量代替置信度來衡量 規則的關聯程度，它們分別是 L

28、ift (提升度？) P(L,R/(P(LP(R Lift=1 時表示 L 和 R 獨立。這個數越大，越表明 L 和： R 存在在一個購物籃中不是偶然現 象。 Leverage (不知道怎么翻譯)： P(L,R-P(LP(R 它和 Lift 的含義差不 多。 Leverage=0 時 L 和 R 獨立， Leverage 越大 L 和 R 的關系越密切。 Conviction (更不知道譯了) P(LP(!R/P(L,!R (!R ：表示 R 沒有發生) Conviction 也是用來 衡量 L 和 R 的獨立性。從它和 lift 的關系(對 R 取反，代入 Lift 公式后求倒數) 可以看出

29、，我們也希望這個值越大越好。 值得注意的是，用 Lift 和 Leverage 作標 準時，L 和 R 是對稱的， Confidence 和 Conviction 則不然。參數設置現在我們計 劃挖掘出支持度在 10%到 100%之間，并且 lift 值超過 1.5 且 lift 值排在前 100 位的 那些關聯規則。我們把“lowerBoundMinSupport和”“upperBoundMinSupport分”別設 為 0.1 和 1， “metricType設”為 lift， “minMetric設”為 1.5， “numRules”設為 100。 其他選項保持默認即可。 “OK”之 后在

30、“Explorer中”點擊“Start開”始運行算法，在 右邊窗口顯示數據集摘要和挖掘結果。 下面是挖掘出來的 lift 排前 5 的規則。 Best rules found: 1. age=52_max save_act=YES current_act=YES 113 => income=43759_max 61 conf:(0.54 < lift:(4.05> lev:(0.0 45 conv:(1.85 2. income=43759_max 80 => age=52_max save_act=YES current_act=YES 61 conf:(0.76 &

31、lt; lift:(4.05> lev:(0.0 45 conv:(3.25 3. income=43759_max current_act=YES 63 => age=52_max save_act=YES 61 conf:(0.97 < lift:(3.85> lev:(0.0 45 conv:(15.72 4. age=52_max save_act=YES 151 => income=43759_max current_act=YES 61 conf:(0.4 < lift:(3.85> lev:(0.0 45 conv:(1.49 5. ag

32、e=52_max save_act=YES 151 => income=43759_max 76 conf:(0.5 < lift:(3.77> lev:(0.09 55 conv:(1.72 對于挖掘出的 每條規則， WEKA 列出了它們關聯程度的四項指標。 命令行方式我們也可以利用 命令行來完成挖掘任務，在“Simlpe CLI模”塊中輸入如下格式的命令： java weka.associations.Apriori options -t directory-pathbank-data-final.arff 即可完成 Apriori 算法。注意， “-t”參數后的文件路徑

33、中不能含有空格。 在前面我們使用的 option 為 -N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 命令行中使用這些參數得到的結 果和前面利用 GUI 得到的一樣。我們還可以加上 I” - “參數，得到不同項數的頻 繁項集。我用的命令如下： java weka.associations.Apriori -N 100 -T 1 -C 1.5 -D 0.05 -U 1.0 -M 0.1 -S -1.0 -I -t d:wekabank-data-final.arff 挖掘結果在上方顯示。 Lab5.3 用 WEKA 進行聚類分析單元目標：掌握 W

34、EKA 進行聚類分析的步驟。工作步驟：聚類分析中的“類”( cluster)和前面分類的“類”( class)是不 同的， cluster 對更加準確的翻譯應該是“簇”。 聚類的任務是把所有的實例分配到 若干的簇，使得同一個簇的實例聚集在一個簇中心的周圍，它們之間距離的比較 近；而不同簇實例之間的距離比較遠。對于由數值型屬性刻畫的實例來說，這個 距離通常指歐氏距離。現在我們對前面的“bank data作”聚 類分析，使用最常見的 K 均值(K-means)算法。下面我們簡單描述一下 K 均值聚類的步驟。 K 均值算 法首先隨機的指定 K 個簇中心。然后： 1將每個實例分配到距它最近的簇中心，得 到 K 個簇； 2計分別計算各簇中所有實例的均值，把它們作為各簇新的簇中心。 重復 1和 2，直到 K 個簇中心的位置都固定，簇的分配也固定。 上述 K 均值算法只能處理數值型的屬性，遇到分類型的屬性時要把它變為若干個取值 0 和 1 的屬 性。 WEKA 將自動實施這個分類型到數值型的變換，而且 WEKA 會自動對數值型 的數據作標準化。因此，對于原始數據“ban-kdata.csv ”， 我們所做的預處理只是刪 去屬性“id，” 保存為 ARFF 格式后，修改屬性“children為”分類型。這樣得到的數 據文件為