1、.twWWW.CDMS.ORG.TWTechnology Review雜志雜志（麻省理工學院（麻省理工學院2002年年1月出刊）月出刊）Protocols: Loosely CoupledAPIs: Tightly Coupled分析服務分析服務(Data Mining)整合性服務整合性服務(SSIS)SSIS 分析服務分析服務報表服務報表服務資料來源資料來源檢視表檢視表(DataSourceView)定義企業(yè)問題定義企業(yè)問題資料準備資料準備資料檢視資料檢視模型的建立模型的建立模型評估模型評估布屬與應用布屬與應用資料源資料源Data Mining整合微

2、軟商業(yè)智能方案資料源資料源DM處理流程CRISP-DM定義企業(yè)問題(CRISP-DM)電信用戶忠誠度逐年下降.產(chǎn)品良率持續(xù)下降零售點庫存情況成長保戶詐欺狀況不斷升高卡戶剪卡比例增加客戶呆帳發(fā)生數(shù)暴增客戶轉(zhuǎn)貸頻率提升資料準備(CRISP-DM)資料檢視(CRISP-DM)模型的建立(CRISP-DM)TrainingValidationTest模型的評估(CRISP-DM)TrainingValidationTest使用訓練資料集訓練資料集建立預測模型.使用鑒效資料集鑒效資料集來避免模型對于訓練數(shù)據(jù)集產(chǎn)生記憶效應使用測試資料集測試資料集來選擇模型以及測量模型在預測未知數(shù)據(jù)的能力模型的評估使用測試

3、數(shù)據(jù)(CRISP-DM)模型的評估之累積增益圖(CRISP-DM)模型效益評估之錯差矩陣(CRISP-DM)布署與應用(CRISP-DM)Reports (動態(tài)動態(tài) & Ad hoc)Data MiningBusiness KnowledgeEasy Difficult使用容易度使用容易度OLAP Reports (靜態(tài)靜態(tài))商 業(yè) 價 值資料來源資料來源:Microsoft TaiwanSQL Server 2000已提供文字數(shù)據(jù)采礦文字數(shù)據(jù)采礦透過提供企業(yè)所有所有成員商業(yè)洞察力，以提升企業(yè)組織能夠更快速、更正確的產(chǎn)生營運決策 整合異質(zhì)數(shù)據(jù)來源:文本文件大型主機電子表格關連式數(shù)據(jù)庫快

4、速更新數(shù)據(jù)倉儲與數(shù)據(jù)超市加載數(shù)據(jù)前可以清除錯誤數(shù)據(jù)可以高效率進行在線交易處理系(OLTP) 與在線分析處理的數(shù)據(jù)(OLAP)轉(zhuǎn)換作業(yè)回報作業(yè)成功與失敗的狀態(tài)透過整合服務可以不用在資料轉(zhuǎn)換過程中需要暫存數(shù)據(jù)庫處理作業(yè)包含數(shù)據(jù)自動管理功能CRM: semi structuredLegacy data: binary filesApplication databaseETLWarehouseReportsMobiledataData miningAlerts & escalation數(shù)據(jù)整合與數(shù)據(jù)倉儲建立過程中需要額外的暫存性數(shù)據(jù)區(qū)數(shù)據(jù)整合與數(shù)據(jù)倉儲建立過程中需要額外的暫存性數(shù)據(jù)區(qū)(Stag

5、e)與作業(yè)與作業(yè)(如匯總?cè)鐓R總)數(shù)據(jù)處理需要不同多種工具數(shù)據(jù)處理需要不同多種工具(如如CRM系統(tǒng)的文字采礦工具系統(tǒng)的文字采礦工具) 且工具間且工具間有有相容相容性性問題存在問題存在回報機制與問題層級提升的速度緩慢回報機制與問題層級提升的速度緩慢數(shù)據(jù)過多時往往會造成該策略無法運作數(shù)據(jù)過多時往往會造成該策略無法運作HandcodingStagingText MiningETLStagingCleansing&ETLStagingETLCRMSemi-structured dataLegacy data: binary filesApplication databaseAlerts &

6、; escalation使用使用Integration Services可以在作業(yè)過程將原需要數(shù)據(jù)庫處理的部分，直接處理完畢可以在作業(yè)過程將原需要數(shù)據(jù)庫處理的部分，直接處理完畢.所有的作業(yè)包括文字采礦、匯總、合并、資料比對等都可以整合在同一個服務中所有的作業(yè)包括文字采礦、匯總、合并、資料比對等都可以整合在同一個服務中分離增加數(shù)據(jù)庫與分離增加數(shù)據(jù)庫與ETL工具的作業(yè)范圍，強化數(shù)據(jù)庫的高可用度工具的作業(yè)范圍，強化數(shù)據(jù)庫的高可用度直接透過直接透過Integration Services進行問題的警示與回報進行問題的警示與回報SQL Server Integration ServicesText mi

7、ningcomponentsCustomsourceStandardsourcesData cleansingcomponentsMergesData miningcomponentsWarehouseReportsMobiledata設定數(shù)據(jù)源可以是多種不同來源，也可以包含客制化來源或是設定檔如設定數(shù)據(jù)源可以是多種不同來源，也可以包含客制化來源或是設定檔如 *.udl使用轉(zhuǎn)換作業(yè)進行數(shù)據(jù)轉(zhuǎn)換如使用轉(zhuǎn)換作業(yè)進行數(shù)據(jù)轉(zhuǎn)換如Merge、Aggregate、Sort等等數(shù)據(jù)可以根據(jù)規(guī)則進行分類或是合并如數(shù)據(jù)可以根據(jù)規(guī)則進行分類或是合并如Multicast、Conditional Split等等數(shù)據(jù)處

8、理流程可以根據(jù)企業(yè)規(guī)則復雜化但是不影響資料的同時性存取數(shù)據(jù)處理流程可以根據(jù)企業(yè)規(guī)則復雜化但是不影響資料的同時性存取最后資料可以同時寫入到不同的檔案格式如最后資料可以同時寫入到不同的檔案格式如Excel、Flat File、Database等等數(shù)位儀表板數(shù)位儀表板固定式報表固定式報表BI 前端工具前端工具EXCEL電子表格電子表格Ad Hoc 報表報表AnalysisServicesMicrosoft Office Business Scorecard Manager 提供組織以下的功能提供組織以下的功能強化的計分卡平臺強化的計分卡平臺洞悉企業(yè)問題洞悉企業(yè)問題協(xié)同組織分析與協(xié)調(diào)作業(yè)協(xié)同組織分析與

9、協(xié)調(diào)作業(yè)提供前端使用者強大分析功能提供前端使用者強大分析功能擴充性平臺擴充性平臺SQL Server 2005 提供提供 Business Scorecard Manager 以下功能以下功能集中化管理與指標集中化管理與指標多維度計分卡多維度計分卡提供提供KPI 給前端應用程序給前端應用程序利用利用UDM整合數(shù)據(jù)處理整合數(shù)據(jù)處理監(jiān)控指標監(jiān)控指標分析問題分析問題協(xié)同作業(yè)協(xié)同作業(yè)定義目標定義目標SQL Server 2000已提供文字數(shù)據(jù)采礦文字數(shù)據(jù)采礦采礦模型檢視器采礦模型檢視器放大 /縮小復制圖Cluster在群集2中，則無”0-1 Miles”的資料在群集3中 ”0-1 Miles”的比例最

10、高，有74%群集圖表群集圖表群集設定檔群集設定檔說明：說明：了解各群集中，各變量的分布比例，以圖中為例，群集2中，距離為”0-1 Miles”的有0.4%、”1-2 Miles”的有25.7%、”2-5 Miles”的有13.6%、”5-10 Miles”的有32%、”10+Miles”的有28.3%采礦模型檢視器采礦模型檢視器鼠 標 右 鍵檢視檢視BukeBuyer的比例及其條件式的比例及其條件式觀察屬于該節(jié)點之觀測值觀察屬于該節(jié)點之觀測值相依性網(wǎng)絡相依性網(wǎng)絡主要目的在于了解各產(chǎn)品間的關聯(lián)性項目項目Touring-3000 = 現(xiàn)有的, Water Bottle = 現(xiàn)有的Road Bott

11、le Cage = 現(xiàn)有的群集設定檔群集設定檔列出各群集中所有產(chǎn)品比例僅列出各群中比例較高之產(chǎn)品 及 其 比 例各 群 集 之 個 數(shù)預測期數(shù)顯示預測誤差區(qū)間趨勢圖、預測圖各變數(shù)之系數(shù)該時間序列方程式Input類神經(jīng)網(wǎng)絡類神經(jīng)網(wǎng)絡模型模型OutputNaive Bayesian can only accept categorical attributes.You need to discrete the numerical Attributes into the categorical one.No parameters need to be adjusted in SSAS.線性回歸系數(shù)線性

12、回歸模型資料來源資料來源:Microsoft Taiwan詞匯索引前 置 處 理既有詞匯擷取文件新生詞匯擷取關鍵詞匯篩選及排名(Ranking)概念式分類/分群多國語言中(簡繁體字)英日德俄 詞庫式斷詞專家斷詞領域相關經(jīng)驗法則指引式文件分類文件自動分類(相似)信息截取(InformationExtraction)概念式搜尋信息分享統(tǒng)計斷詞關聯(lián)與相依分析(Association &Dependent Analysis)專家校正圖形模式貝氏機制自動分群/分類類別1類別2類別n專家分類器分類器議題關聯(lián)相關議題關聯(lián)相關議題法則議題法則法則推論法則推論文獻文獻相似分析相似分析/ /相依原理相依原

13、理法則邏輯推論法則邏輯推論選擇“vTargetMail(dbo)”勾選需要比較之模型說明：說明：在進行模型效益評估前必須先選入數(shù)據(jù)表，并在模型中勾選要進行評估比較之模型分類矩陣分類矩陣藉由分類矩陣進一步比較，判別兩模型的預測能力，由決策樹模型發(fā)現(xiàn)，預測正確的資料有7103+5857=12960；而群集分析模型的正確預測數(shù)據(jù)為5395+5308=10703，也可看出決策樹決策樹分類結(jié)果較群集分析群集分析分類結(jié)果好增益圖增益圖增益圖：增益圖：主要展現(xiàn)在整體的百分上所累積的效益狀況收益圖收益圖收益圖：收益圖：可根據(jù)所設定之固定成本、單位成本以及單位營收加以計算，找出最佳獲利點散布圖散布圖散布圖：散布圖：了解各模型之預測值、預測趨勢以及實際值Microsoft Office Business Scorecard Manager 提供組織以下的功能提供組織以下的功能強化的計分卡平臺強化的計分卡平臺洞悉企業(yè)問題洞悉企業(yè)問題協(xié)同組織