


下載本文檔
版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
1、一、 數據倉庫的特征:(1)面向主題性主題:是一個抽象的概念,是在較高層次上將企業信息系統中的數據綜合、歸類并 進行分析利用的抽象。在邏輯上,它對應于企業中某一宏觀分析領域所涉及的分析 對象。面向主題的數據組織方式可在較高層次上對分析對象的數據給出完整、一致的描述,能完整、統一的刻畫各個分析對象所涉及的企業的各項數據以及數據之間的聯系, 從而適應企業各個部門的業務活動特點和企業數據的動態特征,從根本上實現數據 與應用的分離。(2)集成性數據倉庫中的數據是從原有分散的源數據庫中提取出來的,其每一個主題所對應的 源數據在原有的數據庫中有許多冗余和不一致,且與不同的應用邏輯相關。為了創 建一個有效的
2、主題域,必須將這些來自不同數據源的數據集成起來,使之遵循統一 的編碼規則。因此,數據倉庫在提取數據時必須經過數據集成,消除源數據中的矛 盾,并進行數據綜合和計算。經過數據集成后,數據倉庫所提供的信息比數據庫提 供的信息更概括、更本質。(3)時變性時變性:許多商業分析要求對發展趨勢做出預測,對發展趨勢的分析需要訪問歷史數據。因此數據倉庫必須不斷捕捉OLTP數據庫中變化的數據, 生成數據庫的快照, 經集成后增加到數據倉庫中去;另外數據倉庫還需要隨時間的變化刪去過期的、對 分析沒有幫助的數據,并且還需要按規定的時間段增加綜合數據。(4)非易失性數據倉庫中的數據反映的是一段時間內歷史數據的內容,是不同
3、時點的數據庫快照 的集合,以及基于撰寫快照進行統計、綜合和重組的導出數據,而不是聯機處理的 數據。主要供企業高層決策分析之用,所涉及的數據操作主要是查詢,一般情況下 并不進行修改操作,即數據倉庫中的數據是不可實時更新的,僅當超過規定的存儲 期限,才將其從數據倉庫中刪除,提取新的數據經集成后輸入數據倉庫(5)集合性數據倉庫的集合性意味著數據倉庫以某種數據集合的形式存儲起來。二、KDD過程中的數據準備中的三個子步驟:(1)數據集成將多文件或多數據庫運行環境中的數據進行合并處理,解決語義模糊性、處理數據 中的遺漏和清洗臟數據等。(2)數據選擇數據選取的目的是確定目標數據,根據用戶的需要從原始數據庫中
4、選取相關數據或樣本。在此過程中,將利用一些數據庫操作對數據庫進行相關處理。(3)數據預處理對步驟2中選出的數據進行再處理,檢查數據的完整性及一致性,消除噪聲及與數 據挖掘無關的冗余數據,根據時間序列和已知的變化情況,利用統計等方法填充丟 失的數據。三、KDD過程中的“結果的解釋和評估”步驟說明:對在數據挖掘步驟中發現的模式(知識)進行解釋。通過機器評估剔除冗余或無關 模式,若模式不滿足,再返回到前面某些處理步驟中反復提取。將發現的知識以用戶能了解的方式呈現給用戶。其中也包括對知識一致性的檢查, 以確信本次發現的知識不會與以前發現的知識相抵觸四、 數據挖掘的任務之一 “關聯分析”相關內容?關聯規
5、則反映一個事物與其它事物之間的相互依存性和關聯性,如果兩個事物或者多個事物之間存在一定的關聯關系,那么其中一個事物就能夠通過其他事物預測到。人們希望在海量的商業交易記錄中發現感興趣的數據關聯關系,用以幫助商家作出決策。例如:面包2%牛奶1.5%(占超市交易總數)2%和1.5%表明這兩種商品在超市經營中的重要程度,稱為支持度。商家關 注高支持度的產品。面包=牛奶60%在購買面包的交易中, 有60%的交易既買了面包又買了牛奶,成60%為規則而包=牛奶”的信任度。信任度反映了商品間的關聯程度五、 數據挖掘的任務之一 “聚類”相關內容?聚類是對物理的或抽象的對象集合分組的過程。聚類生成的組為簇,簇是數
6、據對象 的集合。簇內部任意兩個對象之間具有較高的相似度,而屬于不同簇的兩個對象間 具有較高的相異度。相異度可以根據描述對象的屬性值計算,對象間的距離是最常采用的度量指標。在 實際應用中,經常將一個簇中的數據對象作為一個整體看待。用聚類生成的簇來表 達數據集不可避免地會損失一些信息,但卻可以使問題得到必要的簡化。主要的數據挖掘聚類方法有:劃分的方法、層次的方法、基于密度的方法、基于網 格的方法、基于模型的方法六、 數據挖掘的任務之一 “分類”相關內容?分類的目的是提出一個分類函數或分類模型(即分類器)通過分類器將數據對象映 射到某一個給定的類別中。數據分類可以分為兩步進行。第一步建立模型,用于描
7、 述給定的數據集合。通過分析由屬性描述的數據集合來建立反映數據集合特性的模 型。第二步是用模型對數據對象進行分類。七、 數據挖掘中的歸納學習方法中的“遺傳算法”相關內容遺傳算法遺傳算法是進化計算的一種,體現生物進化的四個要素:繁殖、變異、競爭和自然選擇遺傳算法的聚類思想:數據空間、編碼、個體(染色體)、適應值函數、交叉、變異、選擇(自然選擇)。重復以上步驟,直到種群不再進化或找到目 標為止。八、數據挖掘中的公式發現中的“BACON系統”相關內容(1) BACON系統的基本思想BACON系統是運用人工智能技術從試驗數據中尋找規律性比較成功的一個系統,其思想是讓程序反復地考察數據并使用精煉算子創造
8、新項,直到創造的這些項中有一個是常數時為止。該系統運用的是數據驅動方法,這種方法使用的規則空間與假設空間是分開的。這 類學習方法的大致步驟為:步驟1:手集某些訓練例。步驟2:對訓練例進行分析,決定應該使用的精煉算子。步驟3:使用選出的算子修改當前的假設空間。重復執行步驟1到步驟3直到取得滿意的假設為止。BACON系統中所采用的主要精煉算子如下:A.發現常數B.具體化C.斜率和截距的產生D.積的產生E.商的產生F模n的項的產生(2) BACON系統的功能和應用BACON系統是用產生式語言OPS實現的。這個任務產生式系統的優點是它允許人 們寫一套小型的一般規律發現程序。這些程序在收集的數據上進行搜
9、索,同時,這 些數據仍存放在工作存儲器中。如果數據中出現所說的一種規律性,它就會觸發某 個算子,執行適當的動作:Casel如果規律性保持不變,就在有關范圍內(時間、物體)進行一般化并 檢驗。Case2:如果在某時間間隔上屬性值一致地增加或減少,則構造一個新屬性, 該屬性是借助隨時間變化的舊屬性而定義的(例如加速度是由速度構造的),并且進一步研究這個新屬性。Case3:如果一個屬性值隨著另一個上升,則要考慮新屬性為它們的乘積。 最后,構造和發現一個這樣的高級屬性,它用到程序員在自定義規律中提到的新屬性,并以它的值為常數,這是BAXIN系統的變體九、數據挖掘中的公式發現中的“FDD系統”相關內容FDD系統是一個基于實驗數據庫的經驗公式發現系統。FDD系統運用了人工智能中的啟發式方法和數據處理中的曲線擬合技術,通過對所提供原型之間的線性組合和一定程度的復合不斷逼近實驗數據,最終得到蘊藏在大 量實驗數據中的經驗公式。其基本思路是:步驟1:固定變量X2,對X1進行學習,即在現有原型基礎上,依次對所提 配,用最小二乘法求出a,b系數,若某一原型經線性組合后與實驗數據的相 對誤差小于一給定或值,則學習成功,否則轉步驟2。步驟
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
評論
0/150
提交評論