主講：朱佳為什么需要數(shù)據(jù)預(yù)處理2在現(xiàn)實社會中，存在著大量的“臟”數(shù)據(jù)不完整性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)采集設(shè)備和數(shù)據(jù)錄入人員）

缺少感興趣的屬性感興趣的屬性缺少部分屬性值僅僅包含聚合數(shù)據(jù)，沒有詳細(xì)數(shù)據(jù)噪音數(shù)據(jù)（采集數(shù)據(jù)的設(shè)備、數(shù)據(jù)錄入人員、數(shù)據(jù)傳輸）數(shù)據(jù)中包含錯誤的信息存在著部分偏離期望值的孤立點不一致性（數(shù)據(jù)結(jié)構(gòu)的設(shè)計人員、數(shù)據(jù)錄入人員）數(shù)據(jù)結(jié)構(gòu)的不一致性Label的不一致性數(shù)據(jù)值的不一致性為什么需要數(shù)據(jù)預(yù)處理3數(shù)據(jù)挖掘的數(shù)據(jù)源可能是多個互相獨立的數(shù)據(jù)源關(guān)系數(shù)據(jù)庫多維數(shù)據(jù)庫（DataCube）文件、文檔數(shù)據(jù)庫數(shù)據(jù)轉(zhuǎn)換為了數(shù)據(jù)挖掘的方便海量數(shù)據(jù)的處理數(shù)據(jù)歸約（在獲得相同或者相似結(jié)果的前提下）沒有高質(zhì)量的數(shù)據(jù)，就沒有高質(zhì)量的挖掘結(jié)果高質(zhì)量的決策必須基于高質(zhì)量的數(shù)據(jù)基礎(chǔ)上數(shù)據(jù)倉庫是在高質(zhì)量數(shù)據(jù)上的集成數(shù)據(jù)預(yù)處理的主要任務(wù)4數(shù)據(jù)清理填入缺失數(shù)據(jù)平滑噪音數(shù)據(jù)確認(rèn)和去除孤立點解決不一致性數(shù)據(jù)集成多個數(shù)據(jù)庫、DataCube和文件系統(tǒng)的集成數(shù)據(jù)轉(zhuǎn)換規(guī)范化、聚集等數(shù)據(jù)歸約在可能獲得相同或相似結(jié)果的前提下，對數(shù)據(jù)容量進(jìn)行有效的縮減數(shù)據(jù)離散化對于一個特定連續(xù)屬性，尤其是連續(xù)數(shù)字屬性，可以把屬性值劃分成若干區(qū)間，以區(qū)間值來代替實際數(shù)據(jù)值，以減少屬性值的個數(shù).數(shù)據(jù)預(yù)處理的形式5數(shù)據(jù)清理數(shù)據(jù)集成數(shù)據(jù)轉(zhuǎn)換數(shù)據(jù)歸約缺失數(shù)據(jù)的處理方法6使用屬性的平均值填充空缺數(shù)值簡單方便、挖掘結(jié)果容易產(chǎn)生不精確的結(jié)果使用與給定元組同一個類別的所有樣本的平均值分類非常重要，尤其是分類指標(biāo)的選擇使用最有可能的值予以填充利用回歸、基于推導(dǎo)的使用貝葉斯形式化的方法的工具或者判定樹歸納確定利用屬性之間的關(guān)系進(jìn)行推斷，保持了屬性之間的聯(lián)系噪音數(shù)據(jù)7噪音數(shù)據(jù):一個度量（指標(biāo)）變量中的隨機錯誤或者偏差主要原因數(shù)據(jù)采集設(shè)備的錯誤數(shù)據(jù)錄入問題數(shù)據(jù)傳輸問題部分技術(shù)的限制數(shù)據(jù)轉(zhuǎn)換中的不一致

數(shù)據(jù)清理中所需要處理的其它問題重復(fù)的記錄不完整的數(shù)據(jù)不一致的數(shù)據(jù)噪音數(shù)據(jù)的處理8分箱（Binning）的方法聚類方法檢測并消除異常點線性回歸對不符合回歸的數(shù)據(jù)進(jìn)行平滑處理人機結(jié)合共同檢測由計算機檢測可疑的點，然后由用戶確認(rèn)分箱方法2023/5/159基本思想：通過考察相鄰數(shù)據(jù)的值，來平滑存儲數(shù)據(jù)的值基本步驟首先，對數(shù)據(jù)進(jìn)行排序，并分配到具有相同寬度/深度的不同的“箱子”中。其次，通過箱子的平均值（Means）、中值（Median）、或者邊界值等來進(jìn)行平滑處理。分箱（Binning）方法舉例10對數(shù)據(jù)進(jìn)行排序:4,8,9,15,21,21,24,25,26,28,29,34對數(shù)據(jù)進(jìn)行分割(相同深度):-Bin1:4,8,9,15-Bin2:21,21,24,25-Bin3:26,28,29,34根據(jù)bin中的平均值進(jìn)行離散化:-Bin1:9,9,9,9-Bin2:23,23,23,23-Bin