1、日期： 2015-10-10 文章來源：國研網文章錄入：李金金 關 閉 海量數據的不斷劇增形成大數據時代的顯著特征。而大數據的生產和交易的重要前提之一是數據的清洗。目前，我國已經形成了基本的數據清洗產業格局，但因各自利益的追求，導致仍存在不少問題。因此， 我國未來應重點強化數據清洗環節的規范和標準，推動大數據產業的健康發展。海量數據不斷劇增是未來的發展趨勢在席卷全球的信息化浪潮中，互聯網、移動互聯網、云計算、物聯網等技術迅猛發展、加速創新，其中積淀的數據爆炸式增長，成為重要的生產要素和社會財富， 堪稱信息時代的礦產和石油。據預測， 中國 2015 年可能突破10EB數據保有量，且每兩年會翻一番

2、。針對這種史無前例的數據洪流，如何挖掘信息時代的“數字石油”，將大數據轉換為大智慧、大市場和大生態，是我們這個時代的歷史機遇。2015 年 6 月24 日，國務院常務會議通過的互聯網+”行動指南意見明確提出，要加強新一代信息基礎設施建設和云計算、大數據的應用。此外， 根據中國信息通信研究院 （ 原工信部電信研究院）6 月 21 日發布的中國大數據發展調查報告，2014年我國大數據市場規模達到84 億元人民幣，預計 2015 年將達到115.9 億元人民幣，增速為38%。大數據交易顯現出對數據清洗的迫切需求大數據已經滲透到各個行業和業務職能領域，成為重要的生產因素。數據的來源主要有政府數據、行業

3、數據、企業數據和從數據交易所交換的數據。在數據交易方面，2014 年 2 月 20 日，國內首個面向數據交易的產業組織中關村大數據交易產業聯盟成立。同時成立的中關村數海大數據交易平臺是國內首個重點面向大數據的數據交易服務平臺，目前有1203 家數據提供商。2015 年 4 月 14 日，全國首家以大數據命名的交易所，即貴陽大數據交易所正式掛牌成立，并在當日成功完成了首筆數據交易。值得注意的是，貴陽大數據交易所交易的并不是底層數據，而是基于底層數據，通過數據的清洗、分析、建模、 可視化出來的結果。而采取這一過程的目的，就是為了解決數據交易和使用過程中保護隱私及數據所有權的問題。以傳統方式構建的基

4、本架構對數據進行清洗大數據必須經過清洗、分析、建模、可視化才能體現其潛在的價值。然而，由于網民數量的增加、業務應用的多樣化和社交網絡的繁榮，單個文件( 比如日志文件、音視頻文件等) 變得越來越大，硬盤的讀取速度和文件的存儲成本越來越顯得捉襟見肘。與此同時，政府、 銀行和保險公司等內部存在海量的非結構化、不規則的數據；而只有將這些數據采集并清洗為結構化、規則的數據，才能提高公司決策支撐能力和政府決策服務水平，使之發揮應有的作用。因此，目前的數據清洗主要是將數據劃分為結構化數據和非結構化數據，分別采用傳統的數據提取、轉換、加載(ETL) 工具和分布式并行處理來實現。其總體架構如圖1 所示。圖 1

5、大數據清洗總體架構具體來講，結構化數據可以存儲在傳統的關系型數據庫中。關系型數據庫在處理事務、及時響應、保證數據的一致性方面有天然的優勢。非結構化數據可以存儲在新型的分布式存儲中，比如Hadoop的HDFS。分布式存儲在系統的橫向擴展性、降低存儲成本、提高文件讀取速度方面有著獨特的優勢。此外，就是結構化數據和非結構化數據之間的數據遷移。如果要將傳統結構化數據， 例如關系型數據庫中的數據導入到分布式存儲中，可以利用sqoop 等工具，先將關系型數據庫(mysql 、 postgresql 等 )的表結構導入分布式數據庫(Hive) ，然后再向分布式數據庫的表中導入結構化數據。對不同質量的原數據進

6、行分類以適應清洗工作數據清洗在匯聚多個維度、多個來源、多種結構的數據之后，就可以對數據進行抽取、轉換和集成加載。在這個過程中，除了更正、修復系統中的一些錯誤數據之外，更多的是對數據進行歸并整理，并儲存到新的存儲介質中。其中，分清和掌握數據的質量至關重要。常見的數據質量問題可以根據數據源的多少和所屬層次（ 定義Scheme層和實例 sample 層 ）分為四類。第一類，單數據源定義層：違背字段約束條件（ 比如日期出現1 月 0 日 ） 、字段屬性依賴沖突（ 比如兩條記錄描述同一個人的某一個屬性，但數值不一致） 、 違反唯一性（同一個主鍵ID 出現了多次）。第二類，單數據源實例層：單個屬性值含有過

7、多信息、拼寫錯誤、空白值、噪音數據、數據重復、過時數據等。第三類，多數據源的定義層：同一個實體的不同稱呼（ 比如冰心和謝婉瑩，用筆名還是用真名） 、 同一種屬性的不同定義（ 比如字段長度定義不一致、字段類型不一致等） 。第四類，多數據源的實例層：數據的維度、粒度不一致（ 比如有的按GB記錄存儲量，有的按TB記錄存儲量；有的按照年度統計，有的按照月份統計）、數據重復、拼寫錯誤。除此之外，還有在數據處理過程中產生的“二次數據”，其中也會有噪聲、重復或錯誤的情況。數據的調整和清洗也會涉及到格式、測量單位和數據標準化與歸一化的相關事情，以致對實驗結果產生比較大的影響。通常這類問題可以歸結為不確定性。不

8、確定性有兩方面內涵，包括各數據點自身存在的不確定性，以及數據點屬性值的不確定性。前者可用概率描述，后者有多重描述方式，如描述屬性值的概率密度函數，以方差為代表的統計值等。對不同質量類型的數據采用不同的清洗方法針對以上數據質量中普遍存在的空缺值、噪音值和不一致數據的情況，可以 采用人工檢測、統計學方法、聚類、分類、基于距離的方法、關聯規則等方法來 實現數據清洗。以往的人工檢測方法不但要花費大量的人力、物力和時間，也會在數據清洗過程中產生很多衍生錯誤。最近，可視化作為一種有效的展示手段和交互手段，可以用來提高數據錯誤識別和清理的效率，如圖2 所示。圖 2 可視化方法直接影響數據質量的探究圖 2 中

9、， a 為社交網絡圖，無法顯示任何數據異常；b 為關聯矩陣圖，可以顯示源數據的內部結構，但不利于尋找錯誤；c 將源數據按照矩陣視圖重排，比較容易發現矩陣右下角的數據缺失。其他方法的優劣對比如表1 所示。表 1 數據清洗方法的對比方法主要思想優點缺點統計學方將屬性當做隨機變量，法置信區間來判斷值的正誤。通過可以隨機選取。參數模型復雜時需要多次 迭代。基于聚類根組，據數據相似度將數據分的方法孤立點。發現不能歸并到分組的對多種類型的數據有效，具有普適性。有效性高度依賴于使用的聚類方法，對于大型數據集開銷較大。基于距離使用距離度量來量化數據的方法對象之間的相似性。比較簡單易算。如果距離都較近或平均分

10、布，無法區分。基于分類訓練一個可以區分正常數的方法據和異常數據的分類模型。結合了數據的 偏好性。得到的分類器可能過擬合。基于關聯定義數據之間的關聯規則，規則的方不符合規則的數據被認為法是異常數據。可以發現數據 值的關聯性。強規則不一定是正確的規 則。根據缺陷數據類型分類，可以將數據清洗分為異常記錄檢測和重復記錄檢測兩個核心問題。異常記錄檢測。包括解決空值、錯誤值和不一致數據的方法。對于空值的處理，一般采用估算方法，例如采用均值、眾數、最大值、最小值、中位數填充。但估值方法會引入誤差，如果空值較多，會使結果偏離較大。對于錯誤值的處理，通常采用統計方法來處理，例如偏差分析、回歸方程、正態分布等，也

11、可以通過簡單規則庫檢查數值范圍或基于屬性的約束關系來識別錯誤。對于不一致數據的處理，主要體現為數據不滿足完整性約束。可以通過分析數據字典、元數據等，還可梳理數據之間的關系，并進行修正。不一致數據往往是因為缺乏一套數據標準而產生的，也與有關部門不貫徹落實相關標準有一定關系。重復數據的檢測。其算法可以細分為基于字段匹配的算法、遞歸的字段匹配算法、 Smith Waterman 算法、基于編輯距離的字段匹配算法和改進余弦相似度函數。這些細分算法的對比如表2 所示。表 2 重復數據的檢測算法對比算法優點缺點直接的按位比較。不能處理子字段排序的情 況。可以處理子串順序顛倒及縮寫的 匹配情況。時間復雜度高

12、，與具體領 域關系密切，效率較低。性能好：不依賴領域知識，允許Smith-Waterman 算法符串縮不匹配字符的缺失，可以識別況字寫的情。不能處理子串順序顛倒的 情形。可以捕獲拼寫錯誤、短單詞的插匹配算法入和刪除錯誤。對單詞的位置交換、長單 詞的插入和刪除錯誤，匹 配效果差。Cosine 相似度函數可以解決經常性使用單詞插入和刪除導致的字符串匹配問題。不能識別拼寫錯誤。通過內容限制和方法改進應對數據清洗面臨的挑戰隨著信息量的飛速增長和智慧工具的不斷涌現，無關、重復、錯誤，甚至擬人的信息也將隨之增長，給大數據的清洗帶來極大的挑戰。例如， 由于人工智能技術，尤其是深度學習技術的迅速發展，機器人發

13、帖、聊天、發微博、搶票等現象司空見慣，如微軟 “小冰” 和聊天機器人“ wbot” 在微博上頻繁互動等。目前，判斷社交對象是否是人類已經成為圖靈測試的范疇。而如何區分數據是否是人類產生的， 如何將機器人產生的數據清洗出去，將對用戶軌跡跟蹤、網絡輿情分析、生成用戶畫像等方面產生重大影響。針對以上問題，目前可以從兩個方面對數據進行處理。第一，限制內容產生。例如，可通過微博的實名制、論壇簽到制、發帖驗證碼、網絡爬蟲的Robots 協議等來完成。然而，隨著模式識別技術的快速發展，普通的驗證碼已經難以屏蔽機器人自動識別驗證碼并進行填寫的情況。因此， 驗證碼也朝著日趨復雜的方向發展。例如 12306使用一

14、組近似圖片，需要用戶選出多個正確答案才能進行購票。第二，改進數據清洗方法。依托行業規則和技術特征對機器人產生的數據進行清洗。 例如， 基于主流搜索引擎會在用戶代理中留下其特定關鍵字、網絡爬蟲一般會用HEAD發起請求等特征，可通過識別相應關鍵字、只保留GET請求等方法，過濾掉機器人產生的數據。此外，也可以根據用戶發帖時間、頻率、IP 地址等進行數據建模，利用機器學習和數據挖掘的方法過濾掉機器人產生的內容。我國數據清洗已形成基本產業格局在大數據時代，數據正在成為一種生產資料，成為一種稀有資產和新興產業。大數據產業已提升到國家戰略的高度，隨著創新驅動發展戰略的實施，逐步帶動產業鏈上下游，形成萬眾創新

15、的大數據產業生態環境。數據清洗屬于大數據產業鏈中關鍵的一環，可以從文本、語音、 視頻和地理信息對數據清洗產業進行細分。文本清洗領域。主要基于自然語言處理技術，通過分詞、語料標注、字典構建等技術，從結構化、非結構化數據中提取有效信息，提高數據加工的效率。除去國內傳統的搜索引擎公司，例如百度、搜狗、360等，該領域代表公司有：拓爾思、中科點擊、任子行、海量等。語音數據加工領域。主要是基于語音信號的特征提取，利用隱馬爾可夫模型等算法進行模式匹配，對音頻進行加工處理。該領域國內的代表公司有：科大訊飛、中科信利、云知聲、捷通華聲等。視頻圖像處理領域。主要是基于圖像獲取、邊緣識別、圖像分割、特征提取等環節

16、，實現人臉識別、車牌標注、醫學分析等實際應用。該領域國內的代表公司有：Face+、五谷圖像、亮風臺等。地理信息處理領域。主要是基于柵格圖像和矢量圖像，對地理信息數據進行加工， 實現可視化展現、區域識別、地點標注等應用。該領域國內的代表公司有：高德、四維圖新、天下圖等。強化數據清洗環節的規范和標準推動產業發展據統計，數據清洗在大數據開發過程占用的時間比例高達60%以上。加快數據的標準化建設，減少數據清洗過程中的成本開銷，已經成為我國大數據產業必須跨越的一道障礙。第一，加快跨行業的數據標準統籌制定。行業的垂直建設，形成了多個行業之間、 甚至一個行業的多個部門之間條塊分割的數據資源。海量數據以各種形式分散于各行業、各部門， 存在同類數據反復采集、數據標準和統計口徑不統一等問題， 給大數據開發帶來了極大的挑戰。因此， 目前亟需制定跨行業的數據標準，規范數據的采集、錄入、傳輸、處理等過程，加快海量數據的融合創新。第二， 貫徹數據方面的國家和行業標準。在一些行業，已經建立了數據錄入、統計等國家和行業標準，對數據字典進行了規范。然而， 很多企業為了維護自己的市場額度，開發自定義的程序應用和數據傳輸接口，在