第3 l 卷第1 期 2 0 1 4 年1 月 統計研究 S t a t i s t i c a lR e s e a r c h V 0 1 3 1 N o 1 J a n 2 0 1 4 大數據時代統計學面臨的機遇與挑戰 耿直 內容提要 大數據給統計學帶來了機遇 挑戰和緊迫感 本文描述大數據的環境 利用大數據的目的和大數據 帶來的變革 介紹國內外有關大數據的研究動向 探討大數據包含的信息 大數據的預處理 抽樣和分析方法 關鍵詞 大數據 抽樣 數據分析方法論 中圖分類號 C 8 2 9 2文獻標識碼 A文章編號 1 0 0 2 4 5 6 5 2 0 1 4 0 1 0 0 0 5 0 5 O p p o r t u n i t i e sa n dC h a l l e n g e si nt h eA g eo fB i gD a t af o rS t a t i s t i c s G e n gZ h i A b s t r a c t B i gd a t ab r i n g so p p o r t u n i t y c h a l l e n g e sa n du r g e n c yf o rs t a t i s t i c s T h i sp a p e rd e s c r i b e st h ee n v i r o n m e n t so f b i gd a t a t h eg o a lo fb i gd a t aa n dt h er e v o l u t i o nb yb i gd a t a A n di ta l s oi n t r o d u c e st h er e s e a r c ht r e n d sf o rb i gd a t aa th o m e a n da b r o a d T h ei n f o r m a t i o n p r e p r o c e s s s a m p l i n ga n da n a l y s i so fb i gd a t ah a v eb e e nd i s c u s s e d K e yw o r d s B i gD a t a S a m p l i n g M e t h o d o l o g yo fD a t aA n a l y s i s 一 引言 在人類利用觀察認知自然的方法論發展的歷程 中 最初神學 哲學和科學合為一體 巫術 占星術和 宗教是哲學和科學的前身 人類舊石器期用神學解 釋自然 根據蛙鳴預測下雨 用巫術和占星術祈禱 預測和干預自然 中國古代利用陰陽太極圖和八卦 圖作為思辨模型 分析和解釋自然和人文社會的現 象 古希臘文明孕育了演繹邏輯 歸納邏輯 文藝 復興前后哲學家提出觀察和試驗的方法 培根 F B a c o n 1 6 2 0 新工具 提出通過觀察實驗 運用三 表法 存在與具有表 差異表 程度表 穆勒 JS M i l l 1 8 4 3 邏輯體系 提出歸納四法 求同法 求異 法 共變法 剩余法 在統計方法論的發展中 貝葉 斯 TB a y e s 1 7 6 4 提出逆概率方法 利用觀察結果 推斷事件的概率 高爾頓 FG a h o n 1 8 8 6 將變量 間的相關關系進行了形式化 提出了相關系數 進一 步在相關性的基礎上提出了回歸預測的方法 皮爾 遜 KP e r s o n 1 9 0 0 提出了擬合優度檢驗的方法 使 得人們能夠利用概率度量觀測現象與科學假說的擬 合程度 在此后的一個多世紀中統計方法有了突飛 猛進的發展 被廣泛地應用到自然科學 經濟金融和 人文社會科學的各個領域 在人類利用觀察探索自 然和社會規律的歷程中 從遠古時代的觀察加臆想 古希臘時代的觀察加理性推理 文藝復興時代的試 驗加理性推理 直到現代的抽樣加統計模型 當今時代 二方面人們在主動地獲取數據 各 個科學領域都在大量地獲取數據 自然科學領域收 集著從宏觀的天文數據到微觀的基因數據 經濟 金 融和人文社會科學收集著大量的觀察和調查數據 一些人們在通宵達旦地制造和收集數據 他們相信 這些數據會對別人有用 也有一些人們脫離了實驗 室 僅依靠網絡數據從事研究 另一方面人們在被 動地囤積數據 隨著計算機互聯網 搜索引擎 電子 商務 多種傳感器和多媒體技術的發展和廣泛使用 各種形式的數據如江河流水般地涌來 當今數據的 獲取和規模發生了根本的變化 統計學面臨著新的 機遇和挑戰 需要在方法論上有所突破 本文在第二部分描述大數據的形式和環境 以 及利用大數據的目的 第三部分描述大數據帶來的 變革 第四部分介紹國內外有關大數據的研究動向 第五部分探討大數據的信息問題 第六部分介紹大 本文獲國家自然科學基金項目 因果推斷的統計方法 批 準號1 1 1 7 1 3 6 5 和 生物統計 批準號1 1 3 3 1 0 1 1 的資助 本文為第十七次全國統計科學討論會特邀論文 萬方數據 6 統計研究2 0 1 4 年1 月 數據需要的預處理 抽樣和分析方法 特別地介紹了 網絡圖模型對大數據分析的潛在用途 最后一部分 是結束語 討論大數據給統計學帶來了機遇 挑戰和 緊迫感 二 大數據及其目的 狹義地講 大數據是一個大樣本和高維變量的 數據集合 針對樣本大的問題 統計學可以采用抽 樣減少樣本量 達到需要的精度 關于維數高的問 題 需要變量選擇 降維 壓縮 分解 但認知高維小 樣本存在本質的困難 廣義地講 大數據涵蓋多學 科領域 多源 混合的數據 自然科學 人文社會 經 濟學 通訊 網絡 商業和娛樂等各領域的數據集相 互重疊連成了一片數據的海洋 各學科之間數據融 合和貫通 學科的邊界已重疊和模糊 大數據涉及 各種數據類型 包括文本與語言 錄像與圖像 時空 網絡與圖形 我認為當代的大數據不僅數據量大 還包括多種類型數據和大量數據項目集的覆蓋 重疊 大部分傳統的統計方法只適合分析單個計算機 存儲的數據 而目前大數據的環境包括了舊o 1 數據流環境 數據快速不斷涌來 現有存儲 設備和計算能力難以應付這種洪水般的數據流 2 磁盤存儲環境 數據已不能完全存儲在內存 中 需要硬盤存儲 3 分布存儲環境 數據分布存儲在多個計算 機中 4 多線條環境 數據存儲在一個計算機中 多 個處理器共享內存 大數據的目的是將數據轉化為知識 B i gD a t a t oK n o w l e d g e B D 2 K 探索數據的產生機制 進行 預測和制定政策舊 6 7 把信息轉變為有用的知識 還需漫長的時間 J 預測 不同于 制定政策 一個兒童的鞋子越大 可以預測他掌握的詞匯量越 多 但是 制定政策強制他穿大鞋子并不能提高他的 詞匯量 進一步 大數據有記錄保存自然與社會現狀的 作用 現在有些人收集著大量數據 盡管他們還不 清楚如何分析這些數據 但是他們相信需要保存現 今社會和經濟高速發展的過程 期待著今后分析和 解釋這段歷史 還有些人將百歲老人的血液和其他 各種生物標本等存放在冰箱里 他們認為當今的技 術還不足以測試和分析這些資源 期待著今后更先 進的測試技術 大數據就如同自然和社會的血液那 樣記錄著社會的現狀和發展過程 1 7 世紀望遠鏡和顯微鏡的發明使人類看到了 以前從來沒有看到過的宇宙空間和微生物 擴大了 人類對自然的認識 大數據就像 望眼鏡 和 顯微 鏡 那樣 使得人們能夠通過數據觀察分析豐富的 自然 經濟 社會的現象 借助互聯網數據 可以及 時了解疾病疫情 科學動態 社會動態 谷歌借助頻 繁檢索詞條能及時判斷流感從哪傳播 哪些人可能 感染了流感MJ 大數據將形成自然和人文社會的 歷史長河 不但能用于探索當代的科學問題 將來可 以用于研究人們食用轉基因食品對子孫后代的影響 等追蹤研究問題 為未來留下現今的歷史資料 三 大數據帶來的變革 大數據給我們的時代帶來了變革 目前 人們 習慣于根據 研究問題 來驅動 收集數據 今后 大數據到處可得 人們將會用 數據 驅動 研究問 題 就像我們出遠門前常常查詢目的地的天氣 交通和賓館那樣 未來人們在研究和決策前將會通 過查詢數據做決定 目前已經有科學家開始使用軟 件搜索和匯總已發表論文中的成果 古希臘文明時 代哲學家是百科全書式的人物 文藝復興以來學科 的分裂和細化產生了單一學科的專家 大數據時 代 將可能再次出現百科全書式的人物 大數據將 減弱專家在各個領域的影響 甚至導致專家的消 亡 1 例如目前已經有很多統計學家 物理學家和 計算機專家憑著他們對數據的敏銳和處理能力進入 了生命科學領域 假若我們有了成千上萬本中文書 和它們的阿拉伯語譯本 即使我們不懂阿拉伯語 我 們也能采用匹配文本的方法將中文翻譯成阿拉伯 語 谷歌機器翻譯團隊并不會說他們翻譯出的語 言 大數據中包含有各種不同目的的數據集 綜 合利用它們可以做出原來目的之外的意外成果 例 如 將醫院病歷數據與信用卡消費數據結合 我們能 發現食品與健康的相關關系 指導人們進行健康飲 食 假若再加上手機和G P S 等數據 還能隨時對人 們進行體檢 指導健身 減少猝死 幫助醫生診斷疾 病等 應用大數據可以設想的用途不計其數 四 大數據的研究動向 美國科學院全國研究理事會的 大數據分析委 萬方數據 第3 1 卷第1 期耿直 大數據時代統計學面臨的機遇與挑戰 7 員會舊1 提出了大數據的挑戰問題 處理高度分布的 數據資源 追蹤數據的來源 核實數據 處理樣本偏 倚和異質性 處理不同格式和結構的數據 開發并行 和分布式算法 數據的完整性 安全性 一體化和共 享 開發大數據的可視化方法和可擴展算法 處理實 時分析和決策制定 美國國家衛生研究院 N I H 1 提出將數據轉換為知識 B D 2 K 的使命 設立生物 醫學大數據研究中心基金 在我國 科技部組織召開了兩次香山會議 2 0 1 2 年5 月 大數據科學與工程 2 0 1 3 年5 月 數據科 學與大數據的科學原理及發展前景 設立了大數 據的 9 7 3 專項研究計劃 國家自然科學基金委 2 0 1 3 年3 月組織了雙清論壇 大數據技術與應用中 的挑戰性科學問題 國家自然科學基金委的數理 學部 信息學部 管理學部都計劃設立大數據的重大 項目和重點項目群 國家社科基金計劃設立大數據 的重大項目 另外 業界 咨詢公司和投資商都在尋 找大數據的機會 大數據分析的方法研究超出了單一學科領域 需多學科聯合 統計學家需要關注計算機資源和實 時決策 計算機學家需要了解統計推斷和算法的復 雜性 另外 利用大數據還需要相關領域專家的專 業知識 五 大數據的信息和問題 大數據是多源異質的 覆蓋不同范圍的數據 為了融合各種數據 需要對數據來源 數據的獲取方 式和數據描述進行形式化 以支撐數據分析 大數 據來自多種渠道 存在抽樣偏倚 隨機的和非隨機的 誤差 無意的和有意的錯誤 數據收集的準則與數 據分析和決策的準則不相符合 有些數據不是原始 數據 而是推斷的結果 如填補的缺失數據 數據 的循環使用導致偏差和噪音被放大 數據量大不一 定有用的信息多 大量的含偏差數據甚至會破壞信 息 應意識到分析大數據也許會得到虛假知識 而 自己卻不知情 在大數據環境下 收集數據的人也 許不清楚未來使用數據的人要做什么 使用數據建 模的人也許不清楚數據是如何得到的 使用模型的 人也許不知道模型是從什么數據得出來的 因此 難免人們會根據自己的意圖過分地解釋模型 超出 了原始數據所包含的信息范圍 獲取的數據也可能存在選擇偏倚 如醫院就診的 病人和使用互聯網的人不能代表研究總體 大數據 難免存在不響應和缺失數據 有些數據是隨機缺失 的 非隨機缺失的 因為敏感問題或隱私問題而缺失 的 不同研究收集不同的 有重疊變量的數據集 例 如 經濟 保險 社會 醫學 生物 化學等研究的問題 不同 收集數據的變量集合不同 x Y z x Y U V 等 但是它們也許有共同感興趣的變量交集 另外 來自觀察的數據和來自試驗的數據具有 不同的信息 不同信息導致不同的認知范圍 數據 本身含有的信息是有邊界的 決定了數據分析解釋 的范圍 模型只是數據信息的精練 不能向外延展 數據的信息 利用模型進行超出數據信息之外的推 斷 需要額外的假定 而這些假定不能被數據證偽 六 大數據的處理 抽樣與分析 一 數據的預處理 大數據的預處理包括數據清洗 不完全數據填 補 數據糾偏與矯正 利用隨機抽樣數據矯正雜亂 的 非標準的數據源 統計機構的數據是經過嚴格 抽樣設計獲取的 具有總體的代表性和系統誤差小 的優勢 但是數據獲取和更新的周期長 盡管調查項 目有代表性 但難以無所不包 而互聯網數據的獲 取速度快 量大 項目繁細 但是難以避免數據獲取 的偏倚性 將統計機構的數據作為金標準和框架對 互聯網數據進行矯正 將互聯網數據作為補充資源 對統計機構的數據進行實時更新 也許是解決問題 的一個思路 研究利用多源數據的重疊關系整合多 數據庫資源的方法 多種專題 p a n e l s 的數據可以 相互聯合 實現單一專題數據不能完成的目標 二 大數據環境的抽樣 大數據的抽樣方法有待研究 1 樣本 不必 使用所有 數據 不管鍋有多大 只要充分攪勻 品 嘗一小勺就知道其滋味 針對大數據流環境 需要 探索從源源不斷的數據流中抽取足以滿足統計目的 和精度的樣本 需要研究新的適應性 序貫性和動 態的抽樣方法 根據已獲得的樣本逐步調整感興趣 的調查項目和抽樣對象 使得最近頻繁出現的 熱 門 數據 也是感興趣的數據進入樣本 建立數據 流的緩沖區 記錄新發生數據的頻數 動態調整不在 樣本中的數據進入樣本的概率 對于罕見案例 如 果采用簡單隨機抽樣將會抽到很少的案例和過多的 非案例數據 需要研究大數據的案例抽樣方法 萬方數據 8 統計研究 2 0 1 4 年1 月 C a s e b a s e ds a m p l i n g 探索基于事件的抽樣方法 E v e n t b a s e ds a m p l i n g 設置信號強度門檻值 僅 抽樣超過門檻值的數據 利用其他各種抽樣技術 例如 捕獲一再捕獲 不等概率抽樣 將注意力放到 總體中難以觀測到的部分 在大數據環境中采用非 隨機抽樣方法 如滾雪球方法 從種子開始逐步擴大 樣本 研究對社會關系網絡和圖的抽樣方法 從隨 機種子出發 不斷加入新種子 了解網絡性質和結 構 需要研究發現稀疏信號的方法和壓縮感知方 法 成組檢測是發現稀疏信號的一個特別方法 例 如美國1 9 4 3 年對新兵驗血檢查梅毒感染時 由于梅 毒是罕見疾病 采用了將一組人群的血液混合在一 起進行檢測的高效快捷方法 三 大數據的分析與整合 針對大數據的高維問題 需要研究降維和分解 的方法 探討壓縮大數據的方法 直接對壓縮的數 據核進行傳輸 運算和操作 除了常規的統計分析 方法 包括高維矩陣 降維方法 變量選擇之外 需要 研究大數據的實時分析 數據流算法 d a t as t r e a m c o m p u t i n g 不用保存數據 僅掃描一遍數據的數 據流算法 考慮計算機內存和外存的數據傳送問題 分布數據和并行計算的方法 如何無信息損失或無 統計信息損失地分解大數據集 獨立并行地在分布 計算機環境進行推斷 各個計算機的中間計算結果 能相互聯系溝通 構造全局統計結果 研究多個數 據資源的融合算法 研究利用數據流尋找模型變化 時間點的動態變化模型 針對多種不同數據庫的環境 利用關系數據庫 技術 根據關鍵字 例如 身份證 將很多小數據庫 連接成一個大數據庫 另一方面 能無信息損失地 將大數據庫拆分為多個小數據庫 組合多數據庫的 不同數據集合 可以做出有創意的東西 丹麥有一 個手機用戶的數據庫 共3 5 8 4 0 3 人 另一個記錄了 癌癥患者的數據庫 有1 0 7 2 9 名中樞神經系統患者 的信息 將兩個數據庫結合 研究手機與癌癥之間 的關系 發現使用手機和癌癥之間不存在任何關 系 其結果發表在2 0 1 1 年的 英國醫學雜志 1 在大數據環境 很多數據集不再有標識個體的 關鍵字 傳統的關系數據庫連接方法不再適用 需要 探討利用數據庫之間的重疊項目來結合不同的數據 庫 利用變量間的條件獨立性整合多個不同變量集 的數據為一個完整變量集的大數據庫的方法 探索 不必經過整合多數據庫 直接利用局部數據進行推 斷和各推斷結果傳播的方法 另一方面 利用統計 性質無信息損失地分解和壓縮大數據 在多源和多專題的數據庫環境 各個數據集的 獲取條件不同 項目不同又有所重疊 在這種情況 下 一種分析方法是分別利用各個數據集得到各自 的統計結論 然后整合來自這些數據集的統計結論 如薈萃分析方法 我們曾提出 中間變量悖論 指 出統計結論不具備傳遞性 1 例如 變量A 對變量 B 有正作用 并且變量B 對變量C 有正作用 但是 可能變量A 對變量C 有負作用 為了避免 中間變 量悖論 的現象發生 可以先整合數據 再利用整合 的數據進行推斷 我們提出了判斷已有的各種條件 數據集是否能識別所有變量聯合分布的算法 例如 有5 個數據庫 包含的變量的模式為 D E F I A B C G A D G I B C D E I F B I A C D G c I D E 一個字母表示一個變量 D E l F 表示在給定變量F 條件下獲得的變量D 和E 的 數據 根據我們的算法可以判斷由這些條件數據庫 可以識別和估計所有變量 A B C D E F G 的聯 合分布 四 網絡圖模型 網絡圖模型用圖的結構描述高維變量之間的相 互關系 包括無向圖概率模型 貝葉斯網絡 因果網 絡等舊J 網絡圖模型是處理和分析高維大數據和 多源數據庫的有效工具 目前已經有豐富的圖模型 的軟件系統 例如M S B N B NT o o l b o x W i n B U G S H u g i n T e t r a d M I M C o C o 等 無向圖模型利用有 或無一條無方向邊來描述變量之間的關聯關系和條 件獨立性 可以將高維變量的統計推斷問題 例如 參數估計和假設檢驗 分解為低維變量的統計推斷 問題 貝葉斯網絡是一個有向無環圖 用于計算大 網絡中信息的收集和傳播 在一個由眾多變量作為 結點的大網絡中 當收集到一部分變量的信息后 不 用計算高維聯合概率 而是采用網絡傳播信息流的 方法有效地計算目標變量的后驗概率 P e a r l 2 0 1 1 年圖靈獎獲得者 提出因果網絡 采用有向圖刻畫 變量間的因果關系 利用數據學習網絡結構 發現產 生數據的機制和因果關系網絡 網絡圖模型可以用于分解大數據集合 處理多 源數據庫 利用局部數據 進行并行計算 網絡圖模 型還可以引入隱變量簡化復雜的關聯關系 利用關 萬方數據 第3 1 卷第1 期耿直 大數據時代統計學面臨的機遇與挑戰 9 聯網絡圖進行基于關聯關系的預測 例如 樸素貝葉 斯分類器和貝葉斯網絡分類器 利用因果網絡圖可 以進行基于因果關系的預測和政策制定 我們提出 盲人摸象 方法 利用多個不完全數 據庫學習整體網絡結構的算法 o 1 1 首先分別利 用各個數據庫學習各自的局部網絡結構 然后將這 些局部結構相互交流配合 最終整合一個全局的網 絡結構 當因果關系不能完全根據數據確定時 我 們提出采用主動學習的方法 抓住主要變量進行干 預試驗 確定整個網絡的因果關系 達到 壹引起 綱 萬目皆張 的作用 我們提出利用因果關系 制定干預政策的 尋根問題 順謄摸瓜 的方 法 這個方法不必構造高維變量的完整因果網 絡 而是從一個目標結點出發 逐步進行局部變量選 擇和局部網絡結構學習 最終確定并能區分該目標 節點的原因與結果 七 結束語 一個新生事物的出現將必定導致傳統觀念和技 術的革命 數碼照相機的出現導致傳統相片膠卷和 影像業的已近消亡 如果大數據包含了所有父親和 兒子的身高數據 只要計算給定的父親身高下所有 兒子的平均身高就可以預測其兒子身高了 模型不 再重要 當年統計學最得意的回歸預測方法將被淘 汰 大數據的到來將對傳統的統計方法進行考驗 統計學會不會象科學哲學那樣 只佩戴著歷史的光 環 而不再主導和引領人們分析和利用大數據資源 現在其他學科和行業涌人大數據的熱潮 如果統計 學不抓緊參與的話 將面臨著被邊緣化的危險 現今統計學的目標是通過獲取數據和分析數據 發現真理 總體的參數和性質 統計方法和理論對 數據有過高的要求 而大數據充滿了各種隨機的 非隨機的誤差和偏倚 不能滿足這些苛刻的要求 按照波普的科學劃界準則 只要我們能從大數據中 提煉出具有可證偽的結論 那么這個結論還是科學 的 可以用于知識積累 這些可證偽的大數據結論 可作為進一步科學研究的假說 以數據驅動研究 我們在看到大數據給統計學帶來了機遇的同 時 也應該看到現在的統計方法普遍只適用于全部 數據放在單個計算機內存的環境 分布式大數據和 數據流的環境給統計學帶來了挑戰 統計學家不應 該固守傳統數據的環境 必須積極學習新生事物 適 應新的大數據環境 擴展統計學的應用領域 創造出 迎合大數據的新統計方法 機遇 與 挑戰 并存 參考文獻 1 C h e nH G e n gZ J i aJ C r i t e r i af o rs u r r o g a t ee n dp o i n t s J J R o y a lS t a t i s tS o cS e r 2 0 0 7 B6 9 9 1 9 9 3 2 2 C o m m i t t e eo nt h eA n a l y s i so fM a s s i v eD a t ae ta 1 2 0 1 3 F r o n t i e r si n M a s s i v eD a t aA n a l y s i s J N a t i o n a lA c a d e m i e sP r e s s W a s h i n g t o n h t t p w w w n a p e d u e a t a l o g p h p r e c o r d i d 1 8 3 7 4 3 D e n gK G e n gz L i uJ A s s o c i a t i o nP a t t e r nD i s c o v e r yv i aT h e m e D i c t i o n a r yM o d e l s J T oa p p e a ri nJR o y a lS t a t i s tS o cB 2 0 1 3 4 H eY G e n gZ A c t i v el e a r n i n go fc a u s a ln e t w o r k sw i t hi n t e r v e n t i o n e x p e r i m e n t s a n d o p t i m a ld e s i g n s J JM a c h i n eL e a r n i n g R e s e a r c h 2 0 0 8 9 2 5 2 3 2 5 4 7 5 J i aJ G e n gz W a n gM I d e n t i f i a b i l i t ya n de s t i m a t i o no f p r o b a b i l i t i e sf r o mm u l t i p l ed a t a b a s e sw i t hi n c o m p l e t ed a t aa n d s a m p l i n gs e l e c t i o n J L e c t u r eN o t e si nC o m p u t e rS c i e n c e s 2 0 0 6 4 1 0 9 7 9 2 7 9 8 6 維克托 邁爾一舍恩伯格 肯尼思 庫克耶 大數據時代一生活 工作與思維的大變革 M 盛楊燕 周濤譯 杭州 浙江人民出 版社 7 N I HB i gD a t at oK n o w l e d g e 2 0 1 3 h t t p b d 2 k n i h g o v i n d e x h t m l s t h a s h Y u 5 H x j c M d p b s 8 P e a r lJ C a u s a l i t y2 e dC a m b r i d g eU n i v e r s i t yP r e s s 2 0 0 9 9 納特 西