公共衛生大數據應用架構研究

1國家疾病預防控制信息系統現狀在斯太負危機發生后，中國的公共衛生系統受到了前所未有的關注。疾病預防控制信息化建設進入了突飛猛進的發展階段,通過10年建設,構建了以覆蓋全國的網絡直報系統為核心的20余個國家核心業務信息系統,其中法定傳染病網絡直報系統已連通全國98%的縣及縣級以上醫院和91%的鄉鎮衛生院,實現了法定傳染病的個案、實時、在線報告,記載傳染病個案信息。然而,隨著衛生信息化建設的深入,需求的不斷增長,應用覆蓋面的擴大,國家疾病預防控制信息系統已存儲9千余萬條傳染病、出生、死亡等個案信息,而且每年以近1千萬個案信息的速度遞增,持續為中國傳染病防控工作提供基礎信息,發揮著無可替代的作用。但同時也帶來了大數據應用的困難和挑戰。本文將從中國傳染病預警預報大數據應用和基于互聯網大數據輿情監測預警應用的案例分析入手,探討公共衛生的大數據應用。2公共衛生監測模式的改變如何通過合理利用虛擬專用網絡(VPN)技術和因特網資源建立“公網專用”的網絡系統,將信息采集功能延伸到基層,服務于廣大的醫療機構和基層疾病預防控制中心人員,大幅度提升全國傳染病和突發公共衛生事件監測的覆蓋率、準確性和時效性。并保障在網絡范圍內,所有的醫療機構、各級疾病預防控制中心以及其一線專業人員可以直接將結構化的監測數據提交到國家數據中心,最大限度的提高處理傳染病疫情暴發流行的信息響應效率,能夠更科學合理的調用社會力量,將重大傳染性疾病的危害降到最低水平。這種工作模式的調整將傳染病從過去按月報告改變為個案報告,基層報告與中央和地方接收信息同步,整體報告速度提高10倍,報告數量增加三分之一,逐步形成了世界上獨一無二的大數據集成報告系統,使中國的傳染病和公共衛生信息管理水平發生了質的飛躍,實現了公共衛生監測模式的變革。同時,隨著互聯網應用的迅猛發展,電子商務、社交網絡的廣泛應用,使得互聯網絡中充滿了人群社會化活動的大量非結構化公共衛生信息。如何利用這些海量的、價值低的、動態的信息,是公共衛生監測大數據應用的新需求。需求構成(如圖1)所示。3健康危險監測與管理工具及監測內容公共衛生大數據特征主要體現在體量巨大、數據繁雜、敏感信息少、時效性高四個方面。首先,公共衛生業務活動主要包括監測干預、應急處置、調查評價、科學研究、教育培訓和管理服務等。內容包括傳染病,慢病,健康危險危害因素等。類別包括以人群為基礎的個案信息;以實驗室為基礎的生物與環境信息;以組織機構為基礎的管理信息;以人群社會化活動為基礎的結構化、半結構化和非結構化信息。其次,監測信息來源多樣化,包括手工錄入,電子病歷(EMR),微博/論壇等網絡信息。最后,數據時效要求高,疫情探測和應對要求近乎實時的應對速度,需要滿足實時統計分析,快速獲得結果,同時大量監測數據中需要的敏感信息少,需要連續監測捕獲異常信號,或發現流行規律。4定制開發應用系統,實現與云中心的互聯公共衛生大數據應用架構應從公共衛生的數據需求出發,建立云計算數據中心為基礎,搭建大數據存儲、分析、管理的基礎數據平臺(Hadoop),以及對大量數據進行分布式處理的集群應用環境,定制開發包括業務管理、數據分析和運行管理的應用系統,實現與現有監測管理服務業務系統、人群社會化活動的公共服務系統動態聯接,獲取結構化、半結構化和非結構化數據,通過時實運算,動態支持公共衛生管理與服務的信息需求與信息消費。技術框架(如圖2)所示。5感染預警大數據的應用5.1建立病監測系統利用監測信息資源,對基于網絡直報的傳染病監測系統實現以日為單位動態自動預警概念模型;實現對傳染病暴發的早期自動預警;支持全國分級傳染病疫情監測報告數據的分析與利用。5.2建立數據庫,及時發布氣象信息系統以縣(區)為單位,利用傳染病疫情監測報告數據建立數據庫,采用時間/時空預警模型每日自動運算,將探測到的病例異常增加或聚集的信號以手機短信的方式自動發送給各級疾控機構疫情值班人員,提醒其及時關注和處理。5.2.1實時統計數據對全國范圍傳染病個案數據進行實時動態的基于時間、空間和人間的“三間分布;數據包含時間、空間、人群、疾病四個象限維度:實施難度體現在加工后的實時統計數據達到5000萬條/年,并需要針對全國所有分級用戶提供任意時間段的匯總統計,其統計量達到8000萬億條/年。技術路徑及應用展現(如圖3)所示。5.2.2傳染病聚集性爆發基于病人空間位置的非結構化數據預警,主要用來探測在大尺度范圍內的傳染病聚集性爆發,主要維度包括:病種、病人詳細住址(例如某學校某班,某村某大隊);主要難度體現在病人詳細住址是非結構化數據,需要逐行快速匹配及容錯誤處理。技術路徑及應用展現(如圖4)所示。6監測和報警網絡數據的應用6.1網絡信息選取隨著互聯網技術與應用的飛速發展,網絡媒體已經成為獲取信息的重要來源。使用網絡信息抓取技術,抓取互聯網絡傳染病、突發公共衛生事件,以及公共衛生安全方面的新聞、BBS和社交網絡等范圍內的對象信息,已經成為公共衛生監測的另一重要手段。應用流程(如圖5)所示。6.2建立輿情監測數據綜合評價機制在文本挖掘技術支持的輿情監測基礎上,將監測數據輸入預警預報模型,輸出以報表、統計圖、趨勢圖的形式展現,并與達到警告標準的數據進行對應級別的警告。采用多層次模糊綜合評價的方法,將輿情監測數據劃分為二級及二級以上的指標。對低級指標進行加權評估,繼而對高級檢測指標進行輿情加權評估,最后得到整個傳染病、突發公共衛生事件在網絡中輿情的級別預警。公共衛生網絡輿情監測系統(如圖6)所示。7建立公用互聯網信息服務平臺面向公眾提供傳染病監測預警預報信息服務。在服務內容上,提供本地區傳染病長期流行趨勢分析,短期爆發和流行風險預測預警信息,重點傳染病預防建議,旅行衛生提示等公眾服務信息;在服務形式上,以城市為單位,依托區域疾病預防控制數據中心建立接入公用互聯網的信息服務門戶,利用商業智能和可視化技術,提供界面友好的互動查詢。并以政府主導,開放相關數據資源,引入社會力量搭建信息服務平臺,實現政府業務部門與企業應用服務相結合,面向公眾提供公共衛生信息資源及信息技術服務。公共衛生大數據應用服務模式(如圖7)所示。8公共衛生大數據:開放數據的社會基礎大數據在公共衛生中應用,突出體現在以傳染病實時監測的信息為依據,以歷史疫情大數據為基礎,建立敏感特異、科學實用、適用基層的傳染病爆發、流行的預警體系,提高了中國傳染病疫情監測的預警能力,并在傳染病爆發、流行的早期能夠及時發現并采取快速的應對措施,從而減少傳染病對人民健康和社會經濟發展造成的影響。大數據是云計算的具體化,且正在成為一個國家最重要的國家社會資源,對大數據的獲取和利用能力正在成為軟硬兼備的真實力。公共衛生大數據的核心組成部分是由政府公共衛生機構所擁有的社會管理和公共衛生活動數據,以及由政府衛生行政部門直接擁有或間接支持下獲得的物理世界和生物世界的數據。與政府數據資源相比,無論個人,企業或社會組織如何努力