




版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領
文檔簡介
huawei理解大數據及大數據發展趨勢2Huawei
大數據趨勢和發展大數據處理技術運營商與大數據大數據應用場景華為大數據及數據挖掘解決方案大數據及人工智能應用3Huawei
美國G8八國集團發布了《G8開放數據憲章》,提出要加快推動數據開放和利用。歐盟力推《數據價值鏈戰略計劃》,用大數據改造傳統治理模式,降低公共部門成本,并促進經濟增長和就業增長。英國政府發布《英國數據能力發展戰略規劃》,旨在利用數據產生商業價值、提振經濟增長,承諾2015年之前開放交通、天氣、醫療方面的核心數據庫。安倍內閣正式公布新IT戰略《創建最尖端IT國家宣言》,以開放大數據為核心的IT國家戰略。2015年3月的兩會上,總理明確表態,政府應該盡量地公開非涉密的數據,以便利用這些數據更好的服務社會,也為政府決策和監管服務。2017年5月28日,在“2017中國國際大數據產業博覽會”上,由大數據戰略重點實驗室研究編著,社會科學文獻出版社出版的全國首部《大數據藍皮書:中國大數據發展報告No.1》正式發布。中國各國都將大數據作為國家戰略4Huawei
一個大規模生產、分享和應用數據的時代正在開啟…...——肯尼思·庫克耶(《大數據時代》作者1980s
個人電腦1960s
大型機1990s
互聯網2000s
某著名企業互聯網2010s
大數據5Huawei
全球創建和共享的數字信息5年增加9倍,2013年達到3.8ZBCERN:
LHC對撞產生1PB/s的數據SKA:2015年存儲需要1EB云化的IDC建設催生了數據的大集中Facebook:每天產生50TB的日志數據,衍生分析數據超過100TB“機器制造”和“人工制造”共同貢獻了海量數據,集中式的數據中心建設加速數據集中6Huawei
大數據基礎設施大數據處理平臺大數據咨詢和服務大數據云服務代表廠商大數據作為云服務提供高端咨詢切入大客戶,通過本地化合作輻射中小客戶關注于垂直細分領域,提供應用解決方案提供數據采集、集成、探索、可視化分析平臺構筑復雜的分布式數據存儲和處理平臺,統一的負載處理平臺提供云計算、服務器、存儲;軟硬件分離,標準化硬件大數據分析平臺大數據應用大數據BI大數據集成服務商數據源打造數據管理平臺,匯集數據,提供數據提供靈活的數據儀表盤,數據可視與瀏覽,報表基于大數據處理、分析平臺,做行業應用開發和集成廠商定位7Huawei
海量數據存儲層HDFS/HBase批處理計算框架MapReduce統一數據存儲HDFS/HBase/
MPPYARN統一資源管理MR批處理Storm流式計算Spark內存計算Elk/Solr交互式分析智能跨域數據中心存儲HDFS/HBase/MPP/
IMDBPaYgAReN
8智能跨域數據中心資源管理融合數據處理平臺Spark/DataIntensive
Streaming認知計算人工智能、數據挖掘、知識探索,發現和管理發展趨勢
-
認知計算(大數據與人工智能深度融合)
大數據
1.0 大數據
2.0 大數據
3.0關鍵技術需求驅動互聯網
的發展需要對海量的非結構化數據進行分布式存儲,并行計算某著名企業互聯網
的發展需要對海量,多樣化,高并發的數據進行實時分析,交互式查詢物聯網
的發展需要對海量流式數據,人工智能分析等提供毫秒級的低時延處理能力8Huawei
單一的批計算融合計算認知計算華為大數據生命周期解決方案9Huawei
發展趨勢-大數據與云計算深度融合Open
API云搜索彈性計算負載均衡 云引擎云數據庫
開放存儲阿里郵箱大規模數據計算云安全服務阿里云OS(飛天)面向云服務的一套架構,一套API,一套生態企業商業應用開發者云生態行業和區域ISV/SIAPI分布式中間件框架FusionSphere:IaaS服務/運營運維計算服務存儲服務網絡服務容器服務桌面服務數據庫服務消息服務咨詢/云安業 全務 服遷 務移FusionInsight:數據服務10Huawei
MRSparkStreamingMLFusionStage:PaaS服務......阿里華為大數據處理離不開云計算技術,云計算為大數據提供彈性可擴展的基礎設施支撐環境以及數據服務的高效模式,大數據則為云計算提供了新的商業價值。總體而言,云計算、物聯網、某著名企業互聯網等新興計算形態,既是產生大數據的地方,也是需要大數據分析方法的領域。發展趨勢-大數據與云計算深度融合華為登錄
進入控制臺創建所需要的各種云服務11Huawei
國家信息中心-十大最具影響力的大數據企業排名中排名第一12Huawei
經營分析某著名企業信令金融細賬金融票據電力調度智能某著名企業某著名企業、金融經營類 管理類結構化+半結構化績效管理報表分析歷史分析社保分析納稅分析決策支持和預測金融監管類結構化+半結構化公安網監國安技偵輿情監控銀監會稽查食品溯源環保監測政府專業類非結構化音視頻地震勘探氣象云圖衛星遙感雷達數據物聯網政府某著名企業、金融、政府等行業數據分析的訴求強烈,互聯網已開始應用新技術處理價值密度低的大數據結構化+13Huawei
多樣性(Variety)來源多:企業、互聯網、物聯網等格式多:不局限于結構化數據,也包括音頻、圖片、視頻等非結構化數據高速度(Velocity)增長速度快:數據正在加速增長,IDC預測未來十年將增長50倍處理速度快:對時間敏感,必須快速識別和快速響應才能適應業務需求大容量(Volume)存儲量大:充斥著各種數據,經常是PB(1000T)級的信息量計算量大:需要實時應對海量數據的抽取和分析高價值(Value)浪里淘沙卻又彌足珍貴,雖然數據的價值密度較低,但是產生的價值總量卻十分驚人。維基百科:巨量資料(big
data),或稱大數據,指的是所涉及的資料量規模巨大到無法通過目前主流軟件工具,在合理時間內達到擷取、管理、處理并整理成為幫助企業經營決策更積極目的的資訊。Gartner:“大數據”是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。什么是大數據:大數據4V特征14Huawei
大數據的4V特征,決定了發掘數字金礦的難度,也意味著巨大商機華為存儲緊抓時間應對海量數據15Huawei
大數據時代特點1:
體量大2009年在甲型H1N1流感爆發的前幾周,Google的工程師們在《自然》雜志上發表了一篇引人注目的論文。它解釋Google為什么能預測冬季流感的傳播。5000萬詞條4.5億數學模型×Google利用大數據預測流感趨勢與真實歷史數據做匹配比較45個詞條+1個數學模型?與官方數據的相關性高達97%?領先官方通報1~2周2009年甲型H1N1爆發時,Google成為了一個更有效、更及時的指示標技術形成了批處理、流處理和交互分析三種計算模式:離線批處理(Batch
Processing)技術以MapReduce和Hadoop系統為代表,實時流處理(Stream
Processing)技術以Yahoo的S4系統和Twitter的Storm系統為代表,交互式分析(Interactive
Analysis)技術以谷歌的Dremel系統為代表16Huawei
大數據時代特點2:
速度決策的速度-
采取從數據輸入到決策輸出的時間-
也是大數據的關鍵要素。新興技術能夠實時或以接近實時的速度處理龐大的數據量,從而增加企業的業務靈活性,該企業可以實時響應市場的變化,根據客戶喜好的變化調整策略,或應對欺詐行為等。17Huawei
交通運輸局的歷史航班延誤數據國家氣象的實時報告美國國家海洋和大氣管理局的以往天氣報告大數據的特點3:
數據多樣性Flyontime.us是一個航班延誤時間的分析系統以波士頓至紐約的航線為例(起飛:Boston,Logan
International;到達:New
York,Kennedy
International),在系統的主頁上,輸入機場名稱,點擊之后,用戶可以看到不同天氣、不同日期、不同時段、不同航空公司、不同航班等各種條件下飛機是否準時以及平均延誤時間的數據明細。?幫助乘客找到適合自己的最佳航班?最大程度降低了等待的不確定性?有利于航空市場良性競爭IBM智慧地球計劃更多傳感器更全面的數據舊的城市管理模式智慧城市管理模式智慧決策18Huawei
“當我們知道的越多,我們就越想
,改變一切”——IBM‘智慧地球’海量數據存儲盤活歸檔數據潛力分析衛星測繪金融證券油氣勘探衛星拍攝圖片,每天產生1TB數據,系統要求具有PB級的容量擴展需要對長達15年的歷史數據進行在線查詢,對總行交和分行電子憑證進行聯動查詢。頁巖氣引發清潔能源革命,但頁巖氣的開采非常困難,每口井成本在800萬美金每口井800萬美金,通過大數據分析每口井降到300萬美金左右高清制播媒體娛樂每集好聲音80分鐘,需要1000分鐘高清原始素材,180:1的制播比,消耗存儲2TB據關乎19Huawei
企業競爭能力決策及時成本控制事業科學探索知識服務社會安全大數據處理在重點行業的重要性大數據的核心價值:預測建立在相關關系分析法基礎上的預測是大數據的核心案例1:美國折扣零售商塔吉特與懷孕預測美國一名男子闖入他家附近的一家美國零售連鎖超市Target店鋪(美國第三大零售商)進行抗議:“你們竟然給我17歲的女兒發嬰兒尿片和童車的優惠券。”店鋪經理立刻向來者承認錯誤,但是其實該經理并不知道這一行為是總公司運行數據挖掘的結果。一個月后,這位父親來道歉,因為這時他才知道他的女兒的確懷孕了。Target比這位父親知道他女兒懷孕的時間足足早了一個月。案例2:沃爾瑪,請把蛋撻與颶風用品擺在一起沃爾瑪是世界上最大的零售商,擁有超過200萬員工,銷售額約4500億美元,比大多數國家的國內生產總值還多。在網絡帶來巨多數據之前,是美某著名企業業中擁有最多數據資源者。2004年,沃爾瑪和Teradata的數字統計員一起研究歷史交返現,每當季節性颶風來臨前,不僅手電筒的銷量增加了,而且POP-Tarts蛋撻的銷量也增加了。因此,當風暴來臨時,沃爾瑪會把庫存的蛋撻放在靠近颶風用品的位置,以方便行色匆匆的顧客從而增加銷量原則:
通過找出一個關聯物并監控它我們就能預測未來ht20Huawei
大數據情感分析,了解用戶喜歡,拉動終端銷售量小米3雙11戰績,0:30開放購買,0點33分,小米官方旗艦店單店支付寶成交額已經過億,成為首個過億商家。熱賣數據集成和情感挖掘分析數百個站點頻道洞察客戶評論…【運營商價值】著眼LTE階段終端銷售PK,通過大數據情感分析,洞察用戶對終端品牌、參數和消費傾向,分析結果服務于終端部門、電子渠道進行終端品牌營銷.結構化和非結構化數據的洞察分析
【特性價值】評論問題聚類、匯總統計和逐層鉆取項目實施周期短,上線快數據來自外部網站獨立采集,周邊協調少成本有效可控(關聯采集站點和當前客戶數量)組織資源可復用現有BI分析人員能力非結構化數據有效聚合利用21Huawei
為行業價值客戶提供‘開店選址’的服務沃爾瑪選擇行業:大賣場開店目標區域:交通便利/居民區開店目標人群:中高收入/家庭主婦行業選擇 開店自定義24小時人群流量曲線圖選定區域人群偏好分布人群歸屬地查詢不同區域人群對比分析自助輔助查看開店候選區域根據用戶的選擇的區域,以數據地圖的形式展示該區域的人群特征和統計報表,為大賣場和專業連鎖客戶開店選址提供依據(湖北某著名企業→沃爾瑪超市、某著名企業百貨)改變傳統沃爾瑪采取的是人工蹲點方式進行采樣分析;節省選址投入成本,精準了解周邊用戶.為客戶每次潛在新址花費約幾萬元.22Huawei
面向營銷廣告的數據標簽開放用戶個性化頁面構建DSOP2.通過API調用用戶的標簽3.獲取并驗證新浪客戶ID,抓取用戶手機號并返回與該用戶匹配的標簽廣告集成標簽“購車一族”標簽新浪自有廣告資源池4.請求廣告匹配5.廣告內容返回1.打開新浪APP,聯網(附加IMEI號1234-45312-XXXX)新浪服務器8.15萬左右雪弗萊汽車第三方廣告資源/廣告代理商/DSP等支持多種廣告接入形態雪弗萊汽車banner
廣告23Huawei
大數據的理念1:要全體不要抽樣小數據時代:隨機采樣,最少的數據獲得最多信息統計學家證明:采樣分析的精確性隨著采樣隨機性的增加而大幅度提高,但與樣本數量的增加關系不大。即樣本選擇的隨機性比樣本數量更重要缺陷:面對復雜的抽樣對象,無法找到最優的隨機抽樣標準。隨機抽樣無法捕捉到細節。隨機采樣缺乏延展性,只能回答預先設計的問題。案例:喬布斯是世界上第一個對自身所有DNA和腫瘤DNA進行排序的人,以此來按所需效果用藥,顯著延長了生命。大數據時代:全數據模式,樣本=總體?對細節的掌控:Google流感趨勢預測并不是依賴于對隨機樣本的分析,而是分析美國整個幾十億條互聯網檢索記錄。分析整個數據庫,而不是對一個小樣本進行分析,能夠提高微觀層面分析的準確性,甚至能夠推測出某個特定城市的流感狀況,而不是一個州或整個國家的情況。?對異常的掌控:通過使用所有數據,我們可以發現會在大量數據中淹沒掉的情況。例如信用卡詐騙。24Huawei
大數據的‘大’是相對概念,‘大’并不一定指絕對意義上的大,有時候只是指全體數據。當收集、存儲和分析數據的成本比較高時,應當適當丟棄一些數據。大數據需要具備的條件:簡單廉價的數據收集方法足夠的數據存儲和處理能力先進的分析技術。大數據的理念2:要效率不要絕對精確25Huawei
執迷于精確性是信息缺乏時代的產物,只有5%數據是結構化且能適用于傳統數據庫,如果不接受混亂,剩下95%的非結構化數據都無法被利用。案例比較IBM的‘Candide’項目,基于精確數據的翻譯系統Google翻譯系統:基于混雜數據的翻譯系統數據來源加拿大議會資料所有互聯網資源數據量300萬句近似950億句數據精確性官方文件,表達精準翻譯質量參差不齊,包含錯誤效果短時間內提高翻譯能力,之后遇到瓶頸無法持續提高。當下最好的翻譯系統,靈活性高,能實現眾多語言的翻譯保證數據的精確性代價高昂。當能夠獲得大量或全體數據時,少量不精確數據對結果的造成的偏差是可以容忍的。大數據的處理結果應該理解為概率性事件,而非‘確鑿無疑’?!按髷祿A上的簡單算法比小數據基礎上的復雜算法更加有效?;祀s是關鍵?!盙oogle人工智能專家彼得·諾維奇大數據的理念3:相關性比因果更重要相關關系的核心是兩個量化數據值之間的關系,相關關系強是指當一個數據值增加時,另一個數據值很可能業務隨之增加。相關關系沒有絕對,只有可能性。華為錯過了語音時代、數據時代,不能再錯過圖像時代案例1:高收入家庭不一定幸福:2006年7月北京市統計局開展了以“國民主觀幸福感”為主題的民意調查。調查結果顯示,月收入不足4,000元時,幸福感隨收入的提高而提高;達到4,000元后,幸福感呈波狀上升,5,000~7,000元中等收入組幸福感最強;7,000?后出現下降,1.5萬元~2萬元組幸福感更不確定,其平均幸福感分值與1,000~1,499元收入組相同。案例2:UPS與汽車修理預測UPS國際快遞公司從2000年起開始使用預測性分析來監測自己全美60000輛車規模的車隊,這樣就能及時的進行防御性的修理。如果車在路上拋錨損失會非常大,因為那樣就需要再派一輛車,會造成延誤和再裝載的負擔,并消耗大量的人力物力。通過監測車輛的各個部位,UPS如今只需要更換需要更換的零件,從而節省了好幾百萬美元。案例3:
2016年5月份美國一名特斯拉ModelS在自動駕駛模式開啟狀態下垂直撞向一橫穿馬路的大貨車,導致車主(海豹突擊員)當場死亡。幾個月之后的調查結果顯示,特斯拉ModelS緊急剎車功能失效的原因是前向攝像頭誤將大貨車的車體當做藍天白云的一部分,簡單來說,車輛前向攝像頭”看見”了障礙物卻沒有看懂”,導致事故發生。這個事例足以說明圖像識別和處理技術的重要性。26Huawei
線下生活線上生活大數據時代下帶來的隱私風險在于現有的隱私保護制度的無法發揮出期望的效果。大數據時代,數據常常被用于創新性用途,隱私聲明無法涵蓋所有用途。如果所有數據已經在數據庫里,那么模糊化某些信息只能是‘此地無銀三百兩’。大部分情況下,匿名化不可行。案例:2006年8月,美國在線(AOL)公布了大量的舊的搜索查詢數據,本意希望研究人員能從中得出有趣的見解。數據由65.7萬用戶的2000萬搜索記錄組成,整個數據庫進行了精心的匿名化,用戶名稱和地址等個人信息都用特殊符號進行了代替。盡管如此,《紐約時報》還是在幾天內通過一些關鍵詞的綜合分析,發現數據庫中4417749號代表的是佐治亞州利爾本的一個62歲的寡婦塞爾瑪。當記者上門采訪時,老人驚嘆有人監視她的私生活。事件引起了公憤,最終美國在線的首席技術官和另外兩名員工都被開除了。27Huawei
大數據的風險2:對大數據的執迷我們必須對信息的局限性高度重視,有時候數據的質量可能會很差或不客觀,從而導致分析的錯誤。案例1:越南戰爭中,美軍的策略是逼迫越共走上談判桌。于是,評判戰爭進度的方法就是看對方的死亡人數。每天報紙都會公布死亡人數。但是有三分之二的將軍都認為大部分情況下數據都被夸大了。下級軍官為了達成命令或者升官,會匯報可觀的數字給他的上級,只要那是他們的上級希望聽到的數字。案例2:更悲痛的是“大躍進”時期各地瘋狂的虛報糧食產量,以至于中央完全沒有意識到60年代初的可怕饑荒,還在大量出口糧食以換取其他的戰略物資。案例3:2009年,Google首席設計師道格·鮑曼(Doug
Bowman)因為受不了隨時隨地的量化,憤然離職?!白罱?,我們竟然爭辯邊框是用3、4還是5倍像素,我居然被要求證明我的選擇的正確性。天吶!我沒有辦法在這樣的環境中工作”。她離職后在博客上大發牢騷。28Huawei
我們可能會完全受限于我們的分析結果,即使這個結果理應受到質疑。29Huawei
大數據趨勢和發展大數據處理技術運營商與大數據大數據應用場景華為大數據及數據挖掘解決方案大數據的數據類型及模型30Huawei
結構化數據,是指可以存儲在數據庫里,可以用二維表結構來邏輯表達實現的數據。非結構化數據,是指不方便用數據庫二維邏輯表來表現的數據,包括所有格式的辦公文檔、文本、圖片、XML、HTML、各類報表、圖像和音頻/視頻信息等等。半結構化數據,就是介于完全結構化數據(如關系型數據庫、面向對象數據庫中的數據)和完全無結構的數據(如聲音、圖像文件等)之間的數據,HTML文檔就屬于半結構化數據。它一般是自描述的,數據的結構和內容混在一起,沒有明顯的區分。數據類型數據模型結構化數據二維表(關系型)半結構化數據樹、圖非結構化數據無Efficiency
效率數據全周期管理31Huawei
Store
存儲PB級的非結構化數據和TB級的結構化數據Search
檢索海量數據如何實現快速的查找支持Scale
out的可伸縮架構多協議(標準接口)支撐和多租戶架構數據的可靠性和安全性PB級文件系統搜索(包含歸類查找和按條件模糊)百億記錄數據的快速查詢數據的流動性大量冷數據的歸檔和節能重刪和壓縮傳統數據處理技術面臨的挑戰海量數據的高存儲成本數據批量處理性能不足流式數據處理缺失有限的擴展能力單一數據源數據資產對外增值數據擴展性需求和硬件性能之間存在差距傳統框架:小型機+磁陣+商用數據倉庫傳統的IOE模式已經不能滿足PB級海量數據的存儲、分析和應用需求小型機+DWH+SAN成本高企、擴容昂貴無法滿足海量數據的離線分析和實時分析無法滿足對非結構化數據的快速處理要求Scale-Up已到極限,必須支持Scale-Out32Huawei
大數據處理需要多方面的技術支撐33Huawei
平均1個P數據中(例非互結聯構網化公為司主)互聯網:Google,
百度Facebook,Twitter,新浪….數據以非結構化處理為主在企業大數據中,仍然是以結構化數據處理為主結構化半結構化非結構化~35%~27%用戶行為軌跡(個體)User
Profile內容(ITEM,圖像、視頻、文本)數據21個歷史詳單查詢社交網絡數據(群體)WebPage&
Log~
23%~5
%~10
%(例結電構信化運為營主商)~15%~12%網絡XDR
(探針俘獲后,含歷史)計費CDR(含歷史)主數據(三戶+訂購+接觸等
含歷史)分析匯總數據(含歷史)CUBE和統一視圖~7%互聯網
Web
Page
&
Log(含歷史)~13%社交網絡數據
~3%~18%~25
%內容(圖像、視頻、文本)數據34Huawei
~7%數據采集數據存儲數據管理數據分析計算存儲數據庫網絡單機集群單塊機存儲橫向擴展塊級虛擬化文件存儲橫向擴展分布式文件系統設備間連接設備內連接10GEFC
IB10GESAS
IB關系型數據庫分布式數據庫非關系型數據庫數據采集數據存儲數據管理數據分析35Huawei
傳統專業存儲向海量存儲系統演進傳統SAN,雙控到多控的架構,難以存儲和管理PB級數據傳統NAS,
面對PB級數據,復雜的卷管理及系統容量分配不均衡,導致資源浪費單一文件系統,管理更簡單精簡配置,配額管理,容量分配更合理,磁盤利用率更高大規模橫向擴展能力集中式存儲分布式NAS傳統NAS傳統SAN統一命名空間36Huawei
數據采集數據存儲數據管理數據分析數據處理向海量、非結構方向演進Hadoop結構化、關系型軟硬結合的一體機(FusionCube)SMP SMP+MPP混合 MPP特點:Share
Nothing開源,開放海量非結構化分布式,擴展高性能,低成本特點:Share
Nothing結構化、關系型標準的Share
Nothing通用的硬件VS.特點:
Share
Everything
特點:混合性能存在瓶頸擴展性差小機可靠性高數據采集數據存儲數據管理數據分析37Huawei
Hadoop分布式批處理框架Hadoop
是用于大數據分析的開源框架,它包括一個分布式文件系統(HDFS)、一個并行處理框架(MapReduce)和多種不同的組件,支持數據獲取、工作流協調、任務管理以及集群監控等功能。Hadoop目前在大數據分析平臺架構中的最典型角色是海量非結構化數據分析平臺:日志、點擊流分析Web數據分析和文本挖掘視頻、音頻數據分析XML數據分析經Hadoop分析后的數據,再導入到結構化數據庫中供后續使用。38Huawei
數據采集數據存儲數據管理數據分析39Huawei
起源于Google
的集群系統Google
的數據中心使用廉價的
Linux
PC
機組成集群運行的核心組件GFS
FileSystem)
:
一個分布式文件系統,隱藏下層負載均衡,冗余復制等細節.MapReduce框架:
大多數分布式計算可抽象為此Hadoop
是Google
集群系統的一個Java
開源實現HDFSHBaseAccumuloCassandraCouchDBKafkaSqoopAvroThriftYarnMesosZookeeperOozieCascadingAmbariDrillSolrS4FlumeStormFlinkTezMapReduceRHiveCrunchMahoutPigGiraphCoreStreamingMLibGraphXSQLSparkBeamImpalaCarbonData管理/配置存儲數據傳輸數據處理KylinChukwaMongoDBElasticREEFGanglia40Huawei
Hadoop生態系統各組件介紹
-
141Huawei
組件描述Storm延遲低、秒級,但從錯誤恢復中可能有重復記錄Spark
Streaming幾秒鐘的延遲,批級別,具有事務性Kafka發布訂閱消息系統Flume日志采集、聚合和傳輸Crunch簡化MapReduce的開發Giraph可伸縮的分布式迭代圖處理系統PigPigLatin的編譯器把類SQL的數據分析請求轉換為一系列經過優化處理的MapReduce運算Flink針對批量數據和流數據的處理引擎S4處理連續無限數據流Drill實時大數據分布式查詢引擎(兼容SQL語法)Tez支持DAG作業的開源計算框架
(可作為MapReduce/Pig/Hive等系統的底層數據處理引擎)Kylin大數據分析引擎(支持在超大數據集上進行秒級別的SQL及OLAP查詢)Hadoop生態系統各組件介紹
-
242Huawei
組件描述Accumulo分布式的排序
key/value
storeImpalaSQL
查詢工具
(BI/analytic,快,不使用
MapReduce),借鑒MPP
DB思想CouchDB面向文檔的數據庫管理系統Cassandra分布式Key-Value存儲系統Cascading用來創建復雜和容錯數據處理工作流Oozie工作流引擎服務器
(用于運行Hadoop
Map/Reduce和Pig
任務工作流)Thrift跨語言服務訪問的框架Avro數據序列化Spark
GraphX圖計算和圖挖掘框架Mesos分布式資源管理框架Yarn資源管理系統Zookeeper分布式應用程序協調服務Hadoop生態系統各組件介紹
-
343Huawei
組件描述Ambari基于Web的工具,支持Hadoop集群的供應、管理和監控。HBase分布式的、面向列的數據庫CarbonData適合快速分析的索引列式數據存儲格式(一份存儲同時滿足快速掃描,多維分析,明細數據查詢的場景);華為開源的Apache孵化項目。HDFS高容錯性、高吞吐量的分布式文件系統Hive數據倉庫工具Mahout數據挖掘工具(一個分布式機器學習算法的集合,基于MapReduce)Spark基于內存進行計算的分布式計算框架MapReduce一種分布式數據處理模式和執行環境Spark
MLib常用的機器學習算法的實現庫,基于Spark。Spark
SQL用于結構化數據處理和對Spark數據執行類SQL的查詢Beam可在任何執行引擎上運行的批處理和流處理編程模型Solr企業級搜索應用服務器PorterMinerDataFarmHadoop系統管理Farmer服務治理ManagerHadoop
APIPlugin
APIOpenAPI/SDK應用服務層REST/SNMP/SyslogDataInformationKnowledgewisdomHIVE/ImpalaM/RSparkStormSolrYarn/
Zookeeper華為FusionInsight大數據平臺架構框架安全管理LibrA(MPP
DB)HDFS/HBaseHadoop層提供大數據處理環境,基于社區開源軟件增強DataFarm層提供支撐端到端數據洞察,構建數據到信息到知識到智慧的數據供應鏈,
其中數據集成服務Porter,數據挖掘服務Miner和數據服務框架FarmerManager是一個分布式系統管理框架,管理員可以從單一接入點操控分布式集群,包括系統管理、數據安全管理和數據治理44Huawei
百分之百開源的核心支持混合負載,從批量、交互查詢、數據挖掘,到實時流和查詢等各種場景開放式存儲格式(Rcfile/ORCfile/Parquet),以避免鎖定私有文件格式所有的組件都通過Manager提供的插件框架來按需安裝開源輕度增強開源深度增強開源孵化特性DSLIDE分布式計算框架HDFS/HBaseHiveMapReduce/TezSparkStormYARN/ZookeeperFlumeSqoopIntegrationBatchProcessingInteractiveQuerySearchMachineLearningEventStreamProcessSolrMLLIB分布式存儲StreamingCalculation基礎設施Standard
ServerStorageServerPluggable
AcceleratorNetworkOnlineQuerySparkStreamingCQLPhoenixElkHiGraphCTBase45Huawei
MPPDB會使用Hadoop會定位周邊問題會定位內核級問題的個人定位內核級問題的團隊能夠獨立完成支撐關鍵業務特性的內核級開發能夠帶領社區,引領社區完成面向未來的內核級特性開發能夠創建新的社區頂級項目,并且得到生態系統認可強大的內核團隊支持的開發與產品交付能力,企業級運營支撐能力開源社區生態系統組件多,代碼量大組件更新塊特性無有效整合某大銀行CIO:“我們把大數據應用視作是生命線,肯定是采用企業版,因為搞開源軟件不是我們的主業。在選合作伙伴的時候,我們一定考慮門當戶對,因為強有力的合作伙伴才能保證3~5年的供應、合作安全。強大的掌握代碼的團隊,才能造就成功的企業級數據平臺軟件46Huawei
大數據是華為公司未來投入四大戰略方向之一,未來將保持上千人規模重點投入西安研究所:Hadoop產品化ELK/MPP
DB深圳研發基地/香港:大數據洞察平臺大數據解決方案數據挖掘算法印度研究所:Hadoop數據可視化MOLAP美研所:SparkELK/MPP
DB大數據系統加速歐研所:分布式內存DB分布式計算算法杭州研究所:HadoopSpark流計算加研所:Yarn/大規模調度硬件加速金融大數據分析47Huawei
華為對Hadoop社區的貢獻逐年增加,已穩居第一陣營2015年上半年華為對Hadoop社區各組件的貢獻1 PMC4mitter
50+
Contributors48Huawei
49Huawei
大數據趨勢和發展大數據處理技術運營商與大數據大數據應用場景華為大數據及數據挖掘解決方案三大運營商大數據戰略啟動,積極探索大數據業務大數據對外商業化系統平臺準備市場營銷客戶服務數據資源輸出大數據運營準備運營模式準備產品/服務開發客戶維系網絡運營數據能力輸出Source:
茁思壯行國內運營商處在大數據發展的初級階段大數據對內應用戰略中國某著名企業:構建大數據能力,支撐營銷服務轉型構建匯聚網絡、業務、終端、客戶行為等多維度的數據分析平臺,為“大數據、超細分、微營銷”的營銷服務轉型提供有力支撐50Huawei
中國某著名企業:跨域數據整合,構建開放式大數據服務平臺以“集中化、一體化”為信息化方向,以大數據為核心,推動大營銷/大服務一體化建設,保障全業務電子商務運營。中國某著名企業:大數據與云計算協同發展,探索數據變現大數據和云計算協同發展,構建完整產品體系。聚焦集團客戶優勢,引入創新機制,快速形成大數據能力數據分布在B/O/M域等IT系統、各基地/專業公司業務平臺以及DPI系統中B域:
用戶在運營商的消費結果數據,
O域:
用戶的管道的過程數據如位置等數據,
M域:運營商的管理數據DPI數據是日增量為6816TB,占據總量的93.98%DPI數據中,Mc及2/3/4G的XDR日增量為1252.67TB,占所有DPI數據的17.27%各域每日新增數據量情況(2015年底)其中DPI每日新增數據量分類(2015年底)數據分類分布情況B域系統數據三戶數據M域系統數據ERP系統數據訂購關系數據財務系統數據計費話單數據資產系統數據賬務數據合同系統數據渠道數據人力系統數據產品數據基地/專業公司業務平臺數據(分業務平臺)用戶數據營銷數據業務數據客服數據計費話單數據其它數據用戶行為日志O域系統數據性能數據Mc口XDRMR數據信令/DPI數據2/3G信令面XDR日志數據(分平臺)2/3G用戶面XDR資源數據LTE信令面XDR告警數據LTE用戶面XDR工單數據省網出口XDR撥測數據IDC出口XDR路測數據省網網間出口XDR其它數據骨干網網間出口XDR51Huawei
大數據變現
價值提升對內對外社會效應
用戶維系離網期 用戶生命周期線上廣告集客流量刺激精準營銷疊加包/升級包精準營銷終端機精準營銷預付費潛在離網用戶維挽后付費潛在離網用戶維挽對外對內定向包精準營銷提升期 成熟期 衰退期離網-基站關聯分析3G到4G套餐升級精準營銷家庭增值咨詢公司 市政公共 考察期某著名企業生活指數交通擁塞指數城市和交通規劃智慧旅游戶外數字媒體價值評估戶外非數字媒體價值評估戶外某著名企業媒體價值評估零售業洞察大數據精
集客用戶準廣告 精準營銷用戶維挽精準營銷數據開放行業 OTT 垂直行業數據開放(金融、保險)為垂直行業推薦精準客戶APP/內容推薦后向收費網建網優52Huawei
運營商行業大數據解決方案L2數據處理層+L3洞察層組成FusionInsight平臺,向下融合跨域數據,向上支持不同應用L3L1數據開放服務(Open
Data
Bus)爬蟲B域統計分析數據挖掘分析工具X86服務器(含云化)批量采集/
實時采集圖分析文本分析&NLP存儲(分布式/云化)搜索多媒體分析精準營銷客戶體驗管理網絡效率提升M域 O域
互聯網
第三方MPP內存DBCEP傳統DW數據處理數據集成(ETL)HadoopSpark流式處理(Storm)數據探索某著名企業業務洞察框架運營效率提升網絡內容洞察位置洞察策略洞察第三方用戶洞察渠道洞察網絡洞察終端洞察產品洞察經營洞察業務洞察流量洞察洞察組件L4數據服務層數據平臺層 L2基礎設施數據源應用層對外開放/第三方合作位置應用廣告平臺開放合營管理中心數據資產管理數據安全作業調度運維管理統一大數據平臺統一的數據集成,存儲和分析統一的數據治理統一的應用支持平臺適配某著名企業領域數據BSS/OSS數據接入用戶行為數據接入外部數據接入某著名企業領域商業驅動的應用智能運營/營銷/智能關懷/KPI/NPM/客戶體驗管理/MIS/DAaaS開放架構水平分層解耦架構整合第三方組件的能力
如:DB、DWH,Hadoop、
分析工具、
可視化軟件53Huawei
6.06%9.25%0%5%10%提升52.60%4G合約機換機外呼營銷成功率xxx0200040006000拉動業務收入(萬)節約人工成本(萬)大數據外呼精準營銷經濟效益預測傳統 大數據說明:兩種方案各選20萬目標客戶,在前臺無感知下進行對比驗證。說明:省公司客服中心給出的經濟預測。業務拉動=13元(提升ARUP)╳24月(在網時長)╳
148043.9筆成本節省=6000元(話務員月均成本)×(節省人數)×7個x月xx傳統經驗驅動大數據驅動數據源不同B域B域(ARPU+網齡+客戶品牌)(不超過5個)B域 O域B域(用戶基本信息+營銷接觸數據+用戶消費信息+營銷活動數據)+O域(用戶行為特征)(幾萬個特征)數據分析師建模建模方法不同專家經驗+簡單用戶提取規則稀疏線性預測算法特征權植 用戶樣本(終端推薦模型+4G業務偏好模型+終端品牌偏好模型)目標用戶預測 反饋尋找相關性 推薦服務優化模 存儲型 自動持續優化訓練模型 訓練數據 日志(持續累計)54Huawei
某運營商:大數據外呼精準營銷,4G換機成功率提升50%以上55Huawei
大數據趨勢和發展大數據處理技術運營商與大數據大數據應用場景華為大數據及數據挖掘解決方案社交媒體&網絡犯罪分析大數據在平安城市的主要應用-情報分析視頻大數據FusionInsight大數據碰撞視頻云視頻智能分析特征數據人像識別
車牌分析行為分析人車軌分析
以圖搜圖指揮中心Call-taker
Call-taker大情報Despatcher現場警員人、車、案件等情指融合情報中心重要人口管理同上網同行同住通話聯系社團發現…………Huawei
例子:一起手機盜竊案…2015-4-27:接到報警,調看店內監控發現一個孕婦帶著個小孩盜竊手機VideoSearch:對類似案件串并分析,比對視頻,發現嫌疑人涉及21起案件犯案手法:孕婦吸引店員注意,小孩偷竊手機Big
Data:發現嫌疑車輛,掛著假車牌2015-8-8
在江西抓捕罪犯,后繼核實在多省33+市盜竊案件115起Big
Data:
比對發現一部手機和該車位置匹配,鎖定嫌疑人身份Huawei
5
年后政府大數據和云計算轉型之路現在可持續發展服務個性化產業與經濟領先地位廣泛協同環境問責機制與透明性相關者360度的溝通與協同政府應用的創新支持未來的大膽創新未來的政府基于人工智能的個性化服務群體智能與眾包政府內全方位溝通傳統IT整合到云端發掘大數據的能力預測分析某著名企業政府的安全及訪問控制位置識別、分析與安全績效監測工具智慧城市試點感知大數據價值-知識獲取、內容管理、機器學習動態信息共享24X7
訪問虛擬文件全方位安全解決方案降低風險物聯網提升基礎設施的運營水平社交提供政府與企業和居民的雙向順暢溝通云計算大數據Huawei
某著名企業社交公安政府大數據業務模型大數據業務價值點業務領域情報分析交警業務警員辦公同行分析 同住宿分析同上網分析互聯網輿情監控財產分析用水用電分析案件偵破案件統計 犯案規律挖掘犯案手段挖掘通話記錄統計嫌犯布控社團監控套牌車分析車輛軌跡分析道路發現更新晝伏夜出車輛異地車輛文書流轉監控電子卷宗檢索業務流程跟蹤警員工作統計重大事件安保 突發事件防控線索甄別 案件碰撞Huawei
重點人群監控舉報信息甄別監控視頻檢索卡口圖像分析傳統視頻監控架構的局限性:隔離、孤島、封閉網絡模擬攝像頭DVRIPC攝像頭(智能)NVR電纜網絡原始視頻信號編碼壓縮信號視頻智能分析視頻管理平臺視頻智能分析視頻邊緣接入視頻實戰平臺存儲存儲以圖搜圖車軌分析關系分析實時布控行為分析12IPC攝像頭(普通)結構化數據缺乏開放共享的服務化平臺新增應用需要和各業務系統逐一對接,存在困難且效率低;希望能快速從統一的平臺上,獲取標準化、組件化的服務資源利用率低、調度不靈活各系統煙囪建設,資源不能共享,利用率低;資源不能動態調度,無法滿足大案、要案時的高峰計算及I/O需求視頻數據管理難、效率低接入→存儲→解析→碰撞→歸檔,數據隔離、難共享;多次遷移,浪費時間和空間3視頻大數據集群計算服務器Huawei
視頻云物理架構:
物理分布,邏輯集中;全網智能,全局調度②
視頻接入網關兼容多供應商的前端和平臺①
智能
IPC和前端設備箱內嵌智能算法,事前預警;可實現傳統攝像頭智能化④
智能匯聚7倍業內匯聚速度③
敏捷網絡支持LAN、xPON、LTE、微波、
WLAN
等泛接入方式;滿足多場景需求⑦ 視頻大數據實現秒級10億級卡口大數據檢索,秒級1000萬級人臉庫分析⑥
視頻解析任務動態調度,全網智能分析⑤
視頻共享兩級就近匯聚、全局視圖共享,多數據源融合存儲⑧ 統一管理實現數據、資源、業務的統一管理和調度,數據不用動,業務處理能力隨數據而行。市局分局前端智能IPC接入網關社會面平臺12云中心節點視頻共享視頻解析云邊緣節點視頻共享視頻解析……視頻解析應用前端設備箱傳統IPC融合指揮治安防控反恐處突視頻偵查4云邊緣節點……36視頻共享7視頻大數據敏捷網絡(LAN、xPON、LTE、微波、WLAN)網絡統一管理 85感傳管用稽查布控Huawei
視頻云平臺:視頻資源全面云化、數據工廠、應用引擎數據工廠視頻結構化視頻大數據挖掘視頻數據全生命周期管理2方案特點3 應用引擎開放視頻云服務可集成第三方算法提供應用開發環境1 資源云化資源池化敏捷自動高效管理視頻云平臺資源云化數據工廠應用引擎VM視頻共享應用引擎
視頻存儲服務視頻編碼 視頻轉發
視頻濃縮
車輛識別
人臉識別服務 服務 服務 服務 服務軌跡/關系分析服務視頻解析視頻大數據數據工廠VMVMVM資源云化視頻共享視頻解析視頻大數據數據工廠VMVMVM視頻共享視頻解析視頻大數據數據工廠VMVM中心節點邊緣節點邊緣節點資源云化治安防控視頻偵查融合指揮稽查布控反恐處突實戰應用1
資源云化23Huawei
1.資源池化:基于OpenStack標準架構,統一管理,為視頻云提供按需服務省廳資源池計算虛擬化 存儲虛擬化VRMoAvaOpenStackCinderNeutron網絡虛擬化業務云管理平臺業務平臺
N業務平臺2業務平臺1VDC……運營門戶服務門戶業務管理員門戶Service
APIService
Center(服務管理)業務影響分析DC健康診斷告警實時監控服務計量用戶管理 服務編排 服務目錄VDC管理應用自動化和編排拓撲導航運維管理員門戶eSDKOperation
Center(運維管理)市局資源池分局資源池業務價值集約化:模塊化建設,資源共享、靈活分配。提升服務速度、降低建設成本,降低運維成本標準化:開放云OS,避免被鎖定服務化:服務目錄,自助申請,快速發放,提升服務水平。業務場景在分局或市局構建視頻云共享資源池資源云化服務按需申請/授權服務的生命周期管理:服務申請、審批、發放、編排多個DC當1個管,1個DC當多個用計算虛擬化 存儲虛擬化 網絡虛擬化VRMoAvaOpenStackCinderNeutron存儲虛擬化 網絡虛擬化VRMoAva計算虛擬化OpenStackCinderNeutron視頻云平臺資源云化數據工廠應用引擎Huawei
1.1計算資源池化:實現CPU/GPU資源動態適配不同視頻分析計算需求視頻云平臺資源云化數據工廠應用引擎通過CPU/GPU計算資源池化服務,實現在多業務間按需分配,提升資源利用率靈活解決業務高負荷時,資源能調度集中辦大案業務場景需提供差異化資源池服務。如視頻共享更多只有CPU需求;而視頻解析、視頻大數據等業務,會對GPU高性能計算有需求。各業務有錯峰填谷的場景,資源池需動態調配業務價值
云計算資源池
視頻管理資源池 視頻解析資源池大數據分析資源池CPU資源池CPU資源池GPU資源池GPU資源池視頻解析視頻摘要 人臉識別車輛識別 異常行為大數據分析全文檢索 深度分析實時監控公安VDC安監VDC交警VDC ……視頻共享視頻接入 視頻轉碼視頻轉發 視頻增強CPU資源池Huawei
…大情報警綜共享平臺通過云計算消除底層異構硬件的差異,實現資源的平臺化管理開放架構,可擴展性業務與平臺解耦軟件與件解耦統一管理彈性伸縮,資源最優配置自動化管理分布式架構IT即服務服務設計與服務目錄服務水平可衡量自服務門戶軟件定義NetworkFusionSphere云操作系統存儲池SDSDC2DC1
DC3計算池SDputingKVM
vSphereSANServerSAN網絡池SDNVSA
vSwitchVDC1VDC3VDC2V大情報警鐘更多應用ManageOne統一管理平臺共享平臺Huawei
“物理分散、邏輯集中、資源共享、按需服務”分布式云數據中心省市“一朵云”需求:多個數據中心統一運維管理省市統一管理信息、資源的統一呈現資源統一發放虛擬化資源統一管理省、市虛擬化資源統一管理異構虛擬化資源統一納管虛擬資源池三個統一運營 運維運營運維的統一管理統一為各警種提供IT服務資源快速申請警種自助式運維關鍵特性Huawei
實現全省一朵云,多個數據中心物理分散邏輯集中,省廳統一運維管理。云主機服務關系數據庫服務云存儲服務虛擬私有云大數據服務虛擬負載均衡省廳數據中心云計算平臺其它地市數據中心云計算平臺市局數據中心云計算平臺科信VDC 刑偵VDC 綜安VDC警務云統一管理計算 存儲 網絡物理機服務虛擬防火墻服務按部門或業務靈活構建VDC,匹配現有組織結構VDC的資源可從全局多個資源池靈活分配不同VDC資源邏輯隔離,各業務系統獨立可靠運行VDC自助運維管理,為業務部門提供自主性Huawei
業務數據庫信息數據庫數據調用數據采集網上辦案系統刑偵基礎系統派出所綜合管理執法綜合管理……水平應用系統人口信息系統在逃人員信息庫卡口信息系統車輛管理系統……垂直應用系統數據倉庫數據分析Huawei
數據抽取/清洗情報研判比對布控軌跡碰撞同行同住……數據分析警綜/視頻共享管理/PGIS/大情報/公共服務平臺綜合分析系統實際就是警綜、視頻管理等傳統應用平臺的云化,統一整合原本分散的應用層,融合業務層,對內外提供云服務。原有數據庫部分一般不建議云化,大數據不建議云化。省廳建設規模在數千萬至一個億不等,市局建設規模一般在數百萬至千萬之間。實際就是原有的綜合分析系統大數據化,并且運用大數據思維開發更多的情報分析場景。一般分期建設,前期結構化數據量較少,40-100TB左右,后續非結構化數據加入會增值PB級別。警務云大數據ManageOne包括SC、OC兩個組件,SC支持管理多個市局,
支持統一云運營管理。OC支持管理多個市局,
支持統一云運維管理。IaaS資源池由FusionSphere
OpenStack提供,支持VRM,在多個OpenStack的場景,市局和省廳共用一個KeyStone;災備解決方案的BC&DR產品提供虛擬機備份、容災服務,其中備份只支持磁盤備份,自動化實現,容災支持虛擬機容災,線上申請,線下發放;FusionInsight資源池提供大數據服務,包括:HDFS、Hbase、Spark、Hive、MapReduce,自動化發放;AC控制器提供網絡自動化功能,
支持VPC,
網絡,
SNAT,
防火墻ACL,
負責均衡,
VPN等功能。RDS
For
oracle提供關系數據庫服務,
支持發放數據庫實例,并對數據庫實例做管理。esight負責每個市局的本地硬件資源的運維,
Openstack
OM,
FC負責每個市局的本地虛擬化資源的運維。省公安廳Huawei
X市局 X市局Huawei
MPPDB深度分析數據集成/數據治理HDFS/HBaseStormSpark
MPP
DB
HQLAPI PL/SQLSQL99/SQL2003行業算法模型Miner軌跡分析關系分析視頻分析 積分模型機器學習 重口分析人物畫像類案分析HD-離線近線數據源電子圍欄(WiFi/UTMS)公安八大庫(人口/車輛/案件) 治安卡口(車輛/人員) 實時/歷史視頻分析FusionInsight已規劃,未商用華為警務大數據應用實戰化,聚焦平臺+部分核心行業算法,開放、成重口分析:重要人口分析,行業算法模型中,除了軌跡分析,關系分析,還有其它大量的針對警務系統的算法。治安 刑偵 經偵 緝毒 巡警 交警 技偵視頻大數據 大情報 重口數據 社交媒體 案件管理應用層ISV第一數據平面業務數據業務數據業務數據業務數據…大數據平臺實時采集數據轉換加載清洗抽取系統管理任務管理元數據管理數據預處理區 緩沖庫MPP
DBMPP
DB集群Streaming(實時流處理)Streaming集群預處理加載數據服務稽查布控人員關系分析查詢檢索主題檔案服務統計分析…軌跡分析圖片檢索專題分析實時監控全文檢索數據挖掘Hadoop集群全文檢索 離線分析、批處理分布式文件系統基礎數據、圖片、視頻、文本結構化數據第二數據平面管
理4.實時流處理場景數據融合與輔助破案,從查詢到深度挖掘分析,從靜態查詢到動態分析挖掘1.分析場景 2.查詢場景 3.挖掘場景Huawei
警務大數據主要應用場景關系挖掘:基于SPARK+圖數據庫的關系發現實時監測:流處理+內存數據庫方案業務數據分布式數據庫HBase全文索引庫Solr實時搜索:搜索引擎+大數據分級存儲警務百度 一鍵搜 智慧檔案……實時搜索平臺FusionInsight內容關聯建立索引FusionInsight車軌數據軌跡分析:MPPDB分布式并行數據庫套牌分析 伴隨分析 案件對碰交互式分析平臺卡口數據LBS數據GPS數據MPPDB并行數據庫Hadoop離線分析……SQLAPIFusionInsight實時查詢離線計算關系分析引擎MinerSpark分析結果同住宿同車同上網同案同航班……深度分析平臺業務數據圖數據庫
TitanHBase監控數據 通信話單 卡口數據
實時分析模型
Storm/Spark
StreamingKafka集群(消息隊列、緩存池)實時預警重點人員布控區域實時監控原始數據Huawei
貴州警務云二期:盡早介入、預埋機會、扭轉格局貴州警務云二期機會點分析作為建立“多彩貴州”重要項目,對安全性、靈活性、可擴展性都提出了很高要求,涉及華為從建設到運維全系列服務產品;ISV不具備ICT集成架構基礎集成服務能力,需要借助華為全生命周期專業服務能力進行項目拓展和業務對接;因前期趕進度臨建板房需要在機房建成后搬遷至新機房;本項目涉及華為IT、網絡全系列軟硬件產品,且承載省廳、公安部重要業務,屬于典型的警務云項目,具備可復制性;項目復制,大量的服務參與空間項目可研階段提前預埋ICT集成架構集成服務全系列服務產品及服務預算,確保服務報價有法可依;科信沒有匯智這種強勢ISV,ISV需要借助華為品牌、客戶關系ICT能力拓展項目,ICT基礎架構基礎服務全系列服務產品均有機會;省廳、地市分局存在大量的警務云建設機會,按照貴州警務云二期項目規模,保守估算服務參與空間1千萬左右;統一運維&運營管理平臺基礎設施
x86服務器統一存儲分布式NAS網絡設備虛擬數據中心大數據存儲服務大數據計算服務…虛擬機服務物理機服務應用服務彈性存儲服務警務綜合應用系統情報綜合研判系統指紋自動識別系統刑偵管理系統……計算FS云計算資源池存儲網絡物理資源
池ORACLEFI大數據資源池HDFS/MRMPP……HBASE資源資源資源GPU計算Huawei
服務產品金額服務產品金額項目復制存儲數據遷移28.4云備份服務6.4帶動服務機會點:銅仁警務云:200萬畢節警務云:170萬公安廳傳統機房P2V&V2V遷移和小機遷移:100萬存儲備份服務6.3云遷移服務50機房整體搬遷61.3大數據開發支持服務15.3FS解決方案實施服務8.4大數據遷移服務28ManageOne實施服務20.8維保及駐場服務225合計450設計方案/招標材料中預埋服務機會Huawei
陜西三秦警務云招標書金融與運營商大數據平臺合作伙伴Top
3China
Telco中國運營商企業50%ChinaFinancialIndustryTop10
Customers中國金融行業Top10企業Industrialandmercial
BankofChina某著名企業China
Mobile中國某著名企業China
Un上海某著名企業ChinaMerchants
Bank招商銀行Pacific
Insurance太平洋保險Huawei
基礎功能信息驗真B域基礎數據驗真O域上網行為驗真風險防控身份屬性 穩定度評 消費能力 行為偏好評估 估 評估 評估序號產品功能輸出結果1信息三要素核驗基于手機號+身份證號+姓名一致性返回驗證結果,可兩兩驗證或三維驗證。2實時位置驗證,對比基于輸入手機號碼+位置經度+位置緯度的一致性驗證(返回分級數據)3手機號碼狀態查詢基于手機
溫馨提示
- 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
- 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
- 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
- 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
- 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。
最新文檔
- 【西安】陜西西安經濟技術開發區管委會事業編制公辦學校招聘175人筆試歷年典型考題及考點剖析附帶答案詳解
- 罩生字教學課件
- 舞動的北京教學課件
- 美麗的彩帶 教學課件
- 語法教學課件
- 轉盤教學課件制作
- 敬人主題班會課件
- 教育收費政策課件
- 教育扶貧資助政策課件
- 文津圖書獎活動方案
- 2025年全國保密教育線上培訓考試試題庫及參考答案(完整版)附帶答案詳解
- 商場攤位購買合同協議
- 2024年泉州實驗中學初一新生入學考試數學試卷
- 2025年第二屆全國安康杯安全生產知識競賽題庫及答案(共190題)
- 護士法律法規知識培訓課件
- DB11-T 2398-2025 水利工程巡視檢查作業規范
- 2025年光伏行業上半年發展回顧與下半年形勢展望
- 輸血管理相關制度
- 老年性癡呆病人的護理與管理
- 無固定期限勞工合同通知書
- GB/T 45161-2024液氫容器用安全閥技術規范
評論
0/150
提交評論