1、基于MongoDB的數(shù)據(jù)中臺技術(shù)實現(xiàn)AGENDA內(nèi)容大綱1. 現(xiàn)代企業(yè)數(shù)據(jù)架構(gòu)及痛點(diǎn)5問題1：客戶最常用什么方式和航空公司交互？回答時間: 數(shù)天？數(shù)周？PSDP行程訂單主動營銷 行為訂單觸點(diǎn)系統(tǒng) 事件數(shù)據(jù)FFP旅客信息投訴、行李、 不正常航班大數(shù)據(jù) 旅客標(biāo)簽手機(jī)APP6問題2：某險企新開發(fā)保單貸小程序，對接數(shù)據(jù)需要多少時間？所需時間: 數(shù)周？數(shù)月？生命 人壽重疾 保險財產(chǎn) 保險推薦 系統(tǒng)客戶 標(biāo)簽微信小程序 后臺數(shù)據(jù)庫一次性導(dǎo)入+腳本定期增量一次性導(dǎo)入+腳本定期增量一次性導(dǎo)入+腳本定期增量7數(shù)據(jù)孤島：低效率和利用困難的根源形成原因事業(yè)部門各自建設(shè) 數(shù)據(jù)庫性能無法支撐 分庫分表數(shù)據(jù)孤島的影響數(shù)據(jù)

2、開發(fā)低效：需要大量對接及同步 用戶體驗下降：數(shù)據(jù)不完整，不實時 成本增加：重復(fù)建設(shè)，復(fù)用率低8目前解決方案： 數(shù)據(jù)倉庫/大數(shù)據(jù)平臺生命 人壽汽車 保險運(yùn)動 保險旅游 保險重疾 保險T+ 1數(shù)據(jù)倉庫數(shù)據(jù)湖9數(shù)據(jù)倉庫和大數(shù)據(jù)平臺的不足生命 人壽汽車 保險運(yùn)動 保險旅游 保險重疾 保險數(shù)據(jù)湖T+ 1數(shù)據(jù)倉庫數(shù)據(jù)抽取不及時！交付方式太粗放面向場景偏分析2. 理解數(shù)據(jù)中臺11什么是數(shù)據(jù)中臺生命 人壽汽車 保險運(yùn)動 保險旅游 保險重疾 保險T+ 012數(shù)據(jù)中臺定義以打通部門或數(shù)據(jù)孤島的統(tǒng)一數(shù)據(jù)平臺為基礎(chǔ)，構(gòu)建統(tǒng)一 數(shù)據(jù)資產(chǎn)體系，并以API服務(wù)方式為全渠道業(yè)務(wù)(分析+應(yīng)用) 提供即時交付能力的企業(yè)級數(shù)據(jù)架構(gòu)

3、13金融數(shù)據(jù)中臺參考架構(gòu)PC 網(wǎng)銀資料治理 資料質(zhì)量 資料目錄資料同步 資料開發(fā) 資料建模資料去重行動APP金融商城社交化系統(tǒng)第三方支付數(shù) 據(jù) 平 臺服 務(wù)開放API應(yīng) 用貼源層業(yè)務(wù) 模型 庫客 戶標(biāo)籤庫推薦模型資料運(yùn)算 建模資 料 採 集批量導(dǎo)入基於日誌的CDCDB2TXT/CSVSQLServerOracleLegacyIoTAPI 集成分析 模型 庫賬 戶交 易產(chǎn) 品EDWHadoop風(fēng) 控資 產(chǎn)RESTful APISTREAMING APISQL API客戶中心產(chǎn)品中心營銷中心賬戶中心營銷中心清算中心支付中心精準(zhǔn)營銷內(nèi)部分析數(shù)據(jù)大屏監(jiān)管報表數(shù)據(jù)發(fā)現(xiàn)14數(shù)據(jù)中臺的主要價值數(shù)據(jù)協(xié)同 效率

4、數(shù)據(jù)復(fù)用 效率數(shù)據(jù)交付 速度3. 數(shù)據(jù)中臺的技術(shù)模塊16數(shù)據(jù)中臺的模塊數(shù)據(jù)即服務(wù) | Data as a Service數(shù)據(jù)資產(chǎn)體系 數(shù)據(jù)統(tǒng)一平臺T+ 0ETLT+ 1數(shù)據(jù)同步與匯聚17數(shù)據(jù)中臺技術(shù)產(chǎn)品數(shù)據(jù)平臺數(shù)據(jù)同步數(shù)據(jù)治理數(shù)據(jù)服務(wù)Hadoop / HDFS / HiveKafkaApache AtlasSpringTeradataKettleInformaticaKongMongoDBFlinkErwinKafkaGreenplumSpark ETLOracleLoopbackMySQL ClusterTalendWhereHowMulesoftOracleInformaticaTapda

5、taCATranswarpGolden GateAPIGeeElastic SearchFlinkTapdataTapdata18數(shù)據(jù)平臺產(chǎn)品分類90s00s10s20s關(guān)系型數(shù)據(jù)庫 RDBMS大數(shù)據(jù)數(shù)據(jù)倉庫 MPPNoSQL/NewSQL19關(guān)系數(shù)據(jù)庫/RDBMS 數(shù)據(jù)庫之鼻祖主要特點(diǎn)1980s 1990s取代文件方式數(shù)據(jù)存 儲基于關(guān)系模型與 SQL最主流的數(shù)據(jù)庫主要場景交互式業(yè)務(wù) 資源計劃 ERP 客戶關(guān)系 CRM 業(yè)務(wù)流程 BPM主要局限嚴(yán)格模式不夠靈活 難以橫向擴(kuò)展 難以支持非結(jié)構(gòu)化 40歲了！20數(shù)據(jù)倉庫/MPP 解決關(guān)系型數(shù)據(jù)庫的擴(kuò)展能力問題主要特點(diǎn)2000s突破關(guān)系型數(shù)據(jù)庫的 性

6、能及容量瓶頸主要場景批量分析歷史數(shù)據(jù) Archive 商業(yè)智能 BI數(shù)據(jù)分析 Analytics主要局限解決了90年代的大 數(shù)據(jù)，但是解決不了 手機(jī)時代的大數(shù)據(jù) 結(jié)構(gòu)嚴(yán)格，不支持非 結(jié)構(gòu)化數(shù)據(jù)21大數(shù)據(jù)/Big Data 處理移動時代的海量數(shù)據(jù)和非結(jié)構(gòu)化數(shù)據(jù)主要特點(diǎn)2010s突破數(shù)據(jù)倉庫容量瓶頸 有效管理非結(jié)構(gòu)化數(shù)據(jù)主要場景批量處理歷史數(shù)據(jù) Archive標(biāo)簽系統(tǒng) Personalize 推薦系統(tǒng) Recommend主要局限架構(gòu)復(fù)雜難懂基于HDFS文件系統(tǒng) 批處理為主要目標(biāo) 性能無法滿足交互式22NoSQL 海量，非結(jié)構(gòu)化數(shù)據(jù)及交互式性能）主要特點(diǎn)2010s分布式架構(gòu)靈活模型（JSON主要場景

7、實時交互全文搜索 Elastic 高速緩存 Redis 高并發(fā)讀寫 MongoDB日志處理 Cassandra主要局限大部分缺乏事務(wù) 性功能不夠全面23數(shù)據(jù)統(tǒng)一平臺選型參考海量數(shù)據(jù) VOLUME響應(yīng)時間與并發(fā) VELOCITY多結(jié)構(gòu)數(shù)據(jù) VARIETY選型參考RDBMS長板: 短板性能快，人力現(xiàn)成 橫向擴(kuò)展能力MPP長板:短板:基于SQL，分析成本高，開發(fā)周期長Hadoop長板:短板:海量能力，大量生態(tài) 人力成本，性能低MongoDB長板: 型短板:分布式高性能靈活模多表關(guān)聯(lián)能力NewSQL長板:短板:分布式SQL，低學(xué)習(xí) 只支持結(jié)構(gòu)化數(shù)據(jù)4. 基于MongoDB + Tapdata 數(shù)據(jù)中臺

8、落地方案25MongoDB作為中臺架構(gòu)的數(shù)據(jù)平臺優(yōu)勢：多模數(shù)據(jù)庫PrimarySecondarySecondaryPrimarySecondarySecondaryPrimarySecondarySecondaryShard 1Shard 2Shard N路由節(jié)點(diǎn)路由節(jié)點(diǎn)多工況支持多模多態(tài)自動擴(kuò)展TB PB 海量數(shù)據(jù)支持無縫擴(kuò)容應(yīng)用全透明毫秒級響應(yīng)時間API 友好目錄節(jié)點(diǎn)目錄節(jié)點(diǎn)目錄節(jié)點(diǎn)26MongoDB對象模型的優(yōu)勢數(shù)據(jù)采集數(shù)據(jù)治理ODS貼源傳統(tǒng)模式：專業(yè)數(shù)據(jù)工程師數(shù)周概念建模邏輯建模物理建模CDMDWSDWD業(yè)務(wù)數(shù)據(jù)模型（關(guān)系模型）REST APIMongoDB方案: 普通開發(fā)工程師 數(shù)天

9、基于類似邏輯模型存儲業(yè)務(wù)數(shù)據(jù)模型（對象模型）REST API27MongoDB: HTAP 全渠道業(yè)務(wù)支持（交易 + 分析）分析型PrimarySecondarySecondarySecondaryuse = analytics交易型Predictive Analytics & Data ScienceAggregatio nsSecondaryuse = analyticsBI & ReportingCompassBIConnector28MongoDB 觸發(fā)器APIChange Streams APIBusiness AppsUser DataSensorsClickstreamReal-

10、Time Event NotificationsMessage Queue29Tapdata： 為MongoDB量身定做的中臺構(gòu)建工具集數(shù)據(jù)建模 數(shù)據(jù)治理同步機(jī)器人 實時采集業(yè)務(wù)應(yīng)用移動端/網(wǎng)頁端開放數(shù)據(jù) 數(shù)據(jù)共享AI 數(shù)據(jù)底座MongoDB實時分析 自助BI智能API服務(wù)數(shù)據(jù)庫權(quán)限認(rèn)證教 師學(xué) 生用戶班級業(yè)務(wù)邏輯作業(yè)系統(tǒng)前端數(shù)據(jù)庫網(wǎng)上課堂前端數(shù)據(jù)庫教師發(fā)展前端權(quán)限認(rèn)證教 師學(xué) 生用戶班級業(yè)務(wù)邏輯權(quán)限認(rèn)證教 師學(xué) 生用戶班級業(yè)務(wù)邏輯聯(lián)通數(shù)據(jù)孤島 統(tǒng)一認(rèn)證 統(tǒng)一用戶 統(tǒng)一權(quán)限教師學(xué)生班級權(quán)限認(rèn)證用戶數(shù) 據(jù) 中 臺Excel/CSV/XML/Json音頻/視頻PDF/Word/PPT等等圖片教育新

11、聞班級通訊 錄從傳統(tǒng)的孤島模式開發(fā)數(shù)據(jù)庫作業(yè)系統(tǒng)前端數(shù)據(jù)庫網(wǎng)上課堂前端已有系統(tǒng)單向日志同步到顛覆式的中臺模式開發(fā)主數(shù)據(jù)管理前端業(yè)務(wù)邏輯雙向讀寫API教室發(fā)展 2.0前端業(yè)務(wù)邏輯雙向讀寫API31數(shù)據(jù)同步及處理能力實時異構(gòu)數(shù)據(jù)庫同步支持?jǐn)?shù)據(jù)源 OracleSQL Server Sybase MySQLMongoDB DB2Excel CSV32數(shù)據(jù)建模能力可視化建模關(guān)系型到文檔模型 自動轉(zhuǎn)型平臺內(nèi)數(shù)據(jù)模型 實時聯(lián)動33數(shù)據(jù)治理能力元數(shù)據(jù)管理數(shù)據(jù)目錄 數(shù)據(jù)溯源 數(shù)據(jù)質(zhì)量34數(shù)據(jù)API發(fā)布能力無代碼直接發(fā)布APIOpenAPI 兼容 行級及列級過濾 自動文檔及測試 詳盡的權(quán)限管控前端數(shù)據(jù)庫權(quán)限認(rèn)證教

12、 師學(xué) 生用戶班級業(yè)務(wù)邏輯辦公 OA數(shù)據(jù)庫圖書管理前端數(shù)據(jù)庫教師發(fā)展前端學(xué)生班級權(quán)限認(rèn)證用戶 教師權(quán)限認(rèn)證教 師學(xué) 生用戶班級業(yè)務(wù)邏輯權(quán)限認(rèn)證教 師學(xué) 生用戶班級業(yè)務(wù)邏輯打破數(shù)據(jù)孤島 統(tǒng)一認(rèn)證 統(tǒng)一用戶 統(tǒng)一權(quán)限數(shù) 據(jù) 中 臺前端數(shù)據(jù)庫辦公 OA業(yè)務(wù)邏輯。數(shù)據(jù)庫圖書管理前端業(yè)務(wù)邏輯。前端數(shù)據(jù)庫教師發(fā) 展業(yè)務(wù)邏輯。Excel/CSV/XML/JsonPDF/Word/PPT等等圖片音頻/視頻班級通訊錄學(xué)校通知教育新聞單向日志同步主數(shù)據(jù)管理前端業(yè)務(wù)邏輯雙向讀寫API業(yè)務(wù)邏輯雙向讀寫API教育中臺業(yè)務(wù)創(chuàng)新：無數(shù)據(jù)庫開發(fā)36MongoDB Cluster Scale on DemandOracleSQ

13、LServerPostgresMongoDBMongoDBMongoDBMongoDBMongoDBMongoDBmongosmongosmongosMobile AppWeb AppReport UserReal time DashboardSMSTSPLegacyTXT/CSVAPI ServerSQLIoTLogsTapdata參考小型中臺物理部署ReplicatorAPI ServerTapdataHA & Load Balancing5. 中臺方案選型38我的選型建議如果：基于MongoDB方案適用度基于Hadoop / 數(shù)倉 方案適用度你已經(jīng)有Hadoop 或者數(shù)倉統(tǒng)一平 臺一般，有重復(fù)建設(shè)之嫌疑理想你尚未構(gòu)建數(shù)據(jù)統(tǒng)一平臺理想一般（投入大，技術(shù)復(fù)雜）你的中臺數(shù)據(jù)主要為前端交互式應(yīng) 用服務(wù)理想不合適你的中臺數(shù)據(jù)只是為BI分析服務(wù)不適合做太多表關(guān)聯(lián)（如10)，或 者配合Spark合適你希望有個比較輕的解決方案，快 速見效快速迭代理想一般你們沒有專門的數(shù)據(jù)工程師理想不合適39基于MongoDB數(shù)據(jù)中臺的優(yōu)勢無縫橫向擴(kuò)展能力TB 到PB級存儲能力，支撐一站式企業(yè)級數(shù)據(jù)平臺 無下線時間橫向擴(kuò)展能力，始終保證秒級響應(yīng)能力多類型結(jié)構(gòu)數(shù)據(jù)模型結(jié)構(gòu)化，