景數(shù)據(jù)集成演講人-莫云卿-騰訊-高級大數(shù)據(jù)工程師DataFunSummit#2023莫云卿>大數(shù)據(jù)平臺建設(shè)，自研調(diào)度系統(tǒng)、離線作業(yè)開發(fā)平臺>騰訊全鏈路數(shù)據(jù)開發(fā)平臺WeData研發(fā)，WeData最早期數(shù)據(jù)質(zhì)量、數(shù)據(jù)地圖、數(shù)據(jù)安全建設(shè)者CONTENT01行業(yè)趨勢及挑戰(zhàn)。3應(yīng)用實踐平臺與產(chǎn)品設(shè)計平臺規(guī)劃行業(yè)趨勢及挑戰(zhàn)DataFunSummit#2023大數(shù)據(jù)技術(shù)多樣化發(fā)展，騰訊云原生服務(wù)厚積薄發(fā)大數(shù)據(jù)技術(shù)歷經(jīng)18年發(fā)展開源騰訊的大數(shù)據(jù)技術(shù)沉淀騰訊云擁有業(yè)界領(lǐng)先大數(shù)據(jù)技術(shù)與口碑產(chǎn)品生態(tài)服務(wù)：近百技術(shù)貢獻者/數(shù)百萬代碼貢獻/豐富運維工具沉淀/開放騰訊業(yè)界領(lǐng)先的大數(shù)據(jù)服務(wù)實踐數(shù)據(jù)集成的必要性業(yè)務(wù)驅(qū)動業(yè)務(wù)數(shù)據(jù)需求豐富業(yè)務(wù)涉及技術(shù)組件、硬件、及軟件豐富，監(jiān)數(shù)字化進程不統(tǒng)一維的訴求難以統(tǒng)一技術(shù)驅(qū)動大數(shù)據(jù)生態(tài)繁雜：開源Hadoop生態(tài)日漸完善，越來越多的技術(shù)棧興起，傳統(tǒng)業(yè)務(wù)數(shù)據(jù)庫、NoSQL、數(shù)HTAP發(fā)展短期承壓：HTAP缺少大一統(tǒng)的產(chǎn)品或技術(shù)，客戶選擇數(shù)據(jù)集成產(chǎn)品的訴求不斷變遷總線式架構(gòu)組件豐富靈活數(shù)據(jù)云原生革新場景豐富化對象多樣化生態(tài)一體化點對點數(shù)據(jù)抽取工具點對點數(shù)據(jù)抽取工具總線式數(shù)據(jù)傳輸通道全場景數(shù)據(jù)集成系統(tǒng)生態(tài)化數(shù)據(jù)集成服務(wù)數(shù)據(jù)集成工具的發(fā)展平臺與產(chǎn)品設(shè)計DataFunSummit#2023數(shù)據(jù)集成DataInLong：產(chǎn)品概述DataInLongDataInLong源于由騰訊開源并孵化成功的ASF頂級項目ApacheInLong（應(yīng)龍），內(nèi)部InLong（應(yīng)龍）Oteam依托InLong海量數(shù)據(jù)集成框架支持百…ApacheInLong：功能架構(gòu)圖…BulkloadRealtimeSort大數(shù)據(jù)：數(shù)倉：HiveIcebergHbaseHive文件系統(tǒng)：更多：FTP數(shù)據(jù)上報：kafkaCOSHDFSAppRealtimeSort關(guān)系型數(shù)據(jù)庫：DBSyncCKDorisCKDorisSqlserver數(shù)據(jù)庫：NoSQL：HbaseoracleMysqlMysqlMongoHDFSHDFSLogu輕量/標準鏈路靈活可選：可根據(jù)用戶鏈路u星型鏈路模型：支持異構(gòu)讀寫數(shù)據(jù)源任意能靈活高效統(tǒng)一協(xié)議【高性能、低時延隊列組件，可靠容災(zāi)架構(gòu)方案】靠u4A級安全能力：從用戶、功能角色、傳輸可靠安全可信基于秘鑰的認證體系以及跨網(wǎng)絡(luò)支持，提供賬號、網(wǎng)絡(luò)、數(shù)據(jù)、技術(shù)上云驅(qū)動ApacheInLong社區(qū)快速的發(fā)展以及貢獻值活躍度不斷增高，公司內(nèi)外部客戶逐步落地，也存在一定的困難，平臺也面臨著如下問題：高公共基礎(chǔ)：統(tǒng)一身份認證統(tǒng)一元數(shù)據(jù)統(tǒng)一調(diào)度云監(jiān)控安全防護：云網(wǎng)絡(luò)云安全執(zhí)行資源：云容器>全托管+資源彈性公共基礎(chǔ)：統(tǒng)一身份認證統(tǒng)一元數(shù)據(jù)統(tǒng)一調(diào)度云監(jiān)控安全防護：云網(wǎng)絡(luò)云安全執(zhí)行資源：云容器>全托管+資源彈性>豐富的數(shù)據(jù)源：服務(wù)管理服務(wù)管理…執(zhí)行引擎容器底座 Agent采集容器底座 Agent采集--MQ數(shù)據(jù)源數(shù)據(jù)采集數(shù)據(jù)上報…IHiveIcebergkuduI(TBDS/EMR/DLC)-畫畫…ESCKDorisI 數(shù)據(jù)采集/寫入數(shù)據(jù)采集/寫入………AgentAPPCOSHDFSFTP…Mysql…Sqlserver…kafkaPulsar 任務(wù)管理資源管理……監(jiān)控采集…CreateDelete資源調(diào)度DataProxyDataProxy…任務(wù)管理資源管理……監(jiān)控采集…CreateDelete資源調(diào)度DataProxyDataProxy…資源調(diào)度策略設(shè)計平臺優(yōu)勢平臺優(yōu)勢:資源管理:??資源分區(qū)策略?資源利用率提升任務(wù)調(diào)度:??運行時自適應(yīng)?公共任務(wù)資源彈性整庫遷移:支持指定表、整庫搬遷、自定義正則匹配等多種源表選源表與目標表支持同名匹配、基于變量提取的自定義匹配等多整庫遷移支持異常重啟、忽略異常、部分停止等多種策略DDL感知:支持新建表、刪除表、添加列、刪除列等常見的DDLl類TargetTable3…TargetTable2平臺優(yōu)勢:SourceTable1SourceTable1SinkSourceTable3SourceTable2FlinkSortSource…TargetTable1TargetTable1處理Sink端臟數(shù)據(jù)Sink歸檔臟數(shù)據(jù)到外部系統(tǒng)臟數(shù)據(jù)歸檔處理Sink端臟數(shù)據(jù)Sink歸檔臟數(shù)據(jù)到外部系統(tǒng)定義：單條數(shù)據(jù)在源端讀取、在目標端寫入時發(fā)生非主觀異常且不能自恢復(fù)導(dǎo)致無法讀取、寫入的數(shù)據(jù) Source處理Source端臟數(shù)據(jù)平臺優(yōu)勢:??InLong獨有功能，避免臟數(shù)據(jù)對正常同步鏈路的干擾?對臟數(shù)據(jù)分類、Format，方便臟數(shù)據(jù)回溯?插件化設(shè)計，可歸檔到任意外部系統(tǒng)臟數(shù)據(jù)管理臟數(shù)據(jù)管理:?可插拔臟數(shù)據(jù)Sink?自定義臟數(shù)據(jù)Format?明確的臟數(shù)據(jù)類型系統(tǒng)要求臟數(shù)據(jù)歸檔時必須指明具體的臟數(shù)?和指標系統(tǒng)協(xié)同BAuditSDKAuditSDKBAuditSDKAuditSDKAuditSDK數(shù)據(jù)審計與監(jiān)控AuditAuditreportAuditAuditSDK總線架構(gòu)異構(gòu)轉(zhuǎn)換總線架構(gòu)異構(gòu)轉(zhuǎn)換無門檻DataInLong基于星型數(shù)據(jù)轉(zhuǎn)換結(jié)構(gòu)提供中央數(shù)據(jù)模型，支持30+種數(shù)據(jù)源及目標類型按需搭配構(gòu)建數(shù)據(jù)鏈路，最大化降低異構(gòu)數(shù)據(jù)源適配成本，提升數(shù)據(jù)鏈路搭建及傳輸效率，助力企業(yè)構(gòu)建統(tǒng)一數(shù)據(jù)傳輸通道。DataInLongDataInLongCOSTKE生態(tài)對接uWeData：uInlong+DLC/CDWDoris等，提供快捷數(shù)據(jù)傳輸uInlong+ElasticSearch/BI，提供實時數(shù)據(jù)快捷入倉入uInlong+云數(shù)據(jù)庫/云中間件/DTS，連接基礎(chǔ)數(shù)據(jù)平臺【方案融合/產(chǎn)品連接，支持基礎(chǔ)、中間件、工具、應(yīng)用各類云產(chǎn)品】全場景數(shù)據(jù)集成【支持不同類型、時效、策略、提取方式下全場景的數(shù)據(jù)集成訴求】u業(yè)務(wù)場景覆蓋實時、離線同步，支持秒級、分鐘u技術(shù)場景涵蓋采集與主動上報數(shù)據(jù)傳輸方式，支u支持30+數(shù)據(jù)源類型，包含關(guān)系型數(shù)據(jù)庫、大數(shù)據(jù)、u多種同步方式，支持全量、增量、全增量融合的u單表同步、整庫遷移【業(yè)務(wù)場景】【數(shù)據(jù)場景】【技術(shù)場景】l離線數(shù)據(jù)業(yè)務(wù)，業(yè)務(wù)需按T+1定期采集ODS層數(shù)據(jù)，無需轉(zhuǎn)換處理離線同步離線同步單表增量單表增量異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步被動拉取被動拉取l監(jiān)控數(shù)據(jù)變更，實時進行數(shù)據(jù)分析及報表展示，需要清洗非標數(shù)據(jù)實時同步實時同步-日志變更異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步被動拉取被動拉取l實時進行業(yè)務(wù)日志采集，投遞到ES進行廣告業(yè)務(wù)指標分析實時同步實時同步-文件傳輸異構(gòu)數(shù)據(jù)同步異構(gòu)數(shù)據(jù)同步ETLETL/ELT主動上報主動上報l正在進行架構(gòu)調(diào)整，需進行原有數(shù)據(jù)遷移，且不可影響現(xiàn)有離線業(yè)務(wù)離線同步離線同步整庫/單表全增量整庫/單表全增量同構(gòu)數(shù)據(jù)同步同構(gòu)數(shù)據(jù)同步被動拉取被動拉取DataInLongDataInLong全場景數(shù)據(jù)集成應(yīng)用實踐DataFunSummit#2023開箱即用的產(chǎn)品體驗【敏捷產(chǎn)品體驗、開箱即用免運維】u開箱即用，提供一站式產(chǎn)品服務(wù)，輕松管理數(shù)據(jù)源、資u低代碼敏捷開發(fā)，提供畫布式任務(wù)配置方式完成ETL鏈u無需資源運維，所有基礎(chǔ)資源提供全托管服務(wù)，采用包u支持全鏈路（任務(wù)/數(shù)據(jù)流/節(jié)點/資源）多對象監(jiān)控于復(fù)雜策略精準控制畫布式無代碼拖拽配置復(fù)雜策略精準控制資源托管一鍵配置指標監(jiān)控與展示資源托管一鍵配置全鏈路數(shù)據(jù)開發(fā)與治理平臺敏捷搭建DataInLong提供了開放的技術(shù)能力，可DataInLong提供了開放的技術(shù)能力，可與統(tǒng)一調(diào)度、統(tǒng)一元數(shù)據(jù)、統(tǒng)一安全等技術(shù)/產(chǎn)品服務(wù)快速深度融合。同時，支持平滑無縫升級至騰訊云數(shù)據(jù)臺WeData，提供全鏈路數(shù)據(jù)開發(fā)、治理與資產(chǎn)管理、數(shù)據(jù)獨立獨立DataInLong數(shù)據(jù)集成數(shù)據(jù)集成（DataInLong）數(shù)據(jù)開發(fā)治理平臺WeData數(shù)據(jù)開發(fā)治理平臺WeData全鏈路平滑適配遷移推薦搭配產(chǎn)品：大數(shù)據(jù)處理套件數(shù)據(jù)開發(fā)治理平臺WeData大數(shù)據(jù)處理套件異構(gòu)數(shù)據(jù)批量搬遷入倉入湖DataInLong（數(shù)據(jù)集成）提供了DataInLong（數(shù)據(jù)集成）提供了簡單、快速、靈活、成本低的技術(shù)和產(chǎn)品方案，采用星型模型抽象轉(zhuǎn)換公共數(shù)據(jù)類型靈活適配幾十種異構(gòu)數(shù)據(jù)轉(zhuǎn)DataInLong支持用戶靈活接入業(yè)務(wù)處理邏輯實現(xiàn)多層數(shù)倉間數(shù)據(jù)快速、無縫扭轉(zhuǎn)，幫助用戶最大效率、最低成本完成異構(gòu)數(shù)DataInLongDataInLongDataInLongCOSTKE轉(zhuǎn)換能力強大周期靈活推薦搭配產(chǎn)品：策略多樣粒度豐富全方位監(jiān)控數(shù)據(jù)一致DDL響應(yīng)、指標、臟數(shù)據(jù)歸檔movie【適合場景】：整庫搬遷【同步模式】：根據(jù)來源與目標間表對象映射策略，自動路由來源多或單表數(shù)據(jù)至目標表中策略多樣粒度豐富全方位監(jiān)控數(shù)據(jù)一致DDL響應(yīng)、指標、臟數(shù)據(jù)歸檔movie【適合場景】：整庫搬遷【同步模式】：根據(jù)來源與目標間表對象映射策略，自動路由來源多或單表數(shù)據(jù)至目標表中。整庫下，默認字段同步映射，來源與目標表之間可按照指定策略、或者字段內(nèi)容動態(tài)映射推薦搭配產(chǎn)品：DataInLongDataInLong基于FlinkCDCConnector體系提供高效率、低延遲、準確的實時數(shù)據(jù)同步遷移方案，支持通過單表以及整庫粒度實現(xiàn)業(yè)務(wù)與湖倉數(shù)DataInLong支持用戶全量+增量、或者僅增量方式建立數(shù)據(jù)同步機制，提供實例、數(shù)據(jù)庫、表或字段級實時數(shù)據(jù)傳輸方案，幫助用戶最快效率完【適合場景】：單表同步、分庫分表同步與回流【同步模式】：依據(jù)字段映射關(guān)系，進行指定字段數(shù)據(jù)之間非按序同步。默認對表內(nèi)字段進行業(yè)務(wù)數(shù)據(jù)過濾保持來源于目標關(guān)聯(lián)字段間數(shù)據(jù)一致，同步期間非關(guān)聯(lián)的字段變更不影響同步數(shù)據(jù)。【數(shù)據(jù)轉(zhuǎn)換】flink函數(shù)主動上報海量采集主動上報海量采集推薦搭配產(chǎn)品：廣告、推薦、企業(yè)畫像等業(yè)務(wù)需要收集在線網(wǎng)站、APP、系統(tǒng)的用戶行為及系統(tǒng)日志等各種業(yè)務(wù)數(shù)據(jù)，DataInLong支持廣告、推薦、企業(yè)畫像等業(yè)務(wù)需要收集在線網(wǎng)站、APP、系統(tǒng)的用戶行為及系統(tǒng)日志等各種業(yè)務(wù)數(shù)據(jù)，DataInLong支持通過配置Agent式主動上報對用戶行為、系統(tǒng)日志、訂單等結(jié)構(gòu)化或半結(jié)構(gòu)化數(shù)據(jù)，從而完成快速數(shù)據(jù)傳輸與高效分析，有效支撐在成功案例：公有云電商、傳媒、互聯(lián)網(wǎng)行業(yè)客戶全鏈路數(shù)據(jù)平臺?元數(shù)據(jù)、數(shù)據(jù)資產(chǎn)管理與治理企業(yè)云原生數(shù)據(jù)湖構(gòu)建?多種同步方式，多種數(shù)據(jù)源快速搭建云數(shù)據(jù)湖?實時數(shù)據(jù)秒級同步iceberg，完成冷熱數(shù)據(jù)計算某公有云電商：某公有云電商：Dat