1、基于Flink的異構海量數據涌傳輸系統技術創新 變革未來Agenda異構數據涌傳輸的挑戰基于Flink的解決方案 未來規劃挑戰MySQLH.ve/HSQLHDFSTableauRed.s/ AbaseKaf/a ?數據源種類多傳輸方式多全量增量流式頻繁有新數據源出現對架構的可擴展性要求高挑戰對于單/務，數據L大，實現細節繁多。SLA(性能穩定性等）要A高。MySQL上萬分庫單庫干億行PK極端不均勻HDFS10w+文件Protobuf/Parqu et/JSON/CSV/ Binary Hive500TB+Parquet/ORC/ SequeceFile 傳統架構etc.技術棧零散,M * N模

2、式缺乏統的數據*理和功能支持框架開發和運維成本高,性能和穩定性保證難度大現有開源方案DataX (開源版本)類型系統完善，數據源類型支持較完整單機模式，橫向擴展性不足不支持流式傳輸Sqoop關系型DB到Hadoop導入較為成熟新增數據源較為困難基于MR，性能非最優缺乏性能和架構可擴展性強，支持流批統一傳輸的框架。Agenda異構數據涌傳輸的挑戰基于Flink的解決方案 未來規劃基于Flink的統一傳輸架構線上業務支撐曰均任務數 2w，曰均傳輸數據萬億級別Flink OverviewExactly &nceScalabilityLayered APIHigh PerformanceStream

3、& Batch&peration FocusPlugin Framework技術棧統所有數據對應獨立的Input/Output插件,M+N模式框架層面提供統基礎功能分布式計笢Flink類型系統自動并行度流量控制臟F據處理小流量N試Type System所有輸入源數據類型先轉換為DTS類型，再統一轉換為輸出源數據類型。對于每種類型，分別有對應的序列化/反序列化器，用于分布式數據傳輸。基礎類型BoolColumnBytesColumnDateColumnDoubleColumnLongColumnStringColumn復合類型ListColumnTMapColumnK, VAuto Parall

4、elismAuto Parallelism對Flink架增加了Job預處理后處理流程，根據以下指標計算輸入輸出最佳并發度輸入原/片數輸入原總行數輸入原總大小輸入原可承壓輸出原可承壓用戶配置并發Messenger Framework在框架層面解決 Flink多節點間 數據收集的問題。任務運行指標收集臟數據收集支持多種目標數據灑Messenger - MetricsMessenger - Dirty Data用于收集和處理臟數據，寫入中間數據庫/Kafka等臟數據收集少量任務運行日志預覽增量臟數據寫入全量Log日志查詢等任務質量控制控制任務失敗的臟數據閾值支持絕對行數閾值支持相對百分比閾值實現優化Flink相關改進Monitor & Alarm單Job監控看板 總讀取寫入進/總分片數當前-成分片數當前讀取寫入行數當前讀取寫入大小失敗讀取寫入行數Monitor & Alarm系統整-監控看板 已啟動Job數量正在運行Job數量已成功Job數量已失敗Job數量Job運行時間