1、Flink Streaming大數據架構的應用技術創新 變革未來Flink Streaming在滴滴的實踐123Flink Streaming 展望與規劃Flink Streaming平臺化目 錄Agenda01Flink Streaming 平臺化引入Flink Streaming 背景滴滴存在豐富的實時數據以及應用場景大數據方面業務對實時的要求越來越高公司內的很多storm/Jstorm 小集群，亟待升級與整合降低使用Flink Streaming 服務的門檻整合公司內的小集群，降低運維成本，提升機器利用率提升服務的穩定性與問題定位的效率Flink Streaming 平臺化HDFSESD

2、ruidYarnFlink Streaming應用管控WebIDESQL(建設中)診斷系統Flink Streaming 平臺Label-1Label-2Queue-3/Queue-4/NO-LABELYarn 計算資源管理穩定性要求高業務獨占機器（基于Label 機制）普通業務混布機器（基于CGroup機制）Queue-1Queue-2支持平臺的Flink引擎主要改造支持HDFS的應用資源限制JobManager 至多運行一個應用基于應用DAG的情況進行計算資源的申請支持計算資源的縮擴(減少應用升級所費的時間)計算資源擴容應用管控Hadoop YarnTaskManagerTaskManag

3、erTaskManager(新增)AMYarn RM計算所需資源擴容JobManager縮擴check申請擴容資源提交 應用調整networkbuffer應用管控TaskManagerTaskManagerTaskManager（unregistered）提交 應用realeaseAMYarn RM計算所需資源縮容JobManager縮擴check調整networkbuffer計算資源縮容Flink流式任務開發以及管控Flink流式任務開發Web IDEStreaming SQL (建設中)線下開發Flink 流式任務管控管控web 化， 不需要客戶機簡化參數配置Web IDESQL應用管控診

4、斷系統線下開發Flink流式任務開發以及管控Web IDE 界面任務管控的提交頁面Flink流式任務診斷體系Flink 日志實時接入ES(通過kibana查看和ES SQL 查詢)接入HDFS（通過Hive 查詢和UI查看）Flink 定制UI 查看Flink 流式指標接入druid ，通過監控大盤查看Flink 定制UI查看LogMetricESHDFSDruidkibanaES SQLHiveUI查看Flink流式任務診斷體系Flink流式指標監控大盤02Flink Streaming 在滴滴的實踐1.實時ETL2.實時報表3.實時監控4.實時業務Flink Streaming在滴滴的應用

5、場景實時網關日志監控支持select,groupby,filter, 一定范圍的window的計算規則支持計算規則動態更新覆蓋公司的大部分網關日志數據量高峰期達300W/s提高線上業務排查問題效率LogAgentKafkaFlink StreamingESDashBoard告警計算規則元數 據管理中心監控平臺定時拉取元數據Metric 上報實時網關日志監控實時網關日志監控數據量暴漲，計算資源不夠機房網絡可能存在故障聚合結果明顯不正確Checkpoint 異常Kafka 異常基于計算規則的降級方案異地多活構建延遲數據監控優化異常處理 監控提供retries + skip 的處理策略遇到的問題解決

6、方案實時網關日志監控實時網關日志監控實時規則引擎支持SQL ， CEP代碼規則支持CEP規則動態更新應用場景：實時運營，實時發放券， 實時風控由原來的處理時間的天級別提升到現在的實時實時規則引擎MQKafka數據清洗動態CEP算子CEP 規則元數據管理中心外部存儲KafkaGroovy 解析NFA查詢特征數據規則更新匹配 結果 輸出實時規則描述模式描述語言beginwithfollowBywaitabortwithSQLSQLSQLSQLissueYYYN規則序列算子condition描述輸出算子實時規則描述示例冒泡兩次后等待10s 未發單Cep.begin(“step1”).where(“o

7、rder.event_info.key=bubble”).times(2).wait(Time.second(10).abortWith(“step2”).where(“order.event_info.key=order_send”).issue(step2.*);實時規則引擎大數據量下pattern過多引發內存問題序列化問題易用性精細化timer和隔離序列化優化Lambda + SQL遇到的問題解決方案乘客位置語義（實時業務）乘客軌跡與訂單雙流實時Join乘客位置信息實時推送給司機手機端，準確率達94%減少司機與乘客溝通成本，提升接駕效率乘客軌跡流訂單流Flink Streamingcodis推送給司機APP端乘客位置語義（實時業務）03Flink Streaming 展望與規劃Flink Str