美的金融智能風控系統(tǒng)的構(gòu)個人經(jīng)歷010203010203業(yè)務(wù)挑戰(zhàn)業(yè)務(wù)目標核心架核心架構(gòu)演進規(guī)劃資金歸集資金可視大額支付實時入賬票據(jù)服務(wù)信貸服務(wù)資金歸集資金可視大額支付實時入賬票據(jù)服務(wù)信貸服務(wù)保航。事業(yè)部消費者代理商增值產(chǎn)品產(chǎn)業(yè)鏈資金全線上化付認證等重要基礎(chǔ)服務(wù)給供應(yīng)經(jīng)銷商經(jīng)銷商是對平臺能力的極大挑戰(zhàn)與價值體現(xiàn)。現(xiàn)01集成內(nèi)外部黑名單，建設(shè)統(tǒng)一數(shù)01集成內(nèi)外部黑名單，建設(shè)統(tǒng)一數(shù)據(jù)集市與數(shù)據(jù)資產(chǎn)，從而構(gòu)02通過可視化的指標引擎與規(guī)則與決策流的可視化配置與求支付機構(gòu)應(yīng)建立客戶風險評級管理機制與003對風險預(yù)警事件統(tǒng)一管理與戶身份進行風險特征分析，背景發(fā)展需要、數(shù)據(jù)應(yīng)用能力的矛盾；行足源0102010203核心架核心架構(gòu)演進整體架構(gòu)演進數(shù)據(jù)架構(gòu)：如何應(yīng)對與日俱增的海量數(shù)據(jù)和并發(fā)計算規(guī)劃數(shù)據(jù)查詢和存儲更新時效慢：T+1業(yè)務(wù)線多，數(shù)據(jù)格式不一致指標查詢配置存數(shù)據(jù)查詢和存儲更新時效慢：T+1業(yè)務(wù)線多，數(shù)據(jù)格式不一致指標查詢配置存取MySQLElasticsearch引擎DB(MySQL)指標同步數(shù)倉業(yè)務(wù)事件WEB觸發(fā)規(guī)則/規(guī)則流配WEB觸發(fā)觸發(fā)件風險管控弱問題發(fā)現(xiàn)慢系統(tǒng)高耦合Ai模型能力缺乏說明系統(tǒng)的對外API出入口。?元數(shù)據(jù)服務(wù)：提供數(shù)倉的META元件進行配置使用；?CEP指標引擎：包括CEP任務(wù)調(diào)P行用戶配置的指標計算任務(wù)。第一階段讀寫分讀寫分離SQL優(yōu)化分庫分表數(shù)據(jù)量暴增如何應(yīng)對與日俱增的海量數(shù)據(jù)和并發(fā)計算數(shù)據(jù)架構(gòu)演進歷程第三階段第第三階段大數(shù)據(jù)選型ES數(shù)倉HIVE+ES落地數(shù)據(jù)服務(wù)數(shù)據(jù)遷移數(shù)據(jù)核算 對接支付平臺 引入實時計算+HBASE重構(gòu)數(shù)據(jù)服務(wù) 效果初現(xiàn) 大數(shù)據(jù)選型ES數(shù)倉HIVE+ES落地數(shù)據(jù)服務(wù)數(shù)據(jù)遷移數(shù)據(jù)核算 平穩(wěn)期平穩(wěn)期存儲計算存儲計算??PB級數(shù)據(jù)存儲>分布式緩存??適配多業(yè)務(wù)線的異構(gòu)數(shù)據(jù)>SQL化動態(tài)語法解釋數(shù)據(jù)架構(gòu)核心設(shè)計思路入Flink引擎數(shù)據(jù)集成1.離線數(shù)據(jù)如何與Flink打通2.業(yè)務(wù)提供的MQ如何與Flink打通式2.多個指標如何靈活串聯(lián)為復(fù)雜存存算分離下的指標存儲結(jié)構(gòu)?rowkey：hash(用戶唯一標識+指標ID)存存儲結(jié)構(gòu)簡單HBaseHBase在海量數(shù)據(jù)，優(yōu)勢明顯這這是一個寫大于查的場景HBaseHBase適用場景及當期發(fā)展e容易動態(tài)擴容。三方數(shù)據(jù)可以是：則配置抽象化。eRete算法的規(guī)則被激活。文本特征提取算法提取文本在詞匯、主題等層面的特征效果往往一般。基于基于NLP的文本相似度計算 (1)提取省市區(qū)先驗知識特征輔助地址文本相似度計算； g“微調(diào)”訓(xùn)練;主要基于Sentence-BERT和CoSent 基于HNSW庫的KNN搜索改造基于ES向量化檢索增強D這張圖搜索某個頂點的K個最近鄰基于ES向量化檢索增強?向量存儲的索引的不是「詞元-文索引構(gòu)建的時候會嘗試通過聚類而非倒排索引的方式構(gòu)建。?向量搜索的數(shù)據(jù)索引不同于普通搜索machinelearning、deeplearning技存儲到搜索引擎「這里不是特指計算模塊對向量進行聚類保存。基于基于Flink-rocksDB的統(tǒng)計數(shù)據(jù)據(jù)就觸發(fā)計算)checkpiont」模分片計算：Lambda架構(gòu)「批處理層+實時計算層+服務(wù)層」當天的指標采用實時計算，跨天的指標拆分兩部分計算：昨天及之前的指標+當天指標，兩個計算數(shù)據(jù)由「指標服務(wù)」合并計算最近3天的同一賬戶累計出金金額方案：制計算的窗口偏移量。化前方案一致A，周期]時間0102010203核心架核心架構(gòu)演進規(guī)劃決策可視化整關(guān)聯(lián)風險挖掘風統(tǒng)一名單服務(wù)，級風控請求數(shù)據(jù)交互風險管理閉環(huán)決策引擎核心大數(shù)據(jù)中心標簽加工特