金融信創湖倉一體數據平臺架構實踐原攀峰-數新網絡-CTODataFunSummit#2023浙江數新網絡有限公司讓每個人享豎數據的價值CONTENT- 1數據平臺架構演進 2金融信創對數據平臺的挑戰 3云數據智能平臺DataCyber 4金融信創數據平臺落地路徑 5金融信創數據平臺實踐案例大數據基礎設施發展階段數據平臺+數據體系+組織變革云原生架構，云數倉數據平臺+數據體系+組織變革OLAP，BI報表，數據分析，數據集市沒有明顯離線在線的區分大量在線數據服務大數據基礎框架（Hadoop1.x單一MapReduce分析計算多元化（Hadoop2.xHive、Spark、Flink、Impala、Presto等，復合分析DataLakehouse架構存儲多元化：Hadoop3.x、對象存儲，MPP數據庫云數據倉庫：Snowflake、Databricks，大數據+AI分析DataWarehouse架構共享存儲：Oracle大規模并行處理：Teradata、GreenplumI數據平臺發展趨勢：云原生KafkaJupyterLab物理機物理機/虛擬機湖倉一體湖倉一體數據平臺發展趨勢：湖倉一體的數據管理范式，從根本上簡化了企業數據基礎架構，并且有望在機器學習已滲透每個行業計算引擎 Spark...FlinkResourceManagerNodeManager存儲集群（HDFS）NameNode數據平臺發展趨勢：計算引擎 Spark...FlinkResourceManagerNodeManager存儲集群（HDFS）NameNode計算引擎 Spark...Flink資源調度集群（資源調度集群（Yarn）ResourceManagerResourceManagerNodeManagerNodeManager10Gb萬兆網絡NameNodeNameNode計算引擎 Spark...Flink資源調度集群（K8S）MasterMaster存儲集群HDFSHDFS S3...OSS數據流動 私有云數據平臺數據流動 私有云數據平臺數據平臺發展趨勢：混合云、數據云跨境網絡跨境網絡組件部署與測試能測試）國產軟硬件適配組件部署與測試能測試）國產軟硬件適配組件打包組件編譯（編譯、so庫）組件組裝挑戰一：大數據組件信創適配組件兼容性適配組件兼容性適配（組件依賴、組件版本、Jar包依賴）CPU芯片.........達夢銀河麒麟鯤鵬騰訊云人大金倉神舟通用南大通用中標麒麟歐拉飛騰龍芯海光阿里云...華為云字節云統信UOS用戶管理基于kerberos+OpenLdap的用戶認證體系，嚴格拒絕非法用戶訪問租戶管理多租戶架構，資源嚴格隔離，提高資用戶管理基于kerberos+OpenLdap的用戶認證體系，嚴格拒絕非法用戶訪問租戶管理多租戶架構，資源嚴格隔離，提高資源利用率與安全性權限管理提供最細至行列級別權限控制，并支持用戶自定義策略規則，自定義數據隔離?信創環境下組件配置調優?存算分離架構穩定性和性能優化?云原生優化：HiveonSparkonK8S，SparkOperator等?大規模性能壓測與優化?......?覆蓋主流大數據計算和存儲組件?云原生環境下的組件適配?......審計中心統一存儲用戶登錄、訪問、操作等審計信息，并提供可視化頁面展示ARMX86X86ARMX86X86ARMARMARMI挑戰三：大數據集群遷移、混合部署X86X86X86X86X86X86X86I設計目標?國產信創，自主可控大數據平臺?云原生湖倉一體架構?Data+AI一體化設計?多租戶體系?擁抱開源，保持開放性?多云/混合云/私有云/公有云?支持數據共享開放AI平臺容災備份智能運維彈性伸縮安全管理監控告警統一任務調度引擎(CyberScheduler）統一SQL引擎(CyberSQL）........控制臺數據平臺場景化一鍵部署（離線、實時AI平臺容災備份智能運維彈性伸縮安全管理監控告警統一任務調度引擎(CyberScheduler）統一SQL引擎(CyberSQL）........控制臺數據平臺場景化一鍵部署（離線、實時、湖倉、OLAP分析、全文檢索、大模型）主機/機架管集群管理組件管理理統一數據集成引擎(CyberIntergration）統一元數據服務引擎(CyberMeta）流批引擎Flink/Spark/Hive機器學習TensorFlow/PyTorch/XGboostMPP分析引擎Impala/Presto/Trino搜索引擎Solr/ElasticSearch/MilvusMPP數據庫Doris/StarRocks/Clickhouse/GaussDBNoSQL數據庫HBase/Phoenix租戶管理用戶管理權限管理審計日志三方賬號平臺升級YARN調度Serverless調度硬件環境（X86/ARM/MIPS）云平臺（私有云/公有云/混合云/多云）業務應用業務應用管理平臺數據引擎數據存儲資源調度基礎設施數據安全監控運維數據開發數據安全監控運維數據開發分布式文件系統(HDFS)Kafka/PlusaB/OceanBase等FTP/HDFS/Miniute/GaussDB等客戶管理/渠道管理等運營大盤等市場輿情/產業圖譜等精準營銷/智能風控等API構建API發布API調用監控API網關服規范設計數據資產數據集成HiveSparkFlinkPrestoHiveSparkFlinkPresto對象存儲(S3)全量入湖(離線+實時)MySQL/Oracle/SqlServer/租戶管理用戶管理項目管理權限認證集群配置審計日志三方賬號教育行業：教學平臺/平臺/建模競賽科研教育行業：教學平臺/平臺/建模競賽科研大模型：行業知識庫/對話系統/AIGC智能應用智能應用模型服務平臺服務模型框架優化引擎基礎設施金融行業金融行業：智能風控/量化交易/營銷推薦模型推理一鍵部署灰度發布平滑升級彈性伸縮指標監控一鍵部署灰度發布平滑升級彈性伸縮指標監控批量推理模型市場視覺模型視覺模型語言模型語言模型文本模型文本模型量化模型量化模型交互式建模交互式建模Jupter100+算子組件10+場景模板深度學習集成多數據源訪問去中心化存儲可視化建模多模態數據自動化管道自定義鏡像自定義建模租戶隔離數據交集數據隔離資源隔離離線任務聯邦學習模型壓縮并行訓練超參搜索算法沙箱特征增強多方訓練模型訓練安全協議獨立容器樣本生成特征嵌入模型微調數據特征提示工具內置模型大模型TensorFlowKerasTensorFlowKerasPyTorchCaffe2PyTorchCaffe2Scikit-LearnScikit-LearnFateXGBoostFateXGBoost梯度優化器算子優化器管道加速器硬件適配器CUDAcuDNNTensorRTGPU加速引擎CUDAcuDNNTensorRTPyCUDAPyCUDAPytorchDDPGpipePytorchDDPGpipeDeepSpeedDeepSpeed統一資源接入統一資源接入統一數據接入MySQL/Oracle等HBase/MongoDMySQL/Oracle等HBase/MongoDB等HDFS/MinIO等Kafka/Plusar等K8S云平臺X86/K8S云平臺X86/C