阿里云開發者“藏經閣” 4 數據湖架構及概念簡介4數據湖架構及概念簡介52.數據湖架構演進數據湖架構及概念簡介61.阿里云數據湖發展歷程數據湖架構及概念簡介72.數據湖建設思路及挑戰數據湖架構及概念簡介8或Sink到更專業的數據系統中，比如到ES里進行進一步數據檢索，比如到3.阿里云云原生數據湖解決方案數據湖架構及概念簡介9數據湖統一元數據與權限101.開源元數據體系由來、演進及問題第一，編程門檻較高。傳統的數倉工程師接觸的編程接口一般是SQL，但數據湖統一元數據與權限11?可以對接外部系統的catalog。Hi數據湖統一元數據與權限12數據湖統一元數據與權限132.權限控制體系介紹數據湖統一元數據與權限14數據湖統一元數據與權限15數據湖統一元數據與權限161.阿里云上數據湖統一元數據服務架構數據湖統一元數據與權限17數據湖統一元數據與權限182.阿里云上數據湖統一元數據基本功能及優化數據湖統一元數據與權限193.阿里云上數據湖統一元數據之穩定性機制數據湖統一元數據與權限20數據湖統一元數據與權限211.數據湖元數據倉庫架構2.數據湖元數據倉庫建設1.元數據檢索2.數據資產分析3.庫表維度精細化分析-DataProfile4.生命周期管理檻。1.業界存儲架構演進2.從存算一體到云原生數據湖3.數據湖存儲演進之路可以和NameNode進行比對，解決了對象存儲在模擬文件系統時的操作比如1.JindoSDK：超級數據湖SDK2.JindoFS：構建在OSS上的高性能存儲系統3.JindoFSx：高性能/性價比的存儲加速系統儲需求。NameSpaceService服務做文件元數據層面的加速，通過文件系統接口暴露給4.生態工具和場景如上，我們可以發現湖倉大部分的特性是由湖格式來承載和支持的，這就是當前1.DeltaLake文件布局2.DeltaLake元數據——元素?AddFile合，我們以圖中的幾個例子來說明。首先我們可以看到表中的所有操作都會生成?Insert/Update/Delete/Merge4.元數據加載5.DeltaLake事務6.Z-Order來排序的話就只要掃描一個文件，按照傳統線性排序的方式需要掃描2個文件7.Z-Order+Dataskipping側手動創建一個外表才能做查詢。其原因是Hive查詢Delta表需要通過接下來我們來介紹一下阿里云生態對DeltaLake的支持。我們目前已經實現了json文件時我們得到只有RemoveFile的文件列表，那么我們就可以加載1.Spark的集群部署模式?Standalone2.SparkonK8s的部署架構?使用Spark-on-K8s-op3.SparkonK8s的社區進展4.SparkonK8s的重點特性1.SparkonACK簡介2.云上彈性優勢3.RSS優化Shuffle和動態資源浪費。4.增強K8s作業級別調度K8s默認的調度器調度粒度是Pod，但是傳統的Spark任務調度默認粒度是5.云上數據湖存儲與加速6.使用DLF構建云上數據湖7.易用性提升1.數據湖發展的歷史背景2.Hudi的四大核心特性1.Hudi寫入pipeline（多算子組成的微服務架構）沖突。情況。2.小文件策略1.近實時D