全鏈路數據治理-全域數據集成篇_第1頁
全鏈路數據治理-全域數據集成篇_第2頁
全鏈路數據治理-全域數據集成篇_第3頁
全鏈路數據治理-全域數據集成篇_第4頁
全鏈路數據治理-全域數據集成篇_第5頁
已閱讀5頁,還剩117頁未讀 繼續免費閱讀

下載本文檔

版權說明:本文檔由用戶提供并上傳,收益歸屬內容提供方,若內容存在侵權,請進行舉報或認領

文檔簡介

阿里云開發者“藏經閣”單表>>單表等場景下,進行實時或離線同步的技術選型與核心能力,并以DataWorks官網:/product/bigdata/ide 6 6 6 8 多庫多表至多表僅同步整庫的變化日數據集成主站-同步解決方案指定過濾規則持續增量一次性全量周周期性全量同步一次性全量同步按照指定過濾規則抽周期性增量同步一次性增量同步分庫分表至目源端庫本身是分庫分按照邏輯表的規則寫實時增全量同步將一個表中的所有數周期性全量同步按照指定過濾規則抽取一個表中的部分數周期性增量同步中的數據開發模塊,數據集成主站是指l實時增全量同步:對于目標端引擎不支持update的引擎(比如1)支持數據源開發和生產隔離2)獨享數據集成資源組3)DataWorks運維中心-任務運行狀態監控4)DataWorks數據質量-表數據質量監控5)DataWorks審批中心-數據集成審批策略1)監控報警配置 模塊/AnalyticDBfor-√-√-√ApsaraDBforOceanBase--√-√-√√-√-√(polardb-x)--√-√-Elasticsearch-√---√-√-√-√Kafka√√-√-√√------√-√-√--√-√-√-√-√√--√-√√√-√-√√----√-單表/分庫分表數據同步全量/增量數離線同步通過配置類似數據過濾功能來決定同步全量數據還是增 模塊/√---√√√-√√√-√√√-ApsaraDBforOceanBase√√--√√--√√--√√√-√√√-√√√-Elasticsearch√√-√√√--GBase8a√√--√√--√√--HBase11xsql-√HBase20xsql√-√√--√√√-√√--√√√-Kafka√√--√√--√√--√√--√√-√-√---√--√---√√--√√√--√--√---√√√-√√-√√---√√√-√√√-√----√--√√--√√--需要根據神策數據存儲類型選擇√--√√√-√√--√√--Vertica√√--1)使用限制直接連通,方案詳情和配置指導請參見下不同阿里云主賬號場景一:通過公網訪問數據庫場景二:通過VPC(內網)訪問數據庫,且數據庫與DataWorks工作空間,同阿里云主賬號、同地域場景三:通過VPC(內網)訪問數據庫,且數據庫與DataWorks工作空間,同阿里云主賬號、不同地域場景四:通過VPC(內網)同步數據庫數據,且數據庫與DataWorks工作空間使用不同阿里云主賬號場景五:數據庫不在阿里云,在IDC或其他廠商1)網絡連通解決方案如下:l任務運行在獨享數據集成資源上,日志中會出現如下信息:runningin1)網絡連通配置1)創建同步任務分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐分庫表至Hologres最佳實踐1)業務訴求MySQL分庫分表的場景下,上游的表和庫非常多,都需要同時寫入一張 同步解決方案暫不支持跨時區

溫馨提示

  • 1. 本站所有資源如無特殊說明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請下載最新的WinRAR軟件解壓。
  • 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請聯系上傳者。文件的所有權益歸上傳用戶所有。
  • 3. 本站RAR壓縮包中若帶圖紙,網頁內容里面會有圖紙預覽,若沒有圖紙預覽就沒有圖紙。
  • 4. 未經權益所有人同意不得將文件中的內容挪作商業或盈利用途。
  • 5. 人人文庫網僅提供信息存儲空間,僅對用戶上傳內容的表現方式做保護處理,對用戶上傳分享的文檔內容本身不做任何修改或編輯,并不能對任何下載內容負責。
  • 6. 下載文件中如有侵權或不適當內容,請與我們聯系,我們立即糾正。
  • 7. 本站不保證下載資源的準確性、安全性和完整性, 同時也不承擔用戶因使用這些下載資源對自己和他人造成任何形式的傷害或損失。

評論

0/150

提交評論