分布式技術(shù)趨勢分享2025移動云和數(shù)據(jù)庫團(tuán)隊簡介移動云立足云服務(wù)商第一陣營，入選國資委首批“創(chuàng)建世界一流專業(yè)領(lǐng)軍示范企業(yè)”名單，開啟“成為一流云服務(wù)商”新征程移動云數(shù)據(jù)庫團(tuán)隊十年前正式誕生，以實現(xiàn)數(shù)據(jù)庫核心技術(shù)自主可控為目標(biāo)，目前已構(gòu)建完整產(chǎn)品和市場體系，并實現(xiàn)大規(guī)模商用。中國公有云I+P服務(wù)市場份額第五位2014基于開源啟動商業(yè)版產(chǎn)品打造集團(tuán)內(nèi)部推廣和應(yīng)用蘇州研發(fā)中心2020啟動云改，轉(zhuǎn)型云計算服務(wù)商海山數(shù)據(jù)庫1.0發(fā)布云能力中心2024云原生進(jìn)階，發(fā)布海山數(shù)據(jù)庫2.0啟動算力網(wǎng)絡(luò)數(shù)據(jù)庫探索和研究規(guī)模200+人蘇州/北京/上海/南京研發(fā)團(tuán)隊15+31全國資源覆蓋30萬核資源規(guī)模10+中移專業(yè)公司9大重點行業(yè)突破市場推廣多領(lǐng)域市場份額領(lǐng)先專屬云No.2邊緣云No.1政務(wù)云No.2(2023H2)移動云數(shù)據(jù)庫產(chǎn)品矩陣數(shù)據(jù)庫生態(tài)工具數(shù)據(jù)庫傳輸

數(shù)據(jù)庫管理

數(shù)據(jù)庫自治事務(wù)型RDS數(shù)據(jù)庫（MySQL、PostgreSQL、達(dá)夢、TiDB、SQLServer）分析與檢索海山數(shù)據(jù)庫數(shù)倉版搜索數(shù)據(jù)庫向量數(shù)據(jù)庫NoSQL緩存數(shù)據(jù)庫文檔數(shù)據(jù)庫多模數(shù)據(jù)庫*（圖、時序等）數(shù)據(jù)庫統(tǒng)一云原生平臺底座海山數(shù)據(jù)庫MySQL版*海山數(shù)據(jù)庫PostgreSQL版海山數(shù)據(jù)庫

分布式版*L1L1L1L1L1L2L3L2L2算力網(wǎng)絡(luò)數(shù)據(jù)庫*L4*海山數(shù)據(jù)庫MySQL版和分布式版公測中，即將上線*多模數(shù)據(jù)庫正處于研發(fā)階段*算力網(wǎng)絡(luò)數(shù)據(jù)庫正處于前期調(diào)研階段L1移動云基于K8s構(gòu)建云原生數(shù)據(jù)庫底座，全線產(chǎn)品達(dá)云原生L1級自研海山數(shù)據(jù)庫系列，采用存算分離架構(gòu)，并全面向Serverless演進(jìn)在中國移動算力網(wǎng)絡(luò)戰(zhàn)略下，大力探索算力網(wǎng)絡(luò)數(shù)據(jù)庫，積極推進(jìn)相關(guān)技術(shù)以及行業(yè)標(biāo)準(zhǔn)制定移動云一站式云原生數(shù)據(jù)庫服務(wù)海山數(shù)據(jù)庫（He3DB）集中式版-整體架構(gòu)He3DB計算引擎：提供SQL解析，計算能力。所有寫請求轉(zhuǎn)化為日志

寫，讀請求從Page服務(wù)獲取數(shù)據(jù)He3Store存儲引擎：異步回放日志成Page數(shù)據(jù),最終使用S3作為數(shù)據(jù)持久層，分為日志服務(wù)與Page服務(wù)He3Proxy

智能中間件：能夠感知業(yè)務(wù)負(fù)載，多維度負(fù)載均衡選擇路由，提供讀寫一致性能力生態(tài)工具

實現(xiàn)業(yè)務(wù)零感知的秒級備份/恢復(fù)能力，提供監(jiān)控工具，遷移工具，Cluster管理工具主要組件主要組件主要組件He3DB云原生版本采用存算分離數(shù)據(jù)共享架構(gòu)。包含PostgreSQL、MySQL兩個版本，100%兼容PostgreSQL、MySQL協(xié)議，支持1主15備讀寫分離底層共用一份數(shù)據(jù)，最大支持100TB數(shù)據(jù)量存儲，RTO故障恢復(fù)時延可控制在30S以內(nèi)，支持聯(lián)邦內(nèi)存池緩存命中率相對傳統(tǒng)主備模式提升2倍以上，支持秒級在線新增實例，適合大數(shù)據(jù)量實時在線交易性業(yè)務(wù)海山單機、云原生一體化主機備機全量數(shù)據(jù)全量數(shù)據(jù)計算計算計算云原生數(shù)據(jù)庫計算（主）計算（從）計算（從）數(shù)據(jù)存儲服務(wù)1數(shù)據(jù)存儲服務(wù)2本地磁盤緩存計算本地磁盤緩存單機數(shù)據(jù)庫計算無需重啟

存儲形態(tài)自動切換

支持雙向轉(zhuǎn)換共享數(shù)據(jù)（全量）紅色不變藍(lán)色不變綠色新增架構(gòu)在線升級共享數(shù)據(jù)訪問存算一體存算分離計算本地磁盤緩存成效：一套代碼同時支持中小微客戶需求，無需中斷服務(wù)，實現(xiàn)數(shù)據(jù)共享與非共享訪問模式的無感切換本地

RDS

云原生數(shù)據(jù)庫數(shù)據(jù)庫遷移場景應(yīng)用示例遷移

①遷移

②本地

遷移

友商：2次遷移自研：1次遷移+1次無感切換云原生數(shù)據(jù)庫

海山算力網(wǎng)絡(luò)一體化數(shù)據(jù)庫服務(wù)

面向未來算力網(wǎng)絡(luò)場景，打造“一專多能”一體化數(shù)據(jù)庫，“專”在TP領(lǐng)域，“能”在提供AP、時序、流、圖、文檔、AI等多模能力，實現(xiàn)集中式分布式等架構(gòu)一體化、AP/TP場景支撐一體化、多類引擎一體化，滿足一站式即開即用場景需求。結(jié)合算網(wǎng)需求，在超大規(guī)模、跨域（計算、傳輸）智能調(diào)度、多模協(xié)同等算網(wǎng)基礎(chǔ)能力，逐步推出算力網(wǎng)絡(luò)一體化數(shù)據(jù)庫服務(wù)。分布式事務(wù)及GoogleSpannerTrueTime

分布式事務(wù):分布式數(shù)據(jù)庫的擴(kuò)展性必須需要數(shù)據(jù)分區(qū)，隨之而來的后果就是必須處理跨數(shù)據(jù)分區(qū)的分布式事務(wù)。綜述:AnEvaluationofDistributedConcurrencyControl(VLDB’2017)。TheEndofaMyth:DistributedTransactionsCanScale(VLDB’2017)Percolator:Google在分布式Key-valuestore(BigTable)上利用TSO和行原子性操作實現(xiàn)分布式事務(wù)處理協(xié)議.Large-scaleIncrementalProcessingUsingDistributedTransactionsandNoti?cations(OSDI’2010)Spanner:利用原子鐘和CommitWait機制實現(xiàn)分布式事務(wù)，保證外部一致性。

Spanner:Google’sGloballyDistributedDatabase(TOCS’2013)Calvin:確定性事務(wù)排序批量執(zhí)行機制。Calvin:FastDistributedTransactionsforPartitionedDatabaseSystems(SIGMOD’2012)HLC:使用TSO(全局時間戳)對分布式事務(wù)進(jìn)行定序，TSO會成為局部單點，影響擴(kuò)展性，混合邏輯時鐘根據(jù)事務(wù)相關(guān)性生成時間戳，解決擴(kuò)展性問題。LogicalPhysicalClocksandConsistentSnapshotsinGloballyDistributedDatabasesCockroachDB:TheResilientGeo-DistributedSQLDatabase(SIGMOD’2020)微軟CitusMx功能的原理就是讓其他的worker節(jié)點攜帶元數(shù)據(jù)，相當(dāng)于攜帶元數(shù)據(jù)的worker節(jié)點都支持讀寫的能力CitusData2010年成立于加州舊金山。2013年CitusData公布了它們第一個產(chǎn)品CitusDB。2015年，CitusData開始scaleoutPostgreSQL。2016年CitusData開始提供PostgreSQL的云服務(wù)。2019年微軟收購CitusCitus基于PG的插件分布式線性擴(kuò)。MX功能實現(xiàn)Worker節(jié)點寫擴(kuò)展PolarDB-X透明分布式亞馬遜分布式DSQL

2023年Auroralimitless支持Sharedtable和Referencetable.

通過指定shared_key,實現(xiàn)用戶完全透明無感的分布式。通過EC2TimeSyncservice實現(xiàn)和Google的TrueTime類似的分布式事務(wù)能力2024年發(fā)布DSQL1、通過snapshotisolation+EC2TimySyncservice獲取t(start)的版本信息,提交的時通過OCC進(jìn)行沖突檢測,如果沒有沖突,那么就直接進(jìn)行