ITPUB.NET蘇寧數(shù)據(jù)中臺(tái)架構(gòu)實(shí)踐蘇寧大數(shù)據(jù)中心翟小青ITPUB.NET總覽維度管理數(shù)據(jù)建模與指標(biāo)化總結(jié)指標(biāo)查詢服務(wù)與OLAP引擎ITPUB.NET0102030405數(shù)據(jù)倉(cāng)庫(kù)層數(shù)據(jù)倉(cāng)庫(kù)層數(shù)據(jù)集市DM數(shù)據(jù)集市DM業(yè)務(wù)系統(tǒng)采集業(yè)務(wù)系統(tǒng)采集數(shù)據(jù)中臺(tái)出現(xiàn)之前DPA匯總層DPA匯總層SSA緩沖層SSA緩沖層SOR基礎(chǔ)層SOR基礎(chǔ)層諸葛Pc諸葛APP天眼物流域銷售域數(shù)據(jù)中臺(tái)的基本理念是:將所有數(shù)據(jù)匯聚到數(shù)據(jù)中臺(tái),每個(gè)數(shù)據(jù)應(yīng)用都以數(shù)據(jù)中臺(tái)為唯—

數(shù)據(jù)來(lái)源。蘇寧數(shù)據(jù)中臺(tái)的目標(biāo)是為蘇寧的數(shù)據(jù)戰(zhàn)略提供有力的支撐,從企業(yè)全局進(jìn)行統(tǒng)—規(guī)劃,統(tǒng)

—建設(shè),強(qiáng)調(diào)數(shù)據(jù)的“全”,從設(shè)計(jì)、組織、建設(shè)、流程角度保障了模式的落地。數(shù)據(jù)中臺(tái)的建設(shè)減低了數(shù)據(jù)使用門檻

有完整的數(shù)據(jù)模型設(shè)計(jì),但偏重設(shè)計(jì)和技術(shù),在執(zhí)行過(guò)程中,很難保證數(shù)據(jù)的全,數(shù)據(jù)應(yīng)

用—般不跨過(guò)數(shù)據(jù)中心

初期數(shù)據(jù)發(fā)展快,效率高,快速體現(xiàn)業(yè)務(wù)價(jià)值,但是隨著數(shù)倉(cāng)的建設(shè),數(shù)據(jù)量急速疊加,

整體成本居高不下,導(dǎo)致數(shù)據(jù)混亂、災(zāi)難。數(shù)據(jù)平臺(tái)vs數(shù)據(jù)中臺(tái)數(shù)據(jù)平臺(tái)數(shù)據(jù)中臺(tái)數(shù)據(jù)應(yīng)用BI報(bào)表可視化大屏個(gè)性化推薦數(shù)據(jù)應(yīng)用引擎可視化引擎z數(shù)據(jù)服務(wù)引擎數(shù)據(jù)分析引擎畫(huà)像引擎基礎(chǔ)服務(wù)用戶數(shù)據(jù)服務(wù)數(shù)據(jù)開(kāi)發(fā)套件數(shù)據(jù)倉(cāng)庫(kù)主題域數(shù)據(jù)治理套件數(shù)倉(cāng)管理數(shù)據(jù)集成實(shí)時(shí)任務(wù)開(kāi)發(fā)維度

庫(kù)用戶主題域數(shù)據(jù)質(zhì)量運(yùn)維監(jiān)控銷售題域數(shù)據(jù)地圖多租戶隔離任務(wù)運(yùn)維離線任務(wù)開(kāi)發(fā)商品主題域數(shù)據(jù)模型集群部署計(jì)算存儲(chǔ)引擎More數(shù)據(jù)中臺(tái)系統(tǒng)架構(gòu)精準(zhǔn)營(yíng)銷公共維度表數(shù)據(jù)倉(cāng)庫(kù)ADSDWSDWD數(shù)據(jù)API解析引擎執(zhí)行引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度統(tǒng)一維度庫(kù)天工數(shù)據(jù)層:可視化引擎指標(biāo)層指標(biāo)定義模型-指標(biāo)-報(bào)表體系系統(tǒng)架構(gòu)模型層計(jì)劃引擎事實(shí)表

+維表公共維度表數(shù)據(jù)倉(cāng)庫(kù)ADSDWSDWD數(shù)據(jù)API解析引擎執(zhí)行引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度統(tǒng)I維度庫(kù)天工數(shù)據(jù)層:可視化引擎模型層事實(shí)表

+維表指標(biāo)層指標(biāo)定義計(jì)劃引擎指標(biāo)查詢服務(wù)與OLAP引擎維度管理總結(jié)數(shù)據(jù)建模與指標(biāo)化總覽0403050201避免數(shù)據(jù)冗余,減少數(shù)據(jù)庫(kù)的空間允適當(dāng)冗余,縮短操作數(shù)據(jù)的時(shí)間,

用空間換取時(shí)間為什么是星型模型反范式OLAP3NFOLTP雪花星型累計(jì)快照事實(shí)寬表確認(rèn)存儲(chǔ)介質(zhì)業(yè)務(wù)過(guò)程分析周期性快照事實(shí)寬表確認(rèn)粒度/數(shù)據(jù)來(lái)源模型基本屬性確認(rèn)選擇字段類型/屬性選擇維表和維度事務(wù)型事實(shí)寬表選擇事實(shí)表設(shè)置cube組合建模過(guò)程建模分析明細(xì)

+匯總定制類離線

+實(shí)時(shí)

調(diào)度類型任務(wù)流調(diào)度周期

時(shí)序類型時(shí)序非時(shí)序模型基本屬性

構(gòu)建類別

類型

時(shí)效類型

匯總明細(xì)寬表星型實(shí)時(shí)離線

DRUID星型時(shí)序?qū)挶鞵G定制類ES明細(xì)匯總非時(shí)序匯總OLAP存儲(chǔ)過(guò)程(bitmap全量和增量數(shù)據(jù))數(shù)倉(cāng)查詢維度半年留存bitmap查詢維度年留存bitmap定制化的建模方案會(huì)員購(gòu)買信息(根據(jù)會(huì)員去重)存儲(chǔ)過(guò)程(生成會(huì)員序列ID)查詢維度月留存bitmap查詢維度純新買家

bitmap查詢維度新老買家

bitmap查詢維度新買家

bitmap查詢維度老買家

bitmap

會(huì)員系統(tǒng)

…訪問(wèn)流量表會(huì)員購(gòu)買表會(huì)員字典表指標(biāo)基礎(chǔ)信息

多種時(shí)間粒度

多種時(shí)間周期

多單位換算個(gè)性化篩選條件統(tǒng)—維度支持自定義維度支持自定義參數(shù)支持度量

計(jì)算函數(shù):max/min/count/countdistinct/sum/avg/abs

累計(jì)函數(shù):Iastday指標(biāo)屬性

可比

占比

同環(huán)比

均值衍生計(jì)算表達(dá)式

支持邏輯流

支持運(yùn)算符

時(shí)間計(jì)算函數(shù)

異常數(shù)據(jù)可視化測(cè)試

小天工

多維度數(shù)據(jù)驗(yàn)證

性能驗(yàn)證狀態(tài)分成上線/歷史/開(kāi)發(fā)中上線單—指標(biāo)來(lái)源于上線的模型上線衍生指標(biāo)中的單—指標(biāo)必定是上線版本歷史版本模型有凍結(jié)期,凍結(jié)期結(jié)束此版本模型刪

除,關(guān)聯(lián)歷史指標(biāo)下線原則模型、指標(biāo)多版本體系tabIe2tabIe3

datasource1

UV一V1.3會(huì)員一V.1.3PV一V.1.0會(huì)員一V.1.4模型、指標(biāo)多版本體系

單一指標(biāo)衍生指標(biāo)

模型新版本上線模型版本回滾指標(biāo)新版本上線指標(biāo)版本回滾兼容性校驗(yàn)衍生指標(biāo)-1一V1.3衍生指標(biāo)-2一V1.3衍生指標(biāo)-1一V1.4衍生指標(biāo)-2一V1.2會(huì)員一V1.2tabIe1流量一V1.3

會(huì)員一V1.0

會(huì)員一V1.1

上線歷史開(kāi)發(fā)中會(huì)員一V1.2

流量一V1.2datasource2UV一V1.2Druid模型PG公共維度表數(shù)據(jù)倉(cāng)庫(kù)ADSDWSDWD指標(biāo)層指標(biāo)定義統(tǒng)I維度庫(kù)模型層數(shù)據(jù)API解析引擎執(zhí)行引擎OLAPOLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度天工數(shù)據(jù)層:可視化引擎計(jì)劃引擎事實(shí)表

+維表指標(biāo)查詢服務(wù)與OLAP引擎維度管理總結(jié)數(shù)據(jù)建模與指標(biāo)化總覽0403050201標(biāo)準(zhǔn)維度業(yè)務(wù)口徑不

統(tǒng)—

,缺乏有效

的管理流程來(lái)對(duì)

其進(jìn)行管理和約

束,維度建設(shè)存

在重復(fù)和歧義工具ETL開(kāi)發(fā)人員/產(chǎn)

品人員,存在大

量手工配置表需

要規(guī)則維護(hù),缺

乏快速開(kāi)發(fā)工具。成本對(duì)于維度服務(wù)的

開(kāi)發(fā),各個(gè)產(chǎn)品

中心需要各自實(shí)

現(xiàn),造成開(kāi)發(fā)成

本重復(fù)投入。例

如公司的維度。平臺(tái)業(yè)務(wù)人員想查詢

維度信息,缺乏

可靠的公共平臺(tái)

去快速方便的查

詢。統(tǒng)-維度建設(shè)背景維度數(shù)

據(jù)服務(wù)提供高效、穩(wěn)

定的維度查詢

服務(wù),滿足高

并發(fā)的查詢根據(jù)業(yè)務(wù)需求,

提供快速定義維

度的功能,保證維度的唯一性維度開(kāi)發(fā)管理統(tǒng)一維度管理目標(biāo)完善的維度管理

流程,對(duì)維度新

增,變更,下線全生命周期管理建立維度全鏈路

統(tǒng)一的數(shù)據(jù)監(jiān)控

體系,提升平臺(tái)

數(shù)據(jù)安全維度信息管理維度監(jiān)控管理數(shù)倉(cāng)平臺(tái)BROCK-DWD明細(xì)寬表層

BROCK-DWS公共匯總層BROCK-DIM維度模型層ODS元數(shù)據(jù)管理系統(tǒng)用戶自定義分析獨(dú)特維表源系統(tǒng)提供維表(MDM,其他系統(tǒng)含維表)統(tǒng)一維度系統(tǒng)架構(gòu)HBASEEIasticsearchMYSQL個(gè)性化配置表維度服務(wù)維度管理倉(cāng)庫(kù)配置表維表服務(wù)維表管理維度管理系統(tǒng)

BI

統(tǒng)一權(quán)限慧眼百川天工……普通維度父子維度角色扮演維度

雜項(xiàng)維度日歷時(shí)間維度?

層級(jí)維度?

非層級(jí)維度?

主數(shù)據(jù)維度?

手工維度維護(hù)分類層次類型時(shí)效分類維度類型?

實(shí)時(shí)

?

離線?????數(shù)倉(cāng)離線HIVE離線計(jì)算KAFKARPC服務(wù)UDMSHBASE推送數(shù)倉(cāng)實(shí)時(shí)TOPIC三層緩存架構(gòu)本地緩存ELASTICSEARCHHBASEREDISMYSQL

重點(diǎn)服務(wù)支持:?

支撐實(shí)時(shí)join?

編碼與名稱轉(zhuǎn)換OLAP統(tǒng)一權(quán)限百川天工UDMS

MYSQLRPC服務(wù)公共維度表數(shù)據(jù)倉(cāng)庫(kù)ADSDWSDWD統(tǒng)I維度庫(kù)天工數(shù)據(jù)層:可視化引擎指標(biāo)層指標(biāo)定義OLAP查詢引擎OLAP數(shù)據(jù)加速引擎OLAP任務(wù)調(diào)度模型層計(jì)劃引擎事實(shí)表

+維表數(shù)據(jù)API解析引擎執(zhí)行引擎OLAP指標(biāo)查詢服務(wù)與OLAP引擎維度管理總結(jié)數(shù)據(jù)建模與指標(biāo)化總覽0403050201ALLUXIOBD-HDFSSparkOLAP-HDFS維表1

ESSpark離線模型加速方案

離線模型加速

數(shù)據(jù)集遷移

業(yè)務(wù)&數(shù)倉(cāng)調(diào)度

DRUIDCUBE

DRUID加速

PGPG

CUBE事實(shí)表…維表2

3

2

1IDEES實(shí)時(shí)模型加速方案SparkStreamzookeeperkafkaPG統(tǒng)一維度庫(kù)DRUIDHBASEHDFSRPC解

析

引

擎校驗(yàn)器計(jì)

劃

引

擎邏輯計(jì)劃優(yōu)化器物理計(jì)劃執(zhí)

行

引

擎查詢計(jì)算?基本規(guī)則校驗(yàn)后,將指標(biāo)查詢進(jìn)行解析,獲

得解析器結(jié)果?按照模型,時(shí)間粒度,過(guò)濾維度等創(chuàng)建邏

輯計(jì)劃;?經(jīng)過(guò)sort優(yōu)化器,join優(yōu)化器,cost優(yōu)化器

等優(yōu)化器,優(yōu)化執(zhí)行計(jì)劃?

生成物理計(jì)劃?

多線程查詢引擎?自動(dòng)化計(jì)算器,包括:join計(jì)算器(衍生指

標(biāo)計(jì)算器,同環(huán)比計(jì)算器),占比計(jì)算器OLAP指標(biāo)數(shù)據(jù)查詢服務(wù)SPARKSQLHTTPRPC解

析join指標(biāo)數(shù)據(jù)查詢服務(wù)一執(zhí)行計(jì)劃排序優(yōu)化器cube優(yōu)化器Join優(yōu)化器cost優(yōu)化器路由優(yōu)化器計(jì)劃節(jié)點(diǎn)計(jì)算屬性joinNode1-1Node3-1Node3-2Node4Node3Node1-2Node2Node1ROOT合并計(jì)算占比計(jì)算均值計(jì)算排序計(jì)算衍生計(jì)算合并計(jì)算同比計(jì)算環(huán)比計(jì)算…衍生計(jì)算精度計(jì)算同比計(jì)算.

節(jié)點(diǎn)屬性.

邏輯計(jì)劃.

優(yōu)化器.

查詢計(jì)算joinHDFsParquetoptimizersparksQLPGoptimizerspark-JDBCPGEsoptimizerEs-H