ICS35.240.01CCSL70江 蘇 省 地 方 標(biāo) 準(zhǔn)DB32/T5059—2025企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)指南Datawarehouseguidefortheofconstructionofenterpriselogisticsmanagement2025-02-21發(fā)布 2025?03?21實(shí)施江蘇省市場(chǎng)監(jiān)督管理局 發(fā)布中 國 標(biāo) 準(zhǔn) 出 版 社 出版DB32/T5059—2025目 次前言 Ⅲ范圍 1規(guī)范性引用文件 1術(shù)語和定義 1縮略語 2建設(shè)原則 2設(shè)計(jì)指標(biāo)要求 3數(shù)據(jù)倉庫分層 3數(shù)據(jù)構(gòu)成 4數(shù)據(jù)存儲(chǔ) 5數(shù)據(jù)建模 6數(shù)據(jù)模型 7數(shù)據(jù)采集 8網(wǎng)絡(luò)安全 8數(shù)據(jù)備份與恢復(fù) 8運(yùn)行系統(tǒng)的結(jié)構(gòu) 8參考文獻(xiàn) 10ⅠDB32/T5059—2025前 言本文件按照GB/T1.1—202文件化工作導(dǎo)則 第1部分標(biāo)準(zhǔn)化文件的結(jié)構(gòu)和起草規(guī)的規(guī)起草。請(qǐng)注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機(jī)構(gòu)不承擔(dān)識(shí)別專利的責(zé)任。本文件由江蘇省軟件和信息技術(shù)服務(wù)標(biāo)準(zhǔn)化技術(shù)委員會(huì)提出并歸口。ⅢDB32/T5059—2025企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)指南范圍本文件提供了企業(yè)物流管理數(shù)據(jù)倉庫“數(shù)據(jù)倉庫于企業(yè)物流管理數(shù)據(jù)倉庫的規(guī)劃本文件適用于企業(yè)物流管理數(shù)據(jù)倉庫建設(shè)的過程。規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文包括所有的修改單適用于本文件。GB/T5271.1—2000 信息技術(shù) 詞匯 第1部分基本術(shù)語GB/T5271.17—2010 信息技術(shù) 詞匯 第17部分?jǐn)?shù)據(jù)庫GB/T11457—2006 信息技術(shù) 軟件工程術(shù)語GB/T18768—2002 數(shù)碼倉庫應(yīng)用系統(tǒng)規(guī)范GB/T20270—2006 信息安全技術(shù) 網(wǎng)絡(luò)基礎(chǔ)安全技術(shù)要求GB/T20271—2006 信息安全技術(shù) 信息系統(tǒng)通用安全技術(shù)要求GB/T20988—2007 信息安全技術(shù) 信息系統(tǒng)災(zāi)難恢復(fù)規(guī)范GB/T28452—2012 信息安全技術(shù) 應(yīng)用軟件系統(tǒng)通用安全技術(shù)要求GB/T29765—2021 信息安全技術(shù) 數(shù)據(jù)備份與恢復(fù)產(chǎn)品技術(shù)要求與測(cè)試評(píng)價(jià)方法GB/T33745—2017 物聯(lián)網(wǎng) 術(shù)語GB/T35295—2017 信息技術(shù) 大數(shù)據(jù) 術(shù)語GB/T38667—2020 信息技術(shù) 大數(shù)據(jù) 數(shù)據(jù)分類指南術(shù)語和定義GB/T5271.1—2000GB/T18768—2002GB/T11457—2006GB/T20270—2006GB/T20271—2006GB/T20988—2007GB/T527117—2010GB/T33745—2017GB/T35295—2017GB/T38667—2020界定的以及下列術(shù)語和定義適用于本文件。3.13.

數(shù)據(jù)倉庫 datawarehouseDW在數(shù)據(jù)準(zhǔn)備之后用于永久性存儲(chǔ)數(shù)據(jù)的數(shù)據(jù)庫。結(jié)構(gòu)化數(shù)據(jù) structuraldata按次種形式，由數(shù)據(jù)元素匯集而成的每個(gè)記錄的機(jī)構(gòu)都是一致的并且可以使用關(guān)系模型予以有效描述的一種數(shù)據(jù)表示形式。1DB32/T5059—20253.3.

非結(jié)構(gòu)化數(shù)據(jù) unstructureddata不具有預(yù)定模型或以定義方式組織的數(shù)據(jù)。元數(shù)據(jù) metadata關(guān)于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)可能包括其數(shù)據(jù)描述易變性數(shù)據(jù)。3.5數(shù)據(jù)庫 database支持一個(gè)或多個(gè)應(yīng)用領(lǐng)域，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對(duì)應(yīng)實(shí)體間的聯(lián)系。縮略語下列縮略語適用于本文件。ADSApplicationDataStor）DIMDimensionTabl）DWDDataWarehouseDetai）DWER模型：實(shí)體聯(lián)系模型（Entity?RelationshipModel）DWHS：基礎(chǔ)標(biāo)簽層（DataWareHouseServce）DWSDataWarehouseServic）ODSOperationalDataStor）OLAPOnlineAnalyticalProcessin）RAIDRedundantArraysofIndependentDisk）建設(shè)原則5.1 開放性原則應(yīng)基于業(yè)界開放文件，以確保系統(tǒng)能夠與不同的數(shù)據(jù)源和工具兼容，便于未來的擴(kuò)展和維護(hù)。5.2 數(shù)據(jù)完整性原則數(shù)據(jù)在生成、存儲(chǔ)、傳輸和處理過程中保持其準(zhǔn)確性、一致性和完整性5.3 可擴(kuò)展性原則可支持體系結(jié)構(gòu)的擴(kuò)展，適應(yīng)未來的業(yè)務(wù)發(fā)展和技術(shù)升級(jí)，通過添加新功能或修改現(xiàn)有功能來滿足不斷變化的需求。5.4 靈活性原則能適應(yīng)多樣化的源數(shù)據(jù)，以及不斷變化的需求和業(yè)務(wù)環(huán)境的能力，并向目標(biāo)系統(tǒng)提供多樣化的數(shù)據(jù)支持。2DB32/T5059—20255.5 安全性原則建設(shè)過程中應(yīng)采取一定的措施保護(hù)數(shù)據(jù)倉庫中的數(shù)據(jù)不被非法訪問、修改或刪除。.6 兼容性原則可支持多種數(shù)據(jù)源和數(shù)據(jù)庫系統(tǒng)，包括關(guān)系型數(shù)據(jù)庫和非關(guān)系型數(shù)據(jù)庫。設(shè)計(jì)指標(biāo)要求.1 性能指標(biāo)6.1.1 響應(yīng)時(shí)間：每一百并發(fā)數(shù)<3s。6.1.2 100TPS。6.1.3 6.1.4 6TB。6.1.5 數(shù)據(jù)量的大小：每年的數(shù)據(jù)量在100MB~1GB之間。6.1.6 數(shù)據(jù)的類型和結(jié)構(gòu)：結(jié)構(gòu)化數(shù)據(jù)如客戶關(guān)系數(shù)據(jù)、訂單數(shù)據(jù)等，可以使用關(guān)系型數(shù)據(jù)庫，在10GB~20GB的硬盤容量即可存儲(chǔ)數(shù)年的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)需要使用對(duì)象存儲(chǔ)或分布式文件系統(tǒng)，存儲(chǔ)方式通常需要較大的硬盤容量。6.1.7 實(shí)時(shí)同步：實(shí)時(shí)同步是將數(shù)據(jù)倉庫與源數(shù)據(jù)庫實(shí)時(shí)保持一致，確保數(shù)據(jù)的即時(shí)更新，能夠7×24h運(yùn)行高負(fù)載業(yè)務(wù)。6.1.8 批量同步：批量同步是定期將源數(shù)據(jù)庫的數(shù)據(jù)批量導(dǎo)入到數(shù)據(jù)倉庫中。6.2 可擴(kuò)展性6.2.1 的處理能力和擴(kuò)展性。6.2.2 算資源，降低企業(yè)的研發(fā)成本。6.2.3 6.2.4 引入大數(shù)據(jù)處理技術(shù)：利用HadoopSpark等大數(shù)據(jù)處理框架，實(shí)現(xiàn)數(shù)據(jù)的并行處理和高效分析，提高數(shù)據(jù)倉庫的處理能力。6.2.5 7 數(shù)據(jù)倉庫分層數(shù)據(jù)倉庫建設(shè)是一個(gè)整體性工作，從數(shù)據(jù)產(chǎn)生到入庫的整個(gè)環(huán)節(jié)應(yīng)盡量遵循數(shù)據(jù)架構(gòu)圖進(jìn)行搭建，各環(huán)節(jié)采用一套標(biāo)準(zhǔn)。數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖如圖1所示。3DB32/T5059—2025#%fl#%fl0%4 "%4 %8% %84 %*.fl?y§??§F*??4=-??-?*?$?L3fl??4=-??-?*?$?圖1 數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖數(shù)據(jù)倉庫可分為數(shù)據(jù)接入層、。數(shù)據(jù)倉庫分層結(jié)構(gòu)表如表1所示。表1 數(shù)據(jù)倉庫分層結(jié)構(gòu)表結(jié)構(gòu)名英文全稱中文名層次定義ODSOperationalDataStore數(shù)據(jù)接入層實(shí)現(xiàn)功能：業(yè)務(wù)源系統(tǒng)數(shù)據(jù)接入到此層，此層數(shù)據(jù)不做任何加工，禁止重復(fù)進(jìn)入。數(shù)據(jù)來源范圍：業(yè)務(wù)源系統(tǒng)。數(shù)據(jù)存儲(chǔ)時(shí)長：永久。ADSApplicationDataStore數(shù)據(jù)應(yīng)用層re?view，據(jù)層將公共指標(biāo)沉淀到DWS中。應(yīng)用數(shù)據(jù)來源范圍：DWSDWD。數(shù)據(jù)存儲(chǔ)時(shí)長：根據(jù)業(yè)務(wù)需求狀況保留。DWDDataWarehouseDetail基礎(chǔ)數(shù)據(jù)層更記錄等。數(shù)據(jù)來源范圍：此層數(shù)據(jù)來源于0DS。數(shù)據(jù)存儲(chǔ)時(shí)長：根據(jù)業(yè)務(wù)需求狀況保留。DWSDataWarehouseSum?mary基礎(chǔ)標(biāo)簽層實(shí)現(xiàn)功能：該層為基礎(chǔ)標(biāo)簽層，主要從DWD層的數(shù)據(jù)進(jìn)行粗粒度聚合匯總；按不同維度進(jìn)行統(tǒng)計(jì)，主要操作包括基于業(yè)務(wù)整合、關(guān)聯(lián)計(jì)算得到的明細(xì)數(shù)據(jù)；著力公共指標(biāo)、排序聚合得到的匯總數(shù)據(jù)數(shù)據(jù)來源范圍：DWD。數(shù)據(jù)存儲(chǔ)時(shí)長：根據(jù)業(yè)務(wù)需求狀況保留。DIMDimensionTable公共維表實(shí)現(xiàn)功能：該層為公共維表層，該層獨(dú)立于DWDDWSADSDWDDWS、ADS提供維度字段說明。數(shù)據(jù)來源范圍：0DS。數(shù)據(jù)存儲(chǔ)時(shí)長：根據(jù)業(yè)務(wù)需求狀況保留。8 數(shù)據(jù)構(gòu)成8.1 概述企業(yè)物流數(shù)據(jù)倉庫的數(shù)據(jù)構(gòu)成包含但不限于物流運(yùn)輸中的業(yè)務(wù)數(shù)據(jù)、用戶行為數(shù)據(jù)和爬蟲數(shù)據(jù)等，4DB32/T5059—2025其中業(yè)務(wù)數(shù)據(jù)是核心。8.2 業(yè)務(wù)數(shù)據(jù)8.2.1 客戶數(shù)據(jù)交互數(shù)據(jù)：購買記錄、客服溝通記錄等。行為數(shù)據(jù)：積極主動(dòng)申請(qǐng)注冊(cè)試用、主動(dòng)溝通需求、主動(dòng)提出建議等拒接電話、減少預(yù)。8.2.2 物流公司數(shù)據(jù)企業(yè)名稱、企業(yè)代碼、企業(yè)規(guī)模、經(jīng)營方式、歷年經(jīng)營信息、聯(lián)系人的姓名與聯(lián)系方式、擁有車輛規(guī)模等。8.2.3 承運(yùn)商數(shù)據(jù)車輛數(shù)、車輛具體信息、司機(jī)基本信息、證件信息等。8.3 系統(tǒng)數(shù)據(jù)系統(tǒng)監(jiān)控日志、接口運(yùn)行日志、用戶系統(tǒng)操作日志、系統(tǒng)消息數(shù)據(jù)、冗余報(bào)表數(shù)據(jù)、系統(tǒng)對(duì)接中轉(zhuǎn)數(shù)據(jù)等。用戶行為數(shù)據(jù)主要是指用戶在使用過程中的行為記錄，例如查詢物流信息、投訴、評(píng)價(jià)等，此類數(shù)據(jù)對(duì)于分析用戶行為和改進(jìn)服務(wù)質(zhì)量非常重要。8.4 招投標(biāo)數(shù)據(jù)招標(biāo)編號(hào)、招標(biāo)企業(yè)、投標(biāo)企業(yè)、招標(biāo)文件、資審文件、投標(biāo)文件、合同信息等。8.5 訂單流轉(zhuǎn)數(shù)據(jù)訂單標(biāo)題性資料：訂單單號(hào)、訂貨日期、客戶代號(hào)、客戶名稱、送貨日期、送貨地址等。8.6 過程跟蹤數(shù)據(jù)車輛形態(tài)、車輛位置、車輛軌跡、承運(yùn)人信息等。8.7 財(cái)務(wù)結(jié)算數(shù)據(jù)訂單金額、折扣信息、應(yīng)收賬款、資產(chǎn)抵押信息等。9 數(shù)據(jù)存儲(chǔ)數(shù)據(jù)存儲(chǔ)方式有集中式存儲(chǔ)和分布式存儲(chǔ)兩種，按照數(shù)據(jù)的類別和特點(diǎn)進(jìn)行選擇，其特點(diǎn)如表2所示。5DB32/T5059—2025表2 存儲(chǔ)方式表項(xiàng)目集中式存儲(chǔ)分布式存儲(chǔ)物理介質(zhì)分布物理介質(zhì)集中布放物理介質(zhì)分布到不同的地理位置數(shù)據(jù)上傳數(shù)據(jù)上傳到中心數(shù)據(jù)就近上傳對(duì)機(jī)房要求對(duì)空間、承重、散熱要求較高要求較低，可采用多套低端的小容量的存儲(chǔ)設(shè)備分布部署存儲(chǔ)設(shè)備大型硬盤陣列、磁盤庫和存儲(chǔ)服務(wù)器HadoopCephGlusterFS數(shù)據(jù)倉庫在存儲(chǔ)數(shù)據(jù)時(shí)地組織數(shù)據(jù)。在存儲(chǔ)模式上HdfsHbase及RDBMS相結(jié)合的模式。10 數(shù)據(jù)建模10.1 概述數(shù)據(jù)建模分為：——范式建模：依據(jù)數(shù)據(jù)倉庫中的范式站在企業(yè)角度面向主題的抽象，而不是針對(duì)某個(gè)具體業(yè)務(wù)流程的實(shí)體對(duì)象關(guān)系抽象，它更多的是面向數(shù)據(jù)的整合和一致性治理；——數(shù)據(jù)值建模：一種中心輻射式模型其設(shè)計(jì)重點(diǎn)圍繞著業(yè)務(wù)鍵的集成模式，這些業(yè)務(wù)鍵是存儲(chǔ)在多個(gè)系統(tǒng)中的、針對(duì)各種信息，用于定位和唯一標(biāo)識(shí)記錄或數(shù)據(jù)。10.2 核心步驟10.2.1 選擇業(yè)務(wù)過程對(duì)業(yè)務(wù)全流程中的活動(dòng)過程進(jìn)行分析。10.2.2 聲明粒度選擇事實(shí)表的數(shù)據(jù)粒度。10.2.3 維度設(shè)計(jì)確定維度字段，確定維度表的信息。10.2.4 事實(shí)設(shè)計(jì)基于粒度和維度，將業(yè)務(wù)過程度量。10.3 建模原則10.3.1 易用性冗余存儲(chǔ)換性能，公共計(jì)算下沉，明細(xì)匯總并存。6DB32/T5059—202510.3.2 高內(nèi)聚低耦合核心與擴(kuò)展分離，業(yè)務(wù)過程合并，考慮產(chǎn)出時(shí)間。10.3.3 數(shù)據(jù)隔離業(yè)務(wù)與數(shù)據(jù)系統(tǒng)隔離，建設(shè)與使用隔離。10.3.4 一致性業(yè)務(wù)口徑一致，主要實(shí)體一致，命名規(guī)范一致。.3.5 中性原則弱業(yè)務(wù)屬性，數(shù)據(jù)驅(qū)動(dòng)。11 數(shù)據(jù)模型.1 業(yè)務(wù)模型主要解決業(yè)務(wù)層面的分解和程序化。按照業(yè)務(wù)部門的劃分，進(jìn)行各個(gè)部分之間業(yè)務(wù)工作的界定，理清各業(yè)務(wù)部門之間的關(guān)系、了解各業(yè)務(wù)部門的具體業(yè)務(wù)流程并將其程序化。界定數(shù)據(jù)建模的范圍并劃分整個(gè)數(shù)據(jù)倉庫項(xiàng)目的目標(biāo)和階段。11.2 領(lǐng)域模型對(duì)業(yè)務(wù)模型進(jìn)行抽象處理。本階段主要工作為抽取關(guān)鍵業(yè)務(wù)概念，并將之抽象化。按照業(yè)務(wù)主線聚合類似的分組概念將業(yè)務(wù)概念分組；細(xì)化分組概念、理清并抽象化業(yè)務(wù)流程；理清分組概念間的關(guān)聯(lián)關(guān)系，形成完整的領(lǐng)域概念模型。在設(shè)計(jì)物流數(shù)據(jù)的概念模型的時(shí)候可選擇DWER模型進(jìn)行建模。11.3 邏輯模型將領(lǐng)域模型的概念實(shí)體以及實(shí)體之間的關(guān)系進(jìn)行數(shù)據(jù)庫層次的邏輯化。通過邏輯建模完整串聯(lián)成一個(gè)有機(jī)實(shí)體，表達(dá)業(yè)務(wù)間的關(guān)聯(lián)性。設(shè)計(jì)邏輯模型，可采用維度建模。事實(shí)表用來存儲(chǔ)事實(shí)的度量及指向各個(gè)維的外鍵值。維度表用來架構(gòu)、星座架構(gòu)等。11.4 物理模型在數(shù)據(jù)倉庫中表的結(jié)構(gòu)，將領(lǐng)域概念模型中的實(shí)體映射為表格，表格中外鍵約束用來表示事實(shí)表和維度表之間的關(guān)系，實(shí)體的屬性對(duì)應(yīng)表格中列中的字段。在字段中主鍵約束用來唯一標(biāo)識(shí)實(shí)體的實(shí)例。由于數(shù)據(jù)倉庫中的數(shù)據(jù)信息量比較大，可采用并行的存儲(chǔ)結(jié)構(gòu)，如RAID結(jié)構(gòu)等。在數(shù)據(jù)的索引策略上，為適應(yīng)多維查詢的環(huán)境，物流管理數(shù)據(jù)倉庫可以采用BitMap索引或BitWise索引等索引方式。7DB32/T5059—2025數(shù)據(jù)采集數(shù)據(jù)采集層負(fù)責(zé)信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載，提供多種數(shù)據(jù)采集方法，如ETLFlumeKafka等。數(shù)據(jù)倉庫的接口由用戶接口數(shù)據(jù)倉庫的數(shù)據(jù)主要來自企業(yè)自身使用的業(yè)務(wù)系統(tǒng)、標(biāo)識(shí)碼中的存儲(chǔ)信息等。網(wǎng)絡(luò)安全應(yīng)按GB/T20270—2006GB/T20271—2006GB/T28452—2012的規(guī)定執(zhí)行。數(shù)據(jù)備份與恢復(fù)14.1 數(shù)據(jù)備份應(yīng)按GB/T29765—2021的規(guī)