CCSL70江蘇省地方標準企業(yè)物流管理數(shù)據(jù)倉庫建設指南Datawarehouseguidefortheofconstructionofenterpriselogisticsmanagement2025-02-21發(fā)布2025-03-21實施江蘇省市場監(jiān)督管理局中國標準出版社發(fā)布出版Ⅰ前言 Ⅲ 2規(guī)范性引用文件 3術語和定義 4縮略語 5建設原則 6設計指標要求 7數(shù)據(jù)倉庫分層 8數(shù)據(jù)構(gòu)成 9數(shù)據(jù)存儲 10數(shù)據(jù)建模 11數(shù)據(jù)模型 12數(shù)據(jù)采集 13網(wǎng)絡安全 14數(shù)據(jù)備份與恢復 15運行系統(tǒng)的結(jié)構(gòu) 參考文獻 Ⅲ本文件按照GB/T1.1—2020《文件化工作導則第1部分：標準化文件的結(jié)構(gòu)和起草規(guī)則》的規(guī)定起草。請注意本文件的某些內(nèi)容可能涉及專利。本文件的發(fā)布機構(gòu)不承擔識別專利的責任。本文件由江蘇省軟件和信息技術服務標準化技術委員會提出并歸口。本文件起草單位：江蘇斯諾物聯(lián)科技有限公司、諾得網(wǎng)絡科技股份有限公司、上海大學。1企業(yè)物流管理數(shù)據(jù)倉庫建設指南本文件提供了企業(yè)物流管理數(shù)據(jù)倉庫（下文簡稱“數(shù)據(jù)倉庫”）設計的基本原則、設計指標、分層、數(shù)據(jù)構(gòu)成、數(shù)據(jù)存儲、數(shù)據(jù)建模、數(shù)據(jù)模型、數(shù)據(jù)采集、網(wǎng)絡安全、數(shù)據(jù)備份與恢復、運行系統(tǒng)構(gòu)成的內(nèi)容于企業(yè)物流管理數(shù)據(jù)倉庫的規(guī)劃、設計、開發(fā)和應用，支持物流行業(yè)與其他信息系統(tǒng)的互聯(lián)互通。本文件適用于企業(yè)物流管理數(shù)據(jù)倉庫建設的過程。2規(guī)范性引用文件下列文件中的內(nèi)容通過文中的規(guī)范性引用而構(gòu)成本文件必不可少的條款。其中，注日期的引用文件，僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本文件。GB/T5271.1—2000信息技術詞匯第1部分：基本術語GB/T5271.17—2010信息技術詞匯第17部分：數(shù)據(jù)庫GB/T11457—2006信息技術軟件工程術語GB/T18768—2002數(shù)碼倉庫應用系統(tǒng)規(guī)范GB/T20270—2006信息安全技術網(wǎng)絡基礎安全技術要求GB/T20271—2006信息安全技術信息系統(tǒng)通用安全技術要求GB/T20988—2007信息安全技術信息系統(tǒng)災難恢復規(guī)范GB/T28452—2012信息安全技術應用軟件系統(tǒng)通用安全技術要求GB/T29765—2021信息安全技術數(shù)據(jù)備份與恢復產(chǎn)品技術要求與測試評價方法GB/T33745—2017物聯(lián)網(wǎng)術語GB/T35295—2017信息技術大數(shù)據(jù)術語GB/T38667—2020信息技術大數(shù)據(jù)數(shù)據(jù)分類指南3術語和定義GB/T5271.1—2000、GB/T18768—2002、GB/T11457—2006、GB/T20270—2006、GB/T20271—2006、GB/T20988—2007、GB/T5271.17—2010、GB/T33745—2017、GB/T35295—2017、GB/T38667—2020界定的以及下列術語和定義適用于本文件。數(shù)據(jù)倉庫datawarehouse；DW在數(shù)據(jù)準備之后用于永久性存儲數(shù)據(jù)的數(shù)據(jù)庫。結(jié)構(gòu)化數(shù)據(jù)structuraldata按次種形式，由數(shù)據(jù)元素匯集而成的每個記錄的機構(gòu)都是一致的并且可以使用關系模型予以有效描述的一種數(shù)據(jù)表示形式。2非結(jié)構(gòu)化數(shù)據(jù)unstructureddata不具有預定模型或以定義方式組織的數(shù)據(jù)。元數(shù)據(jù)metadata關于數(shù)據(jù)或數(shù)據(jù)元素的數(shù)據(jù)（可能包括其數(shù)據(jù)描述以及關于數(shù)據(jù)用有權(quán)、存取路徑、訪問權(quán)和數(shù)據(jù)易變性數(shù)據(jù)。數(shù)據(jù)庫database支持一個或多個應用領域，按概念結(jié)構(gòu)組織的數(shù)據(jù)集合，其概念結(jié)構(gòu)描述這些數(shù)據(jù)的特征及其對應實體間的聯(lián)系。4縮略語下列縮略語適用于本文件。ADS：數(shù)據(jù)應用層（ApplicationDataStore）DIM：公共維表（DimensionTable）DWD：基礎數(shù)據(jù)層（DataWarehouseDetail）DWER模型：實體聯(lián)系模型（Entity-RelationshipModel）DWHS：基礎標簽層（DataWareDWS：公共匯總粒度事實層（DataWarehouseService）OLAP：聯(lián)機分析處理（OnlineAnalyticalProcessing）RAID：磁盤陣列（RedundantArraysofIndependentDisks）5建設原則5.1開放性原則應基于業(yè)界開放文件，以確保系統(tǒng)能夠與不同的數(shù)據(jù)源和工具兼容，便于未來的擴展和維護。5.2數(shù)據(jù)完整性原則數(shù)據(jù)在生成、存儲、傳輸和處理過程中保持其準確性、一致性和完整性5.3可擴展性原則可支持體系結(jié)構(gòu)的擴展，適應未來的業(yè)務發(fā)展和技術升級，通過添加新功能或修改現(xiàn)有功能來滿足不斷變化的需求。5.4靈活性原則能適應多樣化的源數(shù)據(jù)，以及不斷變化的需求和業(yè)務環(huán)境的能力，并向目標系統(tǒng)提供多樣化的數(shù)據(jù)支持。35.5安全性原則建設過程中應采取一定的措施保護數(shù)據(jù)倉庫中的數(shù)據(jù)不被非法訪問、修改或刪除。5.6兼容性原則可支持多種數(shù)據(jù)源和數(shù)據(jù)庫系統(tǒng)，包括關系型數(shù)據(jù)庫和非關系型數(shù)據(jù)庫。6設計指標要求6.1性能指標6.1.1響應時間：每一百并發(fā)數(shù)<3s。6.1.3并發(fā)數(shù)：數(shù)百并發(fā)是基本要求，且需要具備擴展到數(shù)千的能力。6.1.5數(shù)據(jù)量的大小：每年的數(shù)據(jù)量在100MB~1GB之間。10GB~20GB的硬盤容量即可存儲數(shù)年的數(shù)據(jù)；非結(jié)構(gòu)化數(shù)據(jù)需要使用對象存儲或分布式文件系統(tǒng)，存儲方式通常需要較大的硬盤容量。6.1.7實時同步：實時同步是將數(shù)據(jù)倉庫與源數(shù)據(jù)庫實時保持一致，確保數(shù)據(jù)的即時更新，能夠7×24h運行高負載業(yè)務。6.1.8批量同步：批量同步是定期將源數(shù)據(jù)庫的數(shù)據(jù)批量導入到數(shù)據(jù)倉庫中。6.2可擴展性6.2.1采用分布式架構(gòu)：通過將數(shù)據(jù)倉庫部署在多個節(jié)點上，實現(xiàn)數(shù)據(jù)的分布式存儲和處理，提高系統(tǒng)的處理能力和擴展性。6.2.2引入云計算技術：利用云計算資源，實現(xiàn)數(shù)據(jù)倉庫的彈性伸縮，根據(jù)業(yè)務需求動態(tài)調(diào)整存儲和計算資源，降低企業(yè)的研發(fā)成本。6.2.3優(yōu)化數(shù)據(jù)模型：通過對數(shù)據(jù)進行建模和優(yōu)化，減少冗余數(shù)據(jù)，提高數(shù)據(jù)的存儲效率和查詢速度。6.2.4引入大數(shù)據(jù)處理技術：利用Hadoop、Spark等大數(shù)據(jù)處理框架，實現(xiàn)數(shù)據(jù)的并行處理和高效分析，提高數(shù)據(jù)倉庫的處理能力。6.2.5采用列式存儲技術：通過采用列式存儲技術，減少數(shù)據(jù)冗余，提高數(shù)據(jù)的壓縮率和查詢速度。7數(shù)據(jù)倉庫分層數(shù)據(jù)倉庫建設是一個整體性工作，從數(shù)據(jù)產(chǎn)生到入庫的整個環(huán)節(jié)應盡量遵循數(shù)據(jù)架構(gòu)圖進行搭建，各環(huán)節(jié)采用一套標準。數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖如圖1所示。4數(shù)據(jù)源結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)結(jié)構(gòu)化數(shù)據(jù)非結(jié)構(gòu)化數(shù)據(jù)內(nèi)部數(shù)據(jù)庫其他數(shù)據(jù)數(shù)據(jù)應用數(shù)據(jù)應用數(shù)據(jù)倉庫數(shù)據(jù)接入層數(shù)據(jù)接入層數(shù)據(jù)應用層數(shù)據(jù)應用層基礎數(shù)據(jù)層基礎數(shù)據(jù)層基礎標簽層基礎標簽層公共維表公共維表數(shù)據(jù)存儲區(qū)應用層應用層數(shù)據(jù)共享報表系統(tǒng)數(shù)據(jù)挖掘圖1數(shù)據(jù)倉庫搭建結(jié)構(gòu)圖數(shù)據(jù)倉庫分層結(jié)構(gòu)表如表1所示。表1數(shù)據(jù)倉庫分層結(jié)構(gòu)表結(jié)構(gòu)名英文全稱中文名層次定義ODSOperationalDataStore數(shù)據(jù)接入層實現(xiàn)功能：業(yè)務源系統(tǒng)數(shù)據(jù)接入到此層，此層數(shù)據(jù)不做任何加工，禁止重復進入。數(shù)據(jù)來源范圍：業(yè)務源系統(tǒng)。數(shù)據(jù)存儲時長：永久。ADSApplicationDataStore數(shù)據(jù)應用層實現(xiàn)功能：該層為數(shù)據(jù)應用層，根據(jù)業(yè)務需求組織數(shù)據(jù)，該層定期需要定期re-view，據(jù)層將公共指標沉淀到DWS中。應用數(shù)據(jù)來源范圍：DWS、DWD。數(shù)據(jù)存儲時長：根據(jù)業(yè)務需求狀況保留。DWDDataWarehouseDetail基礎數(shù)據(jù)層實現(xiàn)功能：該層為基礎數(shù)據(jù)層，主要操作包括數(shù)據(jù)清洗、數(shù)據(jù)過濾、數(shù)據(jù)歷史變更記錄等。數(shù)據(jù)來源范圍：此層數(shù)據(jù)來源于0DS。數(shù)據(jù)存儲時長：根據(jù)業(yè)務需求狀況保留。DWSDataWarehouseSum-mary基礎標簽層實現(xiàn)功能：該層為基礎標簽層，主要從DWD層的數(shù)據(jù)進行粗粒度聚合匯總；按不同維度進行統(tǒng)計，主要操作包括基于業(yè)務整合、關聯(lián)計算得到的明細數(shù)據(jù)；著力公共指標、排序聚合得到的匯總數(shù)據(jù)數(shù)據(jù)來源范圍：DWD。數(shù)據(jù)存儲時長：根據(jù)業(yè)務需求狀況保留。DIMDimensionTable公共維表實現(xiàn)功能：該層為公共維表層，該層獨立于DWD、DWS、ADS，為DWD、DWS、ADS提供維度字段說明。數(shù)據(jù)來源范圍：0DS。數(shù)據(jù)存儲時長：根據(jù)業(yè)務需求狀況保留。8數(shù)據(jù)構(gòu)成企業(yè)物流數(shù)據(jù)倉庫的數(shù)據(jù)構(gòu)成包含但不限于物流運輸中的業(yè)務數(shù)據(jù)、用戶行為數(shù)據(jù)和爬蟲數(shù)據(jù)等，5其中業(yè)務數(shù)據(jù)是核心。8.2業(yè)務數(shù)據(jù)8.2.1客戶數(shù)據(jù)基本信息：客戶名稱、客戶代碼、企業(yè)類型與規(guī)模、經(jīng)營信息、聯(lián)系人的姓名與聯(lián)系方式等。交互數(shù)據(jù)：購買記錄、客服溝通記錄等。8.2.2物流公司數(shù)據(jù)企業(yè)名稱、企業(yè)代碼、企業(yè)規(guī)模、經(jīng)營方式、歷年經(jīng)營信息、聯(lián)系人的姓名與聯(lián)系方式、擁有車輛規(guī)模等。8.2.3承運商數(shù)據(jù)車輛數(shù)、車輛具體信息、司機基本信息、證件信息等。8.3系統(tǒng)數(shù)據(jù)系統(tǒng)監(jiān)控日志、接口運行日志、用戶系統(tǒng)操作日志、系統(tǒng)消息數(shù)據(jù)、冗余報表數(shù)據(jù)、系統(tǒng)對接中轉(zhuǎn)數(shù)據(jù)等。用戶行為數(shù)據(jù)主要是指用戶在使用過程中的行為記錄，例如查詢物流信息、投訴、評價等，此類數(shù)據(jù)對于分析用戶行為和改進服務質(zhì)量非常重要。8.4招投標數(shù)據(jù)8.5訂單流轉(zhuǎn)數(shù)據(jù)訂單標題性資料：訂單單號、訂貨日期、客戶代號、訂單狀態(tài)：是否完成、賬目到位等。8.6過程跟蹤數(shù)據(jù)車輛形態(tài)、車輛位置、車輛軌跡、承運人信息等。8.7財務結(jié)算數(shù)據(jù)訂單金額、折扣信息、應收賬款、資產(chǎn)抵押信息等。9數(shù)據(jù)存儲所示。6表2存儲方式表項目集中式存儲分布式存儲物理介質(zhì)分布物理介質(zhì)集中布放物理介質(zhì)分布到不同的地理位置數(shù)據(jù)上傳數(shù)據(jù)上傳到中心數(shù)據(jù)就近上傳對機房要求對空間、承重、散熱要求較高要求較低，可采用多套低端的小容量的存儲設備分布部署存儲設備大型硬盤陣列、磁盤庫和存儲服務器數(shù)據(jù)倉庫在存儲數(shù)據(jù)時，在現(xiàn)有生產(chǎn)系統(tǒng)的基礎上，對數(shù)據(jù)進行抽取、清理，并按照主題與類別有效地組織數(shù)據(jù)。在存儲模式上，可參考Hdfs、Hbase及RDBMS相結(jié)合的模式。10數(shù)據(jù)建模數(shù)據(jù)建模分為：——范式建模：依據(jù)數(shù)據(jù)倉庫中的范式站在企業(yè)角度面向主題的抽象，而不是針對某個具體業(yè)務流程的實體對象關系抽象，它更多的是面向數(shù)據(jù)的整合和一致性治理；——維度建模：是目前大數(shù)據(jù)場景下推薦使用的建模方法，面向分析場景而生，針對分析場景構(gòu)建數(shù)倉模型；重點關注快速、靈活地解決分析需求，同時能夠提供大規(guī)模數(shù)據(jù)的快速響應性能；——數(shù)據(jù)值建模：一種中心輻射式模型其設計重點圍繞著業(yè)務鍵的集成模式，這些業(yè)務鍵是存儲在多個系統(tǒng)中的、針對各種信息，用于定位和唯一標識記錄或數(shù)據(jù)。10.2核心步驟10.2.1選擇業(yè)務過程對業(yè)務全流程中的活動過程進行分析。選擇事實表的數(shù)據(jù)粒度。確定維度字段，確定維度表的信息。基于粒度和維度，將業(yè)務過程度量。10.3建模原則冗余存儲換性能，公共計算下沉，明細匯總并存。710.3.2高內(nèi)聚低耦合核心與擴展分離，業(yè)務過程合并，考慮產(chǎn)出時間。10.3.3數(shù)據(jù)隔離業(yè)務與數(shù)據(jù)系統(tǒng)隔離，建設與使用隔離。業(yè)務口徑一致，主要實體一致，命名規(guī)范一致。10.3.5中性原則弱業(yè)務屬性，數(shù)據(jù)驅(qū)動。11數(shù)據(jù)模型主要解決業(yè)務層面的分解和程序化。按照業(yè)務部門的劃分，進行各個部分之間業(yè)務工作的界定，理清各業(yè)務部門之間的關系、了解各業(yè)務部門的具體業(yè)務流程并將其程序化。界定數(shù)據(jù)建模的范圍并劃分整個數(shù)據(jù)倉庫項目的目標和階段。11.2領域模型對業(yè)務模型進行抽象處理。本階段主要工作為抽取關鍵業(yè)務概念，并將之抽象化。按照業(yè)務主線聚合類似的分組概念將業(yè)務概念分組；細化分組概念、理清并抽象化業(yè)務流程；理清分組概念間的關聯(lián)關系，形成完整的領域概念模型。在設計物流數(shù)據(jù)的概念模型的時候可選擇DWER模型進行建模。將領域模型的概念實體以及實體之間的關系進行數(shù)據(jù)庫層次的邏輯化。通過邏輯建模，將概念模型完整串聯(lián)成一個有機實體，表達業(yè)務間的關聯(lián)性。設計邏輯模型，可采用維度建模。事實表用來存儲事實的度量及指向各個維的外鍵值。維度表用來保存該維的元數(shù)據(jù)，即維的描述信息，包括維的層次及成員類別等。在維度建模中可選擇星型架構(gòu)、雪花架構(gòu)、星座架構(gòu)等。解決數(shù)據(jù)的存儲結(jié)構(gòu)、索引策略、存儲策略及存儲優(yōu)化等問題。根據(jù)數(shù)據(jù)倉庫的邏輯模型，設計存儲在數(shù)據(jù)倉庫中表的結(jié)構(gòu)，將領域概念模型中的實體映射為表格，表格中外鍵約束用來表示事實表和維度表之間的關系，實體的屬性對應表格中列中的字段。在字段中主鍵約束用來唯一標識實體的實例。由于數(shù)據(jù)倉庫中的數(shù)據(jù)信息量比較大，可采用并行的存儲結(jié)構(gòu)，如RAID結(jié)構(gòu)等。在數(shù)據(jù)的索引策略上，為適應多維查詢的環(huán)境，物流管理數(shù)據(jù)倉庫可以采用BitMap索引或BitWise索引等索引方式。812數(shù)據(jù)采集數(shù)據(jù)采集層負責信息數(shù)據(jù)的匯集、轉(zhuǎn)換與加載，提供多種數(shù)據(jù)采集方法，如ETL、Flume、Kafka等。數(shù)據(jù)倉庫的接口由用戶接口、業(yè)務量接口、賬務接口等接口組成，并通過對相關表的設計具體實現(xiàn)。數(shù)據(jù)倉庫的數(shù)據(jù)主要來自企業(yè)自身使用的業(yè)務系統(tǒng)、標識碼中的存儲信息等。應按GB/T20270—2006、GB/T20271—2006、GB/T28452—2012的規(guī)定執(zhí)行。14