ICS35.040

CCSL71DB5120

四川省（資陽市）地方標準

DB5120/T19.2—2023

數據資源體系技術指南

第2部分：數據采集匯聚規范

2023-12-22發布2023-12-29實施

資陽市市場監督管理局發布

DB5120/T19.2—2023

目??次

前?言.................................................................................................................................................................II

1范圍.................................................................................................................................................................1

2規范性引用文件.............................................................................................................................................1

3術語和定義.....................................................................................................................................................1

4縮略語.............................................................................................................................................................2

5數據采集原則.................................................................................................................................................2

6數據采集.........................................................................................................................................................3

附錄A（規范性）數據資源提供方名稱規范表.............................................................................................7

參考文獻...............................................................................................................................................................8

I

DB5120/T19.2—2023

前言

本文件按照GB/T1.1—2020《標準化工作導則第1部分：標準化文件的結構和起草規則》的規定

起草。

請注意本文件的某些內容可能涉及專利，本文件的發布機構不承擔識別這些專利的責任。

本文件由資陽市政務服務和大數據管理局提出并歸口。

本文件由資陽市市場監督管理局批準并發布。

本文件起草單位：資陽市大數據服務中心、資陽數智科技有限公司。

本文件主要起草人：劉桄序、戢培全、邵柏華、袁嘉、劉光乾、楊建康、張亞琴、李愛民、劉西北、

鄭雪梅、鄧森林、彭國林、陳杜宇、楊通、李強、夏榮、張潤澤、任良華、冷耀、陳熙。

本文件為首次發布。

II

DB5120/T19.2—2023

數據資源體系技術指南

第2部分：數據采集匯聚規范

1范圍

本文件規定了資陽市域數據采集匯聚相關術語和定義、縮略語、采集原則、采集等工作規范。

本文件適用于資陽市域政務組織、非政務組織和個人信息資源數據采集、匯聚、更新的管理和使用。

2規范性引用文件

下列文件中的內容通過文中的規范性引用而構成本文件必不可少的條款。其中，注日期的引用文件，

僅該日期對應的版本適用于本文件；不注日期的引用文件，其最新版本（包括所有的修改單）適用于本

文件。

GB/T5271.1信息技術詞匯第1部份：基本術語

GB/T11457信息技術軟件工程術語

GB/T18492信息技術系統及軟件完整性級別

GB/T22032系統工程系統生存周期過程

GB/T25000系統與軟件工程（所有部分）

GB/T29264信息技術服務分類與代碼

GB/T35295信息技術大數據術語

GB/T36625.3智慧城市數據融合第3部分：數據采集規范

GB/T38667信息技術大數據數據分類指南

GB/T40094.2電子商務數據交易第2部分：數據描述規范

GB/T40094.3電子商務數據交易第3部分：數據接口規范行

GB/T42450信息技術大數據數據資源規劃

DB51/T3056政務數據數據分類分級指南

3術語和定義

GB/T5271.1、GB/T11457、GB/T18492、GB/T25000、GB/T29264、GB/T35295、GB/T36625.3、

GB/T38667、GB/T40094.2、GB/T40094.3、GB/T42450、DB51/T3056界定的以及下列術語和定義適

用于本文件。

3.1

數據采集dataacquisition

從數據源中得到原始數據，通過標準化處理并轉化為滿足未來數據共享與利用需求的過程。

3.2

數據分類datacategorization

把具有某種共同屬性或特征的數據歸并在一起，按照一定的原則和方法進行歸類。

3.3

1

DB5120/T19.2—2023

數據分級dataclassification

根據數據的敏感程度，按照一定的原則對數據進行定級，從而為數據的開放和共享安全策略制定提

供支撐的過程。

3.4

從數據庫compliancedatabase

從數據庫是主數據庫的備份，當主數據庫變化時從數據庫要更新，數據庫軟件可以設計更新周期。

3.5

文件服務器fileserver

文件服務器，是指在計算機網絡環境中，所有用戶都可訪問的文件存儲設備，是一種專供其他電腦

檢索文件和存儲的特殊電腦。

3.6

數據歸集庫datacollectiondatabase

數據歸集庫指數據資源中心集中存儲來自不同來源數據的位置。

4縮略語

下列縮略語適用于本文件。

XML：可擴展標記語言（eXtensibleMarkupLanguage）

JSON：對象標記（JavaScriptObjectNotation）

ACID：數據庫事務特征原子性、一致性、隔離型和持久性（AtomicityConsistencyIsolation

Durability）

5數據采集原則

5.1統一性

數據的分類、編碼、描述應選擇通用性好、規范性強的方式進行編制，使其具有一定的統一性和兼

容性，有利于數據的交換和共享。

5.2真實性

所采集的數據應與信息源對象的實際情況完全吻合，不應進行隨意修改、刪除或增加，要求能夠準

確地反映信息源對象的真實情況，不能弄虛作假。

5.3完整性

應明確數據采集的范圍、內容及目標，采集的數據應能夠完成采集項目規定內容，不應發生數據丟

失或增加。

5.4及時性

應關注數據采集信息主體的現實狀況，當主體信息發生變化時，應對發生變化的信息數據重新采

集，并對原有數據做更新處理。

5.5選擇性

應在保證數據完整性的前提下，兼顧與己有數據的交換和共享，選擇項目采集的數據內容，避免數

據重復或范圍擴大。

5.6保密性

2

DB5120/T19.2—2023

對采集的各類信息應確定保密級別，采取相應的管理措施或技術手段，保證信息數據在采集、保持

及交換傳輸過程中的數據安全。

6數據采集

6.1管理職責

6.1.1數據資源提供方

a）負責本單位的數據治理，保證推送到從數據庫的數據符合質量規范要求和安全要求，并滿足應

用需求。

b）負責從數據庫的部署、配置和運維，保證數據主從一致。

c）負責接收本單位的數據質量報告，并修正問題數據。

d）負責按要求掛載數據資源。

6.1.2政務數據管理機構

a）負責數據的采集和清洗加工，保證經過清洗和轉換后的數據符合相關質量規范和安全要求。

b）負責提供從數據庫服務器資源，并審核資源申請。

c）負責出具數據質量報告，并推送給對應的數據資源提供方。

d）負責從數據庫巡查管理

6.2數據采集框架

根據數據的產生單位、存儲狀態、數據應用方法、數據類型等，結合資陽市數據資源中心建設規劃

以及業務場景需求，定義整體數據采集框架如圖1所示。各數據提供方將結構化數據實時同步至從數據

庫，將非結構化數據同步至文件服務器，將對外接口開放給數據資源中心。

圖1數據采集總體框圖

6.3數據采集方式

6.3.1數據采集分類原則

根據數據的類型、共享服務方式、存儲狀態等，定義三種數據采集方式：庫表交換、文件交換和接

口交換。

6.3.2庫表交換

對于結構化數據，政務數據管理機構通過訪問從數據庫的方式實現數據共享。各數據資源提供方負

責將本單位的數據庫表和對應數據字典實時同步至從數據庫，交換流程如圖2所示。

3

DB5120/T19.2—2023

圖2庫表交換流程

6.3.3文件交換

對于非結構化的文件數據，數據資源提供方通過將文件傳輸至政務數據管理機構的文件服務器的方

式實現數據共享，文件傳輸可采用FTP、SFTP等協議，交換流程如圖3所示。

圖3文件交換流程

6.3.4接口交換

政務數據管理機構可通過數據接口采集數據資源提供方的方式實現數據共享，接口傳輸可采用

restful、webservice等協議，交換流程如圖4所示。

圖4接口交換流程

6.4數據接入規范

6.4.1從數據庫要求

從數據庫命名規范

a）有業務系統的名稱為數據資源提供方簡稱的拼音首字母_業務系統拼音首字母。

b）無業務系統的名稱為數據資源提供方簡稱的拼音首字母_qt（qt指“其他”）。

c）如若出現名稱重復時，采用在名稱后追加阿拉伯數字的方式保證命名的唯一性。

4

DB5120/T19.2—2023

示例：資陽市應急管理局（簡稱“市應急局”）的業務系統“應急指揮平臺”，從數據庫名稱為

“syjj_yjzhpt”；資陽市應急管理局（簡稱“市應急局”）無業務系統的數據資源，從數據庫名稱為

“syjj_qt”。

從數據庫建表要求

從數據庫的數據與原數據資源提供方保持一致，數據結構增加操作標識和時間戳字段。其中，操作

標識指增、刪、改、NA（無操作）。

從數據庫的表命名規范

表名稱原則上與原數據資源提供方提供的表名稱保持一致。如若出現名稱重復時，采用在名稱后追

加阿拉伯數字的方式保證命名的唯一性。

6.4.2文件服務器要求

每個數據資源提供方建立單獨的文件服務器，依據文件服務器的IP地址命名。文件名稱原則上與

原數據資源提供方提供的名稱保持一致。如果文件有更新，直接覆蓋當前文件，無需新建目錄。

6.5數據采集流程

數據采集流程如下：

a）各數據資源提供方同步數據：

1）向政務數據管理機構提供可供采集數據的詳細數據字典或文件格式。

2）申請文件服務器或從數據庫資源，經政務數據管理機構審核批準后，向數據資源提供方提

供文件服務器或從數據庫資源訪問方式。

3）指定數據專員，按照共享數據的更新頻率，實時同步數據。

b）分析數據：

分析數據來源、數據結構、數據內容、數據之間存在的依賴關系（主外鍵關系等）、數據字典等。

c）抽取數據：

1）從文件服務器或從數據庫抽取數據。

2）海量數據采用并行方式分批或增量抽取數據。

d）存儲數據：

存儲數據與抽取數據應保持一致，具備異常回滾機制。

1）存儲結構：根據抽取數據選擇合適的類型、長度、精度存儲數據。

2）存儲類型：結構化數據以數據庫方式存儲；非結構化數據以文件方式存儲。

3）存儲介質：按數據的訪問頻率選擇讀寫性能不同的存儲介質。

4）存儲策略：根據數據讀寫頻次和實時性要求制定不同的存儲策略。訪問頻率較低的數據，

宜將數據壓縮后存儲。

6.6數據采集方法

數據采集方法分為人工采集和自動采集，以自動采集為主。

a）人工采集：通過手動錄入、存儲介質拷貝、電子表格導入等人工方式采集數據。

b）自動采集：通過從文件服務器或從數據庫自動抽取數據的方式采集數據。

6.7數據校驗審核

采用校驗、審核的手段審查所采集數據的一致性、完整性和及時性。經校驗、審核合格的數據才能

被采集使用，不合格的數據采取必要的改正措施后重新采集。

6.8采集安全要求

在數據采集的各個環節，應建立數據安全管理制度、應急事件處理機制、審查監督機制。

5

DB5120/T19.2—2023

在數據采集的各個環節，應使用數據安全相關技術，包括但不限于數據安全監測、安全審計、數字

簽名、數據加密等技術或手段。

6

DB5120/T19.2—2023

AA

附錄A

（規范性）

數據資源提供方名稱規范表

政府機構全稱政府機構簡稱政府機構簡拼

資陽市人民政府辦公室市政府辦公室szfbgs

資陽市發展和改革委員會市發展改革委sfzggw

資陽市經濟和信息化局市經濟和信息化局sjjhxxhj

資陽市教育和體育局市教育和體育局sjyhtyj

資陽市科學技術局市科學技術局skxjsj

資陽市公安局市公安局sgaj

資陽市民政局市民政局smzj

資陽市司法局市司法局ssfj

資陽市財政局市財政局sczj

資陽市人力資源和社會保障局市人力資源社會保障局srlzyshbzj

資陽市自然資源和規劃局市自然資源規劃局szrzyghj

資陽市生態環境局市生態環境局ssthjj

資陽市住房和城鄉建設局市住房城鄉建設局szfcxjsj

資陽市交通運輸局市交通運輸局sjtysj

資陽市水務局市水務局sswj

資陽市農業農村局市農業農村局snyncj

資陽市商務局市商務局sswj

資陽市文化廣播電視和旅游局市文化廣電旅游局swhgdlyj

資陽市衛生健康委員會市衛生健康委swsjkw

資陽市退役軍人事務局市退役軍人事務局styjrswj

資陽市應急管理局市應急管理局syjglj

資陽市審計局市審計局ssjj

資陽市政府國有資產監督管理委員會市國資委sgzw

資陽市市場監督管理局