DB3209鹽城市地方標(biāo)準(zhǔn)鹽城市市場(chǎng)監(jiān)督管理局發(fā)布I本文件起草單位：鹽城市工業(yè)和信息化局、鹽城市大數(shù)據(jù)管公共數(shù)據(jù)平臺(tái)數(shù)據(jù)歸集規(guī)范本文件適用于指導(dǎo)鹽城市各級(jí)公共管理和服務(wù)機(jī)構(gòu)歸集數(shù)據(jù)至鹽城市公共數(shù)據(jù)平定的結(jié)構(gòu)和格式，如辦公文檔、圖片、HTML、各類(lèi)報(bào)表、圖4.3開(kāi)展數(shù)據(jù)歸集前準(zhǔn)備工作并開(kāi)展數(shù)據(jù)歸集:b)對(duì)貼源層中的數(shù)據(jù)進(jìn)行清洗加工使其滿足公共數(shù)據(jù)平臺(tái)使用的質(zhì)量要求，清洗加c)對(duì)公共層中的數(shù)據(jù)進(jìn)行個(gè)性化面向應(yīng)用、業(yè)務(wù)的整合，最終數(shù)據(jù)存放在公共數(shù)據(jù)4.4歸集結(jié)果確認(rèn)5數(shù)據(jù)歸集要求庫(kù)。前置庫(kù)應(yīng)支持國(guó)產(chǎn)數(shù)據(jù)庫(kù)，字符編碼應(yīng)支持包括但不限于：UTF-8、GB2312、UTFa)記錄ID：業(yè)務(wù)數(shù)據(jù)的唯一記錄標(biāo)識(shí)，使用UUID主鍵策略；d)更新時(shí)間：業(yè)務(wù)數(shù)據(jù)寫(xiě)入業(yè)務(wù)數(shù)據(jù)表的時(shí)業(yè)務(wù)數(shù)據(jù)表字段名稱和數(shù)據(jù)格式見(jiàn)表對(duì)賬數(shù)據(jù)表存儲(chǔ)數(shù)據(jù)的對(duì)賬情況，包含對(duì)賬記錄唯一標(biāo)識(shí)、表名、批次號(hào)、批次條數(shù)、批次a)對(duì)賬記錄唯一標(biāo)識(shí)：對(duì)賬表主鍵，b)表名：該批次更新數(shù)據(jù)所在業(yè)務(wù)數(shù)據(jù)表的名稱；c)批次號(hào)：與業(yè)務(wù)數(shù)據(jù)表中批次號(hào)一致；d)批次條數(shù)：該批次更新的數(shù)據(jù)條數(shù)，應(yīng)與業(yè)務(wù)數(shù)據(jù)表中e)批次時(shí)間：對(duì)賬數(shù)據(jù)寫(xiě)入對(duì)賬表的時(shí)間，采用數(shù)據(jù)庫(kù)時(shí)間函數(shù)的值，格式為YYYY-MM-DD對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)5.3.1文件系統(tǒng)5.3.2文件要求命名約束示例：文件夾命名：/公司資料/銷(xiāo)售數(shù)據(jù)/2023/12/05/，文件命名：daily_sales_repor文件大小文件類(lèi)型5.3.3文件信息表a)記錄ID：業(yè)務(wù)數(shù)據(jù)主鍵，是業(yè)務(wù)數(shù)據(jù)的唯一記錄標(biāo)識(shí)，使用UUID主鍵策略；h)文件完整性校驗(yàn)：該文件對(duì)賬使用的完整性校驗(yàn)碼；i)文件拆分標(biāo)識(shí)：用于標(biāo)識(shí)該文件是否進(jìn)行了拆分，1為已拆分，0為未拆分；j)拆分?jǐn)?shù)量：該文件被拆分的數(shù)量；k)更新時(shí)間：業(yè)務(wù)數(shù)據(jù)寫(xiě)入業(yè)務(wù)數(shù)據(jù)表的時(shí)間，格式為文件信息表字段名稱和數(shù)據(jù)格式見(jiàn)5.3.4文件拆分信息表a)記錄ID：業(yè)務(wù)數(shù)據(jù)的唯一記錄標(biāo)識(shí)，使用UUID主鍵策略；b)文件信息表記錄ID：拆分文件對(duì)應(yīng)文件信息表的記錄ID；f)文件完整性校驗(yàn)：該文件對(duì)賬使用的完整性校驗(yàn)碼；g)更新時(shí)間：業(yè)務(wù)數(shù)據(jù)寫(xiě)入業(yè)務(wù)數(shù)據(jù)表的時(shí)間文件拆分信息表字段名稱和數(shù)據(jù)格式見(jiàn)文件的對(duì)賬數(shù)據(jù)表包括對(duì)賬記錄唯一標(biāo)識(shí)、文件路徑、文件類(lèi)型、批次號(hào)、批次時(shí)間、批次件對(duì)賬數(shù)據(jù)表還應(yīng)包括批次個(gè)數(shù)、批次大小等字段，文件類(lèi)型以“UD”標(biāo)識(shí)，字段描述如下：e)批次時(shí)間：對(duì)賬數(shù)據(jù)寫(xiě)入對(duì)賬表的時(shí)間，采用數(shù)據(jù)庫(kù)時(shí)間函數(shù)的值，格式為YYYY-MM-DDg)批次個(gè)數(shù)：該批次的文件的個(gè)數(shù)，應(yīng)與該批次非結(jié)構(gòu)化文件的h)批次大小：該批次的文件占用的存儲(chǔ)空間，應(yīng)與該批次文件實(shí)際大小i)批次狀態(tài)：本批次數(shù)據(jù)歸集狀態(tài)，0為初始默認(rèn)文件對(duì)賬數(shù)據(jù)表字段名稱和數(shù)據(jù)共數(shù)據(jù)平臺(tái)，可采用壓縮、加密等技術(shù)實(shí)現(xiàn)數(shù)據(jù)高速傳輸、保障數(shù)據(jù)推送和調(diào)用的安全。5.4.2服務(wù)接口調(diào)用形式d)URI指資源URI，由接口唯一標(biāo)識(shí)、數(shù)據(jù)傳輸流水序列號(hào)、分布式存儲(chǔ)標(biāo)識(shí)、資源唯一標(biāo)識(shí)5.4.3服務(wù)接口資源描述5.4.4服務(wù)接口功能對(duì)存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持增量更新；對(duì)不存在更新標(biāo)識(shí)的數(shù)據(jù)應(yīng)支持全量更新。集數(shù)據(jù)過(guò)程中應(yīng)采用身份鑒別、數(shù)據(jù)源認(rèn)證等安全機(jī)制保障公共數(shù)據(jù)來(lái)源的真實(shí)性。是是1是8是文件信息表、文件拆分信息表字段名稱和數(shù)據(jù)格式是是是是是是是是1是1是是8是是1是是是是8是1是是是2是是是8是1是2{“url”:"<serialnumber>/<dstributedStorageIdentifier>/<resouceIdentifie“items_url”:“<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifier>”,“status”:“success”,“data”:[{“XXX”,{“XXX”,}}3https://<hostname>:<ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdent或addObjects_GZIP體Content-Type:application/j{“err”:“{err}”}https://<hostname>:<po<ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentifideleteObjects或post體標(biāo)準(zhǔn)json格式數(shù)據(jù)；ineterfaceIdentifier=deleteO{“status”:“{status}”,“err”:“{err}”}4https://<hostname>:<po<ineterfaceIdentifier>/<serialnumber>/<distributedStorageIdentifier>/<resouceIdentiupdateObjects或post體標(biāo)準(zhǔn)json格式數(shù)據(jù)；ineterfaceIdentifier=updateObjects_GZIP時(shí)數(shù)據(jù)格式為application/json，字符集編碼為{“status”：“{status}”,“err”：“{err}”}https://<hostname>:<po<ineterfaceIdentifier>/<serialnumber>/<distributedStorageIde