銀行卡統計分析系統PAGE銀行卡統計分析系統銀行卡統計分析系統數據處理策略銀行卡統計分析系統項目組目錄TOC\o"1-5"\h\z\u一、源數據 1二、傳輸源數據 4三、文件解壓 4四、基礎數據預處理、加工 4五、加載 4六、轉換 5七、加工 5八、生成報表區 5九、生成XML文件 5十、生成事實表、維表 5十一、生成Cube 6第6頁第1頁銀行卡統計分析系統對數據的處理分為每日和月底兩種情況。所有的處理在調度系統的管理下全封閉運行，正常情況下不需要人工干預。銀行卡統計分析系統的數據處理流程主要如下：源數據-->基礎數據-->應用數據；應用數據-->報表數據-->XML文件；應用數據-->多維數據-->生成CUBE。一、源數據源數據分ABIS和AIPS，其中ABIS數據是由總行統一下發的，AIPS數據需要分行根據要求的字段和頻率進行抽取。1)ABIS源數據數據文件以ACSII碼方式提供，文件命名格式與總行下發的一致，字段間使用”|!”分隔，其中分戶帳表在年底為結算后的數據。清單提供如下：表名中文名頻度ccy貨幣表每日caod透支交易明細表每日pcci信用卡信息表每日pptc掛失登記簿每日pptl重要非金融性交易流水表每日ppts商戶表每日caom透支主檔表每日tlt渠道柜員表每日bdt行部表每日pdci借記卡信息表每日pptj銀行卡交易流水表每日apsh活期交易歷史明細每日tmt終端表每日小計13pccg額度等級表月底capm個人貸款主檔月底cmaa支票賬戶主檔月底cacm對公貸款主檔月底pdcr借記卡產品賬號對照表月底abom國債核算主檔月底afsm定活兩便賬戶主檔月底afnm通知存款賬戶主檔月底afdm整整賬戶主檔月底afcm零存整取賬戶主檔月底iac通用分戶帳月底erp牌價表月底apsm活期賬戶主檔月底pcsi睡眠卡信息表月底合計272）．前置數據數據文件以ACSII碼方式提供，文件命名格式ABIS數據一致，字段間使用”|!”分隔，文件命名中的省市代碼采用ABIS的省市代碼。清單提供如下：表名中文名頻度csd卡業務明細表每日abisteller銀行卡前置柜員表每日ebankqrytrace網銀交易信息表每日合計3Csd提供的字段如下：字段名字段中文名字段類型字段長度字段小數位長度PK值acctype帳戶類型CHAR3amt交易金額DECIMAL202date日期CAHR8Yfee手續費DECIMAL202reqid請求設備標識CHAR8reqseqno請求流水號CHAR12Yrespseqno應答流水號即AP流水號CHAR12Ytranscode交易碼CHAR4reqtype請求設備類型CHAR2accno帳號CHAR19Ytransstatus交易結果狀態CHAR1accflag行內帳戶標志CHAR1Abisteller提供的字段如下：字段名字段中文名字段類型字段長度字段小數位長度PK值teller柜員號CHAR4term終端號CHAR4reqid請求標識CHAR8YEbankqrytrace提供的字段如下：字段名字段中文名字段類型字段長度字段小數位長度PK值reqid請求設備標識CHAR8reqseqno請求流水號CHAR19reqdate請求日期CHAR8reqtime請求時間CHAR6respseqno應答流水號CHAR19transcode網銀交易碼CHAR4ebankseqno網銀流水號CHAR19Ycustomerno客戶號CHAR11accno借方賬號CHAR30accname借方戶名CHAR60acctype借方賬戶類型CHAR3acccurrency借方貨幣碼CHAR3accoftype借方鈔匯標志CHAR1accopenbank借方開戶行行名CHAR100accbankno借方開戶行行號CHAR6craccno貸方賬號CHAR30craccname貸方戶名CHAR60cracctype貸方賬戶類型CHAR3cracccurrency貸方貨幣碼CHAR3craccoftype貸方鈔匯標志CHAR1craccopenbank貸方開戶行行名CHAR100craccbankno貸方開戶行行號CHAR6transvern轉賬業務版本號CHAR1transamt交易金額CHAR20purpose交易用途CHAR100grpflag集團交易標識CHAR1grpcomm集團交易說明CHAR100transenter業務受理渠道CHAR20abisrespcode主機應答碼CHAR4jrnno主機日志號CHAR9vchno主機傳票號CHAR8transstatus交易處理標志CHAR1printflag打印標志CHAR1crprintflag貸方打印標志CHAR1二、傳輸源數據利用csas_file_list把源數據文件傳輸到銀行卡統計分析系統主機。三、文件解壓系統利用腳本對接收的源數據文件進行解壓，具體查詢日志目錄為/wkfile/ap/log/日期/ER01，通常文件不能解壓可能出現的問題如下：Ctl文件不存在。每個源數據文件數據均以.gz和.gz.ctl文件成對存放，若只有.gz文件而無ctl文件，程序不進行解壓。文件無法解壓，需要檢查提供的源數據文件是否正確。文件系統問題。由于是用gzip命令進行解壓，可能會有類似空間不夠、權限不夠等問題造成不能解壓。大文件問題。即系統必須支持2G以上的大文件，否則也不能解壓。四、基礎數據預處理、加工具體查詢日志目錄為/wkfile/ap/log/日期/EE01，該部分主要是進行日期處理、次主鍵等處理，生成中間文件。五、加載把生成的中間文件加載到IQ的加載區中，具體查詢日志目錄為/wkfile/ap/log/日期/LL01，此時生成的數據一般只保留1天。通常可能出現的問題如下：源文件有問題。比如源文件內容有誤，需具體分析，將有問題的行剔除，然后再繼續加載。IQ數據庫有問題。此時一般會有明顯的提示信息，可根據提示進行處理。六、轉換把數據從加載區遷移到基礎數據區的過程，具體查詢日志目錄為/wkfile/ap/log/日期/TT01，此時生成的數據為基礎數據，原則上要求保存3年，但由于空間和系統效率問題，分行可以根據備份策略進行備份。七、加工根據統計口徑的要求，對基礎數據區的數據進行加工生成應用數據區數據。具體查詢日志目錄為/wkfile/ap/log/日期/TRANP，該目錄內各文件名與各個數據表名一一對應。八、生成報表區根據應用區的數據，映射生成報表區的數據，具體查詢日志目錄為/wkfile/ap/log/日