企業大數據治理平臺需求規格說明書

目錄1. 概要 41.1. 閱讀對象 41.2. 名詞解釋 42. 產品概要 42.1. 產品結構 42.2. 模塊概要說明 52.2.1. 標準管理 52.2.2. 目錄管理 62.2.3. 元數據管理 62.2.4. 數據歸集 82.2.5. 數據開發 82.2.6. 數據資產 82.2.7. 質量管理 82.2.8. 控制臺 82.2.9. 運維監控 82.2.10. 工作臺 82.3. 各模塊之間關系 93. 業務流程 94. 功能說明 104.1. 標準管理 104.1.1. 關聯模塊說明 104.1.2. 主題標準 114.1.3. 數據標準 124.1.4. 維度管理 154.1.5. 維度映射標準 164.1.6. 元模型標準 174.1. 目錄管理 194.1.1. 關聯模塊說明 204.1.2. 功能介紹 204.1.3. 關鍵流程說明 204.1.4. 詳細說明 204.1.5. 參考界面 234.2. 元數據管理 244.2.1. 元數據管理 254.2.2. 元數據采集管理 404.2.3. 元數據分析 554.3. 數據歸集 634.3.1. 數據全量歸集 634.3.2. 數據增量歸集 654.4. 數據開發 674.4.1. 關聯模塊說明 674.4.3. 數據探索 684.4.4. 腳本開發 744.4.5. 數據處理開發 794.5. 數據資產 1984.5.1. 數據資產視圖 1984.5.2. 數據采集視圖 2004.5.3. 數據治理視圖 2034.5.4. 數據服務視圖 2054.6. 質量管理 2064.6.1. 關聯模塊說明 2074.6.2. 規則和任務管理 2074.6.1. 數據質量報告 2244.6.2. 數據質量評估 2274.6.3. 質量問題跟蹤 2324.7. 控制臺 2364.7.1. 關聯模塊說明 2364.7.2. 系統初始化 2374.7.3. 系統權限管理 2404.7.4. 系統資源管理 2434.7.5. 系統團隊管理 2514.7.6. 租戶管理 2534.7.7. 工作流 2564.7.8. 操作日志審計 2574.8. 運維監控 2584.8.1. 調度管理 2584.8.2. 任務監控 2754.8.3. 資源監控 2794.8.4. 告警管理 2864.8.5. 質量任務監控 2894.9. 工作臺 2924.9.1. 我的申請任務 2924.9.2. 我的審批代辦 2934.9.3. 修改密碼 2944.9.4. 消息中心 2954.9.5. 退出 2975. 非功能性需求 297

概要閱讀對象設計、開發、測試和維護人員名詞解釋名詞解釋系統管理員指的是系統超級管理員管理員指的是具有特定管理角色權限用戶數據歸集將外部數據源的數據，轉為內部數據源數據的過程，例如：將各委辦數據從委辦前置庫接入數據中心接口表；產品概要產品結構模塊概要說明標準管理 標準化管理主要是針對主題標準、數據標準、維度標準、元模型標準等一系列系統標準化的配置。依據業務需求，配置不同的主題目錄、不同的標準要求、維度要求等，其可為業務制定一套標準，讓系統數據更加規范，減少數據冗余，使數據更加清晰、統一，方便使用者對系統的使用和后期的維護。 流程說明，由管理員對數據進行數據的錄入；其次，對新增的標準數據提交發布，進入審批階段，其中審批層級由審批配置的流程控制，如不配置，默認提交發布即生效； 審批通過后，標準管理模塊中的數據可被數據質量、元數據管理等模塊應用；目錄管理使用角色：業務人員應用場景：實現數據目錄的創建、查詢、申請使用等以及支持與外部目錄系統的對接。元數據管理元數據管理模塊對本系統中的元數據對象進行統一管控。管控的元數據對象包括表、文件、指標等（具體管控的對象以現場的實際需求為準）。通過元數據管理可以直觀的（提供按條件查詢功能）看到系統中已有的各個元數據對象，可查看元數據對象的各屬性值并對其進行修改、增加和刪除元數據對象。模塊流程圖流程說明，該模塊是針對各種元數據信息進行管理。首先，用戶需對各種的元數據信息錄入到系統，其中，元數據的類型包括，物理表元數據、物理視圖元數據、文件元數據、指標元數據、報表元數據、標準表模型元數據、半結構化數據元數據；其次，對已新增的各種元數據信息可進行發布，提交發布后，需要對發布的元數據信息進行審核，審核通過則發布成功，如無審核流程，則直接發布成功；主要包括以下元數據的管理物理表元數據管理，主要是針對生產過程中的實體物理表進行管理，通過標準化管控物理模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；支持檢索、元數據的增、刪、改、查，批量導出、導出操作，其中已發布元數據信息只能查看；物理視圖元數據，參考物理表元數據管理，元數據對象是物理視圖；支持檢索、元數據的增、刪、改、查批量導出、導出操作，其中已發布物理視圖元數據信息只能查看；文件類元數據，文件信息的統一管理，支持檢索、元數據的增、刪、改、查批量導出、導出操作。指標元數據，是指標計算的基本信息。包含指標名稱、計算口徑、包含維度、歸屬業務部門等信息。針對指標元數據進行登記管理，包括指標的基礎信息、指標目標值信息、其他相關信息等模塊，從多個維度進行指標的登記管理，便于后續的指標使用、查詢和監控；報表元數據，報表應用的基本信息。支持檢索、元數據的增、刪、改、查批量導出、導出操作；標準表模型元數據，主要是標準表元數據信息進行管理，包含標準表名稱、計算口徑、周期、生命周期等信息；半結構化數據元數據，主要是針對物理表半結構化的數據進行管理，包括半結構化數據名稱、類型，計算口徑、歸屬部門、生命周期等；數據歸集將外部數據源的數據，轉為內部數據源數據的過程，例如：將各委辦數據從委辦前置庫接入數據中心接口表；數據開發數據工廠提供數據處理程序的開發，用戶可以根據現有的元模型和需求，通過此模塊開發DP程序供數據加工使用。數據資產數據資產視圖查詢，包括服務器資源、系統運行、數據資源等信息等質量管理數據質量維度包括：一致性、準確性、完整性、合理性、完整性、唯一性。質量管理通過對數據的規則的配置，然后對數據執行相應的規則，檢測數據是否合格，將數據的檢查結果以圖表的方式直觀的顯示出來，方便了解數據的組成。將不合格的數據標注出來，使用戶能夠準確的了解到哪些數據是不合格的，不符合什么規則，便于后期對不合格數據進行整理和修改?？刂婆_ 控制臺模塊包括系統初始化、權限管理、資源管理、團隊管理、工作流、服務管理幾部分，主要對系統進行常規的配置和管理，包括系統菜單管理、用戶管理、團隊管理、資源管理（數據庫、服務器）、團隊管理等。同時為了更安全、更有效、條理清晰地使用系統，所以系統必須具備完善的權限管理和流程控制機制，故而還包括角色管理、權限管理、數據授權（最小粒度字段級）、模型上線下線審批流程、服務的管理等。運維監控調度列表可以新增調度任務來配置調度所需信息，調度監控則監控調度任務的運行情況。任務需要定時或依賴執行時需將任務配置為調度。如：每天需要從業務系統抽取數據，則需要每天執行任務，則將該任務配置為調度任務，發布后便可每天定時自動執行任務。工作臺提供與個人相關的基礎功能，如我的待辦、我的已辦等；各模塊之間關系數據標準落地，讓數據的歸集、清洗、加工融合以及開放等數據治理過程均有標準可循；元數據管理進行數據定義的獲取及管理，為數據歸集、加工、開放等關鍵活動，提供必要的元數據支持；通過元數據管理、數據工廠、運維監控構建模型設計、數據開發、調度監控等基礎能力，為數據倉庫的建設提供持續的數據加工生產能力；通過數據質量管理，構建數據質量保障體系，確保數據質量的持續提升，使得數倉數據的可靠、可信、可用化程度不斷提升；通過資產視圖構建數據資產全景視圖，使得ETL過程、數據資產、數據共享情況一覽無余；業務流程產品需要內置工作流引擎，所有功能使用到的流程皆由流程設計模塊預置的流程來實現；數據標準相關的流程如下：主題發布和停用流程字典發布和停用流程命名標準發布和停用流程業務標準發布和停用流程元數據管理相關流程如下：物理模型發布和停用流程邏輯模型發布和停用流程文件發布和停用流程數據質量管理相關流程如下：質量整改流程數據開發相關流程如下：DP程序發布和停用流程腳本程序發布和停用流程運維監控相關流程如下：調度發布和停用流程質量整改流程相對比較復雜，詳情參看數據質量跟蹤章節，其它預置的流程默認為發起后，自動審批通過，產品用于項目時，可根據業務需要進行流程的配置修改；功能說明標準管理關聯模塊說明 流程說明，標準管理主要是由管理員對標準管理的信息進行錄入、發布、維護的工作（發布流程詳見2.2.2標準管理）；所有標準數據必須經由審批后發布才能生效使用，如無需審批，發布直接生效；生效后的時候才能為元數據管理、數據質量等模塊提供數據支撐； 主要數據支撐，詳細如下：控制臺-工作流為標準管理提供工作審批流程支撐；標準管理-主題標準為數據項標準提供主題目錄支撐；標準管理-數據項標準為數據質量提供規范支撐；標準管理（除維度映射管理、元模型標準為）為元數據提供數據支撐；維度標準為維度映射管理提供維度映射管理；主題標準功能介紹對數據進行主題配置，選擇相關主題關聯數據庫、程序等相關對象。對數據進行更細致的分類，使得更容易查找和使用相關的數據。新增的主題名稱發布才能生效，生效后才能被其他功能模塊引用。默認展示所有主題信息查詢條件：全部關聯對象、主題或者編碼搜索；查詢結果：主題名稱、主題編碼、狀態、主題、備注、操作；其中，操作包括：版本管理、刪除、查看；操作按鈕：新增、批量導入、批量導出、發布、停用、刪除；詳細說明序號字段頁面類型說明備注顯示規則是否必填1主題編碼輸入框填寫主題編碼是2主題名稱單選填寫主題名稱是3備注單選填寫備注否4對象類型單選選擇主題需關聯的對象類型包括：所有、數據庫、邏輯模型、業務標準、指標、字典標準、文件元數據、服務器頁面下拉顯示是5對象信息單選根據對象類型聯動選擇對象信息頁面下拉選擇是參考界面數據標準數據標準主要是管理員對數據的命名標準、字典標準、數據項標記性規范化管理，包括對字段的名稱等規范進行定義、字典標準的定義、數據項標準的定義命名標準功能介紹不僅僅需要對表字段進行命名的規范，同時也需要對表名進行命名的規范，例如：將表的名稱以主題_數據庫_XXX的方式進行命名，更加清晰的展示出表名是屬于哪一個主題，哪一個數據庫的。使數據的來源更加的清晰可見，讓整個系統更加清晰更利于操作和維護。默認展示所有命名標準數據信息；查詢條件：字段中文名、字段英文名查詢結果：標準名稱、使用對象、標準分隔符、規則格式、最大長度、備注說明、狀態、創建時間、更新時間、操作；操作按鈕：發布、停用、新增、批量導入、批量導出、刪除、編輯；詳細說明序號字段頁面類型說明備注顯示規則是否必填1規則名稱輸入框填寫規則名稱按照字典的標準填寫是2適用對象單選選擇適用對象包括：頁面下拉是3數據庫單選選擇對應數據庫信息根據適用對象聯動數據否4分隔符單選選擇分隔符包括:頁面下拉是5測試規則單選選擇字段標準對應的測試規則，包括數據庫、主題、層次選擇不同的規則顯示不同的結果是參考界面字典標準功能介紹對表名、表字段等進行命名規范，將頻率使用極高的詞指定為標準元素，命名標準化是對用戶以后的標準制定和系統的某些命名推薦功能具有指導作用，方便查找數據，讓整個系統更加清晰更利于操作和維護默認展示所有字典標準數據查詢條件：關鍵字、字段中文名、字段英文名；查詢結果：字段英文名、字段中文名、主題、創建時間、修改時間、創建人；操作按鈕：發布、停用、新增、批量導入、批量導出、刪除、編輯；詳細說明序號字段頁面類型說明備注顯示規則是否必填1字段名輸入框填寫字段英文名按照字典的標準填寫是2字段中文名輸入框填寫字段中文名是3歸屬主題單選選擇字段的歸屬主題主題數據來源于主題標準否4備注單選填寫備注否參考界面數據項標準功能介紹維度映射，指維度的碼值和各個業務系統的映射對應關系默認展示所有數據項標準數據信息；查詢條件：關鍵字、標準編碼英文名/中文名查詢結果：標準編碼、標準英文名、標準中文名、標準別名、相關標準、主題、標準含義、數據類型、狀態、操作；操作按鈕：新增、保存；詳細說明序號字段頁面類型說明備注顯示規則是否必填1標準編碼輸入框填寫標準編碼是2標準中文名輸入框填寫標準中文名是3標準英文名輸入框填寫標準英文名是4標準別名輸入框輸入標準別名是5主題單選選擇數據項所屬的主題主題數據來源于主題標準頁面下拉是6相關標準輸入框輸入相關標準信息是7標準定義輸入框輸入該數據項標準的描述信息是8數據類型單選選擇數據項標準類別包括：比例類、編碼類、標志類、代碼類、金額類、日期類、日期時間類、時間類是9敏感級別單選選擇數據項的敏感級別信息包括：一級（高）、二級（中）、三級（低）、非敏感數據否參考界面維度管理維度管理主要是由管理員根據業務需求對維度的信息進行配置、管理；主要包括維度標準、維度映射管理；維度標準是定義系統業務涉及的維度類型、如層次，性別等；層次為數據層次，可分為貼源層、應用層等，性別定義為F，M等；維度標準為維度映射管理提供數據支撐；維度映射管理根據維度的信息映射到具體的字段值；維度標準功能介紹對系統進行各類維度的設置，方便各類數據的管理和維護。默認展示所有維度標準數據；查詢條件：關鍵字查詢結果：維度類型編碼、維度類型名稱、備注、操作、維度編碼、維度名稱、備注、操作；操作按鈕：發布、停用、新增、批量導入、批量導出、刪除、編輯；詳細說明序號字段頁面類型說明備注顯示規則是否必填1維度類型編碼輸入框填寫維度類型編是2維度類型名稱輸入框填寫維度類型名稱是3備注輸入框填寫備注信息否參考界面維度映射標準功能介紹維度映射，指維度的碼值和各個業務系統的映射對應關系默認展示所有維度映射標準信息；查詢條件：維度類型編碼、查詢結果：；操作按鈕：新增、保存；詳細說明序號字段頁面類型說明備注顯示規則是否必填1所屬數據庫單選選擇需要映射的數據庫頁面下拉是2數據庫用戶單選選擇對應的數據庫用戶根據【所屬數據庫】選擇的數據庫聯動過濾用戶信息是3映射字段值輸入框填寫映射字段值是4映射字段值含義輸入框填寫映射字段值的含義是參考界面元模型標準功能介紹元模型主要是元數據的模型進行規范化構建，實現統一元模型管理；默認展示所有元模型數據信息；查詢條件：對象類型，屬性組、狀態；查詢結果：對象類型、屬性組、屬性類別、屬性名稱、屬性中文名稱、輸入類型、是否為空、是否只讀、序號、說明、屬性狀態、操作；操作按鈕：新增屬性；詳細說明序號字段頁面類型說明備注顯示規則是否必填1對象類型單選選擇對象類型包括：數據庫、數據庫用戶、文件模型、文件模型字段、文件schema、調度、指標、報表、邏輯模型、程序類型、存儲過程、視圖、服務器、程序腳本、物理模型、團隊、主題、數據項標準、字典標準、維度標準、命名標準、邏輯模型字段、物理模型字段、視圖字段、數據服務、主數據頁面下拉是2屬性組單選選擇屬性組信息包括：基本屬性、拓展屬性是3屬性類別單選選擇屬性類別信息包括：所屬信息、資源大普查、基礎信息、擴展信息、數據類別信息、數據安全信息、核心信息、技術相關信息、業務屬性、技術屬性、管理屬性是4屬性名稱輸入框填寫屬性名稱是5屬性中文名輸入框填寫屬性中文名稱是6屬性用途單選選擇屬性用途包括：全部、頁面、導入導出否7依賴條件輸入框填寫依賴條件信息否8順序號輸入框填寫順序號限制純正數否9屬性狀態 單選選擇屬性狀態包括：停用、啟用否10輸入類型單選選擇元模型的輸入類型包括：文本框、復選框、多選下拉框、單選框、文本域、級聯選擇器、下拉框是11屬性要求單選選擇屬性要求包括：可以為空、只讀否12默認值輸入框填寫默認值信息否13提示信息輸入框填寫提示信息否14最小長度輸入框填寫最小長度否15最大長度輸入框填寫最大長度否16說明輸入框填寫說明信息否參考界面目錄管理關聯模塊說明關聯“元數據管理”模塊，通過內部接口的形式將元數據信息給到數據目錄首頁，并以樹狀結構展示；關聯“數據歸集”模塊，通過“手工創建”或“上傳目錄”按鈕生成的數據信息，首先被“數據歸集”到數據湖；關聯“控制臺”模塊，目錄的“發布”與“停用”模塊審批流程需要與控制臺中的“工作流”功能關聯；關聯控制臺模塊下的租戶管理功能，各個機構之間數據獨立，未發布的數據目錄只能本機構查看與操作；關聯“工作臺”模塊，流程審批任務將在工作臺下的我的任務中操作；關聯“數據共享”模塊（后期）。功能介紹本功能用于實現數據目錄的創建、提交、發布、審批、申請使用、停用等功能，主要使用對象為業務人員，即各個機構（部門）。功能入口：用戶登錄成功后在數據目錄首頁進入進行相關功能的操作，審批流程生成的任務將在工作臺—>我的審批功能中進行操作。關鍵流程說明1.數據目錄發布與停用流程：機構人員只能發布或停用權限內的數據目錄機構內人員發起初級審批中級審批高級審批流程結束（流程節點可以自定義）2.數據目錄申請使用流程：一個機構向另外一個機構申請數據目錄的而使用權。A機構發起申請B機構中級審批B機構高級審批流程結束（流程節點可以自定義）詳細說明數據目錄首頁數據描述（1）列表功能序號：數值，整型表名稱：文本，字符來源部門：文本，字符更新頻率：文本，字符字段數量：數值，整型（0或正整數）提交狀態：文本，系統自動判斷共享狀態：文本，字符（2）創建目錄功能以頁簽形式展現1）目錄基礎信息目錄ID：系統規則自動生成，規則參考：目錄名稱的首字母組合_時間戳_6位隨機數，該字段不展示在頁面中，唯一標識目錄名稱：文本框，字符，必填；所屬機構（部門）：下拉選擇，枚舉值可以在系統維度管理中配置，系統自動帶入系統登錄人員所屬的機構（部門），必填所屬主題：下拉框，枚舉值可以在系統維度管理中配置，必填所屬應用：下拉框，枚舉值可以在系統維度管理中配置，必填備注說明：文本框，非必填2）表基礎信息表中文名稱：文本類型，字符，必填；表英文名稱：文本類型，字符，必填；備注說明：文本框，非必填3）表字段信息以列表形式展示與新增字段名稱：文本框，字符，必填字段類型：下拉框，必填，枚舉值可以在系統維度管理中配置，例如：char、varchar、int等字段長度：文本框，數值字段描述：文本框，必填備注說明：文本框，非必填4）表樣例數據以列表形式展示與新增根據表字段信息自動生成樣表表頭，支持行新增錄入樣例數據（3）上傳目錄功能1）下載模板支持EXCEL格式上傳數據數據字段信息同“創建目錄”功能2）上傳目錄2.操作描述(1)列表頁操作創建目錄：指的是手工錄入目錄信息，詳見“目錄創建頁面”操作；上傳目錄：指的是上傳目錄信息，詳見“上傳目錄操作”；提交按鈕：草稿狀態的目錄，才能夠提交，提交后，當前機構內部（部門內部）人員可以看到該數據；發布按鈕：處于提交狀態且未發布與共享狀態的數據才能夠進行發布操作，發布需要走當前機構的內部審批流程，只有發布狀態的數據才能夠被其他機構（部門）看到或申請使用；編輯按鈕：草稿狀態及已提交且未發布與共享狀態的目錄，支持編輯；刪除按鈕：草稿狀態及已提交且未發布與共享狀態的目錄，支持刪除；停用按鈕：處于提交狀態且發布或共享狀態的數據才能夠進行停用操作，停用需要走當前機構的內部審批流程；申請使用按鈕：處于提交狀態且發布狀態的數據才能夠申請使用，需要走申請使用流程。查詢：1.支持模糊查詢；2.支持按歸屬機構、主題、應用查詢申請使用按鈕：處于提交狀態且發布狀態的數據才能夠申請使用，需要走申請使用流程。批量發布按鈕：支持選擇多條數據進行發布；批量停用按鈕：支持選擇多條數據進行停用申請；2）目錄創建頁面操作以頁簽形式展現<1>目錄基礎信息保存按鈕：保存錄入的目錄基礎信息返回按鈕：返回到前級目錄<2>表基礎信息保存按鈕：保存錄入的目錄基礎信息返回按鈕：返回到前級目錄<3>表字段信息以列表形式展示與新增新增按鈕（放在列表外面）：點擊新增按鈕，則列表增加一行可編輯；編輯按鈕（放在列表的操作中）：點擊編輯按鈕，則可以對該行列表信息進行修改；刪除按鈕（放在列表的操作中）：點擊刪除按鈕，則可以刪除該行列表信息。<4>表樣例數據以列表形式展示與新增新增按鈕（放在列表外面）：點擊新增按鈕，則列表增加一行可編輯；編輯按鈕（放在列表的操作中）：點擊編輯按鈕，則可以對該行列表信息進行修改；刪除按鈕（放在列表的操作中）：點擊刪除按鈕，則可以刪除該行列表信息。提交按鈕（放在列表外面）：點擊提交按鈕，則可以在首頁列表中看到新增的目錄信息，只有機構（部門）內部人員可以看到已提交的數據。(2)上傳目錄操作下載模板按鈕：支持模板下載；上傳按鈕：支持上傳；保存按鈕：支持保存，保存后的數據處于草稿狀態；提交按鈕：支持提交，可以在首頁列表中看到新增的目錄信息，只有機構（部門）內部人員可以看到已提交的數據。取消按鈕：點擊返回，則放棄上傳目錄，返回上一級數據目錄詳情頁1.數據描述以頁簽形式展示(1)基礎信息表中文名稱：同表中文名稱，自動獲取表英文名稱：同表英文名稱，自動獲取所屬機構：自動獲取所屬應用：自動獲??；字段數量：系統計算求和收集方式：系統自動判斷：手工錄入（通過創建目錄按鈕）、上傳方式（通過上傳目錄按鈕）、自動采集（通過與元數據管理的對接）提交狀態：系統自動判斷，根據提交按鈕：已提交、未提交是否共享：系統自動判斷，根據發布按鈕：已共享、未共享申請次數：系統自動計算，根據申請使用按鈕判斷。(2)字段信息根據手工錄入、上傳方式或自動采集的字段信息展示(3)樣例數據根據手工錄入、上傳方式或自動采集展示樣例數據，手工錄入、上傳方式或自動采集的樣例數據展示，默認展示前5條樣例數據。2.操作描述申請使用按鈕：處于提交狀態且發布狀態的數據才能夠申請使用，需要走申請使用流程。停用按鈕：支持以發布狀態的數據的停用申請。參考界面數據目錄首頁數據目錄詳情元數據管理元數據管理關聯模塊說明流程說明，元數據管理由管理員對主要是對不同類型的元數據進行規范化管理。如配置物理表元數據、物理視圖元數據等；例如物理表元數據，配置物理表所在的數據庫信息，數據庫用戶信息，物理表的字段信息等；其次，數據支撐詳情如下：標準為元數據提供主題目錄數據支撐；控制臺-系統資源管理的數據庫資源為物理表元數據、物理視圖元數據提供信息支撐；控制臺-服務器資源為文件類元數據提供數據支撐；控制臺-工作流為工作臺-我的待辦，元數據管理中的發布提供審批流程支撐；元數據管理-物理表元數據（已發布部分數據）為數據質量-物理表檢查規則配置提供數據支撐；物理表元數據物理表元數據管理，主要是針對生產過程中的實體物理表進行管理，我們通過標準化管控物理模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；功能介紹默認展示所有物理表元數據列表查詢條件：數據庫、主題、模型名稱、團隊、狀態、周期、數據來源、字段標準；查詢結果：模型名稱、模型中文名、數據庫、主題、層次、、周期、生命周期、來源、狀態、所屬團隊、創建時間、修改時間、操作人、操作；其中，操作包括：版本管理、樣例分析、血緣分析、影響分析；操作按鈕：新增、批量導入、批量導出、批量復制、發布、停用、刪除詳細說明序號字段頁面類型說明備注顯示規則是否必填1數據庫單選根據選擇具體的數據庫顯示數據庫用戶選項來源控制臺中的數據庫配置頁面下拉顯示是2數據庫用戶單選 根據配置的數據庫用戶信息顯示選項來源控制臺中的數據庫配置頁面下拉顯示是3主題單選根據數據標準管理中的主題數據信息顯示選項來源標準化管理中的主題目錄標準頁面下拉顯示是4層次單選配置物理表元數據所在的資源層次包括：貼源層、歷史層、標準明細層、基礎模型層、源系統、應用層頁面下拉顯示否5模型名稱輸入框可手動錄入模型名稱，可根據標準化管理的模型規范自動生成前綴前綴來源標準化管理中的主題目錄標準文本框是6模型中文名輸入框自定義中文名稱是7周期單選選擇物理表的數據周期信息包括：年、月、日、時、分、頁面下拉顯示是8生命周期單選選擇物理表的生命周期包括：一天、一周、30天、永久、自定義頁面下拉顯示是9元數據來源默認為正向錄入是10說明輸入框填寫物理表的的說明描述文本框否11責任人單選根據權限顯示責任人頁面下拉顯示否12資源編碼輸入框文本輸入否13字段中文名輸入框根據命名標準規范輸入文本輸入是14字段英文名輸入框根據命名標準規范輸入文本輸入是15字段類型單選根據字段類型的種類進行顯示選擇包括：BIGINT、BLOB、CHAR、CLOB、DATE、BDCLOB、DECLIMAL、DOUBLE、FLOAT、GRAPHICS、INT、LONGVARCHAR、LONGVAGRAPHICS、NUMERIC、REAL、SMALLINT、TIME、TIMESTAMP、VARCHAR、VAGRAPHICS頁面下拉選擇是16長度輸入框填寫字段的長度信息否17精度輸入框填寫字段的精度信息否18是否為主鍵單選選擇字段室是否為主鍵否19不能為空單選選擇字段是否允許為空否20引用標準單選根據需要主題選擇對應的數據標準；數據選項來源【標準化管理-數據項標準】列表選擇否21默認值輸入框填寫默認值否22描述輸入框填寫字段的描述信息否23字段英文名單選填寫字段英文名數據來源：字段tab的信息頁面下拉選擇否24索引名稱輸入框填寫索引名稱否25唯一索引單選選擇是否為唯一索引否26建模DDL單選【數據庫】選擇oracle顯示否前置條件【數據庫】，指需要采集元數據的數據庫，初始化信息在[控制臺—數據庫資源管理]模塊進行新增授權；【默認主題】在數據標準管理—主題標準管理中維護；【默認層次】在數據標準管理-維度標準中維護；【字段標準】在數據標準管理-數據命名標準中維護；參考界面物理視圖元數據 物視圖元數據管理，主要是針對生產過程中的實體物理視圖進行管理，我們通過標準化管控物理模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體物理視圖；功能介紹默認展示所有物理視圖元數據列表；查詢條件：數據庫、主題、視圖名稱/中文名、團隊、轉態、周期、數據來源；查詢結果：視圖名稱、視圖中文名、數據庫、主題、層次、周期、來源、生命周期、狀態、所屬團隊、創建時間、修改時間、操作人、操作；其中，操作包括版本管理、血緣分析、影響分析；操作按鈕：新增、刪除、停用、發布；詳細說明序號字段頁面類型說明備注顯示規則是否必填1數據庫單選根據選擇具體的數據庫顯示數據庫用戶選項來源控制臺中的數據庫配置頁面下拉顯示是2數據庫用戶單選 根據配置的數據庫用戶信息顯示選項來源控制臺中的數據庫配置頁面下拉顯示是3主題單選根據數據標準管理中的主題數據信息顯示選項來源標準化管理中的主題目錄標準頁面下拉顯示是4層次單選配置物理表元數據所在的資源層次包括：應用層、接口層、主題層頁面下拉顯示否5模型視圖名稱輸入框可手動錄入模型名稱，可根據標準化管理的模型規范自動生成前綴前綴來源標準化管理中的主題目錄標準是6中文名輸入框自定義中文名稱是7周期單選選擇物理表的數據周期信息包括：年、月、日、時、分、頁面下拉顯示是8生命周期單選選擇物理表的生命周期包括：一天、一周、30天、永久、自定義頁面下拉顯示是9元數據來源默認為正向錄入是10說明輸入框填寫物理表的的說明描述否11視圖內容輸入框根據SQL語句輸入進行視圖查詢是12字段中文名輸入框填寫字段中文名是13字段英文名輸入框根據命名標準規范輸入是14字段類型單選根據字段類型的種類進行顯示選擇包括：BIGINT、BLOB、CHAR、CLOB、DATE、BDCLOB、DECLIMAL、DOUBLE、FLOAT、GRAPHICS、INT、LONGVARCHAR、LONGVAGRAPHICS、NUMERIC、REAL、SMALLINT、TIME、TIMESTAMP、VARCHAR、VAGRAPHICS頁面下拉選擇是參考界面文件類元數據 文件類元數據管理，主要是針對生產過程中的文件類元數據進行管理，我們通過標準化管控文件類元數據模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控文件類元數據信息；功能介紹默認展示所有文件類元數據列表；查詢條件：ftp服務器名、狀態、文件名；查詢結果：文件名、ftp服務器、主題、狀態、創建人、創建時間、更新時間，操作；操作按鈕：查詢、新增、刪除、停用、發布；批量導出、批量導入；詳細說明序號字段頁面類型說明備注顯示規則是否必填1報表中文名稱輸入框輸入報表的中文名稱是2主題單選 選擇報表所屬的主題數據來源標準化管理-主題標準頁面下拉顯示是3統計頻率單選輸入報表的統計頻率包括但不限于：日、月、周、年頁面下拉顯示是4計算頻率單選輸入報表的計算頻率包括但不限于：日、月、周、年頁面下拉顯示是5報表類型單選選擇報表的類型包括但不限于：excel文檔、word文檔、df文檔、網頁報告、app報告頁面下拉顯示是6取值時間輸入框輸入報表的取值時間是7生命周期輸入框輸入報表的生命周期否8報表英文名稱輸入框輸入報表的英文名否9報表用途輸入框描述報表的用途否10統計時間單選輸入報表的統計時間否11使用部門輸入框輸入使用部門否12報送部門輸入框輸入報送部門否13填報部門輸入框輸入填報部門否14數據來源輸入框填寫報表數據的數據來源否15續存周期單選填寫報表數據的續存周期否16優先級輸入框填寫報表數據的優先級包括但不限于：高、中、低否17上線時間輸入框填寫報表數據的上線時間時間插件選擇否18需求提出人輸入框填寫需求提出人包括但不限于：對標指標、考核指標、領導關注否19數據提取量單選選擇數據量增減梯度為1否參考界面指標元數據 指標元數據管理，主要是針對生產過程中的指標元數據進行管理，我們通過標準化管控指標模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；功能介紹默認展示所有指標元數據列表；查詢條件：指標類型、指標編碼/名稱、指標相關信息、查詢結果：指標類型、指標編碼、指標名稱、數據類型、指標解釋、歸屬部門、狀態、最后操作時間、操作；操作按鈕：新增、刪除、停用、發布、批量導入；詳細說明序號字段頁面類型說明備注顯示規則是否必填1指標類型單選選擇指標所屬類型頁面下拉顯示否2指標編碼輸入框 根據業務需求標準輸入編碼信息是3指標名稱輸入框輸入指標名稱是4歸屬部門單選選擇指標的歸屬部門數據來源系統配置-部門配置頁面下拉選擇是5指標來源單選選擇指標來源的是6目標值來源單選選擇目標值來源包括：數據值、金額值、比率值頁面下拉顯示否7目標值長度輸入框填寫目標值長度否8目標值精度輸入框填寫目標值精度否9目標值范圍輸入框目標值范圍包含最小值和最大值否10計量單位單選選擇目標值的單位包括：$、千克、克、￥、噸、%頁面下拉否11統計規則類型單選選擇統計規則的類型包括：時間類型、時點類型是12計算公式輸入框輸入就算公式否13一級分類單選選擇指標所屬的一級分類頁面下拉選擇否14二級分類單選選擇指標所屬的二級分類頁面下拉選擇否15三級分類單選選擇指標所屬的三級分類頁面下拉選擇否16四級分類單選選擇指標所屬的四級分類頁面下拉選擇否17時間類型單選選擇指標元數據的時間類型包括但不限于：日、月、周、月、年頁面下拉選擇否18管理屬性單選選擇指標的管理屬性包括但不限于：對標指標、考核指標、領導關注頁面下拉選擇否19使用部門單選選擇使用指標的部門包括但不限于：財務辦、辦公室頁面下拉選擇否20考核單選選指標的考核類型包括但不限于：管理考核、業績考核頁面下拉選擇否21所屬產業單選選擇使用指標的所屬產業包括但不限于：火力、電力、執法、城管頁面下拉選擇否22項目維度單選選擇指標的項目維度包括但不限于：建設期、前期、實施期頁面下拉選擇否23指標粒度單選選擇指標的指標粒度包括但不限于：電廠級、公司級頁面下拉選擇否24指標等級單選選擇指標的等級包括但不限于：一級指標、二級指標頁面下拉選擇否25存儲信息輸入框輸入指標儲存的位置否26指標解釋輸入框說明指標的設置情況否27設置目的輸入框說明指標的原因和用途否28制定依據輸入框制定該指標的依據否參考界面報表元數據 報表元數據管理，主要是針對生產過程中的根據需求輸入的報表元數據進行管理，我們通過標準化管控報表模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；功能介紹默認展示所有報表元數據列表；查詢條件：關鍵字、報表編碼/名稱、報表歸屬部門；查詢結果：報表編碼、報表中文名稱、報表主題、統計頻率、計算頻率、報表類別、報表形式、狀態、主管部門、最后操作時間；操作按鈕：查詢、新增、停用、發布、導入；詳細說明序號字段頁面類型說明備注顯示規則是否必填1報表中文名稱輸入框輸入報表的中文名稱是2主題單選 選擇報表所屬的主題數據來源標準化管理-主題標準頁面下拉顯示是3統計頻率單選輸入報表的統計頻率包括但不限于：日、月、周、年頁面下拉顯示是4計算頻率單選輸入報表的計算頻率包括但不限于：日、月、周、年頁面下拉顯示是5報表類型單選選擇報表的類型包括但不限于：excel文檔、word文檔、df文檔、網頁報告、app報告頁面下拉顯示是6取值時間輸入框輸入報表的取值時間是7生命周期輸入框輸入報表的生命周期否8報表英文名稱輸入框輸入報表的英文名否9報表用途輸入框描述報表的用途否10統計時間單選輸入報表的統計時間否11使用部門輸入框輸入使用部門否12報送部門輸入框輸入報送部門否13填報部門輸入框輸入填報部門否14數據來源輸入框填寫報表數據的數據來源否15續存周期單選填寫報表數據的續存周期否16優先級輸入框填寫報表數據的優先級包括但不限于：高、中、低否17上線時間輸入框填寫報表數據的上線時間時間插件選擇否18需求提出人輸入框填寫需求提出人包括但不限于：對標指標、考核指標、領導關注否19數據提取量單選選擇數據量增減梯度為1否參考界面標準表物理元數據 標準表元數據管理，主要是針對生產過程中的實體標準表進行管理，我們通過標準化管控標準表模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；功能介紹默認展示所有標準表元數據列表查詢條件：主題、模型名稱、中文名稱/模型名稱；查詢結果：模型名稱、模型中文名、主題、層次、周期、狀態、生命類型、創建時間、修改時間、創建人、操作；其中，操作包括：版本管理、模型映射；操作按鈕：新增、批量導入、批量導出、發布、停用、刪除詳細說明序號字段頁面類型說明備注顯示規則是否必填1主題單選根據標準表的定義選擇對應的主題數據來源標準化管理-主題標準頁面下拉顯示是2層次單選配置物理表元數據所在的資源層次包括：貼源層、歷史層、標準明細層、基礎模型層、源系統、應用層頁面下拉顯示否3模型名稱輸入框可手動錄入模型名稱，可根據標準化管理的模型規范自動生成前綴前綴來源標準化管理中的主題目錄標準文本框是4周期單選選擇物理表的數據周期信息包括：年、月、日、時、分、頁面下拉顯示是5生命周期單選選擇物理表的生命周期包括：一天、一周、30天、永久、自定義頁面下拉顯示是6說明輸入框描述標準表的情況否7周期單選填寫物理表的的說明描述包括：年、月、日、時、分、頁面下拉顯示是8元數據來源默認為正向錄入是9說明輸入框文本框否10字段中文名輸入框根據命名標準規范輸入文本輸入是11字段英文名輸入框根據命名標準規范輸入文本輸入是12字段類型單選根據字段類型的種類進行顯示選擇包括：BIGINT、BLOB、CHAR、CLOB、DATE、BDCLOB、DECLIMAL、DOUBLE、FLOAT、GRAPHICS、INT、LONGVARCHAR、LONGVAGRAPHICS、NUMERIC、REAL、SMALLINT、TIME、TIMESTAMP、VARCHAR、VAGRAPHICS頁面下拉選擇是13長度輸入框填寫字段長度信息否14精度輸入框填寫字段精度信息否15引用標準單選根據需要主題選擇對應的數據標準；數據選項來源來自標準管理模塊的字段標準部分數據；列表選擇否16默認值輸入框輸入字段默認值信息否17描述輸入框否參考界面半結構化數據元數據 半結構化元數據管理，主要是針對生產過程中的實體半結構化元數據進行管理，我們通過標準化管控半結構化模型的技術屬性信息、業務屬性信息、管理屬性信息從而全面的掌控實體表；功能介紹默認展示所有半結構化元數據列表查詢條件：數據來源、schema類型、狀態、schema名稱/中文/備注；查詢結果：schema名、schema中文名、schema類型、數據來源、主題、schema內容、狀態、更新時間、創建人、操作；操作按鈕：新增、批量導入、批量導出、發布、停用、刪除詳細說明序號字段頁面類型說明備注顯示規則是否必填1Schema名輸入框填寫schema英文名1-64個字符長度是2Schema中文名輸入框 根據schema中文名1-128個字符長度是3主題單選根據半結構化元數據選擇對應的主題數據來源標準化管理-主題標準是4Schema類型單選選擇schema的類型包括：xsd、jsd單選框顯示是5數據來源單選選擇數據來源頁面下拉選擇是6備注輸入框填寫額外需要表達部分信息頁面下拉顯示否參考界面元數據采集管理通過一次性批量采集元數據進行管理，后期定期對元數據進行采集比對監控。元數據采集查詢采集任務功能說明列表頁，可根據任務名稱查詢采集任務列表信息詳細說明默認展示所有采集任務列表查詢條件：任務名稱、采集類型查詢結果：采集任務名稱、采集元數據類型、創建人、更新日期操作按鈕：手工執行、調度配置、編輯、刪除參考界面創建采集任務功能說明元數據采集用于將數據庫或服務器中的表、文件等基本信息采集到平臺進行管理。詳細說明序號字段頁面類型說明備注顯示規則是否必填1采集類型單選根據采集類型的選擇顯示不同的輸入內容選項包含：數據庫、kettle、HDFS、PDM、nosql、DDL解析頁面直接顯示是2采集任務名輸入框頁面直接顯示是3數據庫單選數據庫單選，數據庫下的表可多選【采集類型】選擇數據庫\pdm時顯示是4采集范圍-采集元數據多選選項包含：表、索引、視圖、存儲過程【采集類型】選擇數據庫\ddl解析時顯示是5采集范圍-采集元數據范圍單選選項包含：所有、自定義、指定、排除【采集類型】選擇數據庫時顯示是6采集過濾類型單選選項包含：并集、交集【采集范圍-采集元數據范圍】選擇自定義時顯示是7過濾條件1下拉框選項包含：相等、不相等、包含、不包含、開始以、結束以【采集范圍-采集元數據范圍】選擇自定義時顯示是8過濾條件1-過濾名稱輸入框【采集范圍-采集元數據范圍】選擇自定義時顯示是9采集schema范圍單選選項：當前、所有、指定、排除【采集類型】選擇數據庫時顯示10元數據歸屬數據庫單選選項：采集用戶、schema用戶【采集schema范圍】選擇“所有”時顯示11采集相關操作-默認主題單選選項來源于數據標準管理中的主題管理【采集范圍-采集元數據范圍】選擇自定義時顯示12采集相關操作-默認層次單選【采集范圍-采集元數據范圍】選擇自定義時顯示13字段中文名來源單選選項：comment、根據字典標準生成【采集類型】選擇數據庫時顯示14后續操作多選選項：元數據比對、元數據合并、血緣分析【采集類型】選擇數據庫時顯示15數據源類型單選選項：文件系統、數據庫【采集類型】選擇kettle時顯示是16采集項多選選項：交換任務（ktr）、作業任務（kjb）【采集類型】選擇kettle時顯示是17服務器操作列表單選控制中心-系統資源管理-服務器管理配置的內容【采集類型】選擇kettle\pdm時顯示是18采集文件夾路徑輸入框【采集類型】選擇kettle時顯示是19Hdfs服務器單選控制中心-系統資源管理-服務器管理配置的內容【采集類型】選擇hdfs時顯示是20后續操作單選選項：合并到文件元數據中【采集類型】選擇hdfs時顯示是21數據庫用戶單選【采集類型】選擇pdm時顯示是22pdm文件路徑輸入框【采集類型】選擇pdm時顯示是23本地存放路徑輸入框【采集類型】選擇pdm時顯示是24備注輸入框【采集類型】選擇pdm時顯示25用戶列表下拉框【采集類型】選擇nosql時顯示是26負載均衡調度算法單選選項：輪循、隨機、一致性哈希、最近最少使用、最不經常使用、第一個、最后一個【采集類型】選擇nosql時顯示27采集索引過濾條件單選選項：所有、自定義【采集類型】選擇nosql時顯示28過濾條件1下拉框選項包含：相等、不相等、包含、不包含、開始以、結束以【采集索引過濾條件】選擇自定義時顯示是29過濾條件1-過濾名稱輸入框【采集索引過濾條件】選擇自定義時顯示是30采集相關操作-默認主題單選選項來源于數據標準管理中的主題管理【采集類型】選擇nosql時顯示31目標數據庫下拉框【采集類型】選擇ddl解析時顯示是32目標數據庫用戶下拉框【采集類型】選擇ddl解析時顯示是33DDL文件來源單選選項：本地環境、文件服務器【采集類型】選擇ddl解析時顯示是34讀取文件編碼下拉框【采集類型】選擇ddl解析時顯示是35采集DDL文件夾路徑輸入框【采集類型】選擇ddl解析時顯示是36DDL文件所在服務器下拉框【DDL文件來源】選擇文件服務器時顯示是37讀取文件編碼下拉框【DDL文件來源】選擇文件服務器時顯示是說明：數據庫采集【采集元數據范圍】選擇“制定”、“排除”時，顯示上傳文件的按鈕，按鈕名稱“上傳采集過濾清單”，文檔模板為數據庫、數據庫用戶為下拉列表，有聯動的關系。數據庫字段的值為目前用戶權限可看到的數據庫數據庫用戶字段的值為數據庫對應的用戶列表參考界面元數據-元數據采集管理-元數據采集-采集任務配置界面：“上傳采集過濾清單”界面：關聯模塊說明數據庫采集【數據庫】，指需要采集元數據的數據庫，初始化信息在[控制中心—數據庫資源管理]模塊進行新增授權；【默認主題】在數據標準管理—主題標準管理中維護；【默認層次】在數據標準管理-維度標準中維護；【采集項】需要采集的元數據種類，包括，包元數據、視圖元數據、存儲過程元數據。不同的采集項需要被采集數據庫的相應的查詢權限；【采集schema】：指定當前用戶schema或者選擇性采集指定schema；采集其他schema也需要相應的查詢權限；【字段中文名來源】：生成元數據字段的中文名稱，直接通過物理表comment生成元數據中文名稱，通過[數據標準管理—字典標準]匹配生成元數據字段中文名稱；kettle【服務器操作列表】：通過[控制中心—服務器資源]管理模塊，進行kettle文件服務器進行注冊；hdfs【服務器操作列表】：通過[控制中心—服務器資源]管理模塊，進行hdfs服務器進行注冊；DDL文件采集【DDL文件來源】：DDL文件的存儲位置，如果是異地服務器，需要在[控制中心—服務器資源]管理模塊進行注冊授權流程說明手工執行功能說明采集任務配置完成之后，用戶手動觸發采集任詳細說明點擊【手工執行】按鈕后，進行元數據的采集，并顯示采集日志等信息點擊查看詳情按鈕后，跳轉至采集日志頁面參考界面點擊執行后顯示頁面：關聯模塊說明采集任務執行前，請確保元數據采集服務在服務器上已經部署啟動成功，并且部署的采集任務IP/PORT信息在[控制中心—系統參數管理]模塊進行正確配置調度配置功能說明用戶通過配置調度任務，定期自動執行采集任務詳細說明點擊調度配置，彈出調度配置頁面序號字段頁面類型說明備注顯示規則是否必填1執行周期單選選項包含：小時、日、月無是2每小時單選否3每日單選4每月單選5指定多選根據執行周期，執行周期=小時，則選項為0到236Cron表達式輸入參考界面關聯模塊說明調度接口的配置，需要在[控制中心—系統參數管理]模塊進行配置編輯可編輯修改調度任務配置信息，點擊編輯可修改調度配置信息刪除可刪除調度任務配置信息，點擊刪除二次確認是否刪除，選擇是，進行邏輯刪除元數據采集日志主要便于用戶查看元數據采集任務執行情況，以及執行任務統計信息等列表查詢功能說明列表頁，可根據任務類型、任務名稱查詢采集任務列表信息詳細說明默認展示所有采集任務進度：總任務數、正在執行數、執行成功數、執行失敗數查詢條件：任務類型、任務名稱查詢結果：任務類型、任務名稱、開始執行時間、執行結束時間、執行時長、狀態操作按鈕：執行日志、采集內容、比對詳情參考界面執行日志功能說明點擊“執行日志”，顯示執行的日志信息參考界面采集內容功能說明采集類型是數據庫時：點擊采集內容，展示采集的物理模型、存儲過程、視圖信息、異常信息詳細說明采集類型是數據庫時：物理模型：實體表名稱、schema、數據總量、采集時間存儲過程：存儲過程名稱、schema、類型、參數、采集時間視圖：視圖名稱、schema、采集時間異常信息：展示異常信息參考界面采集類型是數據庫時：物理模型：存儲過程：視圖：采集失敗時：采集內容-詳細信息功能說明采集內容列表頁面中，鼠標點擊采集的信息，展示詳細信息詳細說明采集類型是數據庫時：詳細信息展示采集的模型、存儲過程、視圖的詳細信息物理模型的詳細信息：字段名、字段comment、類型、長度、不能為空、精度、主鍵、分區鍵存儲過程的詳細信息：待補充視圖的詳細信息：待補充參考界面物理模型-詳細信息：比對詳情功能說明比對當次采集任務所采集的元數據信息與目前管理登記元數據的信息變更情況列表頁，點擊比對詳情，展示比對的信息：數據庫模型變動情況：新增、修改、刪除數量詳細說明可根據數據庫、表名進行查詢物理模型比對信息：表名、變更類型、不一致數、比對類型、數據庫存儲過程比對信息：表名、變更類型、類型、不一致數、比對類型、數據庫參考界面比對詳情-詳細信息功能說明列表頁，比對的信息，展示比對的詳細信息詳細說明采集類型是數據庫時：詳細信息展示采集的模型、存儲過程、視圖的詳細信息物理模型的詳細信息：字段名、字段comment、類型、長度、不能為空、精度、主鍵、分區鍵參考界面元數據分析元數據看板功能說明可根據主題、數據庫、服務器、團隊等視角進行統計信息的分類查詢詳細說明展示整體元數據包括：主題、數據庫、服務器、團隊、物理模型、程序腳本、物理字段、視圖、業務標準、邏輯模型、指標、字典標準、邏輯字段、程序、維度標準、文件、存儲過程、數據服務等匯總數量信息參考界面按主題匯總：按數據庫匯總：按服務器匯總：按團隊匯總：數據關系分析功能說明根據指定的篩選規則進行篩選查看相關數據的關系信息，在此模塊可查詢數據間的關系，供用戶查詢了解數據間的血緣和影響關系詳細說明查詢條件：【查詢類別】下拉框，選項：物理表、程序、表字段、文件、文件字段、指標、報表、視圖【節點關系類型】下拉框，選項：起點、終點、所有【數據庫】下拉框，選項：數據庫名稱列表【過濾規則】下拉框，選項：等于、包含、不等于、不包含，文本輸入框按鈕：執行規則，點擊執行規則后進行查詢查詢結果：數據庫類型、數據庫名稱、表名、表中文名參考界面數據關系維護數據關系維護模塊主要用于數據關系的手動關聯，正常情況下數據關系通過元數據采集自動解析形成，但是由于某些特殊原因導致自動解析的關系不完整或不準確，就需要進行手工的數據關系維護查詢功能介紹展示維護的數據關系信息，支持編輯與刪除功能詳細說明查詢條件源類型，下拉框（物理表、文件、指標、報表、視圖）源對象，下拉框（根據選擇的源對象，展示對應的對象）目標類型，下拉框（物理表、文件、指標、報表、視圖）目標對象，下拉框（根據選擇的目標對象，展示對應的對象）查詢結果解析對象、源對象、源名稱、目標類型、目標名稱操作按鈕編輯，點擊編輯進入編輯頁面支持，修改保存刪除，點擊刪除進行二次確認，確認后進行邏輯刪除頁面按鈕查詢，點擊后根據頁面的選擇的查詢條件進行查詢新建，點擊新建，進入新建頁面批量導入，點擊批量導入，支持模板下載與文件上傳參考界面新建功能介紹支持數據關系的新增維護詳細說明a) 源類型，下拉框（物理表、文件、指標、報表、視圖）b) 源對象，下拉框（根據選擇的源對象，展示對應的對象）c) 目標類型，下拉框（物理表、文件、指標、報表、視圖）d) 目標對象，下拉框（根據選擇的目標對象，展示對應的對象）點擊保存后進入模型設計頁面參考界面模型設計功能介紹動態從源端指定字段連線到目標端詳細說明展示源對象、目標對象的字段信息，支持頁面的拖拽，使其產生關聯關系。點擊【保存關系】按鈕后，提示保存的狀態，回到列表頁。參考界面批量導入功能介紹支持批量導入數據關系詳細說明點擊批量導入，可進行模板下載及批量上傳。根據導入的表格進行解析【模板下載】Sheet1：字段*源數據庫*源數據庫用戶*源表*源字段*目標庫*目標數據庫用戶*目標表*目標字段Sheet2：指標*指標編碼*指標類型關聯指標源數據庫源數據庫用戶源表名源字段Sheet3：報表指標關系*報表編碼指標編碼參考界面修改功能介紹對數據關系進行修改詳細說明點擊修改，進入模型設計的修改頁面數據節點關系創建后，只能修改關系內的連線關聯信息，不能修改節點基本信息（源末端類型選擇），如果節點基本信息類型錯誤，只能通過刪除該節點關系后重新創建參考界面修改功能介紹支持數據關系的刪除詳細說明點擊刪除按鈕，頁面二次確認“確認是否刪除此項數據關系”，選擇是，系統進行邏輯刪除參考界面數據歸集數據全量歸集功能介紹提供復雜網絡環境下、豐富的異構主流關系型數據庫之間高速穩定的全量數據的移動及同步能力。默認顯示全量歸集的所有歸集任務；查詢條件：表名、歸集任務名；查詢結果：歸集任務名、歸集表名、目標庫、目標表名、創建時間、狀態、操作；功能按鈕：新增歸集、查看、修改、刪除、下線、發布；詳細說明用戶通過新增歸集來增加數據歸集任務；序號字段頁面類型說明備注顯示規則是否必填1歸集任務名文本框填寫歸集任務名是2源庫下拉框選擇要歸集數據所屬的數據庫是3源表控件根據輸入內容過濾數據庫中的表，供用戶下拉選擇是4字段選擇單選關聯該表的元數據字段信息，供選擇為空則為全部字段否5目標庫下拉框選擇要歸集數據所屬的數據庫是6目標表控件文本輸入加上可模糊匹配是7自動建表勾選框不存在時自動創建表選項，默認為自動創建否8導入前清空數據控件是、否按鈕形狀供二選一選中按鈕顏色加深，默認為否是7取消按鈕關閉新增或修改窗口，放棄修改否8下一步按鈕進入下一步歸集調度任務配置否進入下一步歸集調度任務配置，需要填寫的內容如下：序號字段頁面類型說明備注顯示規則是否必填1運行周期單選框年、月、日、時、分是2執行時間控件執行時間配置控件，與運行周期進行聯動，例如當運行周期為日時，用戶可以按每日、周期、指定三種方式配置，詳情查看運維監控中的調度管理章節；否3執行次數單選僅執行一次、周期性執行，默認周期性執行4失敗重做次數控件計數器控件是5取消按鈕關閉新增或修改窗口，放棄修改否6保存按鈕保存當前歸集配置否參考界面無數據增量歸集功能介紹提供復雜網絡環境下、豐富的異構主流關系型數據庫之間高速穩定的數據增量的移動及同步能力。默認顯示增量歸集的所有歸集任務；查詢條件：表名、歸集任務名；查詢結果：歸集任務名、歸集表名、目標庫、目標表名、創建時間、狀態、操作；功能按鈕：新增歸集、查看、修改、刪除、下線、發布；詳細說明用戶通過新增歸集來增加數據歸集任務；序號字段頁面類型說明備注顯示規則是否必填1歸集任務名文本框填寫歸集任務名是2源庫下拉框選擇要歸集數據所屬的數據庫是3源表控件根據輸入內容過濾數據庫中的表，供用戶下拉選擇是4字段選擇單選關聯該表的元數據字段信息，供選擇為空則為全部字段是5時間戳下拉框從選擇的字段中選擇用于標識增量數據的時間戳字段是6時間條件文本框填寫查詢增量數據時，增量數據的時間起始值例如：${dateformat(yyyy-MM-ddHH:mm:ss,-1,DAY)}以yyyy-MM-ddHH:mm:ss格式返回時間，時間為當前時間的前一天。7目標庫下拉框選擇要歸集數據所屬的數據庫是8目標表控件文本輸入加上可模糊匹配是9自動建表勾選框不存在時自動創建表選項，默認為自動創建否10導入前清空數據控件是、否按鈕形狀供二選一選中按鈕顏色加深，默認為否是11取消按鈕關閉新增或修改窗口，放棄修改否12下一步按鈕進入下一步歸集調度任務配置否進入下一步歸集調度任務配置，需要填寫的內容如下：序號字段頁面類型說明備注顯示規則是否必填1運行周期單選框年、月、日、時、分是2執行時間控件執行時間配置控件，與運行周期進行聯動，例如當運行周期為日時，用戶可以按每日、周期、指定三種方式配置，詳情查看運維監控中的調度管理章節；否3執行次數單選僅執行一次、周期性執行，默認周期性執行4失敗重做次數控件計數器控件是5取消按鈕關閉新增或修改窗口，放棄修改否6保存按鈕保存當前歸集配置否參考界面無數據開發關聯模塊說明本模塊的主要使用對象是治理團隊和大數據中心管理部門，由治理團隊進行規則的和檢查任務的設定，由管理部門依據質量報告和質量評估提出質量整改要求。數據質量管理過程中根據檢查邏輯會引用到數據源資源、物理表元數據、維度字典等基礎配置數據，并為質量任務監控、數據資產視圖提供數據原料，如下圖所示：數據探索數據查詢查詢功能介紹用戶需要確定數據庫的數據時，可在此頁面將對數據庫的數據進行查詢，或將數據庫數據導出為excel詳細說明頁面左側選擇操作賬號權限可見的數據資源后，顯示數據庫對應的表信息頁面右側，可輸入sql語句，并可根據輸入的語句自動識別SQL輸入框顯示行號參考界面選擇數據資源后，顯示數據庫表信息：輸入sql語句，并可根據輸入的語句自動識別：查詢報錯時，紅色字體顯示錯誤信息執行點擊執行按鈕，執行選中的sql腳本，不選中則執行第一條查詢結果Sql語句執行成功后，根據sql語句顯示結果：表數據左側選擇相應的表之后，表數據顯示表數據信息，包括字段以及數據內容表結構左側選擇相應的表之后，表數據顯示表結構信息最近查詢顯示當前賬號下，最近查詢的語句信息，包含查詢時間、sql語句、備注、操作備注是語句執行的狀態操作欄，可對語句進行復制，點擊復制后，提示“復制成功，使用CTRL+V粘貼”導出點擊導出，可將查詢結果導出為Excel格式的文件，點擊后提示“確定要將查詢結果作為excel文件導出嗎？”選擇是，導出文件。導出的文件名默認為“查詢結果導出”執行詳細信息點擊執行詳細信息，展示執行的耗時、語句等詳情信息格式化sql語句點擊可格式化sql語句，調整sql格式，分行顯示簡化sql語句點擊可壓縮sql腳本為一行導出sql語句點擊導出，直接導出sql語句，格式為TXT，文件名稱默認“數據查詢sql導出+年月日時分”更多設置點擊更多設置，可設置執行SQL查詢返回結果限制，最大為1000條，最小100條。并提示其他按鈕的解釋信息：control+s:保留sql腳本到瀏覽器(刷新頁面不消失)執行按鈕圖標，執行選中的sql腳本，不選中則執行第一條格式化sql按鈕圖標：格式化sql腳本壓縮sql按鈕圖標：壓縮sql腳本為一行導出sql語句按鈕：另存為sql腳本，保存到本地HDFS查詢功能介紹hdfs服務器查詢詳細說明查詢條件：序號字段頁面類型說明備注是否必填1HDFS服務器下拉框列表hdfs服務器列表控制臺中維護服務器信息是2HDFS路徑文本輸入框根據選擇自動入參，也可手動輸入是查詢結果：文件名、用戶、用戶組、權限、大小、副本數、文件塊大小、更新時間操作：文件名支持點擊后到下一路徑參考界面腳本開發新建目錄根目錄默認為“腳本開發”，點擊+可新建子目錄，輸入目錄名稱，點擊保存即可新建腳本功能介紹新建腳本，包含存儲過程、標準sql、hivesql、sparksql、shell詳細說明點擊新建按鈕，選擇腳本類型，進入新建基礎信息頁面腳本類型支持：存儲過程、標準sql、hivesql、sparksql、shell選擇腳本類型后，進入腳本基礎信息錄入頁面序號字段頁面類型說明備注是否必填1腳本類型下拉框列表存儲過程、標準sql、hivesql、sparksql、shell是2腳本名稱文本輸入框是3數據庫下拉框列表展示有權限的數據庫腳本類型選擇“shell”時，不顯示該字段是4數據庫用戶下拉框列表根據數據庫，顯示數據庫下對應的用戶腳本類型選擇“shell”時，不顯示該字段是5腳本目錄下拉級聯選擇根據目錄級聯列表展示，選擇后，生成路徑是6備注文本輸入框7Spark節點下拉框列表節點服務器選擇腳本類型選擇“SparkSql”、“shell”時顯示該字段，其他情況不展示該字段是參考界面點擊新建頁面：腳本基礎信息錄入頁面腳本基礎信息錄入頁面（SparkSql）腳本基礎信息錄入頁面（shell）編輯目錄選擇目錄，點擊編輯，可修改目錄名稱編輯腳本選擇腳本，點擊編輯，進入腳本編輯頁面：腳本基礎信息中，只可修改腳本名稱、目錄、備注信息刪除目錄選擇目錄，點擊刪除，提示“此操作將永久刪除,是否繼續?”，選擇是，刪除成功刪除腳本選擇腳本，點擊刪除，提示“此操作將永久刪除,是否繼續?”，選擇是，刪除成功保存保存當前腳本運行運行當前腳本導出導出當前腳本美化SQL格式化sql版本管理腳本在經過每次的變更后都會形成變更管理記錄；用戶可以用過版本管理進行版本變更信息查看，并且可通過對不同版本的比對，發現腳本變化情況數據處理開發程序列表功能介紹根據程序類型展示所有的程序列表詳細說明左側點擊程序，展示程序視圖信息，右側顯示程序修改頁面參考界面新建程序功能介紹提供數據處理程序的開發，可以根據現有的元模型和需求，通過此模塊自己開發程序詳細說明點擊新建程序，新增程序描述信息，輸入字段信息：序號字段頁面類型說明備注是否必填1程序名文本輸入框程序名僅支持字母、數字、下劃線、及短橫線，需要以字母開頭且不超過64位根據說明的內容校驗輸入格式是2中文名文本輸入框中文名不為空且不超過120字符根據說明的內容校驗輸入格式是3程序類型單選批處理程序、實時程序禁用，自動根據【目錄】的選擇識別是4目錄下拉框列表是5備注文本輸入框否輸入基礎信息后，點擊保存，進入程序編輯頁面：根據組件進行程序編排，開發組件及輸入信息具體見【組件列表】章節支持撤銷功能，點擊撤銷，撤銷上一步操作信息支持刪除功能，選中組件，可進行刪除，如不選中組件，則無法刪除支持調度功能，點擊調度，進入調度配置頁面，具體見【調度配置】章節支持測試功能，點擊測試，程序運行測試，具體見【測試】章節支持版本查詢比對等，點擊版本，進入版本管理頁面，具體見【測試】賬號支持導入功能，點擊導入，進入代碼編輯頁面，具體見【導入】導入章節點擊保存，程序保存點擊全屏，左側菜單欄隱藏，按鈕變成小屏，點擊小屏，顯示左側菜單欄點擊定位，將當前屏幕定位到畫布中央參考界面基礎信息新增：按鈕及組件列表：批處理程度組件列表常用組件將常用的組件優先顯示，常用的組件有：刪除一張表、SQL語句、變量賦值、變量比較、打印消息、創建表。表對象操作Hbase建表功能說明"Hbase建表”插件用于在Hbase數據庫中創建數據庫表，需要注意的是在創建表的時候需要配置定義數據表“物理模型”詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3物理模型文本輸入框搜索選擇是4Hbase表名文本輸入框是5是否覆蓋下拉框是、否是參考界面點擊幫助：字段計算功能說明"字段計算"插件用于計算字段的最大值、最小值、平均值、求和等詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3導入表文本輸入框搜索選擇是4實體表名文本輸入框是5計算方法下拉框最大值、最小值、平均值、求和是6變量名文本輸入框是參考界面點擊幫助：刪除一張表功能說明“刪除一張表”插件用于在程序運行中刪除一張指定表詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3表名文本輸入框是數據庫參數表示要刪除表的數據庫歸屬，表名為需要刪除的表名稱，注意不能配置多張表刪除，參考界面runstats表功能說明runstatus”插件用于優化DB2數據庫表。詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3表名文本輸入框是參考界面創建表功能說明創建表”插件用于在指定數據庫中創建數據庫表，需要注意的是在創建表的時候需要配置定義數據表“元模型”。需要支持”mysql,oracle,sybasease,hive、db2數據庫操作步驟：元數據-物理表元數據詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3物理模型文本輸入框搜索選擇是4Hbase表名文本輸入框是5是否覆蓋下拉框是、否是參考界面數據操作SQL語句功能說明“SQL語句”插件為最常用的數據處理插件之一，主要用于執行指定數據庫的SQL語句，目前插件支持除SELECT外的SQL語句，可以執行多條SQL語句，語句之間用“;”號隔開詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3Sql腳本文本輸入框是參考界面無事務記錄sql執行功能說明“無事務記錄SQL執行”用于執行一段SQL語句，保障整段語句成功執行，若遇到某一條語句執行失敗則事務回滾，否則提交事務。詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2數據庫下拉框數據庫選擇是3Sql腳本文本輸入框是參考界面變量&邏輯變量賦值功能說明“變量賦值”插件主要用于在實現程序邏輯過程中，存放需要使用到的變量信息，以便于整個程序流程中使用它。常用的變量賦值方式有：普通常量對象賦值、JSON對象賦值、SQL對象賦值、SQLList對象賦值、文件對象賦值。詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2變量類型下拉框常量、JSON對象、SQL對象、SQLList記錄集、文件對象是3變量聲明文本輸入框是4數據源下拉框【變量類型】為SQL對象或者SQLList記錄集時顯示該字段是變量類型說明變量類型變量調用備注常量對象添加常量作為全局變量a="abc"${a}常量的值必須用''包裹起來，變量名不能帶有”-”JSON對象添加JSON對象或JSON數組對象作為全局變量user={"id":1,"username":"zhangsan","age":24}${user.username}users=[{"id":1,"username":"zhangsan","age":24},{"id":2,"username":"lisi","age":25}]${users[0].username}長度{users?size}SQL對象查詢數據庫，把唯一一條記錄結果集作為全局變量ainselectbfromtable${a.b}使用SQL對象和SQLList對象時，引用時的字段名需要小寫，并且值不能為空SQLLIST對象查詢數據庫，把結果集作為全局變量ainselectbfromtable${a[0].b}，i是循環體所申明的變量文件對象打開個文件，把文件內容作為全局變量fileopenfile:///home/hadoop/test/xxx.log${file[i]}，i是循環體所申明的變量參考界面變量比較功能說明“變量比較”插件用于處理程序邏輯判斷，實現程序不同路徑選擇。對程序條件進行判斷后選擇執行不同的程序分支。在使用變量比較插件的時候，需要預先定義程序的分支條數，然后連接“變量比較”插件和相關分支插件才能雙擊進行條件編輯，不能直接拖動“變量比較”插件，而不設置需要連接的下一步程序分支，否則插件不能進行編輯操作。注意：“變量比較”插件之后不能再接“變量比較”插件，需要添加中途節點插件。詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是參考界面VFS文件操作文件掃描功能說明“文件掃描”插件主要用于在文件系統上進行文件掃描，發現文件詳細說明序號字段頁面類型說明備注是否必填1名稱文本輸入框默認為組件序號和組件名稱，可進行修改是2vfs服務器下拉框服務器選擇是3掃描目錄文本輸入框是4文件匹配正則文本輸入框是5是否深度掃描單選是、否是6掃描幾天之內(當前文件夾)數字輸入框是否深度掃描為“是”顯示該字段是參考界面文件刪