第5章電子政務資源的加工與使用5.1概述政務信息資源（GovernmentInformation）是指政務部門為履行管理國家行政事務和社會公共事務的職責而采集、加工、使用的信息資源，政務部門在業務過程中產生和生成的信息資源，由政務部門投資建設的信息資源以及由政務部門采集、管理和使用的信息資源。5.2數據、信息與知識

5.2.1政務系統中的資源形態電子政務系統設計者在需求分析時會碰到兩個問題，一是如何區分政務系統中的數據、信息和知識，二是弄清三者間的關系及政務應用所需的管理工具和特點等。在大數據、虛擬現實、人工智能與深度學習等新技術支持下，高層決策者會得到一些全新的知識視角和一些領域的知識圖譜的呈現。5.2.2數據、信息與知識模型1）政務信息資源概念模型數據、信息與知識三者的內涵不同，但又彼此銜接且在一定條件下可互相轉化，如圖５-1所示。圖5-1數據、信息與知識基本模型圖5-1表明數據、信息與知識之間并無絕對區別，而是一個彼此間可互相轉化，周而復始的循環升級過程，這符合人類認識論的過程特性。即模型中的知識通過編碼、存儲后可再產生新的數據、再通過加工生成新的信息、新信息再提升為更高階的知識。2）政務信息資源的實際模型圖5-2顯示了實際的政務信息資源模型，它是大量復雜資源體的混合物，它們在不同機構、不同系統與不同應用中呈雜亂關聯狀態。該模式反映了實際政務資源的幾大特點：資源多源性資源海量性渠道廣泛性資源相關性資源多態性圖5-2多源、多態、多層面的電子政務資源聚集體示意針對圖5-2描述的政務資源，加之其多以非結構化形態存在，就使傳統數據處理技術越來越難于支持日益擴展的電子政務應用的需求。主要體現在三個方面：（1）傳統技術的限制（2）多形態、跨系統間的資源無法建立關聯（3）缺乏成熟的服務模型，無法為各級用戶提供個性化信息支持所以，解決上述問題應采用新技術支持的資源加工平臺。3）理想的政務資源模型及實現途徑

理想的政務資源架構模型如圖5-3所示，它要求在一個平臺上，實現各領域、各層面、各種來源、各類形態的資源的有序集聚與整合。圖5-3理想的政務資源平臺示意圖5-3模型通過一個“智能數據操作層”來實現不同領域、不同機構中數據、信息與知識的有序集聚、標準化處理與整合，實現以下要求。電子政務系統對結構化與非結構化資源都是適用的。電子政務系統應支持多渠道、多來源資源的處理。電子政務系統中各資源體，代表不同信源、不同知識領域。電子政務系統支持數據、信息與知識的標準化處理與整合。電子政務系統整合的結果將生成新知識。電子政務系統應能被方便地集成到各類政務應用系統中。電子政務系統應能支持一系列的信息加工與服務功能。5.3電子政務基礎數據資源與標準化實現圖5-3的政務資源模式，關鍵是對三類資源的標準化處理。如對不同系統的數據如空間、人口、法人、經濟、交通、社會等領域的數據集成，要從底層實施數據標準化，提升其可用性、可再加工性與共享性。政務數據資源標準化的主要內容為：基礎層面上有各領域政務術語/概念的標準化，數據元素標準化，元數據及其組成的標準化等；處理層面有數據加工模式、規則與質量要求的標準化等；應用層面上則有附加資源（如標識與描述數據）、組合與關聯資源等的標準化等。5.3.1政務術語/概念標準化1）政務術語/概念庫基礎術語和概念的標準化是指如人口、空間、機構實體、經濟、社會等各類政務應用均需要數據的標準化，涉及對象概念定義、描述方法和工具的規范化開發與管理，具體為：術語概念標準化術語描述標準化術語庫管理標準化5.3.2基礎數據標準化

在政務信息資源中位于更底層，更基礎的數據的一些特殊數據，主要為元數據、數據元素、代碼等，這些數據的標準化將對政務信息資源的整體質量、可用性、可共享性等都起到重要作用。有關內容參見第8章。5.3.3基于概念的資源描述1）DublinCore實例簡介

非結構化文檔一般以文本文檔為代表，其描述有一些國際公認的模型，如著名的DublinCore（都柏林核心數據集）就是代表性的文檔描述規范，用于管理文檔類資源，它由以下15種元數據組成：標題名稱（Title）主題詞和關鍵詞（Subject）資源描述（Description）資源類型（ResourceType）來源（Source）與其他資源的關系（Relation）覆蓋范圍（Coverage）作者或創建者（Creator）資源的發布者（Publisher）對資源有貢獻的其他人員（Contributors）版權管理（Rights）日期（Date）資源格式（Format）語言（Language）資源標識（Identifier）顯然，這一描述模型的優缺點都是十分明顯。優點是通過上述元數標注后，所有文檔資源都變得比較規范，非結構化的資源變為半結構化的資源，可用數據庫管理系統方便地進行管理。缺點是：首先；每篇文檔如加上這15個數據項的話，只能通過人工標注，對于行政機構或信息中心而言，面對海量資源加工是極不現實的。其次，這些數據項用于描述文章內容的只有1~7項，反映其論述內容的只有前3項，且通常情況下，一篇文獻所用的主題詞或關鍵詞只有3~5個，無法從更細致的角度去描述其內涵；第三，該架構無法支持在自動能力處理環境下的規模化資源加工與增值。2）政務領域的對象描述需求都柏林核心元數據集仍是一個“文檔級”的輪廓性描述架構，不是針對文檔中“概念級”的資源精細描述，故“顆粒度”較粗，對于現實圖5-3理想狀態的知識管理尚不完善，其他元數據集也有類似問題。原因是，許多元數據集都來源于圖書館管理的需求，最初對圖書的描述也只限于對其外部特征的描述，而對內容的說明則一般限制在數個關鍵詞內，附加內容摘要就可。這種管理的目的，并不是要讓讀者通過了解全文包含的主題詞集合來了解書籍內容，而只是為讀者們提供對書籍的選擇，再引導他們去閱讀圖書。電子政務領域往往需要對資源對象“細顆粒”度的內容描述，一些專家采用本體來進行描述。但本體也有一定的問題，一是許多純粹的本體是極其嚴格與內容龐大的，實際系統在應用時還要再進行一些剪裁；二是本體仍需和目錄體系結合，才能構建某個領域的知識體系；三是本體在應用中，仍需和諸如柏林核心元數據集等相結合，才能在對象的宏觀與微觀層面描述上發揮作用。使計算機系統既能在圖書、文本層面上加工資源，又能從概念層面上理解文件的內容范疇，這些就需要新的算法與技術。5.4語義計算5.4.1基于自然語言的資源處理技術電子政務在面對自然語言的海量信息、提升其價值方面正面臨著日益嚴峻的挑戰。計算機并不“理解”其所記錄與傳輸的文檔內容，特別是當它們都是自然語言表示的信息時。如果計算機能在某種程度上“理解”自然語言，就會使資源加工的質量與使用的便捷性方面大大提高。近年來，在語義計算領域出現的突破性進展，該技術使計算機能在統計意義上理解多種信息片段之間存在的關聯，并通過復雜計算、自動實時的分析來使非結構化資源在知識層面上增值，由此給許多應用帶來真正的業務價值。5.4.2漢語分詞與專業語料庫要使計算機“理解”并處理文本，分詞是第一個環節。與拼音文字相比，漢語在分詞處理上還存在著特殊困難，拼音文字可用各詞匯間的空白實現自然分詞，各類短語間的搭配也比較容易判斷處理，而現代漢語除有標點符號分割外，其方塊字首尾相連，故分詞的難度比英語等拼音文字難得多。在分詞庫方面，國內已有一些公司提供了比較成功與實用的解決方案，但各專用領域的語料庫還比較匱乏。而建立各領域的本體就是很好的解決方案，本體中的用代詞、屬分詞、相關詞等都是具體的語料。5.4.4語義計算的應用語義計算機是當前計算機技術、人工智能技術等領域的研究前沿，許多國家的研究機構、院校和專業公司對此開展了研究，取得了一系列重要的成果。其中，比較有名并投入實際運行，在各國政務、商務、產業等都擁有一批知名客戶和典型案例的，是HP旗下Autonomy公司，它綜合運用了貝葉斯-香農算法模型，在語義計算機領域取得了業界公認的領先成就，本書中的算法模型就以該公司的模型為標桿，結合其他一些研究成果進行闡述。1）語義計算的基本過程語義計算在針對文檔中概念進行時，主要有三個環節，一是對文檔進行預處理和詞頻率統計，二是將一些沒有實際涵義的詞匯、非核心概念類詞匯等濾去，三是將文檔中所有的概論詞抽取出來進行關聯度分析，給出一篇文檔或一批文檔的內容特征描述。（1）預處理（2）分詞與詞頻統計（3）數據清洗2）相關算法與模型簡介經過預處理后，進行概念抽取計算，目前比較多種成熟的算法，如Rocchio方法、貝葉斯方法、kNN方法、決策樹方法、DecisionRuleClassifier、TheWidrow-HoffClassifier、神經網絡方法、支持向量機SVM法、基于投票法（votingmethod）等。貝葉斯概率論-----貝葉斯對概率論的研究成為現代統計學建模的核心理論之一，他的研究方向集中在計算多個變量之間的概率關系，以及決定一個變量影響其他變量的范圍問題。在信息處理領域，該理論可判斷文檔中各概念間的關聯，從而計量出未來的結果分布（相關性判斷）可更有效地被“已產生的”已知模型和相似性所利用。(5.1)(5.2)(5.3)以上三式是根據貝葉斯理論建立的文獻概念關聯的數學模型。（5.1）式是貝葉斯公式的基本形式，它代表彼此獨立的事件之間當某一事件出現后，另一事件出現的概率。語義計算中，它用于計算當某一概念Di出現時，另一概念Cj出現的概率，再計算第三概念……的出現概率，由此給出整篇文檔在統計意義上的關聯模型；（5.2）式給出當計算機處理一批文檔時，出現總文檔數中出現Cj的文檔數量；（5.3）式則表示另一個概念與Cj在所有出現的文檔中的關系，由此對一個個的概念進行計算，最后給出這批文檔中所有概念的統計意義上的關聯特征模型。從認識論的角度，貝葉斯理論至少給出了兩點結論：（1）人們所掌握某一領域的信息量越多，他對該領域問題的認知程度就越高。（2）人們先前獲得的經驗可用于推斷新的情況。當然，從上述三計算式并結合分詞理論可以看出，對一篇文章進行分詞后再直接計算其間的概念及其關系特征的話，運算量是極其龐大的，再高性能的計算機也將會對海量處理文件無能為力的。于是，還需要采用另一種算法來對概念進行篩選與過濾，這就是基于香農信息論的一系列的預處理，特別是要先去除文檔中的噪聲與無關部分。香農信息論-------克勞德·香農提出在通訊時可以將信息作為可量化的數值加以處理的理論，已成為現代信息處理系統的數學基礎。從香農1949年發表的《通信數學原理》中可看到，“信息”在處理中可被作為一種可計算值。根據香農的熵（平均信息量）或不確定測量，一個單元平均傳送的信息量可表達成（5.4）式，式中含義同前3式。Entropy為平均信息量，亦稱為熵，既可理解為內容的有序度，又可理解為內容的混亂度。當概率完全相同時（5.4）式達最大值：這意味著，對應文本內容應是任意的，倘若不是這樣，被文本傳送的信息將低于最大值，也就代表其中有冗余。(5.4)在內容特征描述時，一方面對詞頻過低或過高的詞均可除去，同時還要考慮到某一詞的“信息增益”值。（1）基于DF（文檔頻率）詞的DF頻率小于某個閾值去掉（太少，沒有代表性）；詞的DF頻率大于某個閾值也去掉（太多，沒有區分度）。（2）信息增益（InformationGain,IG）

該詞為整個文檔所能提供的信息量（不考慮任何特征的熵和考慮該特征后的熵的差值），其計算式如（5.5）。(5.5)（3）

詞匯的特征熵

該值越大，說明分布越均勻，越有可能出現在較多的位置與文檔類別中；該值越小，說明分布越傾斜，詞可能出現在較少部位與的類別中，這是香農理論原型。（4）相對熵

也稱為KL距離（Kullback-Leiblerdivergence），反映了文本類別的概率分布和在出現了某個特定詞匯條件下的文本類別的概率分布之間的距離，該值越大，該詞對文本類別分布的影響也大。(5.4’)(5.5)（5）χ2

統計量

度量兩者（詞匯和類別）獨立性的缺乏程度，χ2越大，獨立性越小，相關性越大（若AD<BC，則類和詞獨立，N=A+B+C+D）。(5.7)(5.8)(5.9)（6）互信息（MutualInformation）MI值越大，詞匯t和c的共現程度越大。還有其他一些算法，都從不同的角度對詞匯和文檔進行特征描述。(5.10)(5.11)(5.12)3）語義的權重語義計算不僅涉及數量，還涉及內容。當同一關鍵詞出現在不同位置的兩篇文檔中，其中一篇關鍵詞出現在文檔中的顯著位置，例如標題中，另一篇關鍵詞出現在文檔末尾，處理時應認為前者的重要性比后者高，系統應賦予其較高的權重值；關鍵詞出現多次的文檔得到的權重值也會比較高。一篇文章中涉及的概念詞數量較多，經過分詞、詞頻統計、自動標引、權重計算等后，一批文檔產生了一個特征向量空間，稱為文檔的向量空間模型（VectorSpaceModel），其組成為：M個標引項ti（特征概念詞），包括詞根、詞、短語、其他形式表達；每個文檔dj用標引項向量來表示：（a1j,a2j,…,aMj）；權重計算，N個訓練文檔：AM*N=（aij）；相似度比較：余弦計算、內積計算……權重計算要通過文檔進行實例訓練，且文檔數量越多，訓練的效果越好，系統給各詞賦予的權重也越合理。當然，好語義計算系統應允許人工對概念權值的調整。4）文檔內容結構建模貝葉斯概率論提供了描述概念間聯系模型的數據方法，香農信息論為提取相關文檔中最有意義的概念提供了一種機制。但這兩種年代久遠的理論只有依靠先進的計算機系統才能在現代互聯網海量文獻的環境中發揮作用。語義計算軟件應能在解析文檔所含概念、關鍵詞及大量關聯信息的基礎上來理解上下文，構建其語義模型，即由主題詞、詞頻值、文章數值、參照文檔等的集合構成一件文檔的語義模型。其后采用如貝葉斯或其他算法，對詞間關聯計算后，得到各篇文章及總體文檔的概念模型。5）文檔資料的處理流程

圖5-4表示系統對文檔集的語義處理流程，它代表從個性語義單元到文章整體語義特征的基本處理流程。圖中流程分為文本表示、訓練過程和分類過程三塊。左上部分是系統對一批資源（訓練文本）進行分詞與詞頻統計分析與統計量暫存；右上部分是將訓練文檔處理后產生一系列的語義特征表示，它們在與用戶的交互過程中，會通過不斷的學習進行自我優化，并由一個分類器產生一系列的特征分類，其結果遠比人工界面上呈現的分類目錄要細致得多，這也是系統的中間處理過程，由分類器將產生動態分類中超過一定閾值的穩定類目呈現給用戶，再進入新一輪的學習與優化過程。其后，每當有新文本加入時，系統會進行再訓練，將新文檔中知識元素作用于既往的資源集，又將既往積累的統計知識、特征集等作用于新文檔，使其能利用以往系統資源加工的知識積累。整個系統將通過不斷的資源積累、知識沉淀以及在和用戶的交互過程中訓練學習，優化其產出。最后，基于語義計算的知識系統將越來越“聰明”，越來越“善解人意”，并對以下各類處理提供越來越強的支持，分別是：（1）自動信息采集。

（2）自動分類整理。（3）自動網頁鏈接。（4）自動全文概括。（5）自動相關信息提示。（6）全文內容自然語言查詢。（7）信息多渠道發送，等等。對于客戶端，知識管理系統帶來的益處是一系列的新型服務：（1）自動建立個性化資料中心。（2）建立個性化的窗口設置。（3）自動建立信息推送渠道，通過關聯性優化選擇將信息動態發至桌面。系統的處理量級，在當前的一般電子政務主流硬件配置環境下，百萬件量級的文章，2~3小時內按核心內容完成自動分類，以及按內容含義實現自動網頁鏈接。5．5基于知識管理的電子政務系統架構5.5.1傳統三層架構系統模型的缺陷基于知識管理的政務系統將提供與以往OA、MIS及其他所有傳統政務系統完全不同的資源加工與服務模式，對用戶的支持效果也完全不同，故需要不同的信息系統架構來支持。圖4-6所示的是傳統架構系統的代表模型，底層為各種數據資源服務器，頂層是通過各種標準傳輸協議支持的結果呈現層，中間是各類應用服務器，各類核心中間件、應用層中間件、系統級服務接口以及面向業務對象的各種邏輯層等。這種體系即標準的三層架構模型如圖5-5所示。但這種架構不能面向概念處理，它沒有一個將文檔級的內容塊加工為詞匯級概念集合與分析計算的處理機制。語義計算在一至二層之間增加了一個智能數據操作層（IntelligentDataOperatingLayer，IDOL），如圖5-6所示。增加了這一層后，使面向文檔流轉、信息發布、常規作業等的傳統信息系統上升為可同時面向知識發現、內容挖掘與決策支持的知識系統。5.5.2智能數據操作層架構1）智能數據操作層的概念智能數據操作層（IDOL）既是個邏輯架構，也是一種功能服務器，作用是收集來自各連接器的數據，并通過快速處理和智能檢索的獨特方式來儲存數據。在處理信息時，IDOL能聯系概念和語境來理解數據庫中的內容；支持對大量不同格式的信息、使用者的關注域進行自動分析；可實現對數據資源的多種類型的操作，包括超鏈接、代理、摘要、分類、聚類、結構化信息抽取、建檔、個性化信息定制、內容提醒以及關聯檢索等。該服務器還允許人工參與控制，通過人工與自動化互補方式可獲得更大的靈活性；它還能與原來遺留系統整合，使用戶能傳承原系統的資源并與新系統整合。圖5-6表示智能數據操作層，它實現語義計算，提供了一些新的資源處理功能。2）智能操作層功能（1）功能模型圖

圖5-6中的智能數據操作層的功能模型如圖5-7所示，圖中虛線部分代表圖5-6。圖5-7中，智能數據操作層實現對機構內外網中各種格式的信息資源的語義處理，再與傳統架構系統對接后經門戶呈現。而左側的智能信息平臺和右側商務智能工具等表示其適用環境及與其他應用的整合。（2）體系架構智能數據操作層（IDOL）的核心模塊有三個，一是動態推理引擎（DRE）、二是分類服務器、三是用戶服務器，各自功能如下。①動態推理引擎（DRE）：動態推理引擎是一個高擴展性的多進程模塊，能對目標內容進行分析并提交給用戶。②分類服務器：在動態推理引擎能實現統計意義上的理解上下文信息的功能基礎上，分類組織實現了高擴展性的自動分類解決方案。③用戶服務器

在前兩個模塊的基礎上實現個性化操作。④其他⑤連接器模塊⑥參數設置5.6基于知識管理的電子政務系統功能采用基于概念分析的知識管理系統，將智能數據操作層（IDOL）集成到電子政務系統中，可實現如圖5-8的各種應用。底層是各類數據源，如來自OA、新聞、電子郵件、文件系統、互聯網、數據庫、文檔、業務系統、XML、聲音影像等形態與格式的信息，通過第二層（連接器層）將各種不規整信息、半規整信息、規整信息、語音、圖像等信息導入第三層即智能數據操作層，該層核心就是上述含動態推理引擎、分類服務器、用戶服務器等，支持分布式架構，再上就是傳統系統中的第二、三層，圖中省略，簡單地以其支持的各種應用系統層來代表，如政務門戶集群、信訪系統、OA、陽光權力、決策支持和其他應用等。在效率上，當智能數據操作層（IDOL）集成到電子政務系統中后，會將傳統上需要手工操作的大部分過程實現自動化，提高政府機構內部的生產力、改善信息的共享與分布狀況、降低數據維護成本以及根除因人為因素引起的不準確性。特別是對機構內外部信息資源的規模化采集、集約化管理、自動化處理方面產生革命性的變化。在基于概念統計分析技術上，系統可自動地或輔助人工對大量信息進行識別和匹配，實現以以下技術為關鍵點的系統性能改善。5.6.1自動相關鏈接通過概念統計分析可識別各文檔資料中內容間的主要關系，實現文檔內容間的交叉索引對照。此類技術可處理底層代碼形態的記錄，所以無論什么格式與內容的文檔，都可在操作層識別出與其相關聯的資料。實時生成相關超鏈，實時更新，無需手工插入鏈接。當某篇文檔被查閱時，這些鏈接可自動地一次性插入文檔中，可將以前處理過的文檔中建立起來的內容超鏈作為當前文檔的參考，并與之內容結合，檔案資料也可以鏈接到最新的新聞或其他形態的相關資料中。該功能在電子政務系統中可生成如下一些應用。（1）與外部信源內容關聯（2）機關內部應用（3）提高內外部信息服務質量（4）對依法行政的支持（5）在提升語音服務水平上的應用所以，自動超鏈功能對電子政務的改進主要體現如下。降低多種應用環境下非結構化信息的維護成本降低查找相關信息的時間降低重復勞動

發現新知識點，提升服務質量讓人們了解信息的更迭以及最新信息，等等。5.6.2形成自動摘要系統可對內容中主要概念進行自動摘要，也可以根據原始查詢的上下文環境進行自動摘要，并將最適合的動態摘要提交給指定的需求。

該功能在電子政務系統中可生成如下一些應用。在移動政務領域的應用在政府機構中的應用在快速變化的時代，主管機構需要盡可能快地做出正確決策，以保證以敏捷、能動的態度服務社會公眾。動態內容摘要可以幫助各級公務員節省大量評估信息內容所需時間。特別是高層官員，因時間緊、活動多，更需要先通過摘要來了解各路發來的材料、信息的概要。所以，動態內容摘要功能對電子政務的改進主要體現如下。當顯示能力有限時，動態內容摘要可發送高度精確的信息概要。提高用戶處理信息的能力，加速政務運作。讓人們能更快地做出適當的決策。與自動鏈接功能結合，可連續、動態地提供更靈活、靈巧的內容服務。5.6.3內容匹配盡管公務員和行政事業單位員工每天都可接觸范圍很廣的信息，從內部文檔到網站上動態新聞，但他們必須花時間和精力來找到對其有用的信息。互聯網內容的增長，使查找信息的時間和精力越來越多，“主動匹配”可自動幫他們做這項工作。主動匹配可以將典型的文檔或以數據為中心的用戶界面轉變成以任務為導向的智能界面，識別用戶當前的問題，確定相關的信息并且積極主動地提示用戶，讓他們了解到相關內容。該功能在電子政務系統中可生成如下一些應用。在公文起草中的應用在機構內部使用所以，主動匹配功能對電子政務的改進主要體現如下。可以主動向用戶提供其尚未搜索的信息。減少收集及時信息所需要的時間和精力。最大程度上允許信息的復用。提供依法行政的保障、降低失誤發生的可能性。5.6.4信息獲取和檢索可根據任何語言和格式進行內容搜索，不論內容存放在哪里，并且自動地實時地將內容摘要以及與其類似信息的鏈接呈現出來。檢索方案應是可拓展的，通過理解概念，它可保證較高的準確性和全面性。在電子政務應用中，系統應提供概念級的識別能力以保證資源的獲取性，包括自然語言、概念搜索、自動摘要、二次概念檢索，聯合檢索、多語言搜索，以及傳統的搜索機制，例如關鍵詞、布爾檢索等。與這一功能密切關聯的是自動摘要，它允許用戶快速精練其搜索，精確地將焦點定位在其需要的上下文環境上。5.6.5自動內容綜合與精練如今，各級政府機構作為社會公用信息資源的最大擁有者，越來越意識到信息資源是一