信息采集系統解決方案一、WebCateCPS簡介WebCateCPS數字信息實時處理智能平臺是用于自動獲取大量實時數字信息，自動處理數字信息并提供采、編、發、全文檢索，自動分類的智能平臺。WebCateCPS部分技術來源于國家高技術發展計劃“863”項目和國家十五科技攻關計劃，本系統采用先進的網頁數字化定位技術、內容交互技術、智能分詞、概念抽取、自動摘要和全文檢索等多項技術，實現了數字信息數據的全方位，智能化的處理。二、WebCateCPS的適用對象成全文檢索功能的OA系統合作伙伴：需要集、EIP系統、網站發布系統、內容管理、知識管理、企業（個人）文檔管理系統等獨立軟件開發商。最終用戶：為有以下需求的企業或組織：(1)內部資料分散，需提高知識利用率，提升自身競爭力的企事業單位、組織及政府機構；(2)有站內檢索功能需求的網站；特別是專業網站、中小型網站和企業網站；(3)報社、電臺、電視臺、出版機構等媒體，圖書館、資料館、檔案館等。三、產品結構：WebCateCPS數字信息審核子系統，信息智能分類子系統a、數據采集系統WebCateCPS的數據采集實時智能處理平臺由四個子系統成組：數據采集系統、信息編輯與全文檢索系統子系統。：子系統是整個智能處理平臺的前端，核心功能包括對互聯網實時信息，異構數據庫、多種異質文件格式信息的獲取和轉換。數字采集子系統支持的文件及數據庫格式如下：MSOFFICE、ADOBEPDF、ISO2709、Oracle、SqlServer、MySQl、Access等。b、信息編輯審核子系統：WebCateCPS信息編輯審核子系統用于智能平臺使用者進行信息錄入、編輯審核、權限分配、手工分類、發布管理、批量刪除、，定期備份等日常維護管理，該子系統具備小組協同工作機制和虛擬工作臺的功能，可有效支持20人左右的編輯隊伍。c、信息智能分類子系統WebCateCPS智能分類子系統用于對格式化、非格式化文字信息可高效率地協助編輯人員對海量文字資料的分類處理。智能分類子系統兼容多種文件格式，具備完備的詞表管理、分詞分類規則管理、分詞分類算法管理、自動學習，效果評測等功能。d、全文檢索子系統WebCateCPS全文檢索子系統：的自動分類、自動標引，：為使用者提供海量信息快速查找和信息發布的功能。該子系統支持對多種文檔類型，支持自然語言檢索，實現百萬篇文檔檢索及顯示速度在秒級，毫秒級。四、數字信息采集子系統優勢特點(1)互聯網信息采集模塊功能說明：可實時定向采集各種互聯網網站，包括采用JavaScript、用戶名/密碼驗證、嚴格Session控制技術的復雜網站，也包括大型論壇系統，圖片、MP3網站完成網頁頁面等。該模塊可的內容抽取，信息排重，格式還原，在線關鍵字過濾等功能。優勢特點：采用“網頁元素數字化定位技術”，對互聯網網站采集精確，帶寬占用小獨特的專業模版制作技術，可以采集超難超復雜的網站國內唯一公開支持網站采集內容交互技術支持網頁操作智能代理技術支持J2EE計算標準，系統運行穩定，可跨平臺運行支持世界上絕大多數語種網站采集支持原文快照支持通過代理服務器采集網站具備相似度排重功能支持多媒體文件（圖片、MP3,ZIP）下載，且自動校驗下載完整性，自動重試下載(2)數據庫記錄采集的優勢特點功能說明：該模塊支持各種數據庫記錄的采集作，包括Oracle、SqlServer、MySql、DB2、Sybase、InfoMix、Access等數據庫。該模塊支持多個本地和遠程數據庫的并發操作，增量數據更新，可以在數據記錄采集的同時標注或改和索引創建，支持這些數據庫的專有字段類型和操變數據記錄的分類屬性.優勢特點：支持主流數據庫的所有特殊字段類型支持超過1024個數據庫的并發數據采集(3)桌面文件內容萃取采集的優勢特點功能說明：支持對文件系統中多種格式文件的信息加載。用戶只需指定需提供被檢索的文件目錄，就可使用WebCateCPS的文件加載工具對大量格式文件進行批量加載。同時支持分類加載，可以定義一個或多個目錄為同一個分類，在文件加載時完成分類映射。WebCateCPS支持的文件格式包括以下類型：MSOffice系列、Text、Pdf、Html、Xml等。可以增加更多的格式支持（需要定制）優勢特點：支持格式化電子文件的內容抽取自動識別文件格式，支持混合電子文檔批量裝載，無須人工分離(4)信息綜合編輯平臺的系統優勢特點功能說明：內容管理：提供對原始信息的編輯排版和新信息的錄入，編輯功能強大，實現信息的圖形界面可視化操作，系統融合強大的WebCateCPS的管理與檢索功能，方便對各種格式的信息資源統一在線檢索文件管理：對加載文件實施文件搜索、刪改、目錄管理、可對文件名統一標注。分類管理：使用者可以在自動分類的協助下完成“原始分類-自動標注分類-目標分類”的手工分類操作。用戶管理：用戶的增、刪、改，構建用戶虛擬工作臺實現系統“onetoone”功能權限管理：劃分信息閱讀、修改的權限分配及分類創建和修改的權限，也包括對角色的定義和管理。發布管理：設定信息發布模版，可以輕松統一定制網站的設計風格，保證頁面美觀，大大減輕系統維護的負擔優勢特點：系統操作與維護簡單，有無專業知識均可輕松上手具備文件編輯協同工作特性，避免信息的“臟讀臟寫”具備信息發布實時上網特性，審核后的信息可立即發布信息訪問權限完備，信息訪問的最小粒度可達到網頁原始分類信息編輯虛擬工作臺可實現編輯狀態的保存和調出，極大地方便編輯人員的工作圖形編輯界面，類MSOFFICE的編輯風格(5)信息智能分類子系統優勢特點功能說明采用Markov（隱馬爾科夫）模型＋空間向量模型（SVM），實現信息概念抽取，提供精確的主題詞統計，可完成格式與非格式化信息的自動分類優勢特點：提供分類訓練及評估工具，加強使用者管理類別及模板的能力具備自我學習的功能，現有資料源可作為分類的參考模板系統內置大量分詞與分類詞匯表，如：漢語次頻統計表，專業中文語法庫，地名表，中文姓氏表，停用詞表等等。具備完備的與自動分類庫表管理界面：可以通過系統提供的分類庫表管理界面維護各種詞表庫在自動分類結果的界面上顯示文章主題詞與分類的匹配度可自動分揀文章的主題詞，并在文章中反紅標注用戶可以通過管理界面自主選擇分類算法支持樹狀結構的自動分類(6)全文檢索子系統優勢特點功能說明WebCateCPS全文檢索子系統可完成包括HTML，MSOFFICE,PDF,XML、數據庫記錄等異構異質信息的高速檢索，實現豐富和強大的頁面功能，如：全文索引的管理，多種檢索條件的組合查詢，檢索結果的排序管理等。優勢特點WebCateCPS采用了網景盛世專用于檢索的中文智能分詞技術，所有文本信息處理之前都經過分詞；并采用Markov（隱馬爾科夫）模型＋空間向量模型（SVM），實現信息概念抽取，提供精確的關鍵詞搜索。WebCateCPS中文智能分詞技術集成了優秀的歧義識別算法和未登錄詞（包括姓名、地名等）的識別算法，開放語料分詞的準確率指標在國內處于領先地位，如搜索「成都」，會得到所有關于“成都”這個城市的相關結果，而不會搜索到「1千年前齊國在此建成都城」；檢索「國花」，不會命中「美國花旗銀行」WebCateCPS采用網景盛世領先的中文自然語言處理技術，提供基于語義的檢索。WebCateCPS全文檢索提供文本格式轉換插件，目前可以支持word、excel、ppt、html、pdf等常見格式的文檔支持主流的數據庫，包括Oracle、SQLServer；支持主流的操作平臺，包括Windows、Linux、Unix；支持完備的碼制，包括GB2312/GBK、BIG5、UTF8、GB18030、ISO8599-1，GB18030是續GB2312之后的國家標準，GB18030比Unicode優越之處在于與GB2312/GBK全面兼容。WebCateCPS的Web搜索頁面提供了豐富的關于漢字編碼的搜索功能，包括關鍵字搜索、邏輯表達式搜索、自定義分類搜索、按相關度排序、自定義排序方式；搜索結果提供動態摘要、搜索關鍵字反顯、在結果中搜索、搜索自動分頁、原文快照、相關文檔、描述性檢索等功能。支持跨平臺的應用，支持各種主流的操作系統