數字資源整合的機制與方法李廣建（liguangjian@）主要內容信息技術對信息服務的影響信息資源整合信息技術對信息服務的影響隨著計算機技術、多媒體以及網絡技術的飛速發展，信息載體的不斷電子化、網絡化，信息服務機構（如圖書館、情報機構）的信息技術也隨之計算機化、網絡化，以滿足不斷變化和發展的文獻信息服務的需求。信息技術既對信息服務機構帶來了機遇、也帶來了挑戰。機遇提供了先進的技術手段過去手工條件做到的，現在提高了效率過去想到了，但因條件的限制做不到，現在能做了過去沒想到的，現在也能做了挑戰過去的很多認識，現在不靈了（觀念問題）運行方式和作業環境發生了翻天覆地的變化（還是圖書館嗎？）用戶的要求越來越高了（需求總是很難滿足）從挑戰談起……現有圖書館工作模式流水線式的工作目錄為中心的工作模式以文獻為單元的工作模式現代信息技術環境下圖書館工作面臨的轉變工作的中心由面向館藏的轉變成面向用戶的從基于載體的信息提供轉變成是基于內容的信息提供從館內服務或面對面的服務轉變成網絡服務或遠程服務技術和設備在很大程度上會影響工作效果再看看機遇……如果我們轉變觀念從圖書館的用戶到用戶的圖書館如果我們改變流程從分立的資源服務到集成整合的服務如果我們用新技術從簡單的信息檢索到個性化的推送SearchenginePersonal

environmentsPDAslearningmanagementsystemscampusportalcoursematerial

textbookRSSaggregatorreading

listslibraryuserenvironmentsresourceenvironmentInstitutionalrepositoryDigitalcollectionsE-reserveCatalogLicensedcollectionsAggregationsVirtualreferenceCataloging,ILLthelibraryintheuserenvironment,Nottheuserinthelibraryenvironment.Flexibleassemblyofservicesfrommultiplesources.從圖書館的用戶到用戶的圖書館總之，要……圍繞著用戶的工作流程構建相關的信息服務；使用戶不離開其工作環境就可使用信息資源；按照用戶的使用習慣組織信息資源和服務；能根據用戶的不同為其組織和裝配不同的資源和服務徹底解決……用戶看到的一個個孤立的系統，是一個個的建設成果展示；服務系統自成體系，系統互連性差，不能被相互調用；系統之的連接關系是零散、無序、任意的甚至是混亂的，沒有一個清晰的流程；……用戶不了解、不明白、不易用、不會用、不能用、不愛用…..解決方案信息資源整合主要內容信息技術對對信息服務務的影響信息資源整整合信息資源整整合整合機制整合技術整合機制目前數字資資源整合系系統的實現現機制可以以概括為四四種數據倉庫整整合機制Mediator/Wrapper整整合機制(中介器/封裝器整整合機制)、Agent整合機制制P2P整合合機制整合機制－－數據倉庫整整合機制數據倉庫整整合機制是是一種物理理集成方式式，它將不不同來源的的數字資源源按特定的的方式（通通常是按主主題或其它它多維方式式）建模并并存儲在同同一物理位位置（稱為為數據倉庫庫），提供供給用戶一一個新的、、統一的目目標數據模模式（schema），使得得用戶能夠夠一站式地地訪問各種種數字資源源，從而達達到整合的的目的。下圖概略地地示出了數數據倉庫整整合機制的的基本原理理數據倉庫數據源目標模式從上圖中可可以看出，，數據倉庫庫整合機制制的最根本本的特點是是物理地存存放數字資資源，對不不同來源的的數字資源源進行集中中管理，簡化了用戶戶訪問信息息的復雜度度，提高了了數字資源源的訪問速速度和整合合系統的性性能。而且，由于于實現了不不同來源的的數字資源源的一致性性存儲，這這種整合機機制還有利利于實施比比信息檢索索更復雜、、更深入的的數據挖掘掘、知識發發現等服務務。采用數據倉庫整整合機制進進行整合的的前提是必必須能合法法地（例如如通過授權權）獲得來來源系統中中的數字資資源，而且且，由于是是集中存儲儲要整合的的數字資源源，因而難難以適應網網絡數字資資源類型多多樣、變化化快等特點點，同時還會增加本地系統存存儲與維護護的負擔。。數據倉庫整整合機制較較適用于自自建資源。。數據倉庫整整合機制所所涉及的技技術主要有有：（1）海量量數據存儲儲（2）ETL技術（3）信息息源的監控控與更新（1）海量量數據存儲儲數據倉庫的的數據來源源于多個信信息源（即即參與整合合的系統中中的數字資資源），因因此具有數數據量大、、類型復雜雜的特點，，屬于海量量數據。解決海量數數據的存儲儲問題，除除了需要相相應的專門門設備如磁磁盤陣列、、光盤庫、、磁帶庫等等，還需要要精心地設設計存儲結結構和存儲儲算法，既既要保證數數字資源有有合理的物物理存儲結結構，又要要保證有較較快的存取取速度。（2）ETL技術ETL技術術是對要加加以整合的的數字資源源進行抽取?。‥xtract）、轉換換（Transform）、、清洗（Cleaning））、裝載（（Loading））的技術。。對不同來源源的數字資資源進行物物理集成，，首先需要要從參與整整合的系統統中抽取出出相關數字字資源，這這需要使用用信息抽取取技術。由于信息源源是異構的的，因此，，還必須利利用轉換技技術將不同同結構的數數字資源規規范化，消消除異構數數字資源之之間的不一一致性，為為來自不同同系統的數數字資源之之間的比較較、整合以以及統一存存儲奠定基基礎；清洗技術主主要是解決決信息冗余余的去重以以及錯誤和和不完整信信息的修正正、剔除問問題；裝載技術則則是將清洗洗后的數字字資源按一一定的規則則加載至數數據倉庫，，形成數據據倉庫的物物理存儲結結構和邏輯輯存儲結構構。（3）信息息源的監控控與更新如前所述，，數據倉庫庫整合機制制是一種物物理整合方方式，數據據倉庫本身身與信息源源在物理上上是分離的的，因此必必須要解決決數據倉庫庫與信息源源的同步問問題。也就就是說，必必須要監控控參與整合合的信息源源的變化，，同步更新新數據倉庫庫，確保用用戶在整合合系統中查查詢到的是是各個信息息源中的最最新數字資資源。整合機制－－M/W整合合mediator/wrapper整整合機制是是一種虛擬擬整合方式式，在基于于這種機制制的整合系系統中，并并不真正存存儲需要整整合的數字字資源，而而是通過mediator和和wrapper來來實現整合合。mediator和和wrapper均均為軟件組組件，位于于用戶和數數據源之間間，mediator負責處處理用戶提提問和查詢詢結果的整整合，wrapper則負責責對信息源源的連接和和具體查詢詢。mediator/wrapper整整合機制的的基本原理理如圖所示示。中介器（mediator）分布式資源分布式資源分布式資源封裝器（wrapper）封裝器（wrapper）封裝器（wrapper）提問全局模式（GlobalSchema）信息源模式（Source/LocalSchema）在基于這種種機制的整整合系統中中，用戶按按全局模式式（GlobalSchema）進進行查詢，，mediator接收用戶戶查詢并將將其轉換成成中間格式式，然后提提交給相應應的wrapper，wrapper進一步將將中間格式式的查詢轉轉化為信息息源模式或或本地模式式（Source/LocalSchema）的查詢詢，并與參參加整合的的相應信息息源進行連連接，實現現對相應信信息源的查查詢，將查查詢結果返返回給mediator，mediator對對結果進行行處理，以以統一的形形式提供給給用戶。與數據倉庫庫整合機制制相比，mediator/wrapper整整合機制能夠有效地地保持各個個異構信息源源的自治性性，滿足局局部的應用用，并且能能夠充分發發揮mediator的作用，滿滿足全局性性應用。同同時，使用用這種機制制的整合系統統不需要在本本地儲存大大量的數字字資源，因因而能夠適適應網絡環環境下信息息源高度自自治、數量量多、更新新變化快等等特點，而而且，在mediator中引入Ontology等語語義相關技技術后，能能夠有效解解決知識整整合、個性性化服務等等問題。因而，mediator/wrapper整整合機制是目前實現數字資資源整合的主流方式式。mediator/wrapper整整合機制涉涉及的主要要技術有：：（1）信息息源選擇技技術（2）信息息抽取技術術（3）查詢詢處理技術術（4）結果果整合技術術（5）語義義整合技術術（1）信息息源選擇技技術mediator/wrapper整整合機制是是一種虛擬擬整合方式式，整合系系統本身并并不存儲被被整合的數數字資源，，當用戶進進行查詢時時，如果將將用戶查詢詢不加區別別地發送給給參與整合合的所有信信息源，必必然會導致致占用較多多的帶寬并并增加系統統的負擔，，這就需要要利用信息息源選擇技技術來確定定相關度高高的信息源源，以提高高整合系統統的效率。。信息源選擇擇技術主要要包括信息息源描述和和信息源選選擇兩個方方面，前者者是按一定定的算法建建立對各信信息源的描描述模型，，后者是在在信息源描描述模型的的基礎上，，根據用戶戶查詢，按按一定算法法選出相關關度高的信信息源作為為查詢對象象。（2）信息息抽取技術術信息抽取技技術應用于于整合系統統的目的是是將參與整整合的半結結構化、非非結構化信信息源中的的數字資源源轉化成結結構性更強強、語義更更清晰的格格式，以提提高查詢速速度。目前前，信息抽抽取技術已已經成為了了生成wrapper的關鍵鍵技術之一一，廣泛應應用于面向向網絡數字字資源的整整合系統中中。（3）查詢詢處理技術術查詢處理技技術是mediator/wrapper整合合機制中的的最重要的的技術之一一，是對查查詢進行檢檢驗、重構構、優化的的技術。用戶對整合合系統查詢詢時，整合合系統需首首先對用戶戶查詢進行行語法分析析和檢驗，，確保查詢詢符合系統統全局模式式的要求，，這部分工工作主要由由查詢檢驗驗技術完成成。此后，整合系系統再將經過過檢驗的查詢詢按一定的規規則轉換為面面向不同信息息源模式（本本地模式）的的多個查詢，，這個過程稱稱為查詢重構構。整合系統面對對的是不同的的信息源，由由于各個信息息源有其自身身的特點，例例如有不同的的傳輸帶寬和和傳輸延時，，加之當前運運行情況有不不確定性，如如當前的信息息源訪問量是是大還是小、、信息源是否否能很快與整整合系統建立立連接等等，，這就要求整整合系統根據據各信息源的的當前運行情情況制定最優優查詢計劃和和查詢調配方方案，并據此此對各信息源源進行查詢，，這個過程稱稱為查詢優化化。（4）結果整整合技術整合系統提供供對各信息源源的一站式訪訪問，因而對對信息源訪問問完畢后需要要用mediator對對來自不同信信息源的結果果信息進行整整合及合成，，以統一的形形式呈現給用用戶。結果整合主要要是對不同信信息源的結果果做并操作，，并且重新計計算結果的相相關度。一般地說，對對一個信息源源進行查詢會會形成一個相相應的查詢子子視圖，結果果整合的目的的就是將這些些子視圖連接接起來，形成成一個完整的的視圖，提供供給用戶。（5）語義整整合技術隨著整合研究究理論和實踐踐不斷深入，，Ontology、語言建模、、機器學習等等語義相關技技術逐漸應用用于數字資源源整合。語義整合技術術被用來在系系統運行期間間獲取和處理理數字資源的的意義及其之之間的關聯，，使整合系統統能夠建立用用戶提問與各各信息源之間間的語義聯系系，消除各種種數字資源的的異構性，并并能夠將分散散存儲、表現現形式不同的的信息源中的的有用資源進進行再組織，，真正滿足用用戶的信息需需求，從而提提高數字資源源整合的質量量。整合機制－Agent整整合機制Agent是是處于一定的的環境中或者者作為環境的的一部分存在在的一種軟件件系統，它利利用傳感器（（Sensor）感應環環境，獲取相相關信息，然然后根據這些些信息和指定定的目標執行行相應操作。。近年來，研研究人員將Agent技技術應用于整整合系統中，，形成了Agent整合合機制。Agent整整合機制以Agent作作為核心模塊塊，以ontology作為核心技技術，比較適適合于整合分分布性較強的的數字資源，，其原理是：將將整合系統框框架中的各個個（或主要））功能模塊封封裝為Agent，各Agent之之間進行通信信、交互和合合作，從而有有效地實現整整合。Agent整整合機制的基本原理如如圖所示結果結果代理方Agent代理方Agent代理方Agent用戶Agent用戶Agent提問提問信息源信息源信息源資源Agent資源Agent資源Agent在這種整合機制中，使用了三三類基本的Agent：：用戶Agent、資源源Agent和代理方Agent。。用戶Agent負責維護用戶信息，并提提供系統接口口，以方便用戶與與整合系統進進行交互。資源Agent負責對分布式式資源進行處處理，將數字字資源按照整整合系統的表表示形式進行行描述和轉換換。代理方Agent負責將從用戶戶Agent發出的查詢詢請求與所要要查詢的資源源Agent進行匹配Agent整整合機制的優優點在于能夠夠有效利用Agent的的特性來提高高系統的整合合效率首先，Agent的自主主性和移動性性使得整合系系統能夠主動動適應網絡環環境的變化，，增強了整合合系統的靈活活性，整合系系統能更加適適應數字資源源分布性及異異構性的特點點。其次，Agent能夠在在非連續運行行的網絡環境境中運行，因因此Agent還可處于于移動計算環環境中，這使使得各種移動動設備（如PDA等）也也能加入使用用整合系統的的中。Agent機制的的這些特點，，使其成為了了近年來整合合研究的熱點點之一。在Agent整合機制中中，如何使多多個Agent協調工作作，是采用這這種機制的整整合系統要解解決的關鍵技技術，具體地地說，包括：：（1）Agent間的通通信技術（2）Agent協調技技術（1）Agent間的通通信技術為了達到整合合的目的，提提高整合效率率，需要通過過Agent通信技術來來實現Agent間的““會話”。一般來說，Agent間間的通信是通通過Agent通信語言言（ACL））來實現的Agent通通信語言用于于描述相應Agent的的狀態和屬性性、定義Agent可以以交換的語法法和語義消息息。這種包含含語義信息的的通信語言不不僅有利于協協助Agent之間進行行互操作，還還有利于進行行語義層次的的整合。（2）Agent協調技技術在Agent整合機制中中，多個Agent作為為一個整體而而存在，雖然然每個Agent的任務務有所區別，，但它們作為為一個整體，，具有共同的的目標，那就就是實現整合合。因此，在任務務執行的過程程中，需要應應用Agent協調技術術來管理一個個或多個Agent行為為之間的從屬屬關系，避免免執行時發生生沖突，所要要解決的問題題包括組織結結構、任務分分解、資源分分配、群組決決策、沖突發發現與解決等等整合機制－P2P整合機機制P2P（Peer-to-peer）是近年來來興起的一種種新的計算模模式，它能夠夠使PC和其其它非服務器器計算實體以以對等的方式式聯網，彼此此共享對方的的資源。其主主要特點是支支持互連主機機的動態變化化。P2P整合機機制的基本原原理如圖所示示Peer3對等點模式本地資源本地資源Peer2對等點模式本地資源本地資源Peer4對等點模式本地資源本地資源Peer1對等點模式本地資源本地資源Peer5對等點模式本地資源本地資源本地映射P2P映射提問Q在這種整合機機制中，存在在有多個分布布式的對等點點（peer），每一個個對等點都擁擁有一套自己己的數據模式式（對等點模模式），在整整合過程中，，通過對等點點模式與本地地資源模式的的映射，實現現對本地資源源的訪問，同同時依靠P2P映射來完完成對等點之之間的模式轉轉換，實現對對等點間的通通信。通過這這種方式，在在任何一個對對等點中執行行的查詢也均均可以在其他他相連的對等等點中執行，，從而達到有有效訪問各分分布信息源的的目的。P2P整合機機制不僅能夠夠實現大規模模數字資源的的集成，而且且可以實現Web資源的的動態整合，，使整合系統統具有強大的的擴展性，是是一種比較有有生命力的整整合機制。但但由于學術界界對P2P整整合機制的研研究處于起步步階段，目前前理論研究較較多，實際應應用系統數量量還不太多P2P整合機機制的關鍵技技術是P2P映射以及對對等點的發現現與搜索，具具體地說包括括：（1））P2P映映射建建立技技術（2））P2P對對等點點的發發現與與搜索索技術術（1））P2P映映射建建立技技術在P2P整整合機機制中中，由由于每每個對對等點點的模模式不不同，，需要要在對對等點點模式式之間間建立立映射射P2P映射射的建建立一一般包包括兩兩個步步驟第一步步是模模式匹匹配，，即在在需匹匹配的的模式式間，，尋找找能夠夠標識識出模模式中中的相相同或或相似似元素素的對對應關關系，，這種種對應應關系系一般般是指指對元元素相相似性性的描描述，，基本本上不不包含含語義義信息息；在第二二步中中，通通過對對應關關系，，利用用一系系列自自動化化技術術，在在人工工干預預下，，建立立精確確的P2P映射射。（2））P2P對對等點點的發發現與與搜索索技術術在整合合處理理過程程中，，由于于P2P網網絡中中存在在多個個對等等點，，每個個對等等點存存儲有有不同同的數數字資資源，，因此此需要要針對對具體體的用用戶需需求，，利用用發現現策略略、搜搜索算算法等等相關關技術術，對對P2P資資源進進行搜搜索，，找出出合適適的對對等點點，并并通過過多個個對等等點的的協作作來集集成資資源。。目前，，在P2P對等等點的的發現現與搜搜索中中應用用較多多的是是分布布式哈哈希列列表（（DHT））技術術，這這種技技術使使用分分布式式哈希希算法法來解解決結結構化化的分分布式式存儲儲問題題，DHT中存存儲有有每個個對等等點的的相關關信息息，通通過DHT可針針對具具體需需求獲獲取所所需對對等點點的信信息，，從而而解決決了對對等點點的發發現問問題，，然后后，再再根據據基于于DHT的的路由由算法法完成成對等等點的的搜索索。信息資資源整整合整合機機制整合技技術整合技技術整合的的技術術體系系整合的的技術術標準準總體體上劃劃分為為物理理層、、基礎礎層與與整合合三類類。根根據整整合內內部的的層次次關系系，自自下而而上將將整合合層細細劃為為3層層HTTP網絡協議元數據XMLRSS數據描述統一接口數據訪問中介文件SAGDRDA數據層聯邦模式Z39.5DienstSDLIP采集模式OAI搜集模式OpenURLCORBADCOMJAVARMI功能層WebServices協議族SOAPUDDIWSDL……門戶技術標準界面層JSR168WSRP物理層基礎層整合層物理層層物理層層指系系統運運行的的硬件件、軟軟件環環境，，解決決如何何為應應用系系統提提供統統一的的支撐撐環境境，支支持應應用系系統的的運作作。物理層層協議議涉及及各種種網絡絡和通通信技技術，，包括括網絡絡的一一些基基礎協協議，，如HTTP、、TCP/IP等，，以及及其他他相關關的以以太網網、骨骨干網網、廣廣域網網互聯聯的技技術標標準與與規范范等。。對于不不提供供更高高層技技術協協議的的數字字資源源，也也可以以在這這個層層次上上進行行整合合，例例如，，可基基于HTTP用用仿真真的方方法來來整合合數字字資源源?；A層層基礎層層是位位于物物理互互連的的網絡絡協議議之上上，用用于標標準化化、規規范化化描述述數據據，為為更上上層的的數據據交換換提供供基礎礎性支支持的的標準準、規規范。。基礎性性協議議標準準又可可以從從性質質劃分分為數數據描描述層層面和和數據據訪問問兩個個層面面。前前者主主要包包括元元數據據、XML、RSS，后后者主主要包包括開開放數數據庫庫互連連標準準（ODBC））等。。在數據據描述述層面面內部部，RSS具有有提供供內容容聚合合的功功能，，是為為實現現內容容聚合合而制制定的的一種種信息息描述述、組組織的的規范范，但但它也也具有有資源源發現現、發發布的的功能能，更更是一一種新新形式式的描描述規規則。。因此此，將將RSS歸歸入基基礎的的描述述層面面的標標準。。準確確的說說，RSS本身身也是是基于于XML格格式的的，其其實是是XML成成功應應用的的一個個典型型。從從這一一層總總體來來看，，這些些基礎礎的標標準、、規范范（除除了RSS之外外），，大多多數都都不是是專門門為解解決資資源整整合的的問題題而制制定的的，主主要是是從信信息組組織、、跨異異構數數據庫庫的互互連、、互訪訪用途途出發發的。。但是是，它它們卻卻為更更好地地實現現資源源整合合提供供了有有力的的支持持。因此，，對于于特定定的應應用，，也可可以在在這個個層次次進行行整合合數據整整合層層數據層層整合合旨在在屏蔽蔽各數數據源源異構構性，，使得得各數數據源源之間間能夠夠進行行數據據的交交換與與交互互，令令用戶戶可透透明地地訪問問多個個數據據源，，感覺覺上卻卻像是是在操操作一一個單單一的的數據據源。。要實現現數據據整合合，必必須對對數據據進行行跨數數據源源的收收集、、組織織、處處理與與集成成。根根據整整合系系統與與數據據源之之間交交互的的特點點，又又可以以分為為三種種形式式基于聯聯邦的的整合合（如如Z39.5、、Dienst）基于采采集的的整合合（OAI）基于鏈鏈接的的整合合（如如OpenURL））數據層層整合合協議議的重重點是是解決決系統統之間間的數數據交交換和和數據據交互互功能層層功能層層整合合主要要重組組和擴擴充數數字資資源系系統的的已有有功能能，或或者建建立新新的功功能。?？傮w體來看看，這這一層層所采采用的的標準準規范范旨在在解決決系統統與系系統之之間功功能的的互操操作。。分布式式對象象技術術是目目前解解決功功能互互操作作的主主流技技術，，分布布式對對象技技術的的作用用就是是將存存在于于網絡絡任何何地方方、能能被遠遠程應應用以以方法法調用用的形形式訪訪問的的實體體有機機組合合在一一起，，形成成一個個相對對較大大的組組件，，通過過這個個組件件為更更上層層的應應用提提供系系列的的服務務。分布式式對象象技術術涉及及的協協議標標準主主要有有CORBA、、JavaRMI、DCOM，，以及及WebService協協議族族。界面面層層界面面層層是是最最接接近近用用戶戶的的高高級級層層次次，，主主要要實實現現表表示示層層面面的的整整合合，，使使得得服服務務用用戶戶能能夠夠通通過過統統一一的的界界面面，，同同時時享享受受到到不不同同服服務務提提供供者者提提供供的的服服務務。。門戶戶技技術術是是界界面面整整合合的的重重要要手手段段，，其其中中涉涉及及門門戶戶組組件件（（portlet））技技術術以以及及相相應應的的的的接接口口規規范范JSR168（（theJavaStandardizationRequest168）），以以及及WSRP（（（WebServicesforRemotePortlet）謝謝謝9、靜夜四無無鄰，荒居居舊業貧。。。12月-2212月-22Saturday,December31,202210、雨中黃葉葉樹，燈下下白頭人。。。03:23:4703:23:4703:2312/31/20223:23:47AM11、以我獨沈久久，愧君相見見頻。。12月-2203:23:4803:23Dec-2231-Dec-2212、故人人江海海別，，幾度度隔山山川。。。03:23:4803:23:4803:23Saturday,December31,202213、乍見翻疑疑夢，相悲悲各問年。。。12月-2212月-2203:23:4803:23:48December31,202214、他鄉生生白發，，舊國見見青山。。。31十十二月20223:23:48上午午03:23:4812月-2215、比不了得就就不比，得不不到的就不要要。。。十二月223:23上上午12月-2203:23December31,202216、行動出成成果，工作作出財富。。。2022/12/313:23:4803:23:4831December202217、做做前前，，能能夠夠環環視視四四周周；；做做時時，，你你只只能能或或者者最最好好沿沿著著以以腳腳為為起起點點的的射射線線向向前前。。。。3:23:48上上午午3:23上上午午03:23:4812月月-229、沒有失失敗，只只有暫時時停止成成功！。。12月-2212月-22Saturday,December31,202210、很多事事情努力力了未必必有結果果，但是是不努力力卻什么么改變也也沒有。。。03:23:4803:23:4803:2312/31/2022