I目錄目錄.I1引言.11.1課題背景.11.2研究的目的和意義.11.3國內(nèi)外現(xiàn)狀.21.3.1搜索引擎.21.3.2元搜索引擎.21.3.3元搜索引擎的分類.21.3.4元搜索引擎的性能評價指標體系.31.3.5元搜索引擎的國內(nèi)外相關研究工作.41.4主要研究內(nèi)容.41.5論文結(jié)構(gòu).52相關技術.62.1引言.62.2常見元搜索引擎的原理及體系結(jié)構(gòu).62.3元搜索引擎的檢索結(jié)果合成技術.62.3.1去重.72.3.2排序.72.3.3結(jié)果排序中的主要算法.72.3.4結(jié)果排序中存在的問題.72.4元搜索引擎的檢索接口技術.82.4.1統(tǒng)一的檢索界面.82.4.2查詢表達式轉(zhuǎn)換技術.82.4.3成員搜索引擎的調(diào)度策略.8個性化元搜索引擎的研究與設計11引言1.1課題背景隨著Internet以及相關技術的發(fā)展和成熟，人們已經(jīng)進入了信息量極大豐富的時代。自從1991的Internet誕生以來1，它已經(jīng)發(fā)展成為擁有約上億用戶和幾千萬個站點、十幾億個網(wǎng)頁的巨大分布式信息空間，而且這數(shù)字仍以每四個月以第六個月翻一番的速度迅猛增長。由InternetDomainSurvey統(tǒng)計，從1996年到2001年，Internet上的主機數(shù)量從兩千萬增長到一億四千萬。Internet作為一個信息平臺在人們的生活和工作中發(fā)揮越來越重要的作用，人們越來越多地通過Internet獲取信息。然而在信息極大豐富的同時，用戶也面臨著信息過載和資源迷向的問題。Internet上的信息過于龐雜，而且具有不穩(wěn)定和變動快的特點，沒有也不可能有一個權(quán)威機構(gòu)能對這些信息進行全面的整理和歸類，因此，往往用戶面對五花八門、撲面而來的各種信息顯得無所適從，不知道如何去獲取自己需要的內(nèi)容。如何在浩瀚如海的信息空間里，快速查找并獲取所需的信息己成為信息時代最根本的問題之一。網(wǎng)絡搜索引擎在網(wǎng)絡信息資源檢索中起到了重要的作用，它可以幫助用戶從數(shù)以億計的網(wǎng)絡信息庫中找到自己所需要的信息。搜索引擎是Internet上的一種在線服務方式，是一種用于幫助用戶查詢網(wǎng)絡信息的檢索工具。它以一定的策略在互聯(lián)網(wǎng)中搜集、發(fā)現(xiàn)信息，對信息進行理解、提取、組織和處理，然后為用戶提供檢索服務，從而起到了信息導航的目的。1.2研究的目的和意義因特網(wǎng)上的信息浩如煙海，優(yōu)劣混雜，缺乏統(tǒng)一的組織和管理，給人們有效地查詢和利用信息帶來了很大的不便，搜索引擎就是為了開發(fā)和利用這些網(wǎng)絡信息資源而產(chǎn)生的網(wǎng)絡信息查詢工具，它己經(jīng)成為因特網(wǎng)中最重要的部分，是目前網(wǎng)絡用戶獲取網(wǎng)上豐富信息資源的一個重要途徑，但傳統(tǒng)的獨立搜索引擎存在著信息資源覆蓋率低、檢索效率較低等問題。因為任何一個獨立的搜索引擎都無法窮盡所有的Web信息資源，而且對于同一個查詢請求，不同的搜索引擎因其工作機制不同，得到的結(jié)果中重復率也較低。因此在很多情況下人們?yōu)榱双@得更高的查全率，需要同時使用具有不同數(shù)據(jù)搜索范圍的搜索引擎，這就增長加了檢索的不便，元搜索引擎就是在這種情況下誕生并發(fā)展起來的。現(xiàn)在己經(jīng)出現(xiàn)了一大批元搜索引擎，其中以英文元搜索引擎較多，發(fā)展較好，而中文搜索引擎發(fā)展緩慢。目前運營的元搜索引擎各具特色，功能各有側(cè)重，完全“理想”的尚不多見。另外很多主流的搜索引擎提供的服務沒有考慮每個個體用戶的需求，沒有考慮用戶的差異。本文就是要在研究現(xiàn)有元搜索引擎存在的局限性的基礎上，設計出一個結(jié)構(gòu)較合理，功能較優(yōu)越，同時能夠融合很多相關領域技術，體現(xiàn)個性查詢的元搜索引擎結(jié)構(gòu)模型，為查詢效率更高個性化元搜索引擎的研究與設計2的檢索工具的早日實現(xiàn)做出貢獻。1.3國內(nèi)外現(xiàn)狀1.3.1搜索引擎搜索引擎是指能夠自動地對WWW資源進行分析處理，并通過查詢?yōu)橛脩舴祷仄ヅ滟Y源的系統(tǒng)。它一般是Internet上的一個網(wǎng)站，它的主要任務是將互連網(wǎng)資源存儲于可供查詢的大型數(shù)據(jù)庫中。當用戶輸入關鍵字查詢時，搜索引擎依據(jù)此關鍵子在索引數(shù)據(jù)庫中查找相關信息，若索引數(shù)據(jù)庫中有這方面的信息，則將信息反饋給用戶；若沒有則調(diào)用搜索方法進行搜索，并在一定時間界限內(nèi)向用戶反饋信息。1.3.2元搜索引擎元搜索引擎是將現(xiàn)有的多個搜索引擎看成一個整體，為用戶提供一個統(tǒng)一的查詢界面，用戶的查詢請求由元搜索引擎根據(jù)知識庫中的信息，轉(zhuǎn)換為多個搜索引擎所能識別的格式，然后分別發(fā)送給各個調(diào)用的搜索引擎，由這些搜索引擎完成實際的信息檢索，最后元搜索引擎再把從各個搜索引擎返回的結(jié)果收集起來，進行比較分析，合并冗余信息，去除重復信息，以一定的格式返回給用戶。一般元搜索引擎技術主要有三部分構(gòu)成4：查詢請求機制、檢索接口代理機制、檢索結(jié)果處理機制。查詢請求機制：實現(xiàn)用戶的個性化檢索設置的要求、成員搜索引擎的調(diào)度方案、檢索時間的限制、返回結(jié)果量的限制；檢索接口代理機制：實現(xiàn)將用戶的個性化查詢請求轉(zhuǎn)化為可被成員搜索引擎識別的固定格式；檢索結(jié)果處理機制：實現(xiàn)把調(diào)用的成員搜索引擎檢索到的結(jié)果去重、合并、排序和按一定的格式返回給用戶。1.3.3元搜索引擎的分類元搜索引擎是一種基于搜索引擎的搜索引擎，又稱為多元搜索引擎或集合式搜索引擎。它可以把多個搜索引擎集合在一起，提供一個統(tǒng)一的檢索界面，將查詢表達式同時提交給多個搜索引擎，并行檢索多個數(shù)據(jù)庫，再對返回的結(jié)果進行去重、排序等二次加工后向用戶輸出搜索結(jié)果。元搜索引擎根據(jù)不同的標準可以劃分為不同的類型5。根據(jù)檢索機制可以劃分為集中羅列式元搜索引擎和統(tǒng)一入口式元搜索引擎，以下對這兩種類型的元搜索引擎作詳細介紹。集中羅列式元搜索引擎集中羅列式元搜索引擎按照一定的形式將所有的獨立搜索引擎集中呈現(xiàn)在頁面上，并提供了一個公共的檢索入口，但實際上用戶一次只進入一個獨立搜索引擎。這個性化元搜索引擎的研究與設計3種類型元搜索引擎的結(jié)果反饋頁面多直接引用原始搜索引擎的結(jié)果頁面。從表面上看，這類元搜索引擎與獨立搜索引擎具有更多的相似點，它們的特點是：一次檢索一個搜索引擎。檢索結(jié)果直接調(diào)用原始獨立搜索引擎的結(jié)果頁面。只支持原始獨立搜索引擎支持的檢索語法統(tǒng)一入口式元搜索引擎統(tǒng)一入口式元搜索引擎為收錄的獨立搜索引擎建立了一個公共查詢?nèi)肟冢脩舭l(fā)出檢索請求后，提問表達式被分別提交給多個獨立搜索引擎，最終反饋的結(jié)果是多個獨立搜索引擎查詢結(jié)果的融合。根據(jù)結(jié)果顯示的不同，這類元搜索引擎又可以分為直接調(diào)用原始頁面型、混合綜合型和分散綜合型。直接調(diào)用原始頁面型元搜索引擎，檢索結(jié)果直接來自原始搜索引擎站點的結(jié)果頁面。混合綜合型元搜索引擎，將各個獨立搜索引擎中查找的結(jié)果進行融合，結(jié)果顯示以記錄為單位，記錄描述包括該記錄被檢出的來源。分散綜合型元搜索引擎，這種類型與混合綜合型元搜索引擎在結(jié)果顯示上有所不同，它以獨立搜索引擎為單位進行結(jié)果顯示，在同一個獨立搜索引擎得到的結(jié)果被集中列在該搜索引擎之下。1.3.4元搜索引擎的性能評價指標體系作為一種搜索引擎，元搜索引擎也有搜索引擎的一些基本指標，如查全率、查準率、召回率、響應速度、響應時間、用戶負擔等。但是元搜索引擎?zhèn)€體差異很大，很難進行精確的評價。元搜索引擎性能評價指標體系主要包含四個部分6：獨立搜索引擎的調(diào)度策略有些元搜索引擎固定地調(diào)用幾個獨立搜索引擎，用戶不能修改。有些元搜索引擎的高級特性中讓用戶選擇調(diào)用哪些搜索引擎。這兩種策略都有不足之處，前一種將跟不上搜索引擎的發(fā)展潮流。后一種，對于不熟悉搜索引擎的用戶來說可能選擇不到適合自己需要的搜索引擎。一些學者提出了通過遺傳算法實現(xiàn)獨立搜索引擎的自動調(diào)度方法。這種算法如能融入到元搜索引擎系統(tǒng)中，必會大大提高系統(tǒng)的查準率。是否提供足夠的檢索選項包括是否提供高級檢索服務，是否可以限定最長檢索時間，是否可以設置每個搜索引擎返回的結(jié)果數(shù)量，是否可以設置每頁顯示的結(jié)果數(shù)目，是否可以設置標題大小和摘要大小等。檢索選項越多，用戶使用的時候就越靈活。這也是衡量一個元搜索引擎性能的一個標準。但是由于元搜索引擎的檢索特性向它所調(diào)用的獨立搜索引擎檢索特性的轉(zhuǎn)換所具有的復雜性，許多元搜索引擎不提供復雜的檢索