我國搜索引擎評價的研究隨著互聯網的迅速發展，搜索引擎已經成為互聯網上訪問全球信息資源的最重要的檢索工具。搜索引擎的出現及其日益顯著的重要性促進了關于搜索引擎的評價研究的發展。國內搜索引擎評價研究已經成為搜索引擎研究領域的一個熱點問題，取得了一定的成果，然而也存在著一些不足。現從評價的指標和方法2個方面就搜索引擎評價研究發展狀況做出全面、系統的總結和分析。1.1搜索引擎評價指標1995年開始，國內開始了對搜索引擎進行比較和評價，但是由于搜索引擎自身的功能和規模問題，以及缺少搜索引擎評價技術的支持，對搜索引擎的評價、比較絕大多數仍然以定性描述為主。這種評價方法局限于對單個搜索引擎各因素的描述和某幾個搜索引擎之間的比較，卻不能從整體上評價各搜索引擎的優劣。隨著搜索引擎評價研究的發展，國內出現了成套的整體性的搜索引擎體系評價研究。1997年，曾民族在綜合國內外搜索引擎評價研究成果的基礎上首次提出了一個綜合性的搜索引擎評價指標體系，其中包括數據庫規模和內容（覆蓋范圍、索引組成、更新周期）、索引方法（自動、人工索引，用戶登錄）、檢索功能（布爾檢索（含嵌套）、截詞檢索、字段檢索、大小寫有別、概念檢索、詞語加權、詞語限定、特定字段限定、缺省值、中斷退出、重復辨別、上下文關鍵詞、查詢集操作）、檢索結果（相關性排序、顯示內容、輸出數量選擇、顯示格式選擇）、用戶界面（幫助文件、數據庫和檢索功能說明、查詢舉例）、查準率和響應時間7個方面的指標。這是國內最早的有關搜索引擎的整體性體系評價研究。此后，各種綜合性指標體系不斷出現，無論是深度還是廣度都在不斷加強。例如，張莉揚在國外研究的基礎上，結合搜索引擎的新變化及新特點，提出了一整套對搜索引擎進行性能評價與比較的標準，其中創新性地提出了2個新的搜索引擎定量評價指標：重復率和互鏈接率。該指標體系包括索引數據庫構成（標引深度、更新頻率）、檢索功能（布爾檢索、鄰近檢索、截詞檢索、字段檢索、加權檢索、大小寫敏感（英文）、概念檢索、自然語言檢索、多媒體檢索、多語種檢索、相關反饋、多內碼處理（中文）、檢索效果（響應時間、查全率、查準率、重復率、死鏈接率）、檢索結果顯示（結果顯示格式的種類、每種顯示格式的內容、檢索結果排序依據）以及用戶負擔（用戶界面、相關文獻、信息過濾）5個方面。陶躍華、孫茂松、王錫鋼根據系統工程的基本思想，提出了包括索引構成（標引數量、標引范圍、標引更新頻率）、檢索功能（基本檢索、高級檢索）、檢索效果（查準率、檢索時間）、檢索結果（顯示內容、顯示結果數限制）、用戶交互（用戶界面、幫助信息、檢索技巧）5部分的因特網搜索引擎評價指標體系。鳳元杰、劉正春、王堅毅建立了搜索引擎主要性能評價指標體系，其中創新性地提出了“相對查全率”和“相對查準率”的概念和計算方法。該指標體系包括索引數據庫的構成（標引的文件種類、標引深度和更新頻率）、檢索功能（布爾檢索、鄰近檢索、截詞檢索、字段檢索、加權檢索、區分大小寫（英文）、模糊檢索、概念檢索、自然語言檢索、多媒體檢索、多語種檢索、相關信息反饋檢索、多內碼處理（中文））、檢索效果（相對查全率、相對查準率、檢索時間）、搜索引擎的“親和度”（個性化查詢界面、檢索幫助信息、相關性排列、格式轉換、交叉語言檢索與翻譯、信息過濾、信息挖掘、信息推送、學習功能）。金玉堅、劉焱提出了搜索引擎檢索效果評價指標體系，分為索引數據庫（標引數量、標引深度、標引范圍、更新頻率、索引組成）、檢索功能（布爾檢索、截詞檢索、鄰近詞檢索、字段檢索、區分大小寫（英文）、加權檢索、模糊檢索、相關信息反饋檢索、概念檢索、自然語言檢索、目錄式瀏覽檢索、多內碼處理（中文）、多語種檢索、多媒體檢索）、檢索結果（相對查全率、相對查準率、響應時間、相關性排序、重復率、死鏈接率、顯示內容、輸出數量選擇、顯示格式選擇）和用戶負擔（個性化查詢界面、幫助文件、查詢舉例、信息過濾、格式轉換、交叉語言檢索與翻譯、信息挖掘、信息推送、學習功能和自然語言接口）4部分，同時還提出了網絡時代新型查全率和查準率的算法。王煉從選擇搜索引擎（搜索引擎的大小和覆蓋范圍、更新頻率、新穎度和死鏈率）、使用搜索引擎（檢索式的構造和檢索功能）、認識搜索結果（響應時間、查全率和查準率、輸出結果的顯示格式與內容、排序）和用戶負擔（幫助、后處理功能、信息過濾和輔助功能）等方面建立了搜索引擎評價指標體系。判斷搜索引擎成功的標準是其用戶量，搜索引擎技術的優勢若不能被廣大用戶認可，其價值就難以體現。只有站在廣大用戶的角度，才能真正體現搜索引擎評價的價值所在。例如，蔣偉偉從用戶的角度出發，引入了用戶滿意度的概念并以CCSI（ChineseCusto-merSatisfactionIndex，中國顧客滿意度指數）為測評理論模型，依據網絡搜索引擎的具體情況基于CCSI模型進行改良，構建了一套網絡搜索引擎評價體系，包括企業形象（品牌形象、企業實力、用戶口碑）、預期質量（預期查找全面性、預期查找準確性、預期查找時間、預期服務效果）、感知質量（網頁的全面性、檢索方式、對網頁的描述能力、更新速度、檢索結果的相關性、響應時間、人性化服務、穩定性）、感知價值（質量級別評價、時間級別評價）、用戶滿意度（總體滿意度、首選可能性）、用戶抱怨（對產品的抱怨、對服務的抱怨）、用戶忠誠度（轉移檢索途徑的可能性、繼續使用的可能性）7個部分。陳艷、廖文杰從信息技術接受模型出發，探討如何從用戶的信息接受的效果來評價搜索引擎，構建了基于信息技術接受模型的搜索引擎評價體系，包括影響感知的有用性的指標（收錄信息的質量、反饋信息的數量和質量、信息組織的有效性）和感知的易用性的指標（界面的人性化、檢索的功能、幫助系統的完備性）。宋迪、呂英杰和李一軍從用戶角度出發，將傳統指標體系中的技術相關指標從用戶角度進行重新描述，整理出13個用戶易于感知和衡量的評價指標，包括感知的全面性、感知的準確性、檢索功能、響應時間、幫助信息、感知的死鏈接率、檢索結果輸出、感知的網頁重復率、界面友好程度、常用信息服務、音樂服務、圖片服務、貼吧服務，將用戶按其特點進行分類，總結出不同用戶對搜索引擎各個指標關注角度的差異，從而為搜索引擎的發展方向提供了指導意義。隨著廣大用戶服務意識的逐漸提高，僅僅關注用戶負擔已經不能滿足用戶使用搜索引擎的需求，還需要注重用戶體驗。國內學者早期的搜索引擎評價研究只是從系統角度評價，近年來一些學者已經開始關注用戶的主觀感受。搜索引擎用戶體驗評價是目前搜索引擎評價指標體系發展的一個新特點。宛玲、楊秀丹、杜曉靜認為對搜索引擎的檢索功能的評價主要應從收錄范圍（收錄信息范圍的廣度、收錄信息的全面性以及收錄范圍劃分的明確性）、查詢結果反饋的信息量及內容的準確性（是否提供關于整個查詢結果的說明、每一條款目的內容揭示是否詳略適當以及質量可靠、每條款目包含的特征信息是否全面、是否提供對全文的超文本鏈接、是否對相關網站進行了評價以及評價是否恰當）、反饋的查詢結果錯誤率（重復率和死鏈接率）、報道與內容更新速度、檢索功能（多種檢索路徑、檢索途徑應具有很高的檢索功效，基本檢索、高級檢索、其他功能檢索、檢索的語法規則要易學和易用）、檢索效率（查全率和查準率）、反饋信息的檢索性能、響應時間（進入搜索引擎的等待時間、等待查詢結果的時間）、檢索界面的友好性（編輯使用說明與在線幫助、搜索引擎各項功能和信息的組織）、精品推薦、與其他搜索引擎的友情鏈接、系統性能（穩定性、可靠性、安全性）、點擊率、附加功能等多方面進行。這套指標除包含數據庫規模、檢索性能、檢索效果、用戶界面等類型指標之外，還強調了精品推薦、與其他搜索引擎的友情鏈接、系統性能等與用戶使用相關的方面，這是國內搜索引擎評價指標研究的一個提高，在領悟國外強調“人性化”的基礎上，將用戶使用體驗列為搜索引擎評價的重要內容。綜上所述，目前我國搜索引擎評價指標體系基本上趨于穩定，只是小范圍存在變化，檢索性能、檢索結果、檢索效果和用戶負擔是其核心內容。我國搜索引擎評價指標體系的發展，建立在綜合國外研究成果的基礎之上，并結合了我國搜索引擎的發展現狀，是綜合并呈現一定體系的發展過程，是一個指標內容逐漸豐富、指標性質逐漸商業化的過程。一方面，沿用了國外評價指標發展重視技術和用戶的特征，體系建設具有全面、豐富的特點，形成了全面建設加專攻一面的發展格局；另一方面，顯示了搜索引擎商業化發展對相關研究的影響。1.2搜索引擎評價方法方法問題是搜索引擎評價的關鍵問題之一。無科學的搜索引擎評價方法就無法構建科學合理的搜索引擎評價指標體系。在搜索引擎評價當中，涉及眾多的評價方法。國內研究人員曾經對搜索引擎評價研究方法進行了總結。陳海龍歸納出搜索引擎評價的研究方法有比較分析法和測試實驗法。費巍歸納出搜索引擎評價研究方法主要有實驗法、調查法、觀察法、數據分析法、綜述和評論等。目前國內搜索引擎評價研究方法又可以分為定性評價方法、定量評價方法以及定性與定量相結合的綜合評價法。國內很多研究者致力于搜索引擎定性評價方法的研究。搜索引擎定性評價法是指根據一定的評價標準從主觀角度對搜索引擎進行評價。這種評價方法，一般依據評價目的和服務對象的需求，按照一定的原則和要求，確定相應的評價標準或指標體系，確立賦值標準，然后通過用戶或者評價者進行評定或者打分，給出各個搜索引擎的評價結果。該方法較早、較多、較成熟，是一種重要方法。但是使用該方法所構建的指標體系往往主觀性較強，操作性較差，評價結果易受到評價者衡量標準、網絡環境等客觀條件的制約，使得評價結果通常與實際不相符，甚至背離。儲荷婷從類型、功能和檢索結果等方面對國際互聯網絡現有的檢索工具進行了比較、分析和評價。毛振鵬、胡濱、代海巖針對那些難以從技術角度進行量化的方面，應用定性評價的方法，設置總體評價體系進行搜索引擎總體評價。定量評價方法提供了一個系統、客觀、規范、科學的數學分析方法，具有方便、快速、客觀、公正、評價范圍廣等優點，結果更加直觀、具體。它在一定程度上可以克服定性評價自身所具有的不可克服的主觀性和價值偏向性，能夠改善定性評價結果可操作性較差的局面，但評價標準過于簡單，并且統計數據可能會受到評價過程中太多不確定因素的影響，使搜索引擎評價研究的發展陷入瓶頸。李玉軍、鮑永瀚通過應用Cranfield體系構建查詢樣例集合、查詢信息需求分類、抓取搜索引擎結果、規定標注準則、計算性能評價指標的基本流程，對目前常用的中文搜索引擎百度、谷歌、搜狗、搜搜和人民搜索的性能從定量的角度進行評價。劉正春、蔣福坤利用模糊多屬性決策方法對搜索引擎的綜合評價問題進行研究，構建了搜索引擎定量評價模型。周凱、李芳、盛煥燁建立了基于向量空間模型的中文搜索引擎評測系統。何曉艷、朱俊東在集對分析理論的基礎上，提出了基于聯系數學的搜索引擎性能綜合評價模型，為定量地評價搜索引擎提供了將集對分析理論運用到搜索引擎質量評價的方法。搜索引擎評價工作是一項綜合復雜的研究活動，僅用定性評價方法或者定量評價方法，難以做出客觀、全面、合理、準確的結論。定性評價方法和定量評價方法各有優缺點，但是二者具有互補性。定性評價方法的全面性和成熟性可以彌補定量評價方法的不確定性；定量評價方法的客觀性和科學性可以彌補定性評價方法主觀性方面的不足。于是，定性評價與定量評價相結合的綜合評價方法應運而生。董文鴛、姚曉鋒從搜索范圍、界面設計、檢索功能和用戶支持度等6個角度提出圖像搜索引擎性能評價體系，運用模糊層次分析法，對Google、Ditto和百度的性能進行評價。朱慶華、杜佳采用網上特爾菲法進行專家調查以確定搜索引擎評價的各項指標，并利用基于指數標度的層次分析法確定各項指標的權重，從而構建搜索引擎評價指標體系。以構建的搜索引擎評價指標體系作為評價工具，同樣運用基于指數標度的層次分析法作為評價方法，選擇若干中文搜索引擎作為評價對象，進行實證分析。吳婷、肖健華借助層次分析法來確定各指標權重，綜合考慮技術與用戶雙層面的因素，提出了搜索引擎評價方法。黃凱寧運用層次分析法對搜索引擎評價體系建模并計算出各指標的綜合權重，又借助模糊理論構造指標集到評語集的模糊關系，在統計實驗和專家組評分的基礎上得出評價結果，實現對搜索引擎從定性到定量的綜合評價。搜索引擎評價在向定量和綜合評價方法發展的同時，越來越多的分析方法被引入搜索引擎評價領域。依據其他學科領域的科學理論和研究方法，利用相關的技術或者結構模型，針對搜索引擎自身特點，提出和改進搜索引擎評價方法，則是搜索引擎評價研究的另一個重要的研究內容和特點。目前國內這些評價方法主要包括：多指標綜合評價方法、層次分析法、因子分析法、基于結果集相關度的評價法、多層次灰色評價法、系統聚類法、模糊綜合評判法以及各種方法相結合的方法等。劉正春、王堅毅利用多目標決策理論中的TOPSIS(TechniqueforOrderPerformancebySimilaritytoIdealSolution)方法，建立起搜索引擎綜合評價數學模型，構建了搜索引擎的多目標評價體系。張浩、張博特、陳姜利用層次分析法計算各層指標的權重，并用相對查準率等方法對最底層評價指標進行評分，最后綜合權重和最底層評價指標的得分，定量評價Google、YAHOO、Baidu和SOHU4個綜合性搜索引擎。王春芳在綜合學者對搜索引擎評價研究成果的基礎上，總結出相對全面系統的搜索引擎性能評價指標體系，