孔雀V–CtrlV百度文庫集文件編號：20121223-02整理人：http://www.ctrlv.cc/基于Sphinx構建準實時更新的分布式通用搜索引擎平臺標簽：搜索引擎、分布式、Sphinx、MySQL、并發前言：

2008年7月，我寫過一篇文章《基于Sphinx+MySQL的千萬級數據全文檢索（搜索引擎）架構設計》。有不少網友希望閱讀全文，我將該文檔整理了一下，分享出來。文檔解壓后大小為7.33M，共19頁。

本站下載地址：

/book/sphinx/sphinx_mysql.zip

新浪下載分流：

/f/6728201.html

上述文檔架構存在的局限，我在2008年12月的文章《億級數據的高并發通用搜索引擎架構設計》中已經指出：一是MySQL本身的并發能力有限，在200～300個并發連接下，查詢和更新就比較慢了；二是由于MySQL表的主鍵與Sphinx索引的ID一一對應，從而無法跨多表建立整站查詢，而且新增加類別還得修改配置文件，比較麻煩；三是因為和MySQL集成，無法發揮出Sphinx的優勢。雖然如此，但對于一些寫入量不大的搜索應用，已經足夠了，或許對很多人會有幫助。

正文：

在這之后，本人基于《億級數據的高并發通用搜索引擎架構設計》開發的Sphinx分布式通用站內搜索引擎平臺，已經在生產環境運行9個月以上，經過運營中的不斷完善與改進，目前已形成了一套可擴展的分布式通用站內搜索引擎框架。CMS、視頻、論壇等產品發生的增、刪、改操作，文本內容實時寫入自行開發的

HTTPSQS

高性能簡單消息隊列服務，通過隊列控制器更新索引和存儲。提供支持XML、JSON的API查詢接口，支持億級數據的索引、分布式、中文分詞、高亮顯示、自動摘要、準實時（1分鐘內）增量索引更新。

下面是Sphinx新的搜索架構中技術關鍵點實現方式的一些介紹，與大家分享、交流一下：

1、一元分詞和中文分詞的結合：

①、一元分詞位于索引更新模塊。Sphinx索引引擎對于CJK（中日韓）語言（必須是UTF-8編碼）支持一元切分，假設【反恐行動是國產主視角射擊網絡游戲】這段文字，Sphinx會將其切成【反恐行動是國產主視角射擊網絡游戲】，然后對每個字建立反向索引。如果用這句話中包含的字組成一個不存在的詞語，例如【恐動】，也會被搜索到，所以搜索時，需要加引號，例如搜索【"反恐行動"】，就能完全匹配連在一起的四個字，不連續的【"恐動"】就不會被搜索到。但是，這樣還有一個問題，搜索【"反恐行動游戲"】或【"國產網絡游戲"】就會搜索不到。對于這個問題，采用位于搜索查詢模塊的中文分詞來處理。

sphinx.conf配置文件中關于UTF-8中文一元分詞的配置如下：...省略...

indext_source_main{

source

=t_source_main

path

=/data0/search/sphinx/data/t_source_main字段u2<50并且u2>90）

&filter_range=u1:1.23,99.645,false;u2:1034.3,7834.56,true

（浮點數范圍過濾器：字段u1>=1.23并且u1<=99.645，字段u2<1034.3并且u2>7834.56）

6、搜索結果前臺頁面示例：

7、同一套服務器平臺與API接口，通用于各類產品：

示例：

金山游戲文章與視頻搜索：/result.php?w=%