【法律案例】3B搜索大戰引發Robots協議之爭

大量用戶使用360搜索訪問百度貼吧、百度知道、百度百科、百度文庫，于是一度占據80%市場份額的搜索企業百度針對新興的360搜索，很快采取了兩項措施：第一，設置白名單機制的Robots協議，允許谷歌、必應、搜狗、搜搜在內的搜索引擎訪問百度的上述網站，唯獨不允許360搜索引擎訪問。第二，2012年10月，百度以360違反“Robots協議”為由，起訴360不正當競爭，并索賠1億元人民幣。時隔一年，該案在北京一中院開庭審理。這個訴訟案牽涉業界兩個知名的互聯網企業，索賠金額創新高，并將一個原本不起眼的行業術語——Robots協議，一下子推到了世人面前。業界對該案高度關注，因為這場訴訟的結果意味著Robots協議——一個業界約定俗成的通訊標準是否會法律化，是否上升為國家意志，以及將會如何決定未來互聯網的發展走向。該案的宣判結果在這個網絡化生存的時代，將會影響到每一個人。什么是Robots協議？根據百度百科，Robots協議的解釋如下：“Robots協議(也稱為爬蟲協議、機器人協議等)的全稱是網絡爬蟲排除標準”(RobotsExclusionProtocol)，網站通過Robots協議告訴搜索引擎哪些頁面可以抓取，哪些頁面不能抓取。Robots協議的本質是網站和搜索引擎爬蟲的溝通方式，用來指導搜索引擎更好地抓取網站內容，而不是作為搜索引擎之間互相限制和不正當競爭的工具。Robots協議起源于上世紀90年代，那時搜索技術剛剛出現，搜索蜘蛛(即搜索機器人，Robots)如何抓取數據還沒有統一的規范。那個時代，建設網站所用的服務器設備普遍計算能力弱、存儲空間小，如果搜索蜘蛛為了信息實時更新而頻繁索引網站數據，會造成服務器設備負荷過重，導致網站對用戶的訪問反應過慢。因此，在1994年，一位荷蘭籍網絡工程師MartijnKoster首次提出Robots協議。對于當時的網站來說，設置Robots協議主要有三個目的：首先，是保護網站內部信息不被搜索引擎爬蟲抓取；其次，是引導爬蟲不要抓取對用戶沒有價值的信息；最后，是為了保護中小網站的流量平衡，避免爬蟲快速抓取給網站服務器帶來過大壓力。由此可以看出，Robots協議帶有濃厚的時代感和歷史局限性。進入到21世紀后，由于IT設備的計算能力飛速提高，搜索引擎蜘蛛索引網站數據對服務器造成的影響已經小到可以忽略不計。而且，隨著搜索引擎在互聯網里的地位越來越重要，各個網站都需要按照搜索引擎的索引規則進行優化，以盡量讓搜索引擎找到，并使自己盡可能出現在搜索結果的前列。因此，除了在存儲用戶登錄信息等隱私數據的地方設置禁止搜索引擎訪問的Robots協議之外，網站都會歡迎搜索引擎訪問自己的網站。Robots協議為什么沒被采納為國際標準？Robots協議雖然名為“協議”，但只是行業慣用的說法。它既不是法律意義上的協議，也不是國際組織采納的標準，因此不受任何機構保護。Robots協議的創始人MartijnKoster說：“Robots協議是一個未經標準組織備案的非官方標準，它也不屬于任何商業組織。本協議不受任何機構保護，所有現有和未來的機器人不一定使用本協議。”其實，早在1997年，MartijnKoster曾向IETF(互聯網工程任務組)提交申請，試圖把Robots協議作為該組織規范，但被IETF拒絕。之后，國際電信聯盟(ITU)、萬維網聯盟(W3C)的規范也同樣拒絕采納Robots協議。歐美電信專家擔心，由于Robots協議包含排斥性條款，企業可能會利用Robots協議的條款限制競爭，從而將后起競爭者擋在門外。百度Robots協議有什么特殊的地方？2008年6月，雅虎、谷歌和微軟共同通過非官方途徑宣布采納Robots作為標準，各大搜索引擎公司開始對Robots協議進行商業研究，以期幫助搜索引擎更好地抓取到信息，為用戶提供服務。各種公司標準的Robots協議開始產生，例如：著名搜索引擎谷歌在自己的Robots協議中增加了一個指令“archive”，以此限制Google是否保留網頁快照。然而，Robots協議也日益成為占市場主導地位的搜索企業限制競爭的工具。百度的Robots協議的特別之處，在于其白名單機制——允許除360之外的所有搜索引擎訪問百度網站，這種白名單在全球是絕無僅有的。如果百度的Robots協議生效，那么用戶使用360搜索將無法訪問百度貼吧、百度知道、百度百科、百度文庫等內容網站。這意味著百度可以利用自己的市場地位削弱360搜索的競爭力。這個案例和微軟與谷歌之間的糾紛非常類似。微軟就谷歌不公平地阻礙必應等競爭對手訪問谷歌控制的Youtube視頻網站信息，于2011年4月在歐盟正式提起訴訟。該案已被歐盟反壟斷機構立案調查。在此之前，已經有三家公司向歐盟起訴了谷歌利用主導地位打擊其他搜索引擎的不公平競爭行為。Robots協議之爭是3B大戰的延續？百度利用Robots協議屏蔽360搜索，引起業內的高度關注。工信部和中國互聯網協會及時介入，調停百度和360之間的Robots協議糾紛。2012年11月1日，中國互聯網協會在北京召集多家搜索企業，共同簽署《互聯網搜索引擎服務自律公約》。該公約的制定充分體現了互聯網的精神。一方面，公約對非法律條文規定，但在國際互聯網界具有共識的Robots協議給予了充分的尊重和肯定。另一方面，業界能夠基于誠信、自主自治的互聯網精神來解決互聯網的爭議，共同討論和解決出現的問題。《互聯網搜索引擎服務自律公約》明確規定，“互聯網站所有者設置Robots協議應遵循公平、開放和促進信息自由流動的原則，限制搜索引擎抓取應有行業公認合理的正當理由，不利用Robots協議進行不正當競爭行為，積極營造鼓勵創新、公平公正的良性競爭環境。”然而，在各企業簽署自律公約之后，百度并沒有根據自律公約的要求，對設置白名單Robots協議屏蔽360搜索給予合理、正當的理由，繼續屏蔽360搜索對百度內容網站的訪問。Robots協議將如何決定互聯網的走向？“3B大戰”讓Robots協議從幕后走向臺前，讓這個簡單的文本文件一下子獲得了整個中國互聯網世界的關注。百度認為360搜索訪問旗下百度知道、百科、貼吧、旅游等站點的內容，違反了Robots協議。360認為，百度的Robots協議單方面屏蔽了360搜索，卻允許谷歌、必應、雅虎、搜狗、搜搜等搜索引擎正常訪問，也違背了互聯網的開放精神，是百度利用自己的市場地位濫用Robots協議，是對360搜索的不正當競爭。到底Robots協議應該是像法律一樣，神圣不可侵犯？還是應如其初衷一樣，作為搜索引擎與網站之間溝通和協商的橋梁？事實上，因為Robots協議帶有排他性條款，國際組織擔心其會成為企業競爭的工具，因此拒絕將其采納為國際標準。所以迄今為止，從來沒有任何組織或專家把Robots協議當成規范。微軟就谷歌阻礙必應搜索訪問Youtube網站提起訴訟，以及百度通過Robots協議單獨屏蔽360搜索訪問百度網站，進一步證明了國際組織的擔憂，即Robots協議已經越來越成為企業競爭的工具。最糟糕的情況顯然是，如果Robots協議成為國際標準，甚至具有法律效力，像谷歌和百度這樣占據市場優勢地位的搜索引擎，可以憑借自己的優勢地位，迫使大量知名網站簽署排他性Robots協議，只允許谷歌或百度的搜索引擎訪問，屏蔽其他一切搜索引擎。這樣的情況一旦發生，就會出現馬太效應，大者恒大，全世界只會僅存一兩家搜索企業，市場競爭就會大大減弱。同時，互聯網里自由流動的信息會產生割裂，形成信息孤島。用戶訪問A網站要用一個搜索引擎，訪問B網站則需要換一個搜索引擎。由此，濫用“Robots協議”，不僅有損互聯網的平等、分享精神，也違反了不正當競爭法，將會阻礙互聯網的健康、有序發展。專家、學者們怎么說？正如互聯網協會理事長胡啟恒所說：“互聯網是生而自治的，在日后隨著互聯網技術應用的不斷發展，還會有許多新問題出現。”隨著中國搜索市場競爭日趨激烈，Robots協議本來作為一個行業約定俗成的、引導搜索蜘蛛更好索引內容的文本文件，現在已經成為企業之間競爭的工具。Robots協議進入行業自律公約，已經舉世罕見，而再一次成為法律訴訟的主題，這更是全球絕無僅有。專家學者的意見中搜CEO陳沛：Robots協議糾紛不是知識產權問題，而是企業競爭問題。重慶郵電大學城市化戰略研究院院長童大煥：百度通過白名單、黑名單的機制，限制360搜索引擎索引其內容，而允許其他搜索引擎索引其內容，既不公平，也違背了Robots協議的初衷，更違背了互聯網開放、分享的精神。任其濫用，必將造成行業競爭壁壘，導致搜索引擎信息呈現達不到盡可能完整的目的，阻礙搜索市場的信息自由，損害網民利益。中國社會科學院知識產權中心副研究員唐廣良：Robots協議沒有任何法律效力，既不屬于法律保護的技術措施，也不屬于互聯網運行必須遵循的技術規范，只是個別網站約定俗成的，就像游戲規則一樣。關于雙方誰對誰錯不做評價。但這其中的行為是否違法