1、網站分析我們的數據準確嗎？導言】在做網站分析的漫長歷程中，被問到最多的問題就是“你的數據精確嗎？”網站分析的數據究竟準確與否，如何看待網站分析數據可能存在的偏差，本文將會給出答案。 【正文】準確和精確在漢語里面是近義詞，我們在口語中是可以混用的，英語中也如此，accurate和precise人們也是隨性而用，脫口而出。可是，既然有兩個詞存在，而沒有在文字演化的長河中消亡其中一個，就說明它們還是有微妙的不同。事實上，準確和精確絕對不是同一個概念，它們在工程學、統計學以及其他許許多多的科學中都被嚴格的區分，對于網站分析這么新興的學科而言，也完全如此。我們先看看準確和精確到底有什么不同，然

2、后再看看網站分析工具能夠做到準確還是精確，或是二者皆備。何為準確，何為精確維基百科上有關于準確和精確的極佳的解釋，堪稱經典詞條。這里我用漢語向它致敬：準確是指現象或者測量值相對事實之間的離散程度小，也就是我們口語的“接近事實、符合事實”等；精確是指在條件不變的情況下，現象或者測量值能夠低離散程度的反復再現，也就是我們口語說的“次次如此、回回一樣”等。如果我們把準確和精確作為兩個不同的維度建立矩陣，可以得到下面的圖：圖1：準確和精確矩陣（圖片來源：）左上象限是我們最喜歡的，既準確，且精確對物理學和絕大多數理工科的要求就是如此；右下角是最糟糕的情況，不僅不精確，而且不準確這是生活中最常見的，我們的

3、社會生活其實很離散也很混沌。那么，自然而然的你會問，網站分析屬于哪個象限呢？一定是左上角的象限對嗎？網站分析是準確的嗎？首先，這個問題沒有固定的答案，因為網站分析的準確度很大程度上取決于你的期望和所采用的監測方法和所使用的工具。不過，就我們最常使用的網站分析方法而言，網站分析絕對不屬于圖3中左邊的兩個象限（即不屬于既準確又精確的象限，也不屬于準確但不精確的象限），更簡單說，就是網站分析的數據不會準確。這可能會讓你失望，但相信并不出乎你的意料。你肯定已經發現，如果我們使用不同的網站分析工具衡量同一個網站的時候，各工具的結果之間有令人費解的差異，而且我們也無法知道哪個工具是更準確的還原了事實上的數

4、據。所以，如果GA顯示你的網站在一個月內有36,954個Unique Visitor，你的網站的真實訪問者（一個個活生生的網友！）肯定不是36,954個！事實上，我們幾乎找不出來任何一個能夠準確被統計的度量，即使是最基本最簡單的度量Page View也是如此！因此，如果你的老板想要100%沒有誤差地知道網站到底有多少個人訪問過，這個想要本身已經沒有意義。為什么網站分析數據無法準確你可能會吃驚，因為我們的物理學實際上也是不可能100%準確的，原因是我們都聽說過的“測不準原理”。同樣，網站分析也因為一個最基本的事實而無法準確，即：網站分析的監測媒介是瀏覽器和服務器，而不是真實的人，這注定了我們不可

5、能尋求到準確的結果。具體而言，就目前我們通常使用的兩種監測方法Server Log和Page Tag都不可能準確對網站分析的一些最基本度量進行計數。Server Log的誤差（Bias）： · Unique Visitor的誤差： 如果用Server Log的方法監測數據，那么很顯然，獲取真實的訪問者數量是不可能的任務。本身Server Log對于訪問者的估算只能依據誤差巨大IP，而網絡爬蟲/機器人的訪問又使這種誤差進一步擴大。· Page View的誤差： 本來Server Log是可以很準確的記錄Page View的，但是可惜Cache的出現讓這成為歷史。Cache極有

6、可能會屏蔽服務器端的響應，這樣Server Log可能不會留下任何關于某次Page View記錄。· 時間記錄的誤差： 在沒有Cache干擾的情況下，服務器能準確探知訪問開始的時間，但是訪問結束的時間無法了解。因為訪問結束往往是隨關閉瀏覽器而一同結束的。關閉瀏覽器本身不能激發一條新的Server Log記錄。· Flash站點誤差： 如果一個網站主要構成部分是包含多個頁面的一個Flash文件，或多個此類Flash文件的組合，那么Server Log不會記錄Flash內部的操作，監測會幾乎失效。Page Tag的誤差：· Page Tag失效： Page Tag失效

7、是會發生的。首先，一部分瀏覽器（例如手機上的一些瀏覽器）不支持JavaScript或者被設置為JavaScript禁止。其次，Page Tag可能會因為它之前的JavaScript出錯而無法運行。再次，我們也看到過因為變量名沖突而發生Page Tag和頁面上其他JavaScript沖突而無法運行的案例。最后，受網絡速度的影響，頁面上的Page Tag沒有完全下載，瀏覽器就可能被人為關閉或者直接鏈向一個新的頁面。顯然，如果Page Tag失效，那么網站分析工具就會失去部分或者全部數據。· Page Tag的位置： Page Tag在頁面中的位置會影響網站分析工具的計數。如果Page T

8、ag在頁面的上端，那么它會更快的被執行，受到其他因素（例如Page Tag之前其他JavaScript失效或者網速問題）干擾的情況就越小，計數也就會因此增大。Stone Temple Consulting的統計表明，代碼在上的情況下，Visitor計數比在頁面下的多4.3%。· Unique Visitor的誤差： 一個計算機可能被多人使用；一個計算機可能有多個瀏覽器（造成訪問同一個網站有多個Cookie）；人們會刪除Cookie（2007年comScore的統計表明，一個月內有30%的美國用戶會刪除瀏覽器的Cookie）；Cookie被禁用（盡管WA工具一般都使用第一方Cookie

9、，但仍有約10%不到的第一方Cookie會被用戶設為禁止）。· Page View的誤差：主要由Page Tag失效引起。 · 時間記錄的誤差：同Server Log一樣，Page Tag能夠準確記錄訪問開始的時間，但是結束時間無法了解，因為一般情況下訪問的結束并不會觸發Page Tag的執行。 由于諸如Page View，訪問者和訪問時間之類的基本的度量實際上是無法準確記錄的，因此其他一些更高級的度量，例如我們常用的復合度量（Bounce Rate，Avg. Time on Site）就更不可能準確了。不過，知道了這些誤差產生的原因，有助于我們進一步修正誤差。有些監測工具

10、（例如DoubleClick，一個廣告監測工具）具有自修正功能，就是利用了這個原理。其他監測方法的誤差：網站分析的其他獲取數據的方式比如通過客戶端的軟件搜集數據（Alexa，iResearch等），以及Sniffer（包嗅探）則因其本身的監測方式所限，會有更大的誤差。例如，通過客戶端來搜集數據，很顯然存在樣本量的偏差；而Sniffer本質上是Server Log方式的翻版，但卻增加了包丟失以及數據記錄有限的問題。它們不可能比我們前面的兩種方法更準確。網站分析工具精確嗎？現在，你知道了網站分析工具并不能準確計數。那么，網站分析工具精確嗎？我要說，精確是網站分析工具的必備特征，網站分析工具做不到準

11、確，但必須精確。如果某個網站分析工具不精確，那么它就與垃圾無異。網站分析工具必須精確的原因很簡單，因為我們需要數據具有高度的一致性。如圖4（下圖）所示，如果網站分析工具的精確度存在-20%到+20%的誤差，那么假設11月4日的網站準確流量是50個UV，網站分析工具所報告的數值可能是40和60之間的任何一個數。同樣，我們假設次日（11月5日）的網站準確流量是51個UV，那么網站分析工具所報告的數值可能是41到61之間的任何數。那么，因為存在不精確，那么11月4日的數據有可能最終呈現40，而11月5日的數據則完全可能被最終呈現為61，這樣網站分析工具會誤報出一個令人滿意的增長但事實上這個增長并不存

12、在。反過來，如果11月4日的數據被報為60，而次日被報為41，那么更糟糕，這與實際情況是完全相反的。圖4：如果網站分析工具不精確會產生嚴重后果因此網站分析工具必須精確，如果它與事實有-20%的誤差，那么不論是哪一天哪一刻，它都必須比準確值小20%。否則我們就會得到錯誤的結論。當然，100%的精確也是不存在的，一般而言，允許+/-5%左右的系統偏差，這一來一去其實已經有最大10%的分離度，實際上已經是非常寬的標準了。網站分析工具不能做到100%精確的原因其實也是受跟上一節的那些因素一樣的影響，另外還有一些網站訪問者所處環境的變化造成的未知異常，例如網絡帶寬的變化或是數據傳輸過程中的異常丟失等。那

13、么，我們實際使用的網站分析工具精確度如何？如果5顆星是滿分最精確的話，那么：Google Analytics，精確度3顆半星，可以及格。但是我們的朋友Ben（曾海銀）和我都發現Google Analytics并不完全精確，這可能與數據的再處理有關系。Ben的案例中出現了+/-20%的情況，但極為罕見。其他的朋友有發現嗎？Omniture，精確度4顆星，較好。當然，我沒有辦法去驗證，只是因為他們家的數據比較少給我惹麻煩，也比較少有無法解釋的時候。但是Omniture的問題在于，定義的度量太多，且相同度量的定義在不同場合給出的數值有微小差異（盡管沒有實質影響）實在是一個太龐大的數據系統了。WebT

14、rends，4顆星。評分較高的原因在于WebTrends是實施在網站服務器端，或者是被網站所有者所擁有的，所以被外界環境干擾的情況相對較少。如何面對網站分析工具的不準確但精確的特性？網站分析工具不準確但精確的特性不妨礙我們獲得真正的insight（見解）。我們需要遵循三個網站分析的基本原則（簡直是我壓箱子底的寶貝了）：原則一：趨勢。看趨勢而不是看孤立數據是網站分析最重要的原則。你不可能因為網站今天的流量是500個而狂喜，但是如果上個月的平均流量是300，而這個月的平均流量是500，那么我會恭喜你，你也值得高興一番。我們在以前的文章中對這個有討論哦。由于網站分析工具是精確的，因此雖然不能準確反映數據，卻能夠準確反映趨勢。這也是我們所有的網站分析師會認為趨勢是最重要的方法論的原因。原則二：細分。因為網站分析工具的精確性，如果整體值比實際準確值偏小20%的話，那么構成整體的各部分也會同比比各自的準確值