平均數差異顯著性檢驗統計檢驗力和效果大小的估計原理與方法QUOT摘要該文以平均數差異顯著性檢驗為例對實驗數據進行假設檢驗后繼續對其統計檢驗力和效果大小進行估計的基本原理和方法作一介紹。關鍵詞平均數差異顯著性檢驗假設檢驗統計檢驗力效果大小中圖分類號B8412標識碼A文章編號100351842010010068061引言在數、比率或實計數等的幾個樣本統計量之間的差異是否顯著的假設檢驗結果但是假設檢驗結果并不能有助于了解它們之間的差異到底有多大其差異顯著性有多重要。因此現代心理統計學的發展要求通過計算統計檢驗力或效果大小來達到這些目的。當今國內外心理與科的發展目前已經明確要求研究者在投稿時需要在文章中提供有關統計力和效果大小等方面的數據。例如美國心理協會最新版第5版的寫作手冊一書中明確要求作者對于自己的研究假設進行檢驗時必須考慮采取嚴格的統計力STATISTICSPOWER。我們可以通過特定的ALPHA水平、效果大小和樣本大小來決定統計力而這關系到正確地拒絕作者想要檢驗的假設的可能性為了讓讀者能夠充分地了解到你的研究發現的重要性在你的結果段落中呈現效果大小EFFECTSIZE的索引或關系強度STRENGTHOFARELATIONSHIP是必要的。你可以使用一些一般效果大小的估計值來估計你研究結果的效果大小或關系強度包括但不是受限于COHEN的D值和K值1。在我國現有的心理或教育統計教材中比較重視如何控制ALPHA型錯誤的問題對于如何計算和控制BETA型錯誤并由此提高統計檢驗力問題則較少介紹25。鑒于目前較為著名的心理統計學教材69都重視統計檢驗力和效果大小的估計原理與估計方法文章擬以平均數差異顯著性檢驗為例對實驗數據進行假設檢驗后繼續對其統計檢驗力和效果大小進行估計的基本原理和方法進行介紹。2統計檢驗力的含義與估計原理對平均數進行差異顯著性檢驗時通常將檢驗的虛無假設設為或這是假設與在統計學意義上兩個平均數之間實質上是沒有顯著差異的而將虛無假設的反面設為NE這是假設與0在統計學意義上兩個平均數之間實質上是有顯著差異的。根據假設檢驗的結果無論是拒絕或者不拒絕虛無假設都有可能或者犯ALPHA錯誤或者犯BETA錯誤。通常情況下ALPHA和BETA不可能同時增大或減小ALPHA和BETA的相互關系通常有如表1和圖1所示。當虛無假設是時虛無假設分布NULLHYPOTHESISDISTRIBUTIONNHD是以零為中心的正態分布以對平均數的檢驗為例所謂虛無假設分布就是指當虛無假設為真時X或的分布。由于可以通過預先設定ALPHA水平的方式來控制當虛無假設為真時拒絕它可能會犯錯誤的概率。因此在此基礎上得到的虛無假設差異顯著性檢驗的Z統計量分布或T統計量分布在置信度范圍內也是以零為中心的分布ACENTRALZORTDISTRIBUTION。由表1可知當虛無假設為假備擇假設為真時接受就會犯BETA型錯誤拒絕則是做出了正確的決策其概率等于1BETA。換言之當為真即與確實有差異時與的距離即表示與的真實差異以1BETA的概率接受。1BETA反映著正確辨認真實差異的能力統計學中稱之為統計檢驗力POWEROFTEST或效力。也可以把統計檢驗力1BETA定義為在虛無假設為假備擇假設為真時正確拒絕的概率。如果想要知道犯BETA型錯誤的概率是多少就要知道備擇假設的分布情況ALTERNATIVEHYPOTHESISDISTRIBUTIONAHD以對平均數差異顯著性的檢驗為例所謂備擇假設分布就是指當虛無假設為假而備擇假設為真時X或的分布。遺憾的是由于與虛無假設相對立的備擇假設NE是虛無假設的補集兩個平均數之間不相等的值幾乎是無限多的因此它們之間的差值到底是多少是不確定的。在理論上備擇假設NE的分布值是一個不是以零為中心的分布ANONCENTRALZORTDISTRIBUTION它是以什么值為中心也有著無數多個選擇因此一般情況下難以對BETA值或1BETA值作出準確的估計。另一方面從總體上說對統計檢驗力的分析是一個近似值的分析因此可以假設備擇假設分布AHD是一種正態分布在此基礎上得到的備擇假設差異顯著性檢驗的Z統計量分布或T統計量分布也是正態分布。如果能找到某種備擇假設分布的集中值就能對BETA或1BETA值作出某種近似的估計。雖然在一般情況下由于不知道備擇假設分布是怎樣的而無法精確計算BETA型錯誤的值但在以進行平均數差異檢驗為目的的抽樣實驗中總會得到一個Z或T統計量如果備擇假設分布服從正態分布那么就可以利用這個在一次性抽樣中所得到的Z值來作為估計備擇假設分布的中心點以此作為該次實驗中備擇假設分布的期望值THEEXPECTEDZVALUE或稱為備擇假設分布的平均值通常用希臘字母DELTA表示備擇假設分布的期望Z值。并假定在備擇假設的分布中大于這個Z統計量的備擇假設的數量與小于這個Z統計量的備擇假設的數量各占50由此來對可能犯BETA型錯誤的概率進行近似的估計。DELTA是表示某種特殊的備擇假設分布的平均Z值因此它的計算方法也與Z值的計算方法密切關聯。由于在估計DELTA值時一方面假定備擇假設的分布是正態分布另一方面也用一次抽樣中所獲得的假設檢驗的Z統計量來作為DELTA值因此兩個獨立樣本平均數差異顯著性檢驗的DELTA值的計算方法將以下列公式1所示的計算Z統計量的公式為基礎。QUOT公式1如前所述在兩個獨立樣本平均數差異顯著性檢驗中DELTA是表示某種特殊的備擇假設分布的期望Z值在T檢驗中就是期望T值而樣本平均數的期望值是樣本平均數的期望值是與此相應計算兩個獨立樣本平均數差異顯著性檢驗的DELTA值的公式有如下列公式2所示。DELTA公式2例如當對兩個實驗分組的實驗數據進行平均數差異顯著性檢驗時如果用公式1計算的平均數差異顯著性檢驗統計量為Z30那么就可以把Z30視為是公式2所得到的DELTA值的計算結果并且把所有可能的備擇假設的分布假設為是以30為中心的正態分布這時這次抽樣檢驗結果Z30就被視為該次實驗中備擇假設分布的期望值這有如圖2所示。ALPHA005水平上進行雙側檢驗時作出接受或拒絕虛無假設的臨界值是ZALPHA2196。以此為分界點通常的統計決策是當實際得到的Z值小于196時就認為沒有充分理由拒絕虛無假設這時在虛無假設為假備擇假設為真時有可能犯拒真的BETA型錯誤其可能犯BETA型錯誤的概率值有如圖2中陰影部分所示而當實際得到的Z值大于196就會拒絕虛無假設這時在虛無假設為假時就作出了正確的決策由于在正態分布條件下與ALPHA005相應的Z值是196因此其正確拒絕虛無假設的概率值有如圖2中以為分界線所示的右邊部分的面積它等于1BETA。由于做出決策的臨界值定為196它離備擇假設分布的期望Z值DELTA30約一個標準差即30196104查正態分布表可知陰影部分的面積也就是犯BETA型錯誤的概率約為015統計檢驗力1BETA則為1015085。3兩獨立樣本平均數差異顯著性檢驗統計檢驗力的估計方法根據上述統計檢驗力的估計原理可以通過以下幾個步驟來估計兩個獨立樣本平均數差異顯著性檢驗統計檢驗力1BETA的值步驟1根據已知條件建立需要檢驗的假設步驟2用相應的公式計算Z統計量步驟3確定做出統計決策的ALPHA水平及相應的臨界值步驟4計算實際得到的Z值與ALPHA水平臨界值的差步驟5根據Z值與ALPHA水平臨界值的差查正態分布表確定可能犯的BETA型錯誤或統計檢驗力1BETA的概率。例如有研究者在甲乙兩校中分別抽取100名16歲的男生進行智商測查測得甲乙兩校該年齡組男生總智商的平均分分別為115分和110分。根據常模該年齡組男生總智商的標準差是15分。那么求取甲乙兩校16歲男生平均智商差異顯著性檢驗統計檢驗力的過程有如下述。解已知數據是步驟1建立假設NE步驟2用公式1計算檢驗統計量步驟3確定做出統計決策的ALPHA水平并做出決策在顯著性水平ALPHA005時其臨界值為ZALPHA2196由于Z189在一般情況下假設檢驗的過程至此已經完成。但是如果要知道假設檢驗結果的統計檢驗力是多少則還需要做以下的工作。步驟4計算實際得到的Z值與ALPHA水平臨界值的差得到189196007。步驟5根據Z值與ALPHA水平臨界值的差查正態分布表確定可能犯的BETA型錯誤或統計檢驗力1BETA的概率查正態分布表可知從中心點為零到右邊007個標準差所占的面積是00279加上中心點左邊的050的面積共有曲線下面積0500027905279約等于53如圖3所示。這就是本例情況下估計出來的犯BETA型錯誤的概率值其拒絕錯誤的虛無假設接受正確備擇假設的概率是1BETA這就是統計檢驗力在本例中它的值是1。如果用BETA來表示圖3中拒絕或接受虛無假設分界點到該正態分布曲線中點的距離那么前述求取BETA或1BETA過程中的前4步也可以用下列公式3計算。ALPHA公式3在本例中假設當顯著性水平為時ALPHA196代入公式3可得ALPHA115196007由此得到的BETA007與前述步驟1至步驟4得到的結果是一樣的。上述計算表明根據本例中的數據對平均數差異顯著性進行檢驗后得到的Z統計量是Z189當顯著性水平為ALPHA005時Z1894兩獨立樣本平均數差異顯著性檢驗效果大小的估計方法效果大小EFFECTSIZE有時也被譯為效應大小或效應值是反映統計檢驗效果大小或處理效應大小的重要指標它表示不同處理下的總體平均數之間差異的大小可以在不同研究之間進行比較。考慮到效應一詞在統計學中很多使用如方差分析中的主效應各因子效應等為了不使讀者產生不必要的混淆用效果大小一詞來表示EFFECTSIZE的內涵。效果大小反映了兩個總體受某種事物的影響后的差異程度。平均數差異顯著性檢驗的效果大小一般用符號D表示。在兩個獨立樣本的方差和樣本容量都相等的條件下公式2可作如下推導DELTASIGMA2NSIGMA由此可得DELTASIGMAN2公式4令DSIGMA公式5DELTADN2公式6進而有DDELTAN2DELTA2N公式7由公式6可知在實際計算過程中DELTA值是D值與樣本量除以2之后的算術平方根兩部分的乘積。這表明在其他條件不變的情況下D值越大DELTA值也會越大而DELTA值越大則統計檢驗力1BETA也越大因此D值與統計檢驗力1BETA之間存在正相關的關系。QUOTD值與統計檢驗力1BETA之間有著密切關系但也要注意這兩者之間的區別統計檢驗力1BETA受樣本容量影響較大而D值則不受樣本容量影響。可以通過上述公式5在不考慮樣本容量的情況下來計算某個心理研究中的D值。我們也可以通過把D值視為兩個總體分布的重疊量的途徑來理解效果大小的內涵。圖4列出了四種D值在兩個總體中的重疊情形。圖4表明表示效果大小的D值越大重疊程度就越小平均數差異顯著性檢驗的效果就會越明顯D值越小則相反。也可以這樣來理解即不管你取哪種樣本D值總是作為一種標準的平均數差異的估計它與當前樣本無關。顯然的推斷統計量Z、T、F或值及相應的概率值P值只是說明平均數的差異如何但這種差異脫離樣本推廣到不同的抽樣群體時差異究竟有多大則需要用反映效果大小的D值來描述。比如說一般情況下男性平均身高要比中看到男性比女性要高D值越小則在實際生活中看到男性比女性高的可能性就會小些。換言之D值更能說明在實際生活中所關心的差異而不是數據上的差異顯著問題。D值能知道觀測到的差異是不是事實上的差異。JCOHEN1992認為D02視為是低效果D05視為是中等程度的效果大小D08視為是高效果。上述公式5就是求效果大小的具體方法利用這一公式可以對前面求統計檢驗力的相應數據求該研究的效果大小D值。已知的條件是因此可以利用公式5來計算該研究的D值將數據代入公式后得DSIGMA11511115027即該研究的效果大小是D027根據JCOHEN的觀點這屬于較小程度的效果大小。5影響平均數差異顯著性檢驗統計檢驗力的其他因素前面論述了效果大小與統計檢驗力的相互關系即在其他條件不變的情況下效果大小D值越大統計檢驗力1BETA值也越大。此外統計檢驗力1BETA還受ALPHA水平和樣本量的大小這兩個因素的影響。公式6即DELTADN2表明DELTA值是D值和樣本容量除2后的算術平方根的乘積。這表明樣本容量也是影響DELTA值的因素之一樣本容量越大DELTA值也越大。對于另外一個即ALPHA水平因素需要作進一步的說明。正常情況下當選擇ALPHA005的臨界水平時在正態分布的情況下其相應的Z值為196。以此為分界點通常的統計決策是當實際得到的Z值大于196時就會拒絕虛無假設實際得到的Z值小于196時就會接受虛無假設。例如前面所舉的例子中的檢驗結果是Z189由于小于Z的臨界值因此一般是接受虛無假設認為甲乙兩校男生在總智商方面沒有顯著差異。做出這種決策在虛無假設為假時就有可能犯BETA型錯誤。如圖3所示犯BETA型錯誤的概率約等于53與此相應的統計檢驗力的值就是1053047。如果做出決策時把ALPHA水平從ALPHA005改為ALPHA010的水平進行雙尾檢驗其接受或拒絕虛無假設的臨界點等同于在ALPHA005水平下進行單尾檢驗時的臨界點情況會是怎樣呢我們仍然用前面所舉的例子為例。通過前兩個求解步驟得到的檢驗統計量仍為Z189。步驟3確定做出統計決策的ALPHA水平并做出決策查正態分布表可知在顯著性水平ALPHA010雙側時其臨界值為ZALPHA21645由于Z189GTZALPHA21645因此正常情況下做出的決策是拒絕虛無假設而接受備擇假設認為甲乙兩校男生在總智商方面甲校男生的總智商比乙校男生的總智商要更好。步驟4計算實際得到的Z值與ALPHA水平臨界值的差得步驟5根據Z值與ALPHA水平臨界值的差查正態分布表確定可能犯的BETA型錯誤或統計檢驗力1BETA的概率查正態分布表可知查正態分布表可知從中心點為零到左邊0245個標準差所占的面積是00968約等于010如圖5所示其陰影部分的概率值為050010040。與前述一樣的檢驗統計量作為估計備擇假設分布的中心點或期望值DELTA建構一個正態分布189左右兩邊各占50的面積以作為接受或拒絕假設的分界點如果實際獲得的Z值小于圖5左邊陰影部分就接受虛無假設這時如果虛無假設為假則犯BETA型錯誤的概率值約為40如果實際獲得的Z值大于圖5右邊部分就拒絕虛無假設這時如果虛無假設為假則是作出了正確的決策其正確決策的概率值是1BETA1。需要特別強調的是當用上述五個步驟的方法或公式3來計算BETA型錯誤率或統計檢驗力1BETA時一定要根據是接受還是拒絕虛無假設的假設檢驗結果來確定通過Z統計量與顯著性水平臨界值之差查Z分布表后所得到的概率值的兩種不同意義。意義1當根據平均數差異顯著性檢驗結果接受虛無假設如本文例子在ALPHA005雙側檢驗時在虛無假設是真時這是正確決策在虛無假設是假時就做了錯誤的決策犯錯誤的概率是BETA在本文例子中檢驗結果得到的Z統計量即Z189與顯著性水平ALPHA005雙側檢驗的臨界值ZALPHA2196之差為007查Z分布表可得對應于平均數到007個標準差的面積是約003如圖3所示由于是接受虛無假設那么臨界值ZALPHA2196左邊陰影部分的面積都屬于接受域圖中189是這次實驗中備擇假設分布的期望值該點兩邊各占50的面積而臨界點198這個值在中心點189的右邊因此陰影部分的面積就應該是050003053如果虛無假設是假接受它做出錯誤決策的概率為。意義2當根據平均數差異顯著性檢驗結果拒絕虛無假設如本文例子在ALPHA010雙側檢驗時在虛無假設是真時錯誤決策的概率是顯著性水平ALPHA在虛無假設是假時就做了正確的決策正確決策的概率是1BETA。在本文例子中檢驗結果得到的Z統計量即Z189與顯著性水平ALPHA010雙側檢驗