1、第四講 異方差一、 同方差與異方差：圖形展示對于模型，在高斯-馬爾科夫假定下有：其中意味著同方差假定成立。為了理解同方差假定，我們先考察圖一。在圖一中，空心圓點代表，實心圓點代表觀測值，是隨機變量的一個實現（注意，按照假定，是非隨機的，即在重復抽樣的情況下，給定i的取值，不隨樣本的變化而變化），傾斜的直線代表總體回歸函數：。圖一顯示了一個重要特征，即，盡管的期望值隨著的不同而隨之變化，但由于假定，它們的離散程度（方差）是不變的。然而，假定誤差項同方差從而被解釋變量同方差可能并不符合經濟現實。例如，如果被解釋變量y代表居民儲蓄，x代表收入，那么經常出現的情況是，低收入居民間的儲蓄不會有太大的差異

2、，這是因為在滿足基本消費后剩余收入已不多。但在高收入居民間，儲蓄可能受消費習慣、家庭成員構成等因素的影響而千差萬別。圖二能夠展示這種現象。圖一 同方差情況 圖二 異方差情況在圖二中，依據x1所對應的分布曲線形狀，x5所對應的實心圓點看起來是一個異常點（但依據x5所對應的分布曲線形狀，它或許稱不上是異常點）。異常點的出現是同方差假定被違背情況下的一個典型癥狀，事實上通過散點圖來發現異常點從而初步識別異方差現象在實踐中經常被采用，見圖三。 圖三 異方差情況下的散點圖 筆記：應該注意的是，如果第一個高斯-馬爾科夫假定被違背，即模型設定有誤，那么也可能出現異方差癥狀。例如，正確模型是非線性的，但我們錯

3、誤地設定為線性，以這個線性模型為參照，散點圖也許顯示出明顯的異方差癥狀。事實上，在很多情況下，異方差癥狀被認為是模型錯誤設定的一個表現。如果產生異方差癥狀的原因是模型設定有誤，那么我們首先應該要做的事情是正確設定模型，而不是基于錯誤設定的模型尋找有效的估計方法。在本講中，我們假定其他所有的高斯-馬爾科夫假定成立。二、 異方差的后果在證明高斯-馬爾科夫定理時，我們僅僅在證明OLS估計量具有有效性時涉及到了同方差假定，而在證明線性、無偏性并沒有用到該假定，因此違背同方差假定并不影響OLS估計量所具有的線性與無偏性這兩個性質（實際上也不影響OLS估計量的一致性，一致性只涉及到高斯-馬爾科夫假定一、二

4、、三）。既然存在異方差，在估計各系數時我們為何不利用這個信息呢？要知道，利用的信息越多，我們獲得的估計量其方差將越小，即估計精度越高。利用OLS估計法來估計系數時并沒有利用異方差這個信息，因此，在存在異方差的情況下，在所有線性無偏估計量中，OLS估計量并不是最有效的。另外值得注意的是，當同方差假定被違背時，計量軟件包在默認狀態下計算出的參數估計量的標準誤是無意義的，因為默認狀態是同方差假定成立。作為一個復習，下面我們把默認狀態下參數估計量的標準差與標準誤公式再推導一遍。真實模型是：，那么有：在重要假定五：下，有：在重要假定四：下，計量軟件包默認狀態下通過公式：來計算的標準誤，其中用來估計誤差項

5、的方差。顯然，如果同方差假定不成立，則，故試圖以來估計從而達到估計的想法是錯誤的。我們也注意到，只有在高斯-馬爾科夫假定成立的前提下，才是對誤差項方差的一個無偏估計。當誤差項具有異方差性時，即誤差項的方差隨著i 的變化而變化時，用一個與i無關的估計量（的最終結果與i無關）去估計誤差項的方差顯然是不合理的。換句話說，當誤差項具有異方差性時，不可能是對誤差方差的一個恰當估計。筆記：如果誤差項方差已被恰當估計出，如，直觀來看，我們應該以來作為對的標準差估計。不幸的是，我們無法很好地估計出各個誤差項的方差。誤差項是觀察不到的，因為我們并不知道參數的真實值。但我們可以獲得殘差。如果殘差是對誤差的良好近似

6、，則對誤差項性質的任何推斷都可以建立在對殘差的觀察基礎上。然而，在異方差情況下，對于每一種不同的誤差分布曲線，我們只有一個殘差觀測值。僅僅依靠一個觀察值，我們無法獲得對誤差方差的一致估計。應該注意到，既然殘差是對誤差的近似，難道我們不可以用來作為對的估計嗎？問題還是在于，我們只能使用一個觀測值來估計，它不可能是一個一致估計。然而，盡管是對的糟糕估計，但以來估計其情況應該更為樂觀，因為借助于求和，單個估計誤差有被抵消的可能。事實上White(1980)已經證明，是對估計量方差的一致估計，其正的平方根被稱為異方差穩健性標準誤，或者White-Huber-Eicher標準誤。總而言之，在異方差情況下

7、采用公式來計算的標準誤是不恰當的，當然，依靠這個錯誤的標準誤來進行的t檢驗也是無效的。思考題：通常的F檢驗有效嗎？F檢驗在何處體現了同方差假定？ 三、 發現異方差 我們是通過對殘差的分析來檢驗同方差假定是否被違背。因此，下面所有的異方差檢驗方法都隱含一個前提，即殘差是對誤差的良好近似。記住這一點十分重要，因為高斯-馬爾科夫假定中的假定一、二、三被違背將使得下面的一系列檢驗都無效。（一）Goldfeld-Quandt檢驗Goldfeld-Quandt檢驗法假設，在經典線性模型假定中，只有同方差假定或許并不成立，而其他假定是成立的。筆記：如果誤差項序列相關，即使其他經典線性模型假定成立，但并不服從

8、卡方分布，而對于構造F檢驗十分重要。為什么不服從卡方分布呢？這是因為按照定義，其中。如果服從正態分布的誤差項序列相關，則各誤差項并不獨立，此時，作為對誤差項的近似，各殘差將不是獨立的，進而通過殘差標準化所構建的卡方統計量就再也不服從卡方分布了。這意味著，在利用Goldfeld-Quandt檢驗法之前，誤差項序列無關的假定是否被違背應該先于檢驗，在序列相關情況下，異方差檢驗將無效。只有在序列相關被校正之后，異方差檢驗才能被進行。該檢驗的原假設是誤差項同方差，備擇假設是方差隨著某一個變量z的增加而增加。其檢驗步驟是：1、對N個觀測值按z升序排列，并拋棄中間的N-2N*個觀測值，形成兩個容量都為N*

9、的子樣本；2、就兩個子樣本分別進行回歸，記RSS1、RSS2分別為兩次回歸的殘差平方和。3、計算RSS2/RSS1。在同方差的原假設下有：若計算出的F值大于Fa，則在顯著水平a下我們拒絕原假設。筆記：1、在原假設為真時，與都是對的無偏、一致估計，故RSS2與RSS1應該相差不大，而RSS2/RSS1與1接近。2、為了提高檢驗的勢（不會錯誤地不拒絕原假設的概率），中間被拋棄的觀測值數目約為總樣本容量的3/8，以使RSS2與RSS1的差異顯得更明顯（“放大鏡”作用）。通俗地講，所謂檢驗的勢，是指該檢驗對原假設的“苛刻度”，如果該檢驗不會輕易地“不拒絕原假設”，那么檢驗的勢就高。實際上，如果輕易地“

10、不拒絕原假設”，那么我們犯“第二類錯誤”（不拒絕錯誤的原假設）的概率就高。顯然，當檢驗對原假設的“苛刻度”較高時我們仍然不拒絕原假設，那么原假設的真實性是更加可信的。3、有時我們或許具有確切的理由認為不同的樣本期間被解釋變量具有不同的方差。例如，在解釋我國1952-2002年間工業產值增長率時，我們有理由認為，在1952-1978年間工業產值增長率的方差應該小于1979-2002年期間的方差，因為前段樣本期間屬于計劃經濟，缺乏市場沖擊，而后一段時期屬于市場或者半市場經濟，存在市場沖擊。此時，我們可以把完整樣本期間只劃分為兩個子期間，按照Goldfeld-Quandt檢驗法第2、3步進行異方差檢

11、驗。（二） White檢驗Goldfeld-Quandt檢驗對誤差方差的形式作了一定的假定。然而，很多時候我們除了知道方差與解釋變量具有一定關系之外，并無其他的關于方差的確切先驗信息。此時，我們可以利用White檢驗。假設模型是，則White檢驗的步驟是：1、估計模型并計算殘差的平方；2、估計輔助回歸（auxiliary regression）模型：原模型同方差的原假設對應于輔助模型的原假設：3、對于輔助回歸模型，利用拉格朗日乘數（LM）統計量進行檢驗原假設。其中是輔助模型的判定系數（利用第三講的術語，對于輔助模型，它就是不受約束情況下的判定系數），q是輔助模型中不包含截距項的解釋變量的個數，

12、在上例中q=5。筆記：1、應該注意到，輔助模型的被解釋變量是而不是誤差方差，畢竟誤差方差是無法獲得的。采取這樣的做法有什么理由呢？注意到。在誤差項序列無關的前提下，再假設同方差原假設成立，則必定有：當N趨于無窮大時，1/N趨于0；將趨于一個一個分母為、分子為0的分數，故該項趨于0。因此，將收斂于誤差方差。我們注意到，因此，故當N趨于無窮大時，將趨于。由于，因此當N趨于無窮大時，。總結上述數學推理，如果在輔助模型中用代替誤差方差，那么隱含的前提是：（1）大樣本。故相關的檢驗是大樣本下的檢驗。（2）其他高斯-馬爾科夫假定成立，尤其要注意到誤差項序列無關假定要成立。與Goldfeld-Quandt檢

13、驗一樣，在利用White檢驗之前，誤差項序列無關的假定是否被違背應該先于檢驗。只有在序列相關被校正之后，異方差檢驗才能被進行。2、在White檢驗下，我們對誤差方差的形式并無確切的先驗信息。然而利用泰勒展開式，我們可以利用來近似。 3、為什么不直接用F檢驗而是首選LM檢驗呢？這是因為，我們是用殘差的平方來代替方差，在這種情況下，當原假設為真時，的分布在大樣本情況下與足夠近似，而與F分布的近似卻不夠好。然而，利用F檢驗也是漸進合理的,見Wooldridge(fourth edition，p.275)。4、對于輔助模型，受約束情況下的判定系數應該為0（約束條件是）。直觀來看，如果與0相差不多，那么

14、我們應該不拒絕原假設（這個原假設就是）。為何近似服從卡方分布？按照第三講，對輔助模型，。應該注意，由于使用殘差的平方來代替方差，因此只是漸進服從F分布。當原假設為真時，與0相差不多，因此有：因此，在樣本容很大的情況下，。按照第三講附錄，如果，則當時，漸進分布于。因此，。當樣本容量不夠大時，輔助模型中的交叉相乘項有時不得不被省略以節約自由度。不過有文獻指出，若White檢驗沒有出現交叉項，則是純粹的異方差檢驗，若出現了交叉項，則該檢驗既是異方差檢驗又是模型設定偏誤檢驗，見Gujarati（第四版，p.414）。另外，為了解決在估計輔助回歸時可能面臨的自由度不足問題，Wooldridge(第四版，

15、p.275)建議建立輔助模型：再利用LM或者F檢驗來檢驗原假設：。（三）Breusch-Pagan檢驗除了知道誤差項方差與解釋變量具有一定關系之外， White檢驗并未利用任何其他先驗信息。因此可以說，White檢驗法是普適的。普適的方法往往也是粗糙的！正因如此，當White檢驗表明不拒絕同方差的原假設時，我們應該對該結果保持足夠的警惕！另一方面，當White檢驗表明拒絕同方差的原假設時，我們可以認為這是異方差的強烈證據。【“一個高度近視的人沒有發現一只小螞蟻是非常可能的，然而，如果他竟然也發現了一只螞蟻，那么那只螞蟻很可能還不小”】。正式的表述是：由于White檢驗沒有充分利用關于異方差形式

16、的先驗信息，因此該檢驗具有較低的檢驗勢。如果我們確實有關于異方差的正確的先驗信息，那么我們應該利用它，以提高檢驗的勢。這正是Breusch-Pagan檢驗的思想。例如，如果我們預先知道，方差與解釋變量的平方項及其交叉項無關，那么，我們可以對White檢驗進行改進：1、估計模型并計算殘差的平方；2、估計輔助回歸模型：原模型同方差的原假設對應于輔助模型的原假設：3、利用拉格朗日乘數(LM)統計量進行檢驗。其中是輔助模型的判定系數，q是輔助模型中不包含截距項的解釋變量的個數，在上例中q=2。同樣也可利用F檢驗。再例如，如果我們預先知道方差與某一個變量Z（可以不是解釋變量）具有線性關系，那么我們可以采

17、取如下步驟進行異方差檢驗：1、估計模型并計算殘差的平方；2、估計輔助回歸模型：原模型同方差的原假設對應于輔助模型的原假設：3、利用拉格朗日乘數(LM)統計量進行檢驗。我們也可以利用t檢驗來檢驗這個原假設。筆記：一些教科書還涉及到異方差的Park檢驗法。對模型：，假定：Park檢驗的步驟是：1、估計模型并計算殘差的平方；2、估計輔助回歸模型：利用拉格朗日乘數LM統計量或者F統計量檢驗原假設：但Park檢驗存在一些問題：（1）它涉及到的原假設除同方差假設之外，還假定原模型中誤差項與解釋變量獨立；（2）對于輔助回歸，F統計量可能并不服從F分布。因此在進行異方差檢驗時應該避免使用Park檢驗，參見Wo

18、oldridge(第四版，p.284)。四、 發現異方差后我們該怎么辦？選擇一：異方差穩健標準誤按照White(1980)，我們可以采用White-Huber-Eicher標準誤來作為對作為估計量方差的一致估計。根據該標準誤，仍可構造t統計量進行t檢驗。另外，還有異方差穩健F統計量與異方差穩健LM統計量，參見Wooldridge(第四版)相關內容。不過值得注意的是，穩健標準誤一般適用于大樣本，事實上當利用穩健標準誤來構造t統計量時，在小樣本下這個t統計量可能并不接近于t分布。選擇二：加權最小二乘法記住！即使我們利用了異方差穩健標準誤，OLS估計仍然不是最有效的線性無偏估計量。為了得到最有效的估

19、計，我們利用加權最小二乘法（WLS）。WLS是廣義最小二乘法（GLS）的一個特例。關于GLS可參見第五講附錄。情況一：異方差的形式已知對于線性模型，假定異方差形式是已知的，。我們把原模型轉化為：現在，因此，轉換后的模型滿足同方差假定，于是得到WLS估計量。為什么稱為WLS?對轉化后的模型利用OLS，即求：也即或者是什么呢？ 它是殘差。因此，WLS就是對殘差的平方進行了加權，權數是。顯然，選擇為權數也不會影響的取值。警告：在使用EVIEWS軟件時，輸入權數變量是指輸入，而不是。筆記：關于WLS的直覺。直線正是我們所關注的總體回歸函數，然而我們無法確定它，因為它包含了未知的真實參數。我們的任務是，利用觀測值擬合一條直線以近似總體回歸函數。假設與對應的誤差