1、第十三章第十三章 異異方差方差n古典線性回歸模型的基本假定：古典線性回歸模型的基本假定：（1）解釋變量與擾動(dòng)誤差項(xiàng)不相關(guān)。（2）擾動(dòng)項(xiàng)（隨機(jī)誤差項(xiàng)）的期望或均值為零。（3）擾動(dòng)項(xiàng)同方差。（4）擾動(dòng)項(xiàng)無(wú)自相關(guān)。（5）解釋變量之間不存在線性相關(guān)關(guān)系。(對(duì)應(yīng)于多重共線性)（6）隨機(jī)誤差項(xiàng)服從正態(tài)分布。 在實(shí)際應(yīng)用中，上述假定不一定滿足。2)(iVar第1頁(yè)/共46頁(yè) 本章討論的主要問題：本章討論的主要問題： (1)異方差的性質(zhì)是什么？ (2)異方差的后果是什么？ (3)如何檢驗(yàn)異方差的存在？ (4)如果存在異方差，有哪些補(bǔ)救措施？ 第十三章第十三章 異異方差方差第2頁(yè)/共46頁(yè)第一節(jié)第一節(jié) 異方差的

2、性質(zhì)異方差的性質(zhì)異方差的概念異方差的概念 第十三章第十三章 異異方差方差 考慮一個(gè)雙變量線性回歸模型，其中，應(yīng)變量考慮一個(gè)雙變量線性回歸模型，其中，應(yīng)變量Y是個(gè)人儲(chǔ)蓄，解是個(gè)人儲(chǔ)蓄，解釋變量釋變量X是個(gè)人可支配收入。是個(gè)人可支配收入。iiiXBBY21第3頁(yè)/共46頁(yè)圖 5-15-1YX25303540455055024681012總體回歸直線第4頁(yè)/共46頁(yè)儲(chǔ)蓄個(gè)人可支配收入 a)同方差儲(chǔ)蓄個(gè)人可支配收入 a)同方差儲(chǔ)蓄個(gè)人可支配收入 b)異方差我們觀察下面兩幅圖：第5頁(yè)/共46頁(yè) 對(duì)于不同的觀測(cè)點(diǎn)，隨機(jī)擾動(dòng)項(xiàng)ui的方差不同。用符號(hào)表示為： 22)var(iiiuEu第6頁(yè)/共46頁(yè) 例子：

3、例子： 異方差問題多存在于橫截面數(shù)據(jù)中。 例1. 放松管制后紐約股票交易所的經(jīng)紀(jì)人傭金 例2. 美國(guó)工業(yè)的研究與發(fā)展費(fèi)用支出、銷售和利潤(rùn) 第十三章第十三章 異異方差方差第7頁(yè)/共46頁(yè)例1結(jié)論： 1. 傭金率有下降的趨勢(shì)。 2. 平均傭金率和所索取傭金的方差存在顯著的不同。原因： 這里存在規(guī)模效應(yīng)交易量越大，則交易的平均成本就越低。方差的顯著不同是由于大機(jī)構(gòu)投資者的談判能力比較強(qiáng)（吸引力比較強(qiáng)）。第8頁(yè)/共46頁(yè)例2. 美國(guó)工業(yè)的研究與發(fā)展費(fèi)用支出、銷售和利潤(rùn) (18行業(yè)1988年的數(shù)據(jù)) n 0500010000150000100000200000300000SALERDRD v s. SA

4、LER&D=1172.69+0.0238X2+ei (1) t=(1.030) (2.3121) r2=0.2504第9頁(yè)/共46頁(yè) 因?yàn)橛^察值是按照銷售額升序排列的，所以就等于間接的將殘差對(duì)銷售額做圖。從圖中可以看到，殘差的絕對(duì)值隨著銷售額的增加而增加，同方差的假定似乎站不腳！-6000-4000-20000200040006000800024681012141618殘差圖：第10頁(yè)/共46頁(yè)第二節(jié)第二節(jié) 異方差的后果異方差的后果(1) OLS估計(jì)量仍然是線性的。(2) OLS估計(jì)量是無(wú)偏的。(3) OLS估計(jì)量不再具有最小方差性。(4) 根據(jù)常用估計(jì)公式， 不再是真實(shí) 的無(wú) 偏估計(jì)

5、量。(5) 從而OLS估計(jì)量的方差的估計(jì)量是有偏的。(6) t檢驗(yàn)和F檢驗(yàn)失效。22第十三章第十三章 異異方差方差第11頁(yè)/共46頁(yè) R&D=192.99+0.0319X2+ei (2) t=(0.1948)(3.9434) r2=0.4783 如果上述模型確實(shí)存在異方差，我們就不能相信估計(jì)得到的標(biāo)準(zhǔn)差。因此，異方差是一個(gè)潛在的嚴(yán)重問題，因?yàn)樗茐牧顺Ｓ玫腛LS估計(jì)以及假設(shè)檢驗(yàn)過(guò)程。 在具體研究中，尤其是涉及橫截面數(shù)據(jù)時(shí)，最重要的就是判斷是否存在異方差問題。 那為什么在異方差的情形下OLS估計(jì)量是無(wú)效的！第12頁(yè)/共46頁(yè)Y b) 樣本回歸函數(shù)圖我們觀察下面兩幅圖： a)XX1X2X3

6、X4X5XnY1Y2Y3Y4Y5Ynunu4總體回歸函數(shù)圖XYnX1X2X3X4X5XnY1Y2Y3Y4Y5ene4Ye1第13頁(yè)/共46頁(yè) 上圖描述了某一假設(shè)總體Y 對(duì)變量X的所選值的關(guān)系。從圖中可以看出給定X，對(duì)應(yīng)的每一（子）總體Y的方差是不同的，這表明存在異方差。但是在利用OLS時(shí)，每一個(gè)ei2都有相同的權(quán)重，這似乎不太合理。這就需要給不同的殘差賦以不同的權(quán)重。即我們稍后要討論的加權(quán)最小二乘法（weighted least squares）。第14頁(yè)/共46頁(yè)第三節(jié)第三節(jié) 異方差的診斷異方差的診斷一、根據(jù)問題的性質(zhì)一、根據(jù)問題的性質(zhì) 所考察問題的性質(zhì)往往提供是否存在異方差的信息。例如：我

7、們考慮區(qū)域經(jīng)濟(jì)的發(fā)展問題。所以在涉及不均勻單位的橫截面數(shù)據(jù)中，異方差可能是常有的情況，而不是例外。 二、殘差的圖形檢驗(yàn)二、殘差的圖形檢驗(yàn) 在回歸分析中，常常對(duì)擬合回歸方程中的殘差進(jìn)行分析，將殘差對(duì)其相應(yīng)的觀察值描圖(殘差圖)。 第十三章第十三章 異異方差方差第15頁(yè)/共46頁(yè) e2a)X0 e2b)X0 e2c)X0Xe2d)0 Xe2e)0 第16頁(yè)/共46頁(yè)02000000040000000600000000100000200000300000SALEI 上述散點(diǎn)圖只不過(guò)是一個(gè)檢測(cè)工具，我們?cè)诜治鰰r(shí)應(yīng)該謹(jǐn)慎。上圖是我們根據(jù)R&D一例，用殘差平方和銷售額做的散點(diǎn)圖。該圖與我們上面介紹

8、的(b)圖有點(diǎn)相似，表明了殘差平方與銷售是系統(tǒng)相關(guān)的。說(shuō)明我們所做的回歸可能存在異方差。第17頁(yè)/共46頁(yè) 三、帕克（三、帕克（Park）檢驗(yàn)）檢驗(yàn) 如果存在異方差，則 可能與一個(gè)或多個(gè)解釋變量系統(tǒng)相關(guān)(可以用模型來(lái)刻畫)。帕克檢驗(yàn)的步驟如下： (1) 作普通最小二乘回歸，不考慮異方差。 (2) 從原始回歸方程中得殘差 ，并求其平方，再取對(duì)數(shù)形式。 (3) 利用原始模型中的一個(gè)解釋變量做回歸(如果有多個(gè)變量，我們就做多個(gè)回歸)。 (4) 檢驗(yàn)零假設(shè)B2=0，即不存在異方差。 (5)如果接受零假設(shè)，則為同方差。ie第十三章第十三章 異異方差方差2i第18頁(yè)/共46頁(yè)Dependent Varia

9、ble: LOG(E2)Variable Coefficient Std. Error t-StatisticLOG(SALE) 0.3599 0.3997 0.9004C 10.6995 4.3492 2.4601R&D回歸與帕克檢驗(yàn)R-squared0.0482 Prob(F-statistic)0.261777 我們是否可以根據(jù)這個(gè)結(jié)果接受：R&D數(shù)據(jù)不存在異方差？因?yàn)槟Ｐ捅旧淼奶厥庑钥赡軙?huì)使我們得出不同的結(jié)論，我們不能這么早下結(jié)論。因?yàn)檫@個(gè)模型本身可能也存在異方差、自相關(guān)等問題。這樣我們就又回到了問題的起點(diǎn)。第19頁(yè)/共46頁(yè) 四、四、Glejser檢驗(yàn)檢驗(yàn) 這種方法的

10、實(shí)質(zhì)與帕克檢驗(yàn)很相似。從原始模型中獲得殘差ei 之后， Glejser建議作ei 的絕對(duì)值 | ei |對(duì)Xi的回歸。 Glejser建議的一些函數(shù)形式如下: | ei |=B1+B2 Xi+ Vi | ei |=B1+B2 + Vi | ei |=B1+B2 + Vi 第十三章第十三章 異異方差方差iXiX1第20頁(yè)/共46頁(yè) Glejser檢驗(yàn)的結(jié)果：1 . |ei|=1638.54+0.0062Xi t=(2.0362)(0.8499) r2=0.04320638. 0)0443. 1)(7411. 0(7035. 472.939| . 22rtXeii0502. 0)9204. 0)(

11、4994. 3(1137206415 .2580| . 32rtXeii第21頁(yè)/共46頁(yè) 每種情形的零假設(shè)都是不存在異方差，也即B2=0。如果零假設(shè)被拒絕，則表明可能存在著異方差。 注意： 與Park檢驗(yàn)一樣，在Glejser所建議的回歸方程中，誤差項(xiàng)本身可能存在異方差和序列相關(guān)的問題。對(duì)于大樣本，上述模型能夠很好的檢測(cè)異方差問題。 第十三章第十三章 異異方差方差第22頁(yè)/共46頁(yè) 五、五、White檢驗(yàn)檢驗(yàn) White提出了異方差一般檢驗(yàn)方法，此方法在實(shí)際中很容易應(yīng)用。 假定有如下模型： Yi=B1+B2X2i+B3X3i+uiWhite檢驗(yàn)步驟如下：（1）首先用最小二乘法估計(jì)上述回歸方程

12、，獲得殘差ei 。（2）作如下輔助回歸 ： =A1+A2X2i+A3X3i+ A4 + A5 +A6X2iX3i+Vi 第十三章第十三章 異異方差方差2ie22iX23iX第23頁(yè)/共46頁(yè) (3) 求輔助回歸方程的R2值。在零假設(shè)：不存在異方差下，White證明了，從輔助回歸方程中獲得的R2值與樣本容量（=n）的積服從 x2 分布，自由度等于輔助回歸方程中解釋變量的個(gè)數(shù)（不包括截距項(xiàng)）。 n*R2 x2 （ d.f.） (4) 如果從輔助回歸方程中得到的 x2 值超過(guò)了所選顯著水平下的x2 臨界值，則可以拒絕零假設(shè)：不存在異方差。否則，如果計(jì)算的x2 值不比臨界值大，則不能拒絕零假設(shè)。 第十

13、三章第十三章 異異方差方差第24頁(yè)/共46頁(yè) 課后13.18題（p309），Y代表嬰兒死亡率，X2代表人均GNP，X3代表受初等教育占人口的百分比(作為文化程度的指標(biāo))。我們的數(shù)據(jù)來(lái)源于具有不同收入水平的國(guó)家，由于他們經(jīng)濟(jì)條件差別很大，所以我們先驗(yàn)的預(yù)期存在異方差。為了檢驗(yàn)是否存在，我們使用white檢驗(yàn)，得出下面的結(jié)果。 n*R2=20*0.230=4.6x2 (5) =11.0705(5%)所以我們無(wú)法拒絕(不存在異方差)的原假設(shè),即認(rèn)為模型不存在異方差。例子：第25頁(yè)/共46頁(yè)異方差的其他異方差的其他檢驗(yàn)方法：檢驗(yàn)方法：（1）斯皮爾曼秩相關(guān)檢驗(yàn)。（2）戈德費(fèi)爾德匡特檢驗(yàn)。（3）巴特萊特方

14、差同質(zhì)性檢驗(yàn)。（4）匹克(Peak)檢驗(yàn)。（5）布魯爾什培甘檢驗(yàn)。（6）CUSUMSQ檢驗(yàn)。第十三章第十三章 異異方差方差第26頁(yè)/共46頁(yè) 我們前面介紹了檢驗(yàn)異方差的方法，那么如果我們確定存在異方差以后，我們?cè)趺唇鉀Q這個(gè)問題呢？是否存在某種方法，使得我們可以通過(guò)某種“變換”，使得“變換”后的模型具有同方差性。 但是具體采取什么方法，將取決于(1)誤差項(xiàng)的方差已知的;(2)誤差項(xiàng)的方差是未知的。 第四節(jié)第四節(jié) 異方差的補(bǔ)救措施異方差的補(bǔ)救措施第27頁(yè)/共46頁(yè)第四節(jié)第四節(jié) 異方差的補(bǔ)救措施異方差的補(bǔ)救措施一、加權(quán)最小二乘法（一、加權(quán)最小二乘法（WLS） 考慮雙變量回歸函數(shù) Yi=B1+B2Xi

15、+ui （1） 假設(shè)誤差 是已知的，對(duì)模型作如下變換： （2） 令 ，把它稱為變換后的誤差項(xiàng)。iiiu2iiiiiiiiuXBBY211第十三章第十三章 異異方差方差第28頁(yè)/共46頁(yè) 則 滿足同方差性，從而可以按常規(guī)的方法進(jìn)行回歸分析。 在實(shí)際估計(jì)回歸方程Yi=B1+B2Xi+ui時(shí)，將Y和X的每個(gè)觀察值都除以已知的 ，然后再對(duì)這些變換后的數(shù)據(jù)進(jìn)行OLS回歸，由此獲得的估計(jì)量就稱為加權(quán)最小二乘估計(jì)量， 為權(quán)數(shù)。這種加權(quán)的過(guò)程就稱為加權(quán)最小二乘法。 iii1第十三章第十三章 異異方差方差第29頁(yè)/共46頁(yè) 為未知的情況為未知的情況情形1：方差 與Xi成比例(平方根變換)： 作如下變換： iii

16、XuE222)(iiiiiiiXuXXBXBXY211iiivXBXB2112i2i第十三章第十三章 異異方差方差第30頁(yè)/共46頁(yè)uX0 上圖表明誤差和解釋變量X之間線性相關(guān)。或者說(shuō)與Xi成比例。 上面介紹的是一個(gè)解釋變量的情形，對(duì)于多元的情形我們可以選擇任何一個(gè)解釋變量，將模型進(jìn)行變換。原則上我們根據(jù)圖形進(jìn)行選擇。 第31頁(yè)/共46頁(yè) 例子：變換后的研發(fā)費(fèi)用例子： 從研發(fā)費(fèi)用的殘差圖可以看到，誤差與銷售額成比例，我們根據(jù)上述方法，可得到下面的結(jié)果：1098. 0)1869. 3()0770. 0(0392. 01632.462rtXXXYiiiiR&D=1172.69+0.0238

17、X2+ei (1) t=(1.0300)(2.3121) r2=0.2504第32頁(yè)/共46頁(yè)uX0 上圖表明誤差和解釋變量X之間不是線性相關(guān)。而是與Xi的平方成比例。2222)(iiiXuE第33頁(yè)/共46頁(yè) 情形2：誤差方差與 成比例 作如下變換： 222iiXiiiiiXuBXBXY211iivBXB2112iX第十三章第十三章 異異方差方差第34頁(yè)/共46頁(yè) 二、重新設(shè)定模型二、重新設(shè)定模型 有時(shí)通過(guò)重新設(shè)定總體回歸函數(shù)，也能夠消除異方差。比如：不選擇變量的線性回歸函數(shù)，而采取對(duì)數(shù)形式來(lái)估計(jì)模型，這樣也常常能夠消除異方差。當(dāng)然，要根據(jù)具體問題來(lái)設(shè)定模型的形式。 R&D對(duì)數(shù)線性模

18、型第十三章第十三章 異異方差方差第35頁(yè)/共46頁(yè)Dependent Variable: LOG(R&D)VariableCoefficientStd. Errort-StatisticProb. LOG(SALE)1.2952 0.1680405.8990 0.0000C -6.92341.848034-2.89800.0011R-squared 0.6850 Adjusted R-squared0.781830 F-statistic61.92090 Prob(F-statistic)0.000001第36頁(yè)/共46頁(yè)-2.0-1.5-1.0-0.50.00.51.01.52468

19、1012141618LOG(RD) Residuals-6000-4000-20000200040006000800024681012141618第37頁(yè)/共46頁(yè)White Heteroskedasticity Test:F-statistic 1.276048 Probability 0.307764Obs*R-squared2.617221 Probability 0.270195Test Equation:Dependent Variable: RESID2Included observations: 18VariableCoefficientStd. Errort-Statistic

20、Prob. C -5.83232015.16057-0.3847030.7059LOG(SALE) 0.9547312.8383350.3363700.7413(LOG(SALE)2 -0.034056 0.131896 -0.2582050.7998R-squared0.145401 F-statistic1.276048 Prob(F-statistic)0.307764第38頁(yè)/共46頁(yè) 前面我們所討論的消除異方差的方法稱為方差穩(wěn)定變換。 需要注意的是：在不知道誤差方差的情況下，我們通常的做法是推測(cè)它會(huì)是什么樣的。究竟選擇哪種方法，取決于問題的性質(zhì)和異方差的嚴(yán)重程度。第39頁(yè)/共46頁(yè) White異方差校正后的標(biāo)準(zhǔn)差和異方差校正后的標(biāo)準(zhǔn)差和t統(tǒng)計(jì)量統(tǒng)計(jì)量 在存在異方差的情況下，OLS估計(jì)量盡管是無(wú)偏的，但卻是無(wú)效的，因此，所得到的標(biāo)準(zhǔn)差和 t 統(tǒng)計(jì)量都值得懷疑。 White建立了一種估計(jì)方法，利用這種方法得到的標(biāo)準(zhǔn)差和 t 統(tǒng)計(jì)量考慮到了異方差的存在。因而可以繼續(xù)使用 t 檢驗(yàn)和F檢驗(yàn)，但是