1、U4違背基本假設(shè)的情況一、異方差產(chǎn)生的原因在建立實(shí)際問題的回歸分析模型時(shí)，經(jīng)常會(huì)出現(xiàn)某一因素或一些因素隨著解釋變量觀測(cè)值的變化而對(duì)被解釋變量產(chǎn)生不同的影響，導(dǎo)致隨機(jī)誤差項(xiàng)產(chǎn)生不同的方差。即：var(i)var(j),當(dāng)ij時(shí)。樣本數(shù)據(jù)為截面數(shù)據(jù)時(shí)容易出現(xiàn)異方差性。二、異方差性帶來的問題1、參數(shù)估計(jì)值雖然是無偏的，但不是最小方差線性無偏估計(jì)。2、參數(shù)的顯著性檢驗(yàn)失效。3、回歸方程的應(yīng)用效果極不理想。三、異方差性的檢驗(yàn)1、殘差圖分析法殘差圖分析法是一種只管、方便的分析方法。它以殘差e為縱坐標(biāo)，以其他適宜的變量為橫坐標(biāo)畫散點(diǎn)圖。常用的橫坐標(biāo)有三種選擇：(1)以擬合值？為橫坐標(biāo)；(2)以xi(i1,2

2、,p)為橫坐標(biāo)；(3)以觀測(cè)時(shí)間或序號(hào)為橫坐標(biāo)。flf|WIPl(J厘.JBr11-IJilfrS-inUIrir廿I兒常見的嚶關(guān)分也小&正(a)線性關(guān)系成立；(b)x加入二次方項(xiàng)；(c)存在異方差，需要改變x形式(d)殘差與時(shí)間t有關(guān)。可能遺漏變量或者存在序列相關(guān)，需要引入變量。2、等級(jí)相關(guān)系數(shù)法等級(jí)相關(guān)系數(shù)又稱斯皮爾曼(Spearman)檢驗(yàn)，是一種應(yīng)用較廣泛的方法。這種檢驗(yàn)方法既可用于大樣本，也可以用于小樣本。進(jìn)行等級(jí)相關(guān)系數(shù)檢驗(yàn)通常有三個(gè)步驟：第一步，做y關(guān)于x的普通最小二乘回歸，求出i的估計(jì)值，即ei的值第二步，取e的絕對(duì)值，即|e|,把xi和|e|按遞增或遞減的次序排列后分成等6n

3、級(jí)，按下式計(jì)算出等級(jí)相關(guān)系數(shù)：rs16d：,其中，n為樣本容量,n(n1)i1di為對(duì)應(yīng)于xi和|e|的等級(jí)的差數(shù)。第三步，做等級(jí)相關(guān)系數(shù)的顯著性檢驗(yàn)。在n8的情況下，用下式對(duì)樣本等級(jí)相關(guān)系數(shù)rs進(jìn)彳Tt檢驗(yàn)，檢驗(yàn)統(tǒng)計(jì)量為：t，如果tt.2(n2)可以認(rèn)為1rs2異方差性問題不存在，如果tt；2(n2),說明x與|e|之間存在系統(tǒng)關(guān)系，異方差性問題存在。(在這個(gè)檢驗(yàn)中，原假設(shè)為：不存在異方差性)等級(jí)相關(guān)系數(shù)可以如實(shí)反映單調(diào)遞增或單調(diào)遞減趨勢(shì)的變量間的相關(guān)性，而簡(jiǎn)單相關(guān)系數(shù)值適宜衡量直線趨勢(shì)變量間的向關(guān)系。四、一元加權(quán)最小二乘估計(jì)當(dāng)研究的問題存在異方差性時(shí)，就不能用普通最小二乘法進(jìn)行參數(shù)估計(jì)了。

4、消除異方差性的方法通常有加權(quán)最小二乘法、Box-Cox變換法、方差穩(wěn)定變換法。對(duì)于一元線性回歸方程來說，普通最小二乘法的離差平方和為：nnQ(0,i)(YiE(yi)2(yioiX)2,其中每個(gè)觀測(cè)值的權(quán)數(shù)相同。1i1在等方差的條件下，平方和的每一項(xiàng)的地位是相同的。然而，在異方差的條件下，平方和中的每一項(xiàng)的地位是不同的，誤差項(xiàng)方差i2大的項(xiàng)，在平方和式子中的作用就偏大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，而方差小的項(xiàng)的擬合程度就差。加權(quán)最小二乘估計(jì)的方法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù)Wi,以調(diào)整各項(xiàng)在平方和中的作用。一元線性回歸的加權(quán)最小二乘的nn離差平方和為：Q(o,i)Wi(y

5、iE(yi)2Wi(yioXi)?,其中Wi為i1i1給定的權(quán)數(shù)。使用加權(quán)最小二乘法時(shí)，為了消除異方差性的影響，為了使各項(xiàng)的地位相同，觀測(cè)值的權(quán)數(shù)應(yīng)該是觀測(cè)值誤差項(xiàng)方差的倒數(shù)，即Wi口。誤差項(xiàng)方差較大的觀測(cè)值接受較小的權(quán)數(shù)，誤差項(xiàng)方差較小的觀測(cè)值接受較大的權(quán)數(shù)。在社會(huì)、經(jīng)濟(jì)研究中，經(jīng)常會(huì)遇到這種特色的權(quán)數(shù)，即誤差項(xiàng)方差與X的幕函數(shù)xm成比例，其中，m為待定的未知參數(shù)。此時(shí)權(quán)函數(shù)為：Wi0Xi加權(quán)最小二乘估計(jì)照顧小殘差項(xiàng)是以犧牲大殘差項(xiàng)為代價(jià)的，當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)只是對(duì)普通最小二乘法估計(jì)的改進(jìn)，這種改進(jìn)有可能是細(xì)微的，不能理解為加權(quán)最小二乘估計(jì)一定會(huì)得到與普通最小二乘估計(jì)截

6、然不同的回歸方程，或者一定有大幅度的改進(jìn)。另外，加權(quán)最小二乘以犧牲大方差項(xiàng)的擬合效果為代價(jià)改善了小方差項(xiàng)的擬合效果，這也并不總是研究者所需要的。在社會(huì)經(jīng)濟(jì)現(xiàn)象中，通常變量取值大時(shí)方差也大，在以經(jīng)濟(jì)總量為研究目標(biāo)時(shí)，更關(guān)心的是變量取值大的項(xiàng)，而普通最小二乘恰好能滿足這個(gè)要求。所以在這樣的一些特定場(chǎng)合下，即使數(shù)據(jù)存在異方差，也仍然可以選擇使用普通最小二乘估計(jì)。五、多元加權(quán)最小二乘估計(jì)多元線性回歸有多個(gè)自變量，通常取權(quán)數(shù)W為某個(gè)自變量xj（j1,2,p）的幕函數(shù)，即Wx：,在xhx2,Xp這p個(gè)自變量中，應(yīng)該選取哪一個(gè)自變量，這只需計(jì)算每個(gè)自變量xj與普通殘差的等級(jí)相關(guān)系數(shù)，選取等級(jí)相關(guān)系數(shù)最大的自

7、變量構(gòu)造權(quán)函數(shù)。六、自相關(guān)性如果一個(gè)回歸模型不滿足cov（i，j）0,則稱為隨機(jī)誤差項(xiàng)之間存在自相關(guān)現(xiàn)象。這里的自相關(guān)現(xiàn)象不是指兩個(gè)或者兩個(gè)以上的變量之間的相關(guān)關(guān)系，而指的是一個(gè)變量前后期數(shù)值之間存在的相關(guān)關(guān)系。七、自相關(guān)產(chǎn)生的背景和原因產(chǎn)生序列自相關(guān)的背景及原因通常有以下幾個(gè)方面。1、遺漏關(guān)鍵變量時(shí)會(huì)產(chǎn)生序列的自相關(guān)性。2、經(jīng)濟(jì)變量的滯后性會(huì)給序列帶來自相關(guān)性。3、采用錯(cuò)誤的回歸函數(shù)形式也可能引起自相關(guān)性。例如，假定某實(shí)際問題的正確回歸函數(shù)應(yīng)由指數(shù)形式y(tǒng)exXix）來表示，但無用了線性回歸模型yoix表示，這時(shí)，誤差項(xiàng)也會(huì)表現(xiàn)為自相關(guān)性。4、蛛網(wǎng)現(xiàn)象可能帶來序列的自相關(guān)性。（經(jīng)濟(jì)學(xué)中的蛛網(wǎng)模

8、型）5、因?qū)?shù)據(jù)加工整理而導(dǎo)致誤差項(xiàng)之間產(chǎn)生自相關(guān)性。八、自相關(guān)性帶來的問題當(dāng)一個(gè)線性回歸模型的隨機(jī)誤差項(xiàng)存在序列相關(guān)時(shí)，就違背了線性回歸方程的基本假設(shè)，仍直接用普通最小二乘法估計(jì)未知參數(shù)，序列相關(guān)性會(huì)帶來下列問題：1、參數(shù)估計(jì)值不再具有最小方差線性無偏性2、均方誤差MSE可能嚴(yán)重低估誤差項(xiàng)的方差。3、容易導(dǎo)致對(duì)t值評(píng)價(jià)過高，常用的F檢驗(yàn)和t檢驗(yàn)失效。4、當(dāng)存在序列相關(guān)性時(shí)，？仍然是的無偏估計(jì)量，但在任一特定的樣本中，？可能嚴(yán)重歪曲的真實(shí)情況，即最小二乘估計(jì)量對(duì)抽樣波動(dòng)變得非常敏感5、如果不加處理地運(yùn)用普通最小二乘法估計(jì)模型參數(shù)，用此模型進(jìn)行預(yù)測(cè)和進(jìn)行結(jié)構(gòu)分析將會(huì)帶來較大的方差甚至錯(cuò)誤的解釋。

9、九、自相關(guān)性的診斷1、圖示法圖示法是一種直觀的診斷方法，它是把給定的回歸模型直接用普通最小二乘法估計(jì)參數(shù)，求出殘差項(xiàng)6t,et作為隨機(jī)項(xiàng)t的真實(shí)值的估計(jì)值，在描繪et的散點(diǎn)圖,根據(jù)et的相關(guān)性來判斷隨機(jī)項(xiàng)t的序列相關(guān)性。(1)繪制et,e的散點(diǎn)圖圖a表明隨機(jī)擾動(dòng)項(xiàng)存在正的序列相關(guān)，圖b表明隨機(jī)擾動(dòng)項(xiàng)存在負(fù)相關(guān)。(2)按照時(shí)間順序繪制回歸殘差項(xiàng)et的圖形，如果et隨著t的變化逐次有規(guī)律地變化，呈現(xiàn)鋸齒形或循環(huán)形狀的變化，可斷言et存在相關(guān)，表明t存在著序列相關(guān)。如果et隨著t的變化逐次變化并不斷地改變符號(hào)，如下圖d所示，那么隨機(jī)擾動(dòng)項(xiàng)t存在負(fù)的序列相關(guān)，這種現(xiàn)象稱為蛛網(wǎng)現(xiàn)象；如果et隨著t的變化

10、逐次變化并不頻繁地改變符號(hào)，而是幾個(gè)正的et后面跟著幾個(gè)負(fù)的，則表明隨著擾動(dòng)項(xiàng)t存在正的序列相關(guān)，如下圖c所示。ey2、自相關(guān)函數(shù)法neteti自相關(guān)函數(shù)的估計(jì)值為？,?作為自相關(guān)系數(shù)的估計(jì)值與樣口2n2修,et1,t2tt2本量有關(guān)，需要做統(tǒng)計(jì)顯著性檢驗(yàn)才能確定自相關(guān)性的存在，通常采用D慚驗(yàn)代替對(duì)？的檢驗(yàn)。3、D慚驗(yàn)D慚驗(yàn)是適用于小樣本的一種檢驗(yàn)方法，而且D怖驗(yàn)只能用于檢驗(yàn)隨機(jī)擾動(dòng)項(xiàng)具有一階自回歸形式的序列相關(guān)問題。DW2(1-?),計(jì)算出DW6后，根據(jù)樣本容量n和解釋變量的數(shù)目k(包括常數(shù)項(xiàng))查D慚布表，得出臨界值人和du0D.WdL,誤差項(xiàng)1,2,n間存在正相關(guān)idLD.WdU,不能判定

11、是否啟自相關(guān)；dUD.W4-dU,誤差項(xiàng)1,2,n間無自相關(guān)；4-dUD.W4-dL,不能判定是否啟自相關(guān)；4-dLD.W4,誤差項(xiàng)1,2,口間存在負(fù)相關(guān)。需要注意的是，D怖驗(yàn)盡管有著廣泛的應(yīng)用，但也有明顯的缺點(diǎn)和局限性：(1) DWfc驗(yàn)有兩個(gè)不能確定的區(qū)域，一旦DWT落在這兩個(gè)區(qū)域，就無法判斷。這時(shí)只有增大樣本容量或選取其他方法；(2) DWE計(jì)量的上、下界表要求n15,這是因?yàn)闃颖救绻傩。脷埐罹秃茈y對(duì)自相關(guān)的存在性做出比較正確的診斷；(3) DWfc驗(yàn)不適應(yīng)隨機(jī)項(xiàng)具有高階序列相關(guān)的檢驗(yàn)(只能判斷一階)。十、自相關(guān)問題的處理方法1、迭代法設(shè)一元線性回歸模型的誤差項(xiàng)存在一階自相關(guān)yt0

12、1xtt(1)tt1tE(t)0,t1,2,n/、2，ts“cov(t,s)(t,s1,2,n)0,ts(2)式表明誤差項(xiàng)存在一階自相關(guān)，(1)式表明t滿足關(guān)于隨機(jī)擾動(dòng)項(xiàng)的基本假設(shè)。所以回歸模型(1)有：yt101Xt1t1(3)將(3)式兩端乘以，在用(1)式減去乘以的(3)式，則有(ytyt1)(00)1(xtXt1)(t11)(4)在(4)式中，令ytytyt1,XtXtXt1,00(1),11于是(4)可以變?yōu)橐?1Xtt(5)模型(5)式有獨(dú)立隨機(jī)誤差項(xiàng)，滿足線性回歸模型的基本假設(shè)，用普通最小二乘法估計(jì)的參數(shù)估計(jì)量具有通常的優(yōu)良性。由于自相關(guān)系數(shù)是未知的，需要對(duì)作估計(jì)。？11DW,計(jì)

13、算出的估計(jì)值后，帶入計(jì)算變換因變量yt和變換2自變量Xt,然后用(5)式做普通最小二乘回歸。一階自相關(guān)模型，通過上述變換，已經(jīng)消除自相關(guān)，迭代法到此結(jié)束。如果檢驗(yàn)表明誤差項(xiàng)t不存在自相關(guān)，迭代法結(jié)束，如果檢驗(yàn)表明誤差項(xiàng)t存在自相關(guān)，那么對(duì)回歸模型(5)式重復(fù)用迭代法，這個(gè)過程可能要重復(fù)幾次，直至最終消除誤差項(xiàng)自相關(guān)。2、差分法差分法就是用增量數(shù)據(jù)代替原來的樣本數(shù)據(jù)，將原來的回歸模型變?yōu)椴罘中问降哪Ｐ汀Ｒ浑A差分法通常適用于原模型存在較高程度的一階自相關(guān)情況。(ytyt1)(00)1(XtXt1)(tt/用增重表小為：yt1Xtt以差分?jǐn)?shù)據(jù)yt和Xt為樣本的回歸方程。差分之后的模型，通常不帶有常數(shù)

14、項(xiàng)，它是回歸直線過原點(diǎn)的回歸方程。一階差分的應(yīng)用條件是自相關(guān)系數(shù)=1,在實(shí)際應(yīng)用中，接近1時(shí)，就可以采用差分法而不用迭代法。有兩個(gè)原因：第一，迭代法需要用樣本估計(jì)自相關(guān)系數(shù)，對(duì)的估計(jì)誤差會(huì)影響迭代法的使用效率；第二，差分法比迭代法簡(jiǎn)單，在建立時(shí)序數(shù)據(jù)的回歸方程時(shí)，更習(xí)慣于用差分法。十一、異常值與強(qiáng)影響點(diǎn)異常值分為兩種情況，一種是關(guān)于因變量y異常，另一種是關(guān)于自變量x異常。1、關(guān)于因變量y的異常值在殘差分析中，認(rèn)為超過3?的殘差為異常值。標(biāo)準(zhǔn)化殘差：ZREi今，學(xué)生化殘差：SRE士。標(biāo)準(zhǔn)化殘差使殘差具有可比性，|ZREJ3的相?1h應(yīng)觀測(cè)值即判定為異常值，這簡(jiǎn)化了判斷工作，但是沒有解決方差不等的

15、問題。學(xué)生化殘差則進(jìn)一步解決了方差不等的問題，比標(biāo)準(zhǔn)化殘差又有所改進(jìn)。但是當(dāng)觀測(cè)數(shù)據(jù)中存在關(guān)于y的異常觀測(cè)值時(shí)，普通殘差、標(biāo)準(zhǔn)化殘差、學(xué)生化殘差這三種殘差都不再適用，這是由于異常值把回歸線拉向自身，使異常值本身的殘差減少，而其余觀測(cè)值的殘差增大，這時(shí)回歸標(biāo)準(zhǔn)差？也會(huì)增大，因而用3?準(zhǔn)則不能正確分辨出異常值。解決這個(gè)問題的方法是改用刪除誤差。刪除誤差的構(gòu)造思想是：在計(jì)算第i個(gè)觀測(cè)值的殘差時(shí)，用刪除掉這個(gè)第i個(gè)觀測(cè)值的其余n-1個(gè)觀測(cè)值擬合回歸方程，計(jì)算出第i個(gè)觀測(cè)值的刪除擬合值？，這個(gè)刪除擬合值與第i個(gè)值無關(guān)，不受第i個(gè)值是否為異常值的影響，定義第i個(gè)觀測(cè)值的刪除殘差為：e（i）y?（i）,刪除

16、殘差e（i）較普通殘差更能如實(shí)反映第iA：個(gè)觀測(cè)值的異常性。可以證明，e一進(jìn)一步可以給出第i個(gè)觀測(cè)值的刪1hii有D(e)(1hH)2,其中杠桿值t表示自變量的第i次觀測(cè)值與自變量平均值之間的遠(yuǎn)近。較大的杠桿值的殘差偏小，這是因?yàn)榇蟾軛U值的觀測(cè)點(diǎn)遠(yuǎn)離樣本中心，能夠把回歸方程拉向自身，因而把杠桿值大的樣本點(diǎn)稱為強(qiáng)影響點(diǎn)。強(qiáng)影響點(diǎn)并不一定是y值的異常值點(diǎn)，因而強(qiáng)影響點(diǎn)并不總會(huì)對(duì)回歸方程造成不良影響。但是強(qiáng)影響點(diǎn)對(duì)回歸效果通常有較強(qiáng)的影響，這是由于一下兩個(gè)原因：第一，在實(shí)際問題中，因變量與自變量的線性關(guān)系只是在一定的范圍內(nèi)成立，強(qiáng)影響點(diǎn)原來樣本中心，因變量與自變量之間可能已不再是線性函數(shù)關(guān)系，因而在

17、選擇回歸函數(shù)的形式時(shí)，需側(cè)重于強(qiáng)影響點(diǎn)；第二，即使線性回歸形式成立，但是強(qiáng)影響點(diǎn)遠(yuǎn)離樣本中心，能夠把回歸方程拉向自身，使回歸方程產(chǎn)生偏移。由于強(qiáng)影響點(diǎn)并不總是y的異常值點(diǎn)，所以不能單純根據(jù)杠桿值的大小判斷強(qiáng)影響點(diǎn)是否異常，為此，引入庫(kù)克距離，用來判斷強(qiáng)影響點(diǎn)是否為y的異常值點(diǎn)。庫(kù)克距離的計(jì)算公式為：D(i)值hii與殘差ei大小的一個(gè)綜合效應(yīng)hn(p1)?2(1hH)2,庫(kù)克距離反映了杠桿杠桿值hH的平均值為h一個(gè)杠桿值大于2倍或者3倍的h就認(rèn)為是大的。中心化的杠桿值ch.hii,、一、一*1因此有中心化杠桿值chii的平均值是ch-nchiip,對(duì)于庫(kù)克聚類大小標(biāo)準(zhǔn)n的初略判斷是：Di0.5

18、時(shí)，認(rèn)為不是異常值點(diǎn)；當(dāng)Di1時(shí)，認(rèn)為是異常值點(diǎn)。診斷出異常值后，進(jìn)一步判斷引起異常值的原因，通常由以下幾種。異常值原因異常值消除方法1.數(shù)據(jù)登記誤差，存在抄寫或錄入的錯(cuò)誤重新核實(shí)數(shù)據(jù)2.數(shù)據(jù)測(cè)量誤差重新測(cè)量數(shù)據(jù)3.數(shù)據(jù)隨機(jī)誤差刪除或重新觀測(cè)異常值數(shù)據(jù)4.缺少重要自變量增加必要的自變量5.缺少觀測(cè)數(shù)據(jù)增加觀測(cè)數(shù)據(jù)，適當(dāng)擴(kuò)大自變量取值范圍6.存在異方差采用加權(quán)線性回歸7.模型選用錯(cuò)誤，線性模型不適用改用非線性回歸模型U5自變量選擇與逐步回歸一、全模型和選模型設(shè)研究某一實(shí)際問題，涉及對(duì)因變量有影響的因素共有m個(gè)，由因變量y和m個(gè)自變量構(gòu)成的回歸模型y01x12x2mxm稱為全模型。如果從可供選擇的

19、m個(gè)變量中選出p個(gè)，由選出的p個(gè)自變量組成的回歸模型y0pIpXi2PX2ppXppp稱為選模型。二、自變量選擇對(duì)預(yù)測(cè)的影響自變量選擇對(duì)預(yù)測(cè)的影響可以分為兩種情況考慮，第一種情況是全模型正確而誤用了選模型；第二種情況是選模型正確而無用了全模型。以下是這兩種情況對(duì)回歸的影響。1、全模型正確而誤用選模型的情況性質(zhì)1,在Xj與Xpi,Xm的相關(guān)系數(shù)不全為0時(shí)，選模型回歸系數(shù)的最小二乘估計(jì)是全模型相應(yīng)參數(shù)的有偏估計(jì)，即E(?p)jpj(j1,2,p)性質(zhì)2,選模型的預(yù)測(cè)是有偏的。性質(zhì)3,選模型的參數(shù)估計(jì)有較小的方差。性質(zhì)4,選模型的預(yù)測(cè)殘差有較小的方差。性質(zhì)5,選模型的均方誤差比全模型預(yù)測(cè)的方差更小。

20、(用選模型去預(yù)測(cè)，可以提高預(yù)測(cè)的精度)三、所有子集回歸1、關(guān)于自變量選擇的幾個(gè)準(zhǔn)則準(zhǔn)則一：自由度調(diào)整復(fù)決定系數(shù)達(dá)到最大。設(shè)R；1n1(1R2)為自由度調(diào)整后的復(fù)決定系數(shù)，其中，n為樣本容n.、p1量，p為自變量的個(gè)教。所有回歸子集中r2最大者對(duì)應(yīng)的回歸方程就是最優(yōu)方程。從另外一個(gè)角度考慮回歸的擬合效果，回歸誤差項(xiàng)2的無偏估計(jì)為：?21SSE。用平均殘差平方和？2和調(diào)整的復(fù)決定系數(shù)作為自變量選元準(zhǔn)則際f是等價(jià)的。因?yàn)橛衦21L？2。？2小說明模型好，而？2小R2就SST會(huì)大也說明模型好。準(zhǔn)則二：赤池信息量AIC達(dá)到最小。設(shè)模型的似然函數(shù)為L(zhǎng)(,x),的維數(shù)為p,x為隨即樣本，則AIC定義為：AI

21、C=-2lnL(?L,x)+2p,其中？.為的極大似然估計(jì)；p為未知參數(shù)的個(gè)數(shù)，選擇使AIC達(dá)到最小的模型是最優(yōu)模型。在回歸分析的建模過程中，對(duì)每一個(gè)回歸子集計(jì)算AIC,其中AIC最小者所對(duì)應(yīng)的模型是最優(yōu)回歸模型。準(zhǔn)則三：Cp統(tǒng)計(jì)量達(dá)到最小即使全模型正確，仍有可能選模型有更小的預(yù)測(cè)誤差，Cp正是根據(jù)這一原理提出來的。Cp=(nm1)SS%n2p,其中？21一SSEm為全模型中ssEm口nJ2的無偏估計(jì)。選擇使Cp最小麗自變量子集，這個(gè)自變量子集對(duì)應(yīng)的回歸方程就是最優(yōu)回歸方程。四、前進(jìn)法前進(jìn)法的思想是變量由少到多，每次增加一個(gè)，直至沒有可引入的變量為止。在R中使用前進(jìn)法做變量選擇時(shí)，通常將初始模

22、型設(shè)定為不包含任何變量，只含有常數(shù)項(xiàng)的回歸模型，此時(shí)回歸模型的AIC統(tǒng)計(jì)量的值，不妨為Co。然后，將全部m個(gè)自變量分別對(duì)因變量y建立m個(gè)一元線性回歸方程，并分別計(jì)算這m個(gè)一元回歸方程的AIC統(tǒng)計(jì)量的值，選其中最小值記為：Cj1o因此，變量xj將首先被引人回歸模型，為了方便進(jìn)一步地說明前進(jìn)法，不妨將xj記作x1,此時(shí)回歸方程對(duì)應(yīng)的AIC值記為C1。接下來，因變量y分別對(duì)(x1,x2),(x1,x3)(x1,xm)建立m-1個(gè)二元線性回歸方程，對(duì)這m-1個(gè)回歸方程分別計(jì)算其AIC統(tǒng)計(jì)量的值，選其中最小值記為Cj2則接著將變量xj引人回歸模型，此時(shí)模型中包含的變量為X1和Xj.依上述方法接著做下去，

23、直至再次引人新變量時(shí)，所建立的新回歸方程的AIC值不會(huì)更小，此時(shí)得到的回歸方程即為最終確定的方程。五、后退法后退法與前進(jìn)法相反，通常先用全部m個(gè)變量建立一個(gè)回歸方程，然后計(jì)算在剔除任意一個(gè)變量后回歸方程所對(duì)應(yīng)的AIC統(tǒng)計(jì)量的值，選出最小的AIC值所對(duì)應(yīng)的需要剔除的變量，不妨記作X1;然后，建立剔除變量x1后因變量y對(duì)剩余m-I個(gè)變量的回歸方程，計(jì)算在該回歸方程中再任意剔除一個(gè)變量后所得回歸方程的AIC值，選出最小的AIC值并確定應(yīng)該剔除的變量；依此類推，直至回歸方程中剩余的p個(gè)變量中再任意剔除一個(gè)AIC值都會(huì)增加，此時(shí)已經(jīng)沒有可以繼續(xù)剔除的自變量，因此包含這p個(gè)變量的回歸方程就是最終確定的方程

24、。六、前進(jìn)法和后退法的比較前進(jìn)法的優(yōu)點(diǎn)是能夠?qū)?duì)因變量有影響的自變量按顯著性一一選入，計(jì)算量小。前進(jìn)法的缺點(diǎn)是不能反映引進(jìn)新變量后的變化，而且選入的變量就算不顯著也不能刪除。后退法的優(yōu)點(diǎn)是是能夠?qū)?duì)因變量沒有顯著影響的自變量按不顯著性一一剔除，保留的自變量都是顯著的。后退法的缺點(diǎn)是開始計(jì)算量大，當(dāng)減少一個(gè)自變量時(shí)，它再也沒機(jī)會(huì)進(jìn)入了。如果碰到自變量間有相關(guān)關(guān)系時(shí)，前進(jìn)法和后退法所作的回歸方程均會(huì)出現(xiàn)不同程度的問題。七、逐步回歸法逐步回歸的基本思想是有進(jìn)有出。step()函數(shù)的具體做法是在給定了包含p個(gè)變量的初始模型后，計(jì)算初始模型的AIC值，并在此模型基礎(chǔ)上分別剔除p個(gè)變量和添加剩余m-p個(gè)變

25、量中的任一變量后的AIC值，然后選擇最小的AIC值決定是否添加新變量或剔除已存在初始模型中的變量。如此反復(fù)進(jìn)行，直至既不添加新變量也不剔除模型中已有的變量時(shí)所對(duì)應(yīng)的AIC值最小，即可停止計(jì)算，并返回最終結(jié)果。八、選擇回歸子集選擇哪一個(gè)回歸子集，用哪一個(gè)衡量準(zhǔn)則要根據(jù)研究問題的目的來決定，回歸模型常用的三個(gè)方面是：結(jié)構(gòu)分析，預(yù)測(cè)，控制。如果想通過回歸模型去研究經(jīng)濟(jì)變量之間的相關(guān)聯(lián)系，即做結(jié)構(gòu)分析，則在選元時(shí)可以考慮適當(dāng)放寬選元標(biāo)準(zhǔn)，給回歸方程中保留較多的自變量，但這時(shí)需要注意回歸系數(shù)的正負(fù)號(hào)，看它們是否符合經(jīng)濟(jì)意義。如果希望回歸方程簡(jiǎn)單明了，易于理解，則應(yīng)該采用較嚴(yán)的選元標(biāo)準(zhǔn)。比如在逐步回歸選元

26、中，給顯著性水平進(jìn)賦一個(gè)較小的值，就可使得回歸方程中保留較少最重要最能說明問題的自變量。如果建立回歸方程的目的是為了用于控制，那么就應(yīng)采取能使回歸參數(shù)的估計(jì)標(biāo)準(zhǔn)誤差盡可能小的準(zhǔn)則。如果建立回歸方程的目的是用于預(yù)測(cè)，就應(yīng)該考慮使得預(yù)測(cè)的均方誤差盡量小的準(zhǔn)則，如Cp準(zhǔn)則。U6多重共線性的情形及其處理一、多重共線性對(duì)回歸模型的影響設(shè)回歸模型y01x12x2pxp存在完全的多重共線性，即對(duì)設(shè)計(jì)矩陣X的列向量存在不全為零的一組數(shù)Co,Ci,C2,cp,使得：CoCiXiiC2Xi2CpXip0(i1,2,n).產(chǎn)生原因：采用時(shí)間序列數(shù)據(jù)樣本；采用橫截面數(shù)據(jù)影響：1、完全共線性下參數(shù)估計(jì)量不存在；2、近似

27、共線性下OLS古計(jì)量非有效；3、參數(shù)估計(jì)量經(jīng)濟(jì)含義不合理；4、變量的顯著性檢驗(yàn)失去意義；5、模型的預(yù)測(cè)功能失效。二、多重共線性的診斷1、方差擴(kuò)大因子法對(duì)自變量作中心標(biāo)準(zhǔn)化，則XX(rj)為自變量的相關(guān)陣，記C(cj)(XX)1稱其主對(duì)角線元素VIFjCjj為自變量xj的方差擴(kuò)大因子。var(?j)Cjj2/Ljj(j1,2,p),其中Ljj為xj的離差平方和。記R2為自變1量xj對(duì)其余p-1個(gè)自變量的復(fù)決定系數(shù)，則有Cjj該式子同樣也可以1Rj作為方差擴(kuò)大因子VIFj的定義。由于rJ2度量了自變量xj與其余p-1個(gè)自變量的線性相關(guān)程度，這種相關(guān)程度越強(qiáng)，說明自變量之間的多重共線性越嚴(yán)重，rJ2

28、也就越接近于1,viFj也就越大。由此可見VIFj的大小反映了自變量之間是否存在多重共線性，因此可以由它來度量多重共線性的嚴(yán)重程度。經(jīng)驗(yàn)表明，當(dāng)VIFj10時(shí)，就說明自變量xj與其余自變量之間有嚴(yán)重的多重共線性，且這種多重共線性可能會(huì)過度地影響最小二乘估計(jì)值。也可以用p個(gè)自變量所對(duì)應(yīng)的方差擴(kuò)大因子的平均數(shù)來度量多重共線性，當(dāng)1pVIF1VIFj遠(yuǎn)遠(yuǎn)大于1時(shí)就表小存在嚴(yán)重的多重共線性問題。pj12、特征根判定法特征根分析：當(dāng)矩陣XX有一個(gè)特征根近似為零時(shí)，設(shè)計(jì)矩陣X的列向量問必存在多重共線性，并且XX有多少個(gè)特征根接近于零，X就有多少個(gè)多重共線性關(guān)系。條件數(shù)：k(XX),為矩陣XX的條件數(shù)。通常

29、認(rèn)為k100時(shí)，設(shè)計(jì)矩陣X沒有多重共線性；100k0)那么XX+kl接近奇異的程度就會(huì)比XX接近奇異的程度小得多。考慮到變量的量綱問題，先要對(duì)數(shù)據(jù)標(biāo)準(zhǔn)化，標(biāo)準(zhǔn)化后的設(shè)計(jì)矩陣仍用X表示，定義?(k)(XXkI)1Xy稱為的嶺回歸估計(jì)，其中，k稱為嶺參數(shù)。由于假設(shè)X已經(jīng)標(biāo)準(zhǔn)化，所以XX就是自變量樣本相關(guān)陣。y可以標(biāo)準(zhǔn)化也可以未標(biāo)準(zhǔn)化，如果y也經(jīng)過標(biāo)準(zhǔn)化，那么計(jì)算的實(shí)際是標(biāo)準(zhǔn)化嶺回歸估計(jì)。？(k)作為的估計(jì)應(yīng)比最小二乘估計(jì)？穩(wěn)定，當(dāng)k=0時(shí)的嶺回歸估計(jì)？(0)就是普通的最小二乘估計(jì)。因?yàn)閹X參數(shù)k不是唯一確定的，所以得到的嶺回歸估計(jì)？(k)實(shí)際是回歸參數(shù)的一個(gè)估計(jì)族。二、嶺回歸估計(jì)的性質(zhì)性質(zhì)1,?(k

30、)是回歸參數(shù)的有偏估計(jì)。證明：E?(k)E(XXkI)1Xy)(XXkI)1XE(y)(XXkl)1XX顯然只有當(dāng)k=0時(shí)，E?(0)?;當(dāng)k0時(shí)，？(k)是的有偏估計(jì)。性質(zhì)2,在認(rèn)為嶺參數(shù)k是與y無關(guān)的常數(shù)時(shí)，？(k)=(XXkl)1Xy是最小二乘估計(jì)？的一個(gè)線性變換。也是？的線性函數(shù)。證明：？(k)(XXkl)1Xy(XXkl)1XX(XX)1Xy(XXkl)1XX?性質(zhì)3,對(duì)任意k0,|?0,總有|?(k)|?。這里歸是向量的模，等于向量各分量的平方和的平方根。這個(gè)性質(zhì)表明？(心看看成由？進(jìn)行某種向原點(diǎn)的壓縮。從？(k)的表達(dá)式可以看到，當(dāng)k時(shí)，？(k)0,即？(k)化為零向量。性質(zhì)4,

31、以MSE1示估計(jì)向量的均方誤差，則存在k0,使得MSE?(k)MSE(?)。三、嶺參數(shù)k的選擇嶺參數(shù)選擇的目的是要選擇使MSE(?(k)達(dá)到最小的k,最優(yōu)k值依賴于未知參數(shù)和2。1、嶺跡法嶺跡法的直觀考慮是，如果最小二乘估計(jì)看來有不合理之外，如估計(jì)值以及正負(fù)號(hào)不符合經(jīng)濟(jì)意義，希望能通過采用適當(dāng)?shù)膸X估計(jì)？(k)來加以一定程度的改善，嶺參數(shù)k值的選擇就是尤為重要。選擇k值的一般原則是：(1)各回歸系數(shù)的嶺估計(jì)基本穩(wěn)定；(2)用最小二乘估計(jì)時(shí)符號(hào)不合理的回歸系數(shù)，其嶺估計(jì)的符號(hào)變得合理。(3)回歸系數(shù)沒有不合乎經(jīng)濟(jì)意義的絕對(duì)值；(4)殘差平方和增大不太多。2、方差擴(kuò)大因子法加0,#X(X,X+A/=

32、(牙，X+A/尸X*M(JTX+H)7=p。如果n=p對(duì)模型的參數(shù)估計(jì)會(huì)帶來很嚴(yán)重的影響。因?yàn)椋? .在多元線性回歸模型中，有p+1個(gè)待估參數(shù)B,所以樣本容量的個(gè)數(shù)應(yīng)該大于解釋變量的個(gè)數(shù)，否則參數(shù)無法估計(jì)。2 .解釋變量X是確定性變量，要求rank(X)p1n,表明設(shè)計(jì)矩陣X中的自變量列之間不相關(guān)，即矩陣X是一個(gè)滿秩矩陣。若rank(X)p1,則解釋變量之間線性相關(guān)，3.3證明?2SSE/n1(XX)是奇異陣，則的估計(jì)不穩(wěn)定。p1隨機(jī)誤差項(xiàng)的方差2的無偏估計(jì)。nE(e2)i1-SSE1nD(e)1(ee)np1n2(1hii)E(?2)i1n22e(e)i1JP1n2(1i1n2e,i1hii

33、)2(nn%)2(np1)i1R=0.9801,我們能判斷3 .4一個(gè)回歸方程的復(fù)相關(guān)系數(shù)R=0.99,樣本決定系數(shù)這個(gè)回歸方程就很理想嗎？答：不能斷定這個(gè)回歸方程理想。因?yàn)?1 .在樣本容量較少，變量個(gè)數(shù)較大時(shí)，決定系數(shù)的值容易接近1,而此時(shí)可能F檢驗(yàn)或者關(guān)于回歸系數(shù)的t檢驗(yàn)，所建立的回歸方程都沒能通過。2 .樣本決定系數(shù)和復(fù)相關(guān)系數(shù)接近于1只能說明Y與自變量X1,X2，鄧體上的線性關(guān)系成立，而不能判斷回歸方程和每個(gè)自變量是顯著的，還需進(jìn)行F檢驗(yàn)和t檢驗(yàn)。3 .在應(yīng)用過程中發(fā)現(xiàn)，在樣本容量一定的情況下，如果在模型中增加解釋變量必定使得自由度減少，使得R2往往增大，因此增加解釋變量（尤其是不顯

34、著的解釋變量）個(gè)數(shù)引起的R2的增大與擬合好壞無關(guān)。第4章違背基本假設(shè)的情況4.1 試舉例說明產(chǎn)生異方差的原因。答：例4.1:截面資料下研究居民家庭的儲(chǔ)蓄行為Y=0+1X+ei其中：Y表示第i個(gè)家庭的儲(chǔ)蓄額，Xi表示第i個(gè)家庭的可支配收入。由于高收入家庭儲(chǔ)蓄額的差異較大，低收入家庭的儲(chǔ)蓄額則更有規(guī)律性，差異較小，所以ei的方差呈現(xiàn)單調(diào)遞增型變化。例4.2:以某一行業(yè)的企業(yè)為樣本建立企業(yè)生產(chǎn)函數(shù)模型Yi=Aib1Kib2Lib3ai被解釋變量：產(chǎn)出量Y,解釋變量：資本K、勞動(dòng)L、技術(shù)A,那么每個(gè)企業(yè)所處的外部環(huán)境對(duì)產(chǎn)出量的影響被包含在隨機(jī)誤差項(xiàng)中。由于每個(gè)企業(yè)所處的外部環(huán)境對(duì)產(chǎn)出量的影響程度不同，

35、造成了隨機(jī)誤差項(xiàng)的異方差性。這時(shí)，隨機(jī)誤差項(xiàng)6的方差并不隨某一個(gè)解釋變量觀測(cè)值的變化而呈規(guī)律性變化，呈現(xiàn)復(fù)雜型。4.2 異方差帶來的后果有哪些？答：回歸模型一旦出現(xiàn)異方差性，如果仍采用OLS估計(jì)模型參數(shù)，會(huì)產(chǎn)生下列不良后果：1、參數(shù)估計(jì)量非有效2、變量的顯著性檢驗(yàn)失去意義3、回歸方程的應(yīng)用效果極不理想總的來說，當(dāng)模型出現(xiàn)異方差性時(shí)，參數(shù)OLS古計(jì)值的變異程度增大，從而造成對(duì)Y的預(yù)測(cè)誤差變大，降低預(yù)測(cè)精度，預(yù)測(cè)功能失效。4.3 簡(jiǎn)述用加權(quán)最小二乘法消除一元線性回歸中異方差性的思想與方法。答：普通最小二乘估計(jì)就是尋找參數(shù)的估計(jì)值使離差平方和達(dá)極小。其中每個(gè)平方項(xiàng)的權(quán)數(shù)相同，是普通最小二乘回歸參數(shù)估

36、計(jì)方法。在誤差項(xiàng)等方差不相關(guān)的條件下，普通最小二乘估計(jì)是回歸參數(shù)的最小方差線性無偏估計(jì)。然而在異方差的條件下，平方和中的每一項(xiàng)的地位是不相同的，誤差項(xiàng)的方差大的項(xiàng)，在殘差平方和中的取值就偏大，作用就大，因而普通最小二乘估計(jì)的回歸線就被拉向方差大的項(xiàng)，方差大的項(xiàng)的擬合程度就好，而方差小的項(xiàng)的擬合程度就差。由OLS求出的仍然是的無偏估計(jì)，但不再是最小方差線性無偏估計(jì)。所以就是：對(duì)較大的殘差平方賦予較小的權(quán)數(shù)，對(duì)較小的殘差平方賦予較大的權(quán)數(shù)。這樣對(duì)殘差所提供信息的重要程度作一番校正，以提高參數(shù)估計(jì)的精度。4.4 簡(jiǎn)述用加權(quán)最小二乘法消除多元線性回歸中異方差性的思想與方法。答：運(yùn)用加權(quán)最小二乘法消除多

37、元線性回歸中異方差性的思想與一元線性回歸的類似。多元線性回歸加權(quán)最小二乘法是在平方和中加入一個(gè)適當(dāng)?shù)臋?quán)數(shù)wi,以調(diào)整各項(xiàng)在平方和中的作用，加權(quán)最小二乘的離差平方和為:Qw(0,i,np)Wi(yi0iXMi1pxip)(2)加權(quán)最小二乘估計(jì)就是尋找參數(shù)0,1,0的估計(jì)值為w,Mw,?pw使式（2）的離差平方和Qw達(dá)極小。所得加權(quán)最小二乘經(jīng)驗(yàn)回歸方程記做yw-0wlwX1pwXp（3）多元回歸模型加權(quán)最小二乘法的方法：首先找到權(quán)數(shù)wi,理論上最優(yōu)的權(quán)數(shù)wi為誤差項(xiàng)方差2的倒數(shù)，即wi(4)誤差項(xiàng)方差大的項(xiàng)接受小的權(quán)數(shù)，以降低其在式（2）平方和中的作用；誤差項(xiàng)方差小的項(xiàng)接受大的權(quán)數(shù)，以提高其在平方

38、和中的作用。由（2）式求出的加權(quán)最小二乘估計(jì)Zw,?w,?pw就是參數(shù)0,1,的最小方差線性無偏估計(jì)。一個(gè)需要解決的問題是誤差項(xiàng)的方差2是未知的，因此無法真正按照式（4）選取權(quán)數(shù)。在實(shí)際問題中誤差項(xiàng)方差2通常與自變量的水平有關(guān)（如誤差項(xiàng)方差2隨著自變量的增大而增大）,可以利用這種關(guān)系確定權(quán)數(shù)。例如：與第j個(gè)自變量取值的平方成比例時(shí),即：=kx2時(shí)，這時(shí)取權(quán)數(shù)為1Wi（5）xj更一般的情況是誤差項(xiàng)方差2與某個(gè)自變量Xj（與|ei|的等級(jí)相關(guān)系數(shù)最大的自變量）取值的幕函數(shù)xm成比例，即i2=kx；,其中m是待定的未知參數(shù)。此時(shí)權(quán)數(shù)為Wi4（6）Xij這時(shí)確定權(quán)數(shù)四的問題轉(zhuǎn)化為確定幕參數(shù)m的問題，可

39、以借助SPS馱件解決。4.7有同學(xué)認(rèn)為當(dāng)數(shù)據(jù)存在異方差時(shí)，加權(quán)最小二乘回歸方程與普通最小二乘回歸方程之間必然有很大的差異，異方差越嚴(yán)重，兩者之間的差異就越大。你是否同意這位同學(xué)的觀點(diǎn)？說明原因。答：不同意。當(dāng)回歸模型存在異方差時(shí)，加權(quán)最小二乘估計(jì)（WLS）只是普通最小二乘估計(jì)（OLS的改進(jìn)，這種改進(jìn)可能是細(xì)微的，不能理解為WLS一定會(huì)得到與OLS截然不同的方程來，或者大幅度的改進(jìn)。實(shí)際上可以構(gòu)造這樣的數(shù)據(jù)，回歸模型存在很強(qiáng)的異方差，但WLS與OLS的結(jié)果一樣。加權(quán)最小二乘法不會(huì)消除異方差，只是消除異方差的不良影響，從而對(duì)模型進(jìn)行一點(diǎn)改進(jìn)。第5章自變量選擇與逐步回歸5.1 自變量選擇對(duì)回歸參數(shù)的

40、估計(jì)有何影響？答：回歸自變量的選擇是建立回歸模型得一個(gè)極為重要的問題。如果模型中丟掉了重要的自變量，出現(xiàn)模型的設(shè)定偏誤，這樣模型容易出現(xiàn)異方差或自相關(guān)性，影響回歸的效果；如果模型中增加了不必要的自變量，或者數(shù)據(jù)質(zhì)量很差的自變量，不僅使得建模計(jì)算量增大，自變量之間信息有重疊，而且得到的模型穩(wěn)定性較差，影響回歸模型的應(yīng)用。5.2 自變量選擇對(duì)回歸預(yù)測(cè)有何影響？答：當(dāng)全模型（m元）正確采用選模型（p元）時(shí)，我們舍棄了m-p個(gè)自變量，回歸系數(shù)的最小二乘估計(jì)是全模型相應(yīng)參數(shù)的有偏估計(jì)，使得用選模型的預(yù)測(cè)是有偏的，但由于選模型的參數(shù)估計(jì)、預(yù)測(cè)殘差和預(yù)測(cè)均方誤差具有較小的方差，所以全模型正確而誤用選模型有利有弊。當(dāng)選模型（p元）正確采用全模型（m元）時(shí)，全模型回歸系數(shù)的最小二乘估計(jì)是相應(yīng)參數(shù)的有偏估計(jì)，使得用模型的預(yù)測(cè)是有偏的，并且全模型的參數(shù)估計(jì)、預(yù)測(cè)殘差和預(yù)測(cè)均方誤差的方差都比選模型的大，所以回歸自變量的選擇應(yīng)少而精。5.3 如果所建模