1、第九部分多元線性回歸一、多元線性回歸模型1.多元線性理論回歸模型的一般形式y(tǒng) P +8 x + & x + ,+ 8 x +E01 12 2p pE(8) 0一Var () =b 2對(duì)n組試驗(yàn)數(shù)據(jù)(x , x，,x , y ),(x , x，,x , y),，(x , x，,x , y )，上式可寫成方程組形式 11 121 p 121 222 p 2n1n2 np ny =8 +8 x +8 x + + 8 x +8y101 112 12p 1 p1y = 8 + 8 x + 8 x + + 8 x +8201 212 22p 2p 2y = 8 + 8 x + 8 x + + 8 x +

2、8、n 01 n12 n2p np n寫成矩陣形式為y = xp+e其中y2qX = 1y2qX = 1;k1121xn1x1p x2p:，8=f8081 :，8 =f81:6.2x np8 p 7Ln 72.基本假設(shè)條件(1) rank(X) = p +1 n，該假設(shè)條件的成立說明自變量氣,x2，,xp不相關(guān)(2)E(8,) 0 i = 1,2,.,n:、侑2 i jcov(8.,8 .) = i j 0 i 豐 j、偵違反(1)稱為多重共線性，違反(2)稱為序列相關(guān)和異方差。我們將在后面內(nèi)容的討論不滿足條件的處理辦法。8 .N(0,g 2) i =1,2,.,n(3) p +1，所以有基本

3、假設(shè)n p +1。三、多元回歸的顯著性檢驗(yàn)多元回歸的顯著性檢驗(yàn)包括回歸方程的顯著性檢驗(yàn)和回歸系數(shù)的顯著性檢驗(yàn)，兩者既有相同之處，也有不同之處。 1.回歸方程顯著性的F檢驗(yàn)多元回歸方程的顯著性檢驗(yàn)就是看自變量氣,%，,xp從整體上對(duì)隨機(jī)變量y是否有顯著的影響，而提出假設(shè)H0: &1 =。2=。廣0如果H0被接受，則表明隨機(jī)變量y與自變量氣,x2，xp之間的關(guān)系由線性回歸模型表示不合適。同一元回歸討論類似，有平方和分解公式 (y. y )2 = ( - y )2 + (y. y. )2簡寫為SST = SSR + SSE在正態(tài)假設(shè)下，當(dāng)H0成立時(shí)，統(tǒng)計(jì)量F = SSR / P F(p, n - p

4、 -1) SSE /(n - p -1)對(duì)給定的檢驗(yàn)水平a ,檢驗(yàn)規(guī)則為：當(dāng)F Fa（ p, n - p -1）時(shí)，拒絕H ,否則就接受H 0 .2.回歸系數(shù)顯著性的t檢驗(yàn)在多元線性回歸中，雖然通過了回歸方程的顯著性檢驗(yàn)（拒絕H），但并不意味著每個(gè)自變量對(duì)y的影響都是顯著的， 因此要對(duì)每個(gè)自變量進(jìn)行顯著性檢驗(yàn)。而提出假設(shè)H0j: P , = 0， j = 1,2,p如果H0j被接受，則表明自變量Xj對(duì)隨機(jī)變量y的影響不顯著；如果H0j被拒絕，則表明自變量Xj對(duì)隨機(jī)變量y的影響時(shí) 顯著的。由育N （P, c2（XTX）-1），記（XTX）-1 = C = （%），則聽N（Pj2），j = 1,2

5、，,p，因此，在假設(shè) H0j 成立下，t(n - p -1)對(duì)給定的檢驗(yàn)水平a ,檢驗(yàn)規(guī)則為：當(dāng)111 ta2（n - p -1）時(shí)，拒絕H0j，否則就接受H0 j。盡管回歸方程通過了顯著性檢驗(yàn)，但也會(huì)出現(xiàn)某個(gè)自變量x,（甚至于每個(gè)自變量x,）對(duì)隨機(jī)變量y的影響不顯著的情況;在實(shí)際問題中可以刪除一些不顯著的變量（逐步回歸），從而簡化而突出主要變量；例1本例研究第三產(chǎn)業(yè)對(duì)旅游外匯收入的影響。中國統(tǒng)計(jì)年鑒把第三產(chǎn)業(yè)劃分為12個(gè)組成部分，分別為x1 -農(nóng)林 牧漁服務(wù)業(yè)，X2 -地質(zhì)勘查水利管理業(yè)，X3 -交通運(yùn)輸倉儲(chǔ)和郵電通信業(yè)，X4 -批發(fā)零售貿(mào)易和餐飲業(yè)，X5 -金融保險(xiǎn) 業(yè)，X6 -房地產(chǎn)業(yè)，

6、X7 -社會(huì)服務(wù)業(yè)，X8 -衛(wèi)生體育和社會(huì)福利業(yè)，X9 -教育文化藝術(shù)和廣播，x10 -科學(xué)研究和綜合藝 術(shù)，x11 -黨政機(jī)關(guān)，x12 -其他行業(yè)。y -國際旅游外匯收入（百萬美元），自變量單位為億元人民幣。執(zhí)行SPSS操作得回歸方程為y = -205.552 -1.495 x + 2.649x + +1.360 x1212由Anova表可以看到通過了檢驗(yàn)（12個(gè)自變量作為一個(gè)整體對(duì)因變量影響顯著）。由系數(shù)表可以看到12個(gè)自變量都沒有通過檢驗(yàn)。四、數(shù)據(jù)處理的基本方法1.數(shù)據(jù)標(biāo)準(zhǔn)化對(duì)樣本數(shù)據(jù)-j, y,， i = 1,2,-,n; j = 1,2,-,p，記-*=匚ijjjy*=亍* yy稱-

7、*，y *，為標(biāo)準(zhǔn)化后的數(shù)據(jù)。其中S.=工 (-. _ -*=匚ijjjy*=亍* yy稱-*，y *，為標(biāo)準(zhǔn)化后的數(shù)據(jù)。其中S.=工 (-. _ - .)2為變量-對(duì)應(yīng)的樣本數(shù)據(jù)的樣本方差，S =工 (y, _ y )2 ij ijj n -1 lJ Jjyy n -1 Jn 為變量y對(duì)應(yīng)的樣本數(shù)據(jù)的樣本方差。有時(shí)記1. = (- -.)2i=1l =(y. _ y )2，稱為樣本離差。 ji=1yy2.標(biāo)準(zhǔn)化回歸系數(shù)對(duì)擬合回歸方程y=p 0+p 1氣+p 2-2+-+p p-p,，=P -，+p -，p -1122pp再除以、，整理得標(biāo)準(zhǔn)化回歸方程AAAy * = P* -* + P* -

8、 * +1 12 2由于y = P0 +P1 -1 + P2-2 + - + PpXp，兩式相減得中心化回歸方程AP* X*A其中，階jV S 入 l AP. =j= P jv yy 、yyj = 1,2,p例1的標(biāo)準(zhǔn)化回歸方程為Ay =0.013 -r -023芝+.+-042%AA普通最小二乘估計(jì)P j表示在其他變量不變下，自變量七的每單位絕對(duì)變化引起的因變量均值的絕對(duì)變化量，而P*則 表示自變量七的每單位相對(duì)變化(1%)引起的因變量均值的相對(duì)變化量的百分比。3.總結(jié)普通最小二乘估計(jì)的系數(shù)不具有可比性，如y = 200 + 200氣+ 2-2。用標(biāo)準(zhǔn)化回歸系數(shù)解釋變量的相對(duì)重要性就 比較理

9、想了，但要注意的是，當(dāng)變量之間具有相關(guān)性時(shí)，會(huì)影響標(biāo)準(zhǔn)化回歸系數(shù)的大小。五、相關(guān)系數(shù)與決定系數(shù)1.簡單相關(guān)系數(shù)在一元線性回歸中，定義-與y的樣本相關(guān)系數(shù)為r =-y 及樣本決定系數(shù)r2，并有r2 = SSR = 1 _ SSE_ r 一 SST SST因此，樣本決定系數(shù)r2反映了 -與y的相關(guān)關(guān)系，且r2越接近1，表示回歸擬合效果越好，如r2 = 90%可解釋為，因?yàn)?的變化而引起y的90%的變化，另10%的變化是由其他因素引起的，或敘述為-解釋了 y 的90%的變差。類似于上面定義，可定義任意變量,與-的簡單相關(guān)系數(shù)r和決定系數(shù)及變量-與y的簡單相關(guān)系數(shù)r和決定系數(shù) i jijiiy1212

10、ijr2 = iyliy l lii jjii yylr2 = j2.復(fù)相關(guān)系數(shù)在多元線性回歸中類似定義y與氣,-2，-,-p的樣本復(fù)決定系數(shù)為R 2 =迪=1一R 2 =迪=1一廷SST SST及樣本復(fù)相關(guān)系數(shù)為.SSRSST模型RR方調(diào)整R方標(biāo)準(zhǔn)估計(jì)誤差1.935a.875.792304.680模型匯總復(fù)相關(guān)系數(shù)R反映了 y與一組變量氣,，,七的相關(guān)關(guān)系。例1的R2 = 0.875,R = 0.935。實(shí)際問題中，當(dāng)然R越接近1越好，但有時(shí)顧及到模型結(jié)構(gòu)的合理解釋，R2能在0.7左右也是可以接受的，當(dāng)樣本容 量與自變量的個(gè)數(shù)接近時(shí)，R2很容易接近1，因此不能僅以R2的大小來決定模型的優(yōu)劣。

11、例2在建立建筑業(yè)降低成本率對(duì)流動(dòng)資金、固定資金、優(yōu)良品率、竣工面積、勞動(dòng)生產(chǎn)率和施工產(chǎn)值的關(guān)系時(shí)，利用 數(shù)據(jù)進(jìn)行回歸。從輸出結(jié)果中可以看出，雖然R2 = 0.92679，但方程沒有通過F檢驗(yàn)(p = 0.207九六、偏決定系數(shù)在多元線性回歸分析中，由于自變量之間的相關(guān)性的產(chǎn)生，不但使一些量會(huì)發(fā)生變化，解釋上也有所不同。比如在考慮y與x和x的關(guān)系時(shí)，r2 = 90%，解釋為x影響了 y的90%，x與其他因素一共影響10%，但r2=90%，又說明x的12y112121變化有90%是由x2引起的，即x2通過x1就影響了 y的81%，現(xiàn)在再說x1是影響y的主要因素就不合適了。因此，當(dāng)自變量有自相關(guān)時(shí)，

12、y與一組變量x ,x，,x的擬合方程中x的回歸系數(shù)6不能完全反映x對(duì)y的內(nèi)在效12 pjjj應(yīng)，而只反映邊際的或部分的效應(yīng)。一項(xiàng)生產(chǎn)任務(wù)由10人完成，甲完成其中10%，如果甲與其他人沒有協(xié)作，則甲的能力與其他人相當(dāng)，但如果甲有幫助 其他人的現(xiàn)象，則甲的能力就不止10%。如何測算出甲的能力呢？設(shè)總量為，那就是先讓其他9人去生產(chǎn)得產(chǎn)量氣，然 后將甲加進(jìn)去去生產(chǎn)得產(chǎn)量，則 -就是甲的貢獻(xiàn)，或A10 A9 X100%就是甲的能力。10109A余定義記r 2 = SSR(xxj - SSR(xry21 _SSE (x1)稱為x1已在回歸模型中，y與x2之間的偏決定系數(shù)。同理，設(shè)模型中已含有x2，.,xp

13、時(shí)，再加入x1時(shí)，y與x1的偏決定系數(shù)為SSE(x2，,xp) _ SSE(%, x2, . . ., xp)板2,3./ =SSE (x2，., xp)它反映了在其它變量不變的情況下，x1對(duì)y回歸的邊際貢獻(xiàn)。類似定義偏相關(guān)系數(shù)為偏決定系數(shù)的平方根，其符號(hào)與相應(yīng)的回歸系數(shù)的符號(hào)相同。根據(jù)偏相關(guān)系數(shù)的大小，可以判定哪些自變量對(duì)因變量的影響較大。比如r2 r2，則說明x對(duì)y的影響要強(qiáng)于x。 y 2:1 y1:221例3研究北京市各經(jīng)濟(jì)開發(fā)區(qū)經(jīng)濟(jì)發(fā)展與招商投資的關(guān)系，因變量y為各開發(fā)區(qū)的銷售收入(百萬元)，自變量x1為 招商企業(yè)數(shù)目，x2為招商企業(yè)注冊(cè)資本(百萬元)，以y對(duì)x1、x2進(jìn)行二元回歸。S

14、PSS操作：進(jìn)入數(shù)據(jù)編輯器界面，點(diǎn)擊【分析】T【回歸】T【統(tǒng)計(jì)量】，在打開的統(tǒng)計(jì)量框中點(diǎn)選【部分相關(guān)和偏 相關(guān)】，確定即可。由模型匯總表知：R2 = 0.842，即y對(duì)x1和x2進(jìn)行回歸時(shí)，氣和x2共消除了 y的84.2%變差。由系數(shù)表知：y對(duì)x的決定系數(shù)為r2 = (0.807)2 = 65.1%，偏決定系數(shù)為r2 = (0.802)2 = 64.3% ；1y1y1:2 同理可得y對(duì)x決定系數(shù)為r2 = (0.746)2 = 55.7%，偏決定系數(shù)為r2 = (0.739)2 = 54.6%。 TOC o 1-5 h z y 2y 2 y 2:1解釋如下:y單獨(dú)對(duì)氣回歸時(shí)x消除了 y的r2 = (0.807)2 = 65.1%總變差，加入x后，x又消除了剩余的34.9%y單獨(dú)對(duì)氣回歸時(shí)1y122%= (0.739)2 = 54.6%的變差，即消除34.9%X54.6%=19.1%的總變差，因此，共消除65.1%+19.1%=84.2%總變差;同理，y單獨(dú)對(duì)x回歸時(shí)，x消除了 y的r2 = (0.746)2 = 55.7%總變差，加入x后，x又消除了剩余的44.3%中的22y 2、,11% = (0.802)2 = 64.3%的變差，即