§3.3多元線性回歸模型的統(tǒng)計檢驗

一、擬合優(yōu)度檢驗二、方程的顯著性檢驗(F檢驗)

三、變量的顯著性檢驗（t檢驗）四、參數(shù)的置信區(qū)間

一、擬合優(yōu)度檢驗

1、可決系數(shù)與調(diào)整的可決系數(shù)則（1）總離差平方和的分解由于

=0所以有：

注意：一個有趣的現(xiàn)象????-+++=ikiikiiieYXeXeebbb???110L（2）可決系數(shù)該統(tǒng)計量越接近于1，模型的擬合優(yōu)度越高。

問題：在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，

R2往往增大（Why?)

這就給人一個錯覺：要使得模型擬合得好，只要增加解釋變量即可。

但是，現(xiàn)實情況往往是，由增加解釋變量個數(shù)引起的R2的增大與擬合好壞無關(guān)，R2需調(diào)整。（3）調(diào)整的可決系數(shù)（adjustedcoefficientofdetermination）

在樣本容量一定的情況下，增加解釋變量必定使得自由度減少，所以調(diào)整的思路是:將殘差平方和與總離差平方和分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響:其中：n-k-1為殘差平方和的自由度，n-1為總體平方和的自由度。總離差平方和TSS回歸平方和ESS殘差平方和RSS自由度n-1Kn-K-1=+統(tǒng)計量的自由度，是指統(tǒng)計量中可以自由變化的樣本觀測值的個數(shù)，它等于所用樣本觀測值個數(shù)減去對觀測值的約束個數(shù)。例如：樣本均值的自由度為n，而樣本方差的自由度為（n-1），因為使用了樣本均值，形成一個約束。求參數(shù)

的估計量時失去K+1個自由度有K+1個解釋變量與應(yīng)變量對應(yīng),使用樣本均值失去一個自由度11)1(122-----=knnRR一、擬合優(yōu)度檢驗總離差平方和TSS回歸平方和ESS殘差平方和RSS（1）總離差平方和的分解（2）可決系數(shù)R2（3）調(diào)整的可決系數(shù)檢驗?zāi)Ｐ蛯颖居^測值的擬合程度。用在總離差分解基礎(chǔ)上確定的可決系數(shù)R2（調(diào)整的可決系數(shù)）度量n-1kn-k-1=+自由度在應(yīng)用過程中發(fā)現(xiàn)，如果在模型中增加一個解釋變量，可決系數(shù)R2往往增大，這是因為殘差平方和RSS往往隨著解釋變量個數(shù)的增加而減少，至少不會增加。這就給人一個錯覺：要使模型擬合得好，就必須增加解釋變量個數(shù)。但在樣本容量一定的情況下，增加解釋變量個數(shù)必定使得待估參數(shù)的個數(shù)增加，從而損失自由度；且有時所增加的解釋變量并非必要。R2的計算公式并未考慮不同模型自由度的不同；故調(diào)整的思路是將殘差平方和RSS和總離差平方和TSS分別除以各自的自由度，以剔除變量個數(shù)對擬合優(yōu)度的影響。因此，在比較應(yīng)變量相同而解釋變量個數(shù)不同的兩個模型的擬合程度時，宜用調(diào)整的可決系數(shù)。若k>0，則即：隨著模型中解釋變量個數(shù)的增加，調(diào)整的可決系數(shù)越來越小于可決系數(shù)，這似乎是對增加解釋變量的“懲罰”。總為正，但可能為負。*2、赤池信息準則和施瓦茨準則

為了比較所含解釋變量個數(shù)不同的多元回歸模型的擬合優(yōu)度，常用的標準還有:

赤池信息準則（Akaikeinformationcriterion,AIC）施瓦茨準則（Schwarzcriterion，SC）

這兩準則均要求僅當所增加的解釋變量能夠減少AIC值或SC值時才在原模型中增加該解釋變量。

Eviews的估計結(jié)果顯示：中國居民消費二元例中：

AIC=6.68AC=6.83

中國居民消費一元例中：

AIC=7.09AC=7.19從這點看，可以說前期人均居民消費CONSP(-1)應(yīng)包括在模型中。

第三章多元線性回歸模型F檢驗是以方差分析為基礎(chǔ)，旨在檢驗?zāi)Ｐ椭斜唤忉屪兞颗c解釋變量之間的線性關(guān)系在總體上是否顯著成立。擬合優(yōu)度檢驗（R2檢驗）中，擬合優(yōu)度高，則解釋變量對被解釋變量的解釋程度越高，可以推測模型總體線性關(guān)系成立，反之就不成立。但這只是一個模糊的推測，不能給出一個統(tǒng)計上嚴格的結(jié)論，這就需要進行方程的顯著性檢驗。

二、方程的顯著性檢驗(F檢驗)

F檢驗的思想來自于總離差平方和的分解式：

TSS=ESS+RSS

如果這個比值較大，則X的聯(lián)合體對Y的解釋程度高，可認為總體存在線性關(guān)系，反之總體上可能不存在線性關(guān)系。

因此,可通過該比值的大小對總體線性關(guān)系進行推斷。二、回歸方程的顯著性檢驗（F檢驗）（1）提出假設(shè)：H0：

1=

2=···=

k=0(等價于H0：R2=0)H1：

j不全為零(j=1,2,···,k)（2）在H0成立條件下，構(gòu)造F統(tǒng)計量，并由觀測值計算其值；檢驗步驟(F隨著解釋變量對應(yīng)變量變動的解釋比例的增大而逐漸增大)設(shè)隨機變量X～

2(n)，Y～2(m)，且X與Y相互獨立，則隨機變量F=(X/n)/(Y/m)的分布稱為自由度為（n,m）的F分布。方差分析表變差來源平方和自由度方差來自回歸來自殘差總變差kESS/kn-k-1RSS/(n-k-1)n-1二、回歸方程的顯著性檢驗（F檢驗）（1）提出假設(shè)：H0：

1=

2=···=

k=0(等價于H0：R2=0)H1：

j不全為零(j=1,2,···,k)（2）在H0成立條件下，構(gòu)造F統(tǒng)計量，并由觀測值計算其值；（3）給定顯著性水平，查F分布表,得臨界值F

(k,n-k-1)；若F＞F

(k,n-k-1)，則拒絕原假設(shè)H0，接受H1；說明模型的線性關(guān)系顯著成立，模型通過方程顯著性檢驗；也即回歸方程顯著。若F≤F

(k,n-k-1)，則接受原假設(shè)H0，說明模型的線性關(guān)系顯著不成立，模型未通過方程顯著性檢驗；也即回歸方程不顯著。檢驗步驟(F隨著解釋變量對應(yīng)變量變動的解釋比例的增大而逐漸增大)一元模型t檢驗和F檢驗等價方差分析表變差來源平方和自由度方差來自回歸來自殘差總變差kESS/kn-k-1RSS/(n-k-1)n-1Ff(F)F

是兩類檢驗：R2檢驗是檢驗?zāi)Ｐ蛯颖居^測值的擬合程度；F檢驗是檢驗?zāi)Ｐ涂傮w線性關(guān)系的顯著性，并有精確的分布。兩者的關(guān)聯(lián)：模型對樣本觀測值的擬合程度高，模型總體線性關(guān)系的顯著性就強，即R2越大，F(xiàn)值越大。判定系數(shù)R2與F值：調(diào)整的判定系數(shù)與F值：

2、關(guān)于擬合優(yōu)度檢驗與方程顯著性檢驗關(guān)系的討論

對于中國居民人均消費支出的例子：一元模型：F=285.92

二元模型：F=2057.3給定顯著性水平

=0.05，查分布表，得到臨界值：一元例：F

(1,21)=4.32

二元例：

F

(2,19)=3.52顯然有F

F

(k,n-k-1)

即二個模型的線性關(guān)系在95%的水平下顯著成立。在中國居民人均收入-消費一元模型中，在中國居民人均收入-消費二元模型中，三、變量的顯著性檢驗（t檢驗）方程的總體線性關(guān)系顯著

每個解釋變量對被解釋變量的影響都是顯著的

因此，必須對每個解釋變量進行顯著性檢驗，以決定是否作為解釋變量被保留在模型中。這一檢驗是由對變量的t檢驗完成的。

1、t統(tǒng)計量

由于以cii表示矩陣(X’X)-1

主對角線上的第i個元素，于是參數(shù)估計量的方差為：

其中

2為隨機誤差項的方差，在實際計算時，用它的估計量代替:

因此，可構(gòu)造如下t統(tǒng)計量

2、t檢驗設(shè)計原假設(shè)與備擇假設(shè)：

H1：

i0

給定顯著性水平

，可得到臨界值t/2(n-k-1)，由樣本求出統(tǒng)計量t的數(shù)值，通過

|t|

t/2(n-k-1)或|t|

t/2(n-k-1)來拒絕或接受原假設(shè)H0，從而判定對應(yīng)的解釋變量是否應(yīng)包括在模型中。

H0：

i=0

（i=1,2…k）

注意：一元線性回歸中，t檢驗與F檢驗一致

一方面，t檢驗與F檢驗都是對相同的原假設(shè)H0：

1=0

進行檢驗;

另一方面，兩個統(tǒng)計量之間有如下關(guān)系：

在中國居民人均收入-消費支出二元模型例中，由應(yīng)用軟件計算出參數(shù)的t值：給定顯著性水平

=0.05，查得相應(yīng)臨界值：t0.025(19)=2.093。可見，計算的所有t值都大于該臨界值，所以拒絕原假設(shè)。即:包括常數(shù)項在內(nèi)的3個解釋變量都在95%的水平下顯著，都通過了變量顯著性檢驗。

四、參數(shù)的置信區(qū)間

參數(shù)的置信區(qū)間用來考察：在一次抽樣中所估計的參數(shù)值離參數(shù)的真實值有多“近”。在變量的顯著性檢驗中已經(jīng)知道：容易推出：在(1-)的置信水平下

i的置信區(qū)間是

其中，t/2為顯著性水平為

、自由度為n-k-1的臨界值。

)1(~1???----￠--=kntkncStiiiiiiieebbbbb在中國居民人均收入-消費支出二元模型例中,給定

=0.05，查表得臨界值：t0.025(19)=2.093計算得參數(shù)的置信區(qū)間：

0

：(44.284,197.116)

1

：(0.0937,0.3489)

2

：(0.0951,0.8080)從回歸計算中已得到：如何才能縮小置信區(qū)間？

增大樣本容量n，因為在同樣的樣本容量下，n越大，t分布表中的臨界值越小，同時，增大樣本容量，還可使樣本參數(shù)估計量的標準差減小；提高模型的擬合優(yōu)度，因為樣本參數(shù)估計量的標準差與殘差平方和呈正比，模型優(yōu)度越高，殘差平方和應(yīng)越小。提高樣本觀測值的分散度,一般情況下，樣本觀測值越分散,Cjj越小。§3.4多元線性回歸模型的預(yù)測在模型和解釋變量預(yù)測值XF=(1,X1F,X2F,···,XkF)確定的情況下，對應(yīng)變量Y的預(yù)測分為：點預(yù)測應(yīng)變量Y平均值應(yīng)變量Y個別值區(qū)間預(yù)測應(yīng)變量