經濟計量學的幾種檢驗1精選ppt多重共線性.Multicollinearityarisesbecausewehaveputintoomanyvariablesthatmeasurethesamething.Asthedegreeofmulticollinearityincreases,theregressionmodelestimatesofthecoefficientsbecomeunstableandthestandarderrorsforthecoefficientscangetwildlyinflated.Measure:vif,tol=1/vif,conditionindex;etc.2精選ppt多重共線性的后果1.存在完全多重共線性時,參數的估計值無法確定,而且估計值的方差變為無窮大.2.存在不完全多重共線性時,可以估計參數值,但是數值不穩定,而且方差很大.3.多重共線性會降低預測的精度,甚至失效,增大零假設接受的可能性(t值變小).3精選ppt多重共線性的檢測方法

(1)樣本可決系數法如果樣本的可決系數R-square比較大，且回歸系數幾乎沒有統計上的顯著性，則可認為存在多重共線性。Theil提出了一個指標：多重共線性效應系數4精選pptTheiltestresultsSas結果：結果表明有多重共線性。5精選ppt多重共線性檢測方法

（2）輔助回歸檢驗法若存在多重共線性，則至少有一個解釋變量可精確或近似地表示為其余皆是變量的線性組合。相應的檢驗統計量為：6精選ppt輔助回歸檢驗結果Sas結果：Klein經驗法則：若存在一個i,使得R(i)-square>R-square,則認為多重共線性嚴重；本例中x1,x3有多重共線性。7精選ppt多重共線性檢驗方法

（3）樣本相關系數檢驗法8精選pptFGtestresultsfg=20.488013401p=0.0001344625；拒絕零假設，認為存在多重共線性。具體那些變量之間存在多重共線性，除了上面提到的輔助回歸的方法外，還有以下提到的條件數檢驗和方差膨脹因子法。9精選ppt

多重共線性檢驗方法：

（4）特征值分析法所用的檢驗統計指標;為第k各自變量和其余自變量回歸的可決系數.

VIF>10,有多重共線性;TOL=1/VIF;條件指數:

條件數:;C>20,共線性嚴重.10精選ppt多重共線性的檢驗和補救例一:進口總額和三個自變量之間回歸;Sas結果如下:PearsonCorrelationCoefficients,N=11Prob>|r|underH0:Rho=0x1x2x3x11.000000.025850.99726GDP0.9399<.0001x20.025851.000000.03567存蓄量0.93990.9171x30.997260.035671.00000總消費<.00010.9171從上面可以看出x1和x3線性相關嚴重.11精選ppt多重共線性的檢驗和補救(2)回歸結果:

ParameterEstimatesParameterStandardVarianceVariableDFEstimateErrortValuePr>|t|InflationIntercept1-10.127991.21216-8.36<.00010x11-0.051400.07028-0.730.4883185.99747x210.586950.094626.200.00041.01891x310.286850.102212.810.0263186.11002發現x1的系數為負,和現實經濟意義不符,出現原因就是x1和x3之間的線性相關.12精選ppt補救措施增加樣本;嶺回歸或主分量回歸;至少去掉一個具有多重共線性的變量;對具有多重共線性的變量進行變換.對所有變量做滯后差分變換(一般是一階差分),問題是損失觀測值,可能有自相關.采用人均形式的變量（例如在生產函數估計中）在缺乏有效信息時,對系數關系進行限制,變為有約束回歸(Klein,Goldberger,1955),可以降低樣本方差和估計系數的標準差,但不一定是無偏的(除非這種限制是正確的).對具有多重共線性的變量,設法找出其因果關系,并建立模型和原方程構成聯立方程組.13精選ppt嶺回歸嶺回歸估計:K=0,b(k)=b即為OLSE;K的選取:即使b(k)的均方誤差比b的均方誤差小.14精選ppt嶺跡圖15精選ppt嶺回歸結果Obs_MODEL__TYPE__DEPVAR__RIDGE_k_PCOMIT__RMSE_Interceptx1x2x3y1MODEL1PARMSy0.48887-10.1280-0.0510.586950.287-12MODEL1RIDGEVIFy0.00方差膨脹因子

185.9971.01891186.110–13MODEL1RIDGEy0.000.48887-10.1280-0.0510.586950.287–14MODEL1RIDGEVIFy0.018.5990.981928.604-15MODEL1RIDGEy0.010.55323-9.18050.0460.598860.144–16MODEL1RIDGEVIFy0.022.8580.962192.859-1

7MODEL1RIDGEy0.020.57016-8.92770.0570.595420.127-18MODEL1RIDGEVIFy0.031.5020.943451.502-19MODEL1RIDGEy0.030.57959-8.73370.0610.590800.120-110MODEL1RIDGEVIFy0.040.9790.925320.979-111MODEL1RIDGEy0.040.58745-8.55830.0640.585910.116-1

16精選ppt主分量回歸主分量回歸是將具有多重相關的變量集綜合得出少數幾個互不相關的主分量.兩步:(1)找出自變量集的主分量,建立y與互不相關的前幾個主分量的回歸式.(2)將回歸式還原為原自變量結果.詳見,<<實用多元統計分析>>,方開泰;17精選ppt主分量回歸結果Obs_MODEL__TYPE__DEPVAR__PCOMIT__RMSE_Interceptx1x2x3y1MODEL1PARMSy0.48887-10.1280-0.051400.586950.28685–12MODEL1IPCVIFy10.250831.000850.25038–13MODEL1IPCy10.55001-9.13010.072780.609220.10626–14MODEL1IPCVIFy20.249560.000950.24971-15MODEL1IPCy21.05206-7.74580.073810.082690.10735-118精選ppt主分量回歸結果由輸出結果看到在刪去第三個主分量（pcomit=1)后的主分量回歸方程：Y=-9.1301+0.07278x1+0.60922x2+0.10626x3;該方程的系數都有意義，且回歸系數的方差膨脹因子均小于1.1；主分量回歸方程的均方根誤差（_RMSE=0.55)比普通OLS方程的均方根誤差（_RMSE=0.48887)有所增大但不多。19精選pptSas程序dataex01;inputx1x2x3y@@;labelx1="國內生產總值";labelx2="存儲量";;labelx3="消費量";labely="進口總額";cards;149.34.2108.115.9161.24.1114.816.4171.53.1123.219.0175.53.1126.919.1180.81.1132.118.8190.72.2137.720.4202.12.114622.7212.45.6154.126.5226.15.0162.328.1231.95.1164.327.6239.00.7167.626.3;run;proc

corr

data=ex01;varx1-x3;run;*嶺回歸*;proc

reg

data=ex01outest=ex012graphicsoutvif;modely=x1-x3/ridge=0.0to0.1by0.01;plot/ridgeplot;run;proc

print

data=ex012;run;*主分量回歸法*;proc

reg

data=ex01outest=ex103;modely=x1-x3/pcomit=1,2

outvif;*pcomit表示刪去最后面的1或2個主分量,用前面m-1或m-2各主分量進行回歸*;run;proc

print

data=ex103;run;20精選pptSas程序/*theiltest*/;proc

reg

data=ex01;equation3:modely=x1x2;equation2:modely=x1x3;equation1:modely=x2x3;run;/*r-.9473;r3s=0.9828*/;datatheil;rsq=0.9919;r1s=0.9913;r2s=0.9473;r3s=0.9828;theil=rsq-(3*rsq-(r1s+r2s+r3s));puttheil=;run;/*輔助回歸檢驗法*/;proc

reg

data=ex01;equation3:modelx3=x1x2;equation2:modelx2=x1x3;equation1:modelx1=x2x3;run;/*FGtest*/;proc

corr

data=ex01outp=corrnosimple;varx1-x3;run;proc

print

data=corr;run;title

"計算相關矩陣的行列式";proc

iml;R={1.000

0.026

0.997,0.026

1

0.036,0.9152

0.6306

1};d=det(R);printd;run;/*d=0.081371*/;title

"計算檢驗統計量及其p值";datafg;n=11;p=3;d=0.081371;fg=-(n-1-1/6*(2*p+5))*log(d);df=p(p-1)/2;p=1-probchi(fg,df);putfg=p=;run;/*fg=20.488013401p=0.0001344625,拒絕零假設*/;21精選ppt異方差的檢驗和補救

OLSEunbiased,inefficient;t,Ftestinvalid;forecastaccuracydecreased.Ifthemodeliswell-fitted,thereshouldbenopatterntotheresidualsplottedagainstthefittedvalues.Ifthevarianceoftheresidualsisnon-constant,thentheresidualvarianceissaidtobe"heteroscedastic."

22精選ppt異方差的檢測Therearegraphicalandnon-graphicalmethodsfordetectingheteroscedasticity.Acommonlyusedgraphicalmethodistoplottheresidualsversusfitted(predicted)values.

Example:grade:educatedyears;potexp:workingyears;exp2=potexp^2;union:dummyvariable.23精選ppt收入方程回歸的結果

DependentVariable:LNWAGEAnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel412.422363.1055914.06<.0001Error9520.989380.22094CorrectedTotal9933.41174RootMSE0.47004R-Square0.3718DependentMean2.35921AdjR-Sq0.3453CoeffVar19.92374ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept10.595110.283492.100.0384GRADE10.083540.020094.16<.0001POTEXP10.050270.014143.560.0006EXP21-0.000561720.00028785-1.950.0540UNION10.165930.124451.330.185624精選ppt圖示法檢測利用殘差平和對因變量的預測值做散點圖如右圖所示:殘差變化不大,因此認為沒有異方差存在.25精選ppt懷特檢驗Sas程序結果:AnalysisofVariancSumofMeanSourceDFSquaresSquareFValuePr>FModel121.188810.099070.880.5731Error879.830780.11300CorrectedTotal9911.01958RootMSE0.33615R-Square0.1079DependentMean0.20989AdjR-Sq-0.0152CoeffVar160.15281ParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept1-0.077670.98580-0.080.9374GRADE1-0.012200.12502-0.100.9225POTEXP10.077840.071881.080.2819EXP21-0.003990.00409-0.970.3325UNION10.648790.861600.750.4535grade210.002200.004250.520.6065exp41-3.34378E-70.00000151-0.220.8256exp310.000061700.000141920.430.6648gx210.000116830.000111021.050.2955gp1-0.003750.00494-0.760.4498gu1-0.051370.04430-1.160.2494pu10.001930.060610.030.9746eu1-0.000221850.00126-0.180.8605殘差項平方對所有一階,二階及交叉項回歸.1.由左邊的結果可知:故同方差的假設未被拒絕.2.Procregdata=aa;Modely=x/spec;Run;可得到相同的結果。26精選ppt布羅施-帕甘/戈弗雷檢驗

—懷特檢驗的特例（1）OLS殘差額et和一個估計的干擾誤差

（2）用OLS將對選中的解釋變量進行回歸，并計算解釋平方和(ESS);(3)在零假設下，有(4)一個更簡單且漸進等價的做法是直接利用殘差平方對選中的解釋變量進行回歸.在零假設(同方差)下,27精選ppt

DependentVariable:rsqSumofMeanSourceDFSquaresSquareFValuePr>FModel121.188810.099070.880.5731Error879.830780.11300CorrectedTotal9911.01958RootMSE0.33615R-Square0.1079DependentMean

0.20989AdjR-Sq-0.0152BPGtestresults(1)28精選pptBPGtestresults(2)DependentVariable:rsqadjustAnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel310.704153.568051.430.2386Error96239.411162.49387CorrectedTotal99250.11531RootMSE1.57920R-Square0.0428DependentMean0.99997AdjR-Sq0.0129CoeffVar157.92443ESS=10.7041529精選pptBPGtestresults(3)?*ESS=5.35<因此,同方差的假設不能被拒絕.如果利用(4)直接回歸的結果:DependentVariable:rsqSumofMeanSourceDFSquaresSquareFValuePr>FModel30.471600.157201.430.2386Error9610.547980.10987RootMSE0.33147R-Square0.042830精選ppt戈德菲爾德-匡特(Goldfeld-Quandt)檢驗按potexp的值將數據從小到大進行排列.取前后個35個觀測值分別回歸.c=30;回歸的主要結果:RSS1=6.39573;RSS2=7.2517;RSS2/RSS1=1.13;而;該比值不顯著,不能拒絕同方差的原假設;去掉的中間觀測值的個數要適中,否則會降低功效,一般取觀測值個數的1/3.31精選ppt補救措施---已知方差的形式1.廣義最小二乘法(GLS);請參考講義中的例子;2.模型變換法,適用于函數型異方差;已知方差的函數形式;3.加權最小二乘法(WLS);實質上是一種模型變換法;具體參見講義中的例子;

采用面板數據,增加信息量.32精選ppt未知方差的形式Furnival(1961)提出了一種擬合指數進行不斷的修正,最后找出最佳的權重(使得該指數值最小).33精選ppt處理盲點---robustregression1.迭代加權最小二乘法(IRLS),Neter提出了2中加權函數,HuberandBisquare,但是不易操作.SASv8中常使用ProcNLIN迭代.2.非參數回歸.ProcLoess.3.SASv9.0中有一個過程ProcrobustregStata中有一個比較好的命令:rreg直接進行魯棒回歸(robust),采用迭代過程.34精選ppt序列相關性(serialcorrelation)

OLSEunbiased,butinefficientanditsstandarderrorestimatorsareinvalid;BLUEoftheGauss-MarkovTheoremnolongerholds.Thevarianceformulasfortheleastsquaresestimatorsareincorrect.AR,MA,orARMAformsofserialcorrelation.TaketheAR(1)forinstance:35精選pptDw檢驗需要注意的地方假定了殘差是服從正態分布,而且是同方差;自變量是外生的,如果包含了內生滯后變量,就需要用修正的dh檢驗(procautoreg).只適用于一階自相關,對高階或非線性自相關不適用.樣本容量至少為15.36精選ppt自相關檢驗的標準德賓和沃森根據顯著水平,n,k,確定了二個臨界值du(上界),dl(下界);然后進行比較;(1)d<dl,拒絕零假設,認為有正一階自相關;(2)d>du,不拒絕零假設;(3)dl<d<du,無結論;直觀:;d<2,正自相關;d>2,負自相關;d=2,無自相關;37精選pptEg:Icecreamdemand(Hildreth,Lu(1960))Cons:consumptionoficecreamperhead(pints);Income:averagefamilyincomeperweek($);Price:priceoficecream(perpint);Temp:averagetemperature(inFahrenheit);Data:30four-weeklyobsfromMarch1951to11July1953;38精選ppt殘差的散點圖39精選ppt回歸結果

ParameterEstimatesParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept10.197320.270220.730.4718price1-1.044410.83436-1.250.2218income10.003310.001172.820.0090temp10.003460.000445557.76<.0001

Durbin-WatsonD1.021NumberofObservations301stOrderAutocorrelation0.33040精選ppt1.DWtest查表可得:在0.05的顯著水平上,dl=1.21(N=30,k=3);du=1.65;直接在回歸的語句中加上一個dw選項;Dw=1.021<dl=1.21;故有一階正的自相關;41精選ppt2.當回歸元嚴格外生時---AR(1)序列相關的檢驗1.yt對做xt1,xt2,…,xtk回歸,得到殘差?t.2.進行回歸:?t對?t-1,采用t檢驗.注意:采用t檢驗時,必須假定:?t=?t-1+et種的誤差項et服從同方差的假定,否則采用穩健的檢驗統計量(robust).42精選ppt3.當回歸元非嚴格外生時

---AR(1)序列相關的檢驗步驟當解釋變量非嚴格外生時,會有一個或多個解釋變量和ut-1相關,t檢驗和dw檢驗失效.例如含滯后因變量一種解決辦法:dh檢驗統計量(Durbin,1970).另一種更一般的方法,無論有多少個非嚴格外生變量都有效:1.yt對做xt1,xt2,…,xtk回歸,得到殘差?t.2.進行回歸:?t對xt1,xt2,…,xtk,?t-1(包含截距項),采用t檢驗.(同樣可以采取穩健性t檢驗)43精選ppt4.高階的BG(Breusch-Godfrey檢驗)

—AR(P)序列相關檢驗假設干擾項:零假設:所有自回歸系數為零;檢驗步驟:(拉格朗日乘數檢驗)(1)yt對做xt1,xt2,…,xtk回歸,得到殘差?t.(2)輔助回歸(3)44精選pptBreusch-Goldfrey(BG)testP=1;(一般從低階開始探測直到10左右,如果沒有什么顯著的結果,就認為擾動項不存在序列相關).e(t)—e(t-1),OLSN*R-square=29*0.15=4.35>;因此拒絕零假設,認為有自相關;且顯著一階正相關;ParameterEstimates

ParameterStandardVariableDFEstimateErrortValuePr>|t|resid10.384540.170292.260.031945精選ppt補救方法1.已知rho時,采用廣義差分變換.2.未知rho時,先求相關系數,然后進行廣義差分.求相關系數的方法有:(1)Cochrane-Orcutt迭代方法;(2)Hildreth-Lu.(3)Durbin2step.46精選ppt對嚴格外生回歸元的序列相關的校正

AR(1)模型----可行的廣義最小二乘法(FGLS)采用估計的相關系數值回歸方程:FGLS步驟:1..yt對做xt1,xt2,…,xtk回歸,得到殘差?t.2.?t=?t-1+et,求出相關系數的估計值3.對上面的方程進行回歸.常見的標準誤,t統計量和F統計量都是漸進正確的.采用相關系數估計值的代價是FGLS有限樣本性質較差,可能不是無偏的(數據弱相關時),但仍然是一致的.盡管FGLS不是無偏的,不是BLUE,但是當序列相關的AR(1)模型成立時,比OLS更漸進有效47精選ppt區分科克倫-奧克特(Cochrane-Orcutt)和普萊斯-溫斯登(Paris-Winsten)估計Co估計省略了第一次的觀測值,使用的是?t=?t-1+et滯后項系數估計值,而Pw估計方法使用了第一次的觀測值,見上面的回歸式.大體來說是否使用第一次的估計值并不會帶來很大的差別,但是時間序列的樣本很小,實際中還是有很大差別.注意下面的估計結果中沒有還原到原方程,還原時要寫正確.高階序列相關的校正,類似于一階的修正,廣義的差分方法.48精選pptSas程序dataice;inputconsincomepricetemptime@@;cards;…..;proc

reg

data=ice;modelcons=priceincometemp/dw;output

out=ice1p=conspr=resid;run;symbol1

i=nonev=dotc=blueh=.5;proc

gplot

data=ice1;plotresid*time=1/vref=0;run;/*BGtest*/datatt1;setice1;resid1=lag(resid);run;proc

reg

data=tt1;modelresid=resid1/noint;run;/*rh0=0.40063,R-square=0.1541*/;databgt;bg=29*0.1541;chisq=cinv(0.95,1);ifbg>chisqthent=1;elset=0;putt=;run;/*t=0*/;49精選pptSas程序高階的BG檢驗:/*高階BGtestp=3*/;datatt2;setice1;resid1=lag(resid);resid2=lag(resid1);resid3=lag(resid2);run;proc

reg

data=tt2;modelresid=resid1resid2resid3/noint;run;/*R-square=0.1792*/;databgt2;bg=(29-3)*0.1792;chisq=cinv(0.95,3);ifbg>chisqthent=1;elset=0;putt=chisq=bg=;run;/*t=0,無高階自相關*/;50精選pptSas程序/*yule-walkerestimates*/;proc

autoreg

data=ice;modelcons=priceincometemp/nlag=1

method=yw;run;*COCHRANE-ORCUTT;proc

reg

data=ice;modelcons=priceincometemp/dw;output

out=ttp=chatr=res;run;proc

print

data=tt;run;datatt;settt;relag=Lag(res);run;proc

print

data=tt;run;proc

reg

data=ttoutest=b1;modelres=relag/noint;run;/*可算出rh0=0.40063*/;datapp;settt;c1=lag(cons);t1=lag(temp);i1=lag(income);p1=lag(price);run;proc

print

data=pp;run;datapp1;setpp;if_n_=1

then

delete;c2=cons-0.40063*c1;t2=temp-0.40063*t1;i2=income-0.40063*i1;p2=price-0.40063*p1;run;proc

print

data=pp1;run;proc

reg

data=pp1;MODELc2=t2i2p2/dw;run;/*dw=1.54>1.65,因此不拒絕平穩性假設*/;51精選pptSas程序上頁的科克倫-奧科特迭代只用了1次;對小樣本情況,迭代多次的仍然很難收斂,我做了三次迭代發現仍然不收斂;所以說多次迭代效果和一次的效果相差不大.從理論上來說兩者的漸進性一樣.大樣本情況只需幾步就可收斂;/*下面采用fgls進行估計校正*/;datafgls;settt1;if_n_=1

thenint=sqrt(1-0.40063*0.40063);elseint=1-0.40063;if_n_=1

thencons1=cons*sqrt(1-0.40063*0.40063);elsecons1=cons-0.40063*cons;if_n_=1

thenprice1=price*sqrt(1-0.40063*0.40063);elseprice1=price-0.40063*price;if_n_=1

thenincome1=income*sqrt(1-0.40063*0.40063);elseincome1=income-0.40063*income;if_n_=1

thentemp1=temp*sqrt(1-0.40063*0.40063);elsetemp1=temp-0.40063*temp;run;proc

reg

data=fgls;modelcons1=intprice1income1temp1/noint;run;52精選pptSas程序proc

autoreg

data=ice;modelcons=priceincometemp/nlag=1

dwprobarchtest;run;估計方法缺省為yule-walker估計;又稱為兩步完全變換法;已知自回歸參數下的GLS估計;其他方法:在model…/method=ML;ULS;ITYW;分別為極大似然估計,無條件最小二乘估計,以及迭代yule-walker估計;自回歸參數較大時ml方法uls(又稱NLS)方法較好.詳見SAS/ETS中的autoreg過程.53精選pptYuler-walkerestimateTheAUTOREGProcedureDependentVariableconsOrdinaryLeastSquaresEstimatesSSE0.03527284DFE26MSE0.00136RootMSE0.03683SBC-103.63408AIC-109.23887RegressR-Square0.7190TotalR-Square0.7190Durbin-Watson1.0212Pr<DW0.0003Pr>DW0.9997NOTE:Pr<DWisthep-valuefortestingpositiveautocorrelation,andPr>DWisthep-valuefortestingnegativeautocorrelationStandardApproxVariableDFEstimateErrortValuePr>|t|Intercept10.19730.27020.730.4718price1-1.04440.8344-1.250.2218income10.0033080.0011712.820.0090temp10.0034580.0004467.76<.0001PreliminaryMSE0.00105EstimatesofAutoregressiveParametersStandardLagCoefficientErrortValue1-0.3297720.188812-1.7554精選pptEGLS(Cochrane-Orcutt兩步法)results

(一次迭代)DependentVariable:c2(generaldifferenced)

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel30.047070.0156915.41<.0001Error250.025450.00102CorrectedTotal280.07252RootMSE0.03191R-Square0.6490DependentMean0.21712AdjR-Sq0.6069CoeffVar14.69553ParameterStandardVariableDFEstimateErrortValuePr>|t|Intercept10.094090.173580.540.5926t210.003560.000554546.42<.0001i210.003200.001552.070.0486p21-0.892270.81084-1.100.281655精選pptFGLS—包含第一次觀測的PW估計結果

AnalysisofVarianceSumofMeanSourceDFSquaresSquareFValuePr>FModel41.440320.36008836.01<.0001Error250.010770.00043071