賈俊平2024/1/30StatisticswithR統(tǒng)計學(xué)R語言

賈俊平2024/1/3010.1回歸模型及其參數(shù)估計10.2擬合優(yōu)度和顯著性檢驗10.3多重共線性及其處理10.4相對重要性和模型比較10.5利用回歸方程進(jìn)行預(yù)測10.6啞變量回歸

多元線性回歸

思維導(dǎo)圖

10.1

回歸模型及其參數(shù)估計多元線性回歸模型及其假定

10.1

回歸模型及其參數(shù)估計多元線性回歸模型的估計方程

10.1

回歸模型及其參數(shù)估計參數(shù)的最小二乘估計

10.1

回歸模型及其參數(shù)估計參數(shù)的最小二乘估計——例題分析

餐館153.2163.0168.6600456.5218.514.522.52091116.0311.388.2109.419191018.2484.7151.6277.07287710.057.379.117.453111517.5617.960.493.0610983.672.553.221.540571718.5827.3108.5114.5416134.095.948.761.321661011.61023.9142.8129.811125914.2…………………#擬合模型example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)summary(model1)#輸出置信區(qū)間confint(model1,level=0.95)#輸出方差分析表anova(model1)

10.2

擬合優(yōu)度和顯著性檢驗?zāi)Ｐ偷臄M合優(yōu)度——多重決定系數(shù)——估計標(biāo)準(zhǔn)誤差

估計標(biāo)準(zhǔn)誤差——對誤差項

的標(biāo)準(zhǔn)差

的一個估計值，計算公式為

詳見R輸出

10.2

擬合優(yōu)度和顯著性檢驗顯著性檢驗——線性關(guān)系檢驗（F檢驗）檢驗因變量與所有自變量之間的線性關(guān)系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應(yīng)用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關(guān)系如果不顯著，因變量與自變量之間不存在線性關(guān)系

10.2

擬合優(yōu)度和顯著性檢驗顯著性檢驗——回歸系數(shù)檢驗（t檢驗）

詳見R輸出

10.3

多重共線性及其處理多重共線性的識別

#例題分析——計算VIFmodel1<lm(y~x1+x2+x3+x4+x5,data=example10_1)library(car)vif(model1)1/vif(model1)將一個或多個相關(guān)的自變量從模型中剔除，使保留的自變量盡可能不相關(guān)如果要在模型中保留所有的自變量，則應(yīng)避免根據(jù)t統(tǒng)計量對單個參數(shù)進(jìn)行檢驗對因變量值的推斷(估計或預(yù)測)的限定在自變量樣本值的范圍內(nèi)

10.3

多重共線性及其處理多重共線性的處理——變量選擇——向前選擇和向后剔除變量選擇的方法主要有：向前選擇、向后剔除、逐步回歸等向前選擇從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量(P值最小的)，并將其首先引入模型分別擬合引入模型外的k-1個自變量的二元線性回歸模型如此反復(fù)進(jìn)行，直至模型外的自變量均無統(tǒng)計顯著性為止向后剔除先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中在每一個都有k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中每一個都有k-2個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復(fù)進(jìn)行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止

10.3

多重共線性及其處理多重共線性的處理——變量選擇——逐步回歸逐步回歸將向前選擇和向后剔除兩種方法結(jié)合起來篩選自變量在增加了一個自變量后，它會對模型中所有的變量進(jìn)行考察，看看有沒有可能剔除某個自變量。如果在增加了一個自變量后，前面增加的某個自變量對模型的貢獻(xiàn)變得不顯著，這個變量就會被剔除按照方法不停地增加變量并考慮剔除以前增加的變量的可能性，直至增加變量已經(jīng)不能導(dǎo)致SSE顯著減少在前面步驟中增加的自變量在后面的步驟中有可能被剔除，而在前面步驟中剔除的自變量在后面的步驟中也可能重新進(jìn)入到模型中R的逐步回歸——信息最小準(zhǔn)則（AIC）R中的逐步回歸以AIC信息準(zhǔn)則為選擇標(biāo)準(zhǔn)，選擇使AIC最小的變量建立模型赤池信息準(zhǔn)則也被稱為AIC準(zhǔn)則(Akaike’sInformationCriterion)，由日本學(xué)者赤池于1973年提出除應(yīng)用于線性模型的變量篩選外，還被應(yīng)用于時間序列自回歸模型階數(shù)的確定AIC由兩部分組成，一部分反映模型的擬合精度，一部分反映模型中參數(shù)的個數(shù)，即模型的繁簡程度。AIC的值越小，說明擬合的模型精度越高而且又簡潔當(dāng)用最小二乘法擬合模型時，計算公式為

10.3

多重共線性及其處理多重共線性的處理——變量選擇——逐步回歸——例題分析#逐步回歸example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-step(model1)#擬合逐步回歸模型model2<-lm(y~x1+x2+x5,data=example10_1)summary(model2)#模型診斷plot(model2,which=1:2)

10.4

相對重要性和模型比較自變量的相對重要性——標(biāo)準(zhǔn)化回歸系數(shù)

#例題分析——計算標(biāo)準(zhǔn)化回歸系數(shù)example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)library(lm.beta)model1.beta<-lm.beta(model1)summary(model1.beta)

10.4

相對重要性和模型比較模型比較——全模型-簡化模型-嵌套模型——比較的檢驗方法

10.4

相對重要性和模型比較模型比較——anova方法

10.4

相對重要性和模型比較模型比較——anova方法——例題分析

#例題分析——模型比較example10_1<-read.csv("C:/example/ch10/example10_1.csv")model1<-lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)anova(model2,model1)

10.4

相對重要性和模型比較模型比較——AIC準(zhǔn)則——例題分析用anova做模型比較時，要求模型必須是嵌套的用AIC信息準(zhǔn)則也可以用來比較模型，而且它不要求模型必須是嵌套的AIC值越小，說明模型用較少的參數(shù)(或自變量)就獲得了足夠的擬合度。因而模型將被優(yōu)先選擇#例題分析——AIC準(zhǔn)則-模型比較model1<lm(y~x1+x2+x3+x4+x5,data=example10_1)model2<-lm(y~x1+x2+x5,data=example10_1)AIC(model2,model1)

10.5

回歸模型的模型診斷模型診斷——殘差與標(biāo)準(zhǔn)化殘差殘差—因變量的觀測值與預(yù)測值之差，用e表示反映了用估計的回歸方程去預(yù)測而引起的誤差可用于確定有關(guān)誤差項

的假定是否成立

標(biāo)準(zhǔn)化殘差—殘差除以它的標(biāo)準(zhǔn)差殘差圖—模型診斷工具

10.5

回歸模型的模型診斷模型診斷——例題分析#模型診斷圖example10_1<-read.csv("C:/example/chap10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)par(mfrow=c(2,2),cex=0.8,cex.main=0.7)plot(model2)#繪制模型診斷圖#模型預(yù)測example10_1<-read.csv("C:/example/ch10/example10_1.csv")model2<-lm(y~x1+x2+x5,data=example10_1)x<-example10_1[,c(3,4,7)]pre<-predict(model2)res<-residuals(model2)zre<-rstandard(model2)con_int<-predict(model2,x,interval="confidence",level=0.95)pre_int<-predict(model2,x,interval="prediction",level=0.95)mysummary<-data.frame(營業(yè)額=example10_1$y,點預(yù)測值=pre,殘差=res,標(biāo)準(zhǔn)化殘差=zre,置信下限=con_int[,2],置信上限=con_int[,3],預(yù)測下限=pre_int[,2],預(yù)測上限=pre_int[,3])round(mysummary,3)

10.6

啞變量回歸在模型中引入啞變量——例題分析也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量，如性別(男，女)有兩個以上水平的啞變量，如貸款企業(yè)的類型(家電，醫(yī)藥，其他)啞變量的取值為0，1當(dāng)定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進(jìn)k-1個啞變量例題分析【例10-8】沿用例10-1。假定在分析影響日均營業(yè)額的因素中，再考慮“交通方便程度”變量，并設(shè)其取值為“方便”和“不方便”。為便于理解，原來的5個自變量我們只保留用餐平均支出一個數(shù)值自變量。假定調(diào)查得到的數(shù)據(jù)表編號日均營業(yè)額y用餐平均支出x1方便程度x2153.2168.6方便218.522.5方便311.3109.4不方便484.7277.0方便57.317.4不方便617.993.0方便72.521.5不方便827.3114.5方便95.961.3不方便1023.9129.8方便…………

10.6

啞變量回歸在模型中引入啞變量——例題分析#日均營業(yè)額與用餐平均支出的一元回歸example10_7<-read.csv("C:/example/ch10/example10_7.csv")model_s<-lm(