1、2.2.線性回歸線性回歸 b=regress(y,X) b,bint,r,rint,s=regress(y,X,alpha)輸入輸入: y因變量因變量(列向量列向量), X1與自變量組成的矩陣，與自變量組成的矩陣，Alpha顯著性水平顯著性水平 （缺省時設(shè)定為（缺省時設(shè)定為0.05）s: 3個統(tǒng)計量：個統(tǒng)計量：決定系數(shù)決定系數(shù)R2，F(xiàn)值值, F(1,n-2)分布大于分布大于F值的概率值的概率p，p 時時回歸回歸模型有效模型有效輸出輸出:b=（），），bint: b的的置信區(qū)間置信區(qū)間，r:殘差殘差(列向量列向量)，rint: r的的置信區(qū)間置信區(qū)間,10rcoplot(r,rint)殘差殘差及

2、其及其置信區(qū)間作圖置信區(qū)間作圖回歸回歸模型模型 例例3: 血壓與年齡、體重指數(shù)、吸煙習慣血壓與年齡、體重指數(shù)、吸煙習慣 序序號號 血血壓壓年年齡齡體重體重指數(shù)指數(shù)吸煙吸煙習慣習慣 序序號號 血血壓壓年年齡齡體重體重指數(shù)指數(shù)吸煙吸煙習慣習慣11443924.20211363625.0022154731.11221425026.2131384522.60231203923.50101545619.30301756927.41體重指數(shù)體重指數(shù) = 體重（體重（kg）/身高（身高（m）的平方）的平方 吸煙習慣吸煙習慣: 0表示不吸煙，表示不吸煙，1表示吸煙表示吸煙 建立血壓與年齡、體重指數(shù)、吸煙習慣之

3、間的回歸模型建立血壓與年齡、體重指數(shù)、吸煙習慣之間的回歸模型模型建立模型建立血壓血壓y，年齡，年齡x1，體重指數(shù)，體重指數(shù)x2，吸煙習慣，吸煙習慣x3 3322110 xxxyy與與x1的散點圖的散點圖y與與x2的散點圖的散點圖線性回歸模型線性回歸模型回歸系數(shù)回歸系數(shù) 0, 1, 2, 3 由數(shù)據(jù)估計由數(shù)據(jù)估計, 是隨機誤差是隨機誤差 n=30;m=3;y=144 215138145162142170124158154 162 150140110128130135114116124 136 142120120160158144130125175;x1=39 474547654667426756

4、 64565934424845182019 36503921445363292569;x2=24.2 31.1 22.6 24.0 25.9 25.1 29.5 19.7 27.2 19.3 28.0 25.8 27.3 20.1 21.7 22.2 27.4 18.8 22.6 21.5 25.0 26.2 23.5 20.3 27.1 28.6 28.3 22.0 25.3 27.4; x3=0 1 0 1 1 0 1 0 1 0 1 0 0 0 0 1 0 0 0 .0 0 1 0 0 1 1 0 1 0 1;X=ones(n,1), x1,x2,x3;b,bint,r,rint,s=r

5、egress(y,X);s2=sum(r.2)/(n-m-1);b,bint,s,s2rcoplot(r,rint)回歸系數(shù)回歸系數(shù)回歸系數(shù)回歸系數(shù)估計值估計值回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 045.36363.5537 87.1736 10.3604-0.0758 0.7965 23.09061.0530 5.1281 311.8246-0.1482 23.7973R2= 0.6855 F= 18.8906 p0.0001 s2 =169.7917模型模型求解求解回歸系數(shù)回歸系數(shù)回歸系數(shù)回歸系數(shù)估計值估計值 回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 058.510129.9064 87.1138

6、10.43030.1273 0.7332 22.34490.8509 3.8389 310.30653.3878 17.2253R2= 0.8462 F= 44.0087 p0.0001 s2 =53.6604剔除異常點剔除異常點(第第2點和第點和第10點點)后后xueya01.m3213065.103449. 24303. 05101.58xxxy 此時可見第二與第十二個點是異常點，于是刪除此時可見第二與第十二個點是異常點，于是刪除上述兩點，再次進行回歸得到改進后的回歸模型的系上述兩點，再次進行回歸得到改進后的回歸模型的系數(shù)、數(shù)、系數(shù)系數(shù)置信區(qū)間與統(tǒng)計量置信區(qū)間與統(tǒng)計量回歸系數(shù)回歸系數(shù)回歸系

7、數(shù)回歸系數(shù)估計值估計值回歸系數(shù)回歸系數(shù)置信區(qū)間置信區(qū)間 058.510129.9064 87.1138 10.43030.1273 0.7332 22.34490.8509 3.8389 310.30653.3878 17.2253R2= 0.8462 F= 44.0087 p0.0001 s2 =53.6604這時置信區(qū)間不包含零點，這時置信區(qū)間不包含零點，F(xiàn)統(tǒng)計量增大，可決系統(tǒng)計量增大，可決系數(shù)從數(shù)從0.6855增大到增大到0.8462 ，我們得到回歸模型為：，我們得到回歸模型為：3213065.103449. 24303. 05101.58xxxy 通常，進行多元線性回歸的步驟如下：通常

8、，進行多元線性回歸的步驟如下：（1）做自變量與因變量的散點圖，根據(jù)散點圖的形）做自變量與因變量的散點圖，根據(jù)散點圖的形狀決定是否可以進行線性回歸；狀決定是否可以進行線性回歸；（2）輸入自變量與因變量；）輸入自變量與因變量；（3）利用命令：）利用命令：b,bint,r,rint,s=regress(y,X,alpha)，rcoplot(r,rint)得到回歸模型的系數(shù)以及異常點的情況；得到回歸模型的系數(shù)以及異常點的情況；（4）對回歸模型進行檢驗）對回歸模型進行檢驗首先進行殘差的正態(tài)性檢驗：首先進行殘差的正態(tài)性檢驗：jbtest，ttest其次進行殘差的異方差檢驗其次進行殘差的異方差檢驗: 戈德菲

9、爾德一匡特戈德菲爾德一匡特(GoldfeldQuandt)檢驗檢驗戈德菲爾德檢驗，簡稱為戈德菲爾德檢驗，簡稱為GQ檢驗檢驗.為了檢驗異方差為了檢驗異方差性，將樣本按解釋變量排序后分成兩部分，再利用樣性，將樣本按解釋變量排序后分成兩部分，再利用樣本本1和樣本和樣本2分別建立回歸模型，并求出各自的殘差平分別建立回歸模型，并求出各自的殘差平方和方和RSSl和和RSS2。如果誤差項的離散程度相同。如果誤差項的離散程度相同(即為即為同方差的同方差的)，則，則RSSl和和RSS2的值應(yīng)該大致相同；若兩的值應(yīng)該大致相同；若兩者之間存在顯著差異，則表明存在異方差者之間存在顯著差異，則表明存在異方差. 檢驗過程

10、檢驗過程中為了中為了“夸大夸大”殘差的差異性，一般先在樣本中部去殘差的差異性，一般先在樣本中部去掉掉C個數(shù)據(jù)個數(shù)據(jù)(通常取通常取cn4)，再利用，再利用F統(tǒng)計量判斷差統(tǒng)計量判斷差異的顯著性：異的顯著性：) 12/ )( , 12/ )() 12/ )/() 12/ )/(1212kcnkcnFRSSRSSkcnRSSkcnRSSF其中，其中，n為樣本容量，為樣本容量，k為自變量個數(shù)為自變量個數(shù).然后對殘差進行自相關(guān)性的檢驗，通常我們利用然后對殘差進行自相關(guān)性的檢驗，通常我們利用DW檢檢驗進行殘差序列自相關(guān)性的檢驗。該檢驗的統(tǒng)計量為：驗進行殘差序列自相關(guān)性的檢驗。該檢驗的統(tǒng)計量為：nttnttt

11、eeeDW12221/)(其中其中 為殘差序列，對于計算出的結(jié)果通過查為殘差序列，對于計算出的結(jié)果通過查表決定是否存在自相關(guān)性。表決定是否存在自相關(guān)性。te若若 duDW4-du,則不存在自相關(guān)性；則不存在自相關(guān)性；若若 DW4-dl，則存在一階負相關(guān)；，則存在一階負相關(guān)；若若 dlDWdu 或或4-duDW4-dl ，則無法判斷，則無法判斷下面我們對模型進行檢驗：下面我們對模型進行檢驗：（1）殘差的正態(tài)檢驗：）殘差的正態(tài)檢驗：由由jbtest檢驗，檢驗，h=0表明殘差服從正態(tài)分布，進而由表明殘差服從正態(tài)分布，進而由t檢檢驗可知驗可知h=0，p=1，故殘差服從均值為零的正態(tài)分布；，故殘差服從均值為零的正態(tài)分布；（2）殘差的異方差檢驗：）殘差的異方差檢驗：我們將我們將28個數(shù)據(jù)從小到大排列，去掉中間的個數(shù)據(jù)從小到大排列，去掉中間的6個數(shù)據(jù)，個數(shù)據(jù)，得到得到F統(tǒng)計量的觀測值為：統(tǒng)計量的觀測值為：f =1.909