1、回歸分析MATLAB工具箱一、多元線性回歸多元線性回歸：1、確定回歸系數的點估計值：命令為：b=regress(Y, X )b表示Y表示X表示 2、求回歸系數的點估計和區間估計、并檢驗回歸模型：命令為：b, bint,r,rint,stats=regress(Y,X,alpha)bint表示回歸系數的區間估計.r表示殘差.rint表示置信區間.stats表示用于檢驗回歸模型的統計量,有三個數值：相關系數r2、F值、與F對應的概率p.說明：相關系數越接近1,說明回歸方程越顯著；時拒絕,F越大,說明回歸方程越顯著；與F對應的概率p時拒絕H0,回歸模型成立.alpha表示顯著性水平(缺省時為0.05

2、)3、畫出殘差及其置信區間. 命令為：rcoplot(r,rint)例1.如下程序.解：(1)輸入數據. x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164; X=ones(16,1) x; Y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;(2)回歸分析及檢驗. b,bint,r,rint,stats=regress(Y,X) b,bint,stats得結果：b = bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0

3、.8340 stats = 0.9282 180.9531 0.0000即；的置信區間為-33.7017,1.5612, 的置信區間為0.6047,0.834; r2=0.9282, F=180.9531, p=0.0000,我們知道p0.05就符合條件, 可知回歸模型 y=-16.073+0.7194x成立.(3)殘差分析,作殘差圖.rcoplot(r,rint)從殘差圖可以看出,除第二個數據外,其余數據的殘差離零點均較近,且殘差的置信區間均包含零點,這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數據,而第二個數據可視為異常點. (4)預測及作圖.z=b(1)+b(2)*

4、x plot(x,Y,k+,x,z,r)二、多項式回歸 (一)一元多項式回歸. 1、一元多項式回歸：(1)確定多項式系數的命令：p,S=polyfit(x,y,m)說明：x=(x1,x2,xn),y=(y1,y2,yn)；p=(a1,a2,am+1)是多項式y=a1xm+a2xm-1+amx+am+1的系數；S是一個矩陣,用來估計預測誤差.(2)一元多項式回歸命令：polytool(x,y,m)2、預測和預測誤差估計.(1)Y=polyval(p,x)求polyfit所得的回歸多項式在x處的預測值Y；(2)Y,DELTA=polyconf(p,x,S,alpha)求polyfit所得的回歸多項

5、式在x處的預測值Y及預測值的顯著性為1-alpha的置信區間YDELTA；alpha缺省時為0.5.例1. 觀測物體降落的距離s與時間t的關系,得到數據如下表,求s. (關于t的回歸方程)t (s)1/302/303/304/305/306/307/30s (cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48解法一：直接作二次多項式回歸.t=1/30:1/30:14/30; s=11.86 15.67 20

6、.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,S=polyfit(t,s,2)得回歸模型為：解法二：化為多元線性回歸.t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;T=ones(14,1) t (t.2);b,bint,r,rint,stats=regress(s,T);b,stats得回歸模型為：預測及作圖：Y=polyc

7、onf(p,t,S)plot(t,s,k+,t,Y,r)(二)多元二項式回歸多元二項式回歸命令：rstool(x,y,model, alpha)說明：x表示nm矩陣；Y表示n維列向量；alpha：顯著性水平(缺省時為0.05)；model表示由下列4個模型中選擇1個(用字符串輸入,缺省時為線性模型)：linear(線性)：purequadratic(純二次)：interaction(交叉)：quadratic(完全二次)：例1. 設某商品的需求量與消費者的平均收入、商品價格的統計數據如下,建立回歸模型,預測平均收入為1000、價格為6時的商品需求量.需求量1007580705065901001

8、1060收入1000600 1200500300400130011001300300價格5766875439解法一：選擇純二次模型,即.直接用多元二項式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=100 75 80 70 50 65 90 100 110 60;x=x1 x2;rstool(x,y,purequadratic)在左邊圖形下方的方框中輸入1000,右邊圖形下方的方框中輸入6，則畫面左邊的“Predicted Y”下方的數據變為88.47981,即預測出平均收入為1000、價

9、格為6時的商品需求量為88.4791.在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到Matlab工作區中.在Matlab工作區中輸入命令：beta, rmse得結果：beta = 110.5313 0.1464 -26.5709 -0.0001 1.8475 rmse = 4.5362故回歸模型為：剩余標準差為4.5362, 說明此回歸模型的顯著性較好.解法二：將化為多元線性回歸：X=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,X);b,stats結果為: b = 110.

10、5313 0.1464 -26.5709 -0.0001 1.8475 stats = 0.9702 40.6656 0.0005三、非線性回歸 1、非線性回歸：(1)確定回歸系數的命令：beta,r,J=nlinfit(x,y,model, beta0)說明：beta表示估計出的回歸系數；r表示殘差；J表示Jacobian矩陣；x,y表示輸入數據x、y分別為矩陣和n維列向量,對一元非線性回歸,x為n維列向量；model表示是事先用m-文件定義的非線性函數；beta0表示回歸系數的初值.(2)非線性回歸命令：nlintool(x,y,model, beta0,alpha)2、預測和預測誤差估計

11、：Y,DELTA=nlpredci(model, x,beta,r,J)表示nlinfit 或nlintool所得的回歸函數在x處的預測值Y及預測值的顯著性為1-alpha的置信區間YDELTA.例1. 如下程序.解：(1)對將要擬合的非線性模型y=a,建立m-文件volum.m如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x);(2)輸入數據： x=2:16; y=6.42 8.20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; b

12、eta0=8 2;(3)求回歸系數： beta,r ,J=nlinfit(x,y,volum,beta0)； beta(4)運行結果：beta = 11.6036 -1.0641即得回歸模型為：(5)預測及作圖： YY,delta=nlpredci(volum,x,beta,r ,J)； plot(x,y,k+,x,YY,r)四、逐步回歸1、逐步回歸的命令：stepwise(x,y,inmodel,alpha)說明：x表示自變量數據,階矩陣；y表示因變量數據,階矩陣；inmodel表示矩陣的列數的指標,給出初始模型中包括的子集(缺省時設定為全部自變量)；alpha表示顯著性水平(缺省時為0.5

13、).2、運行stepwise命令時產生三個圖形窗口：Stepwise Plot,Stepwise Table,Stepwise History.在Stepwise Plot窗口,顯示出各項的回歸系數及其置信區間.(1)Stepwise Table窗口中列出了一個統計表,包括回歸系數及其置信區間,以及模型的統計量剩余標準差(RMSE)、相關系數(R-square)、F值、與F對應的概率P.例1. 水泥凝固時放出的熱量y與水泥中4種化學成分x1、x2、x3、 x4有關,今測得一組數據如下,試用逐步回歸法確定一個線性模型. 序號12345678910111213x171111171131221111

14、10x226295631525571315447406668x3615886917221842398x46052204733226442226341212y78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.4解：(1)數據輸入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17 22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=

15、78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;(2)逐步回歸.先在初始模型中取全部自變量：stepwise(x,y)得圖Stepwise Plot 和表Stepwise Table.圖Stepwise Plot中四條直線都是虛線,說明模型的顯著性不好.從表Stepwise Table中看出變量x3和x4的顯著性最差.在圖Stepwise Plot中點擊直線3和直線4,移去變量x3和x4.移去變量x3和x4后模型具有顯著性雖然剩余標準差(RMSE)沒有太大的變化,但是統計量

16、F的值明顯增大,因此新的回歸模型更好.(3)對變量y和x1、x2作線性回歸. X=ones(13,1) x1 x2; b=regress(y,X)得結果：b = 52.5773 1.4683 0.6623故最終模型為：y=52.5773+1.4683x1+0.6623x2或這種方法4元二次線性回歸clc;clear;y=1.840999.6723.0038.12 1.848794 6.22 12.22 19.72 1.848794 5.19 10.09 15.31 ;X1=60.36558 59.5376 58.89861 58.74706 60.59389 60.36558 59.2 58.

17、2 60.36558 59.97068 59.41918 58.89077;X2=26.1636 26.35804 26.82438 26.91521 25.90346 25.9636 27.19256 27.42153 26.1636 26.07212 26.58721 27.06063;X3=0.991227 0.994944 0.981322 0.98374 1.011865 0.991227 1.074772 1.107678 0.991227 0.917904 1.060438 1.1239;X4=59.37436 58.54265 57.91729 57.69332 59.5820

18、3 59.37436 57.76722 57.42355 59.37436 59.05278 58.35874 57.76687;format short gY=yX11=ones(1,length(y);X1;X2;X3;X4B1=regress(Y,X11)% 多元一次線性回歸m,n=size(X11)X22=;for i=2:n for j=2:n if i=j X22=(X22,X11(:,i).*X11(:,j); else continue end endendX=X11,X22;B2=regress(Y,X)% 多元二次線性回歸Y X*B2 Y-X*B2plot(Y,X11*B1

19、,o,Y,X*B2,*)hold on,line(min(y),max(y),min(y),max(y)axis(min(y) max(y) min(y) max(y)legend(一次線性回歸,二次線性回歸)xlabel(實際值);ylabel(計算值)運行結果：Y = 1.841 9.67 23 38.12 1.8488 6.22 12.22 19.72 1.8488 5.19 10.09 15.31X11 = 1 60.366 26.164 0.99123 59.374 1 59.538 26.358 0.99494 58.543 1 58.899 26.824 0.98132 57.917 1 58.747 26.915 0.98374 57.693 1 60.594 25.903 1.0119 59.582 1 60.366 25.964 0.99123 59.374 1 59.2 27.193 1.0748 57.767 1 58.2 27.422 1.1077 57.424 1 60.366 26.164 0.99123 59.374 1 59.971 26.072 0.9179 59.053 1 59.419 26.587 1.