1、2021-10-22http:/ 電子發燒友1數學建模與數學實驗數學建模與數學實驗后勤工程學院數學教研室回歸分析回歸分析實驗目的實驗目的實驗內容實驗內容2、掌握用數學軟件求解回歸分析問題。、掌握用數學軟件求解回歸分析問題。1、直觀了解回歸分析基本內容。、直觀了解回歸分析基本內容。1 1、回歸分析的基本理論回歸分析的基本理論。3 3、實驗作業。實驗作業。2、用數學軟件求解回歸分析問題。用數學軟件求解回歸分析問題。2021-10-22http:/ 電子發燒友3一元線性回歸一元線性回歸多元線性回歸多元線性回歸回歸分析回歸分析數學模型及定數學模型及定義義*模型參數估計模型參數估計* *檢驗、預測與控制

2、檢驗、預測與控制可線性化的一元非可線性化的一元非線線性回歸（曲線回歸性回歸（曲線回歸）數學模型及定義數學模型及定義*模型參數估計模型參數估計*多元線性回歸中多元線性回歸中的的檢驗與預測檢驗與預測逐步回歸分析逐步回歸分析2021-10-22http:/ 電子發燒友4一、數學模型一、數學模型例例1 測16名成年女子的身高與腿長所得數據如下：身高143145146147149150153154155156157158159160162164腿長8885889192939395969897969899100102以身高x為橫坐標，以腿長y為縱坐標將這些數據點（xi，yi）在平面直角坐標系上標出.140

3、1451501551601658486889092949698100102散點圖xy10解答2021-10-22http:/ 電子發燒友5 一般地，稱由xy10確定的模型為一一元元線線性性回回歸歸模模型型，記為 210, 0dexy固定的未知參數0、1稱為回歸系數，自變量 x 也稱為回歸變量.一元線性回歸分析的主要任務主要任務是：1、用試驗值（樣本值）對0、1和作點估計；2、對回歸系數0、1作假設檢驗； 3、在 x=0 x處對 y 作預測，對 y 作區間估計.xy10，稱為 y 對對 x的回歸直線方程的回歸直線方程.返回返回2021-10-22http:/ 電子發燒友6二、模型參數估計二、模型

4、參數估計1、回歸系數的最小二乘估計、回歸系數的最小二乘估計有 n 組獨立觀測值， （x1，y1） ， （x2，y2） ， （xn，yn） 設 相互獨立且，niiiidenixy., , 0,.,2 , 1,21210 記 niiiniixyqq12101210),(最小二乘法最小二乘法就是選擇0和1的估計0，1使得 ),(min),(10,1010qq2021-10-22http:/ 電子發燒友722110 xxyxxyxy解得 其中niiniiynyxnx111,1，niiiniiyxnxyxnx11221,1.（經經驗驗）回回歸歸方方程程為為: )(110 xxyxy 或 niiniiix

5、xyyxx12112021-10-22http:/ 電子發燒友82、2的無偏估計的無偏估計記 niniiiiieyyxyqq11221010)(),(稱 qe為殘殘差差平平方方和和或剩剩余余平平方方和和. 2的的無無偏偏估估計計為 )2(2nqee稱2e為剩剩余余方方差差（殘殘差差的的方方差差） ， 2e分別與0、1獨立 。 e稱為剩剩余余標標準準差差.返回返回2021-10-22http:/ 電子發燒友9三、檢驗、預測與控制三、檢驗、預測與控制1、回歸方程的顯著性檢驗、回歸方程的顯著性檢驗 對回歸方程xy10的顯著性檢驗，歸結為對假設 0:; 0:1110hh進行檢驗.假設0:10h被拒絕，

6、則回歸顯著，認為 y 與 x 存在線性關系，所求的線性回歸方程有意義；否則回歸不顯著，y 與 x 的關系不能用一元線性回歸模型來描述，所得的回歸方程也無意義.2021-10-22http:/ 電子發燒友10（）f檢驗法檢驗法 當0h成立時， )2/( nqufef（1，n-2）其中 niiyyu12（回歸平方和）回歸平方和）故 f)2, 1 (1nf，拒絕0h，否則就接受0h. （）t檢驗法檢驗法niiniixxxnxxxl12212)(其中當0h成立時，exxlt1t（n-2）故)2(21ntt，拒絕0h，否則就接受0h.2021-10-22http:/ 電子發燒友11（）r檢驗法檢驗法當|

7、r| r1-時，拒絕 h0；否則就接受 h0.記 niniiiniiiyyxxyyxxr11221)()()(其中2, 121111nfnr2021-10-22http:/ 電子發燒友122、回歸系數的置信區間、回歸系數的置信區間0和和1置信水平為置信水平為 1-的置信區間分別為的置信區間分別為 xxexxelxnntlxnnt221022101)2(,1)2(和 xxexxelntlnt/)2(,/)2(2112112的的置置信信水水平平為為 1-的的置置信信區區間間為為 )2(,)2(22221nqnqee2021-10-22http:/ 電子發燒友133、預測與控制、預測與控制（1）預測

8、）預測用 y0的回歸值0100 xy作為 y0的的預預測測值值.0y的置信水平為1的預測區間預測區間為 )(),(0000 xyxy其中xxelxxnntx2021011)2()( 特 別 ， 當 n 很 大 且 x0在x附 近 取 值 時 ,y 的 置 信 水 平 為1的預預 測測 區區 間間 近近 似似 為為 2121,uyuyee2021-10-22http:/ 電子發燒友14（2）控制）控制要求：xy10的值以1的概率落在指定區間yy ,只要控制 x 滿足以下兩個不等式 yxyyxy )(,)(要求)(2xyy .若yxyyxy )(,)(分別有解x和x ，即yxyyxy )(,)(.

9、 則xx ,就是所求的 x 的控制區間.返回返回2021-10-22http:/ 電子發燒友15四、可線性化的一元非線性回歸四、可線性化的一元非線性回歸 （曲線回歸）（曲線回歸）例例2 出鋼時所用的盛鋼水的鋼包，由于鋼水對耐火材料的侵蝕， 容積不斷增大.我們希望知道使用次數與增大的容積之間的關 系.對一鋼包作試驗，測得的數據列于下表：使用次數增大容積使用次數增大容積234567896.428.209.589.509.7010.009.939.991011121314151610.4910.5910.6010.8010.6010.9010.76解答2021-10-22http:/ 電子發燒友16

10、24681012141666.577.588.599.51010.511散點圖此即非線性回歸非線性回歸或曲線回歸曲線回歸 問題（需要配曲線）配曲線的一般方法是：配曲線的一般方法是：先對兩個變量 x 和 y 作 n 次試驗觀察得niyxii,.,2 , 1),(畫出散點圖，根據散點圖確定須配曲線的類型.然后由 n 對試驗數據確定每一類曲線的未知參數 a 和 b.采用的方法是通過變量代換把非線性回歸化成線性回歸，即采用非線性回歸線性化的方法.2021-10-22http:/ 電子發燒友17通常選擇的六類曲線如下：（1）雙曲線雙曲線xbay1（2）冪函數曲線冪函數曲線 y=abx, 其中 x0,a0

11、（3）指數曲線指數曲線 y=abxe其中參數 a0.（4）倒倒指指數數曲曲線線 y=axbe/其中 a0，（5）對對數數曲曲線線 y=a+blogx,x0（6）s 型型曲曲線線xbeay1返回返回解例2.由散點圖我們選配倒指數曲線y=axbe/根據線性化方法，算得4587. 2,1107. 1ab由此 6789.11aea最后得 xey1107. 16789.112021-10-22http:/ 電子發燒友18一、數學模型及定義一、數學模型及定義一般稱 nicovexy2),(, 0)( 為高斯馬爾柯夫線性模型(k k 元線性回歸模型元線性回歸模型)，并簡記為),(2nixy nyyy.1，n

12、knnkkxxxxxxxxxx.1.1.1212222111211，k.10，n.21kkxxy.110稱為回回歸歸平平面面方方程程. 返回返回線性模型),(2nixy考慮的主要問題是： （1）用試驗值（樣本值）對未知參數和2作點估計和假設檢驗，從而建立 y 與kxxx,.,21之間的數量關系； （2）在,.,0022011kkxxxxxx處對 y 的值作預測與控制，即對 y 作區間估計. 2021-10-22http:/ 電子發燒友19二、模型參數估計二、模型參數估計1、對對i和和2作作估估計計用最小二乘法求k,.,0的估計量：作離差平方和 niikkiixxyq12110.選擇k,.,0使

13、 q 達到最小。解得估計值 yxxxtt1 得到的i代入回歸平面方程得： kkxxy.110稱為經驗回歸平面方程經驗回歸平面方程.i稱為經驗回歸系數經驗回歸系數.注注意意 ：服從 p+1 維正態分 布，且為的無偏估 計，協方差陣為c2. c=l-1=(cij), l=xx2021-10-22http:/ 電子發燒友202、多多項項式式回回歸歸設變量 x、y 的回歸模型為 ppxxxy.2210其中 p 是已知的，), 2 , 1(pii是未知參數，服從正態分布), 0(2n. 令iixx ，i=1，2，k 多項式回歸模型變為多元線性回歸模型.返回返回 kkxxxy.2210稱為回回歸歸多多項項

14、式式.上面的回歸模型稱為多多項項式式回回歸歸.2021-10-22http:/ 電子發燒友21三、多元線性回歸中的檢驗與預測三、多元線性回歸中的檢驗與預測1、線線性性模模型型和和回回歸歸系系數數的的檢檢驗驗假設 0.:100kh （）f檢驗法檢驗法（）r檢驗法檢驗法定義eyyquulur為 y 與 x1,x2,.,xk的多多元元相相關關系系數數或復復相相關關系系數數。由于2211rrkknf，故用 f 和用 r檢驗是等效的。當 h0成 立 時 ，)1,()1/(/knkfknqkufe如 果 f f1-（ k， n-k-1） ， 則 拒 絕 h0， 認 為 y 與 x1, xk之 間 顯 著地

15、 有 線 性 關 系 ； 否 則 就 接 受 h0， 認 為 y 與 x1, , xk之 間 線 性 關 系 不顯 著 .其中 niiyyu12（回回歸歸平平方方和和） niiieyyq12)(殘差平方和）殘差平方和）2021-10-22http:/ 電子發燒友222、預測、預測（1）點預測）點預測求出回歸方程kkxxy.110，對于給定自變量的值kxx ,.,*1，用*110*.kkxxy來預測*110.kkxxy.稱* y為*y的點預測.（2）區間預測）區間預測y 的1的預測區間（置信）區間為),(21yy,其中) 1(1) 1(12/10022/1001kntxxcyykntxxcyyk

16、ikjjiijekikjjiijec=l-1=(cij), l=xx1knqee返回返回2021-10-22http:/ 電子發燒友23四、逐步回歸分析四、逐步回歸分析（4）“有進有出”的逐步回歸分析。（1）從所有可能的因子（變量）組合的回歸方程中選擇最優者；（2）從包含全部變量的回歸方程中逐次剔除不顯著因子；（3）從一個變量開始，把變量逐個引入方程；選擇“最優”的回歸方程有以下幾種方法： “最優最優”的回歸方程的回歸方程就是包含所有對y有影響的變量, 而不包含對y影響不顯著的變量回歸方程。 以第四種方法，即逐步回歸分析法逐步回歸分析法在篩選變量方面較為理想.2021-10-22http:/

17、電子發燒友24 這個過程反復進行，直至既無不顯著的變量從回歸方程中剔除，又無顯著變量可引入回歸方程時為止。逐步回歸分析法逐步回歸分析法的思想： 從一個自變量開始，視自變量y作用的顯著程度，從大到地依次逐個引入回歸方程。 當引入的自變量由于后面變量的引入而變得不顯著時，要將其剔除掉。 引入一個自變量或從回歸方程中剔除一個自變量，為逐步回歸的一步。 對于每一步都要進行y值檢驗，以確保每次引入新的顯著性變量前回歸方程中只包含對y作用顯著的變量。返回返回2021-10-22http:/ 電子發燒友25統計工具箱中的回歸分析命令統計工具箱中的回歸分析命令1、多元線性回歸、多元線性回歸2、多項式回歸、多項

18、式回歸3、非線性回歸、非線性回歸4、逐步回歸、逐步回歸返回返回2021-10-22http:/ 電子發燒友26多元線性回歸多元線性回歸 b=regress( y, x )npnnppxxxxxxxxxx.1.1.1212222111211nyyyy.21pb.101、確定回歸系數的點估計值：確定回歸系數的點估計值：ppxxy.110對一元線性回歸，取 p=1 即可2021-10-22http:/ 電子發燒友273、畫出殘差及其置信區間：畫出殘差及其置信區間： rcoplot（r，rint）2、求回歸系數的點估計和區間估計、并檢驗回歸模型：求回歸系數的點估計和區間估計、并檢驗回歸模型： b, b

19、int,r,rint,stats=regress(y,x,alpha)回歸系數的區間估計殘差用于檢驗回歸模型的統計量，有三個數值：相關系數r2、f值、與f對應的概率p置信區間 顯著性水平（缺省時為0.05） 相關系數 r2越接近 1，說明回歸方程越顯著； f f1-（k，n-k-1）時拒絕 h0，f 越大，說明回歸方程越顯著； 與 f 對應的概率 p時拒絕 h0，回歸模型成立.2021-10-22http:/ 電子發燒友28例例1 解：解：1、輸入數據：輸入數據： x=143 145 146 147 149 150 153 154 155 156 157 158 159 160 162 164

20、; x=ones(16,1) x; y=88 85 88 91 92 93 93 95 96 98 97 96 98 99 100 102;2、回歸分析及檢驗：回歸分析及檢驗： b,bint,r,rint,stats=regress(y,x) b,bint,stats得結果：b = bint = -16.0730 -33.7071 1.5612 0.7194 0.6047 0.8340 stats = 0.9282 180.9531 0.0000即7194. 0,073.1610；0的置信區間為-33.7017，1.5612, 1的置信區間為0.6047,0.834;r2=0.9282, f=

21、180.9531, p=0.0000p0.05, 可知回歸模型 y=-16.073+0.7194x 成立.to matlab(liti11)題目2021-10-22http:/ 電子發燒友293、殘差分析，作殘差圖：、殘差分析，作殘差圖： rcoplot(r,rint) 從殘差圖可以看出，除第二個數據外，其余數據的殘差離零點均較近，且殘差的置信區間均包含零點，這說明回歸模型 y=-16.073+0.7194x能較好的符合原始數據，而第二個數據可視為異常點. 4、預測及作圖：、預測及作圖：z=b(1)+b(2)*x plot(x,y,k+,x,z,r)246810121416-5-4-3-2-1

22、01234residual case order plotresidualscase number返回返回to matlab(liti12)2021-10-22http:/ 電子發燒友30多多 項項 式式 回回 歸歸 （一）一元多項式回歸（一）一元多項式回歸 （1）確定多項式系數的命令：p，s=polyfit（x，y，m） 其中 x=（x1，x2，xn） ，y=（y1，y2，yn） ；p=（a1，a2，am+1）是多項式 y=a1xm+a2xm-1+amx+am+1的系數；s 是一個矩陣，用來估計預測誤差.（2）一元多項式回歸命令：polytool（x，y，m）1、回歸：、回歸：y=a1xm+

23、a2xm-1+amx+am+12、預測和預測誤差估計：、預測和預測誤差估計：（1）y=polyval（p，x）求polyfit所得的回歸多項式在x處 的預 測值y； （2）y，delta=polyconf（p，x，s，alpha）求polyfit所得 的回歸多項式在x處的預測值y及預測值的顯著性為1- alpha的置信區間y delta；alpha缺省時為0.5.2021-10-22http:/ 電子發燒友31 例例 2 觀測物體降落的距離 s 與時間 t 的關系，得到數據如下表，求 s關于 t 的回歸方程2ctbtas.t (s)1/302/303/304/305/306/307/30s (

24、cm)11.8615.6720.6026.6933.7141.9351.13t (s)8/309/3010/3011/3012/3013/3014/30s (cm)61.4972.9085.4499.08113.77129.54146.48法一法一 直接作二次多項式回歸：直接作二次多項式回歸： t=1/30:1/30:14/30; s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48; p,s=polyfit(t,s,2)to matlab（liti21）1329. 98

25、896.652946.4892tts得回歸模型為 ：2021-10-22http:/ 電子發燒友32法二法二化為多元線性回歸：化為多元線性回歸：t=1/30:1/30:14/30;s=11.86 15.67 20.60 26.69 33.71 41.93 51.13 61.49 72.90 85.44 99.08 113.77 129.54 146.48;t=ones(14,1) t (t.2);b,bint,r,rint,stats=regress(s,t);b,statsto matlab(liti22)22946.4898896.651329. 9tts得回歸模型為 ：y=polycon

26、f(p,t,s) plot(t,s,k+,t,y,r)預測及作圖預測及作圖to matlab(liti23)2021-10-22http:/ 電子發燒友33（二）多元二項式回歸（二）多元二項式回歸命令：rstool（x，y，model, alpha）nm矩陣顯著性水平（缺省時為0.05）n維列向量由下列 4 個模型中選擇 1 個（用字符串輸入，缺省時為線性模型）： linear（線性）：mmxxy 110 purequadratic（純二次）： njjjjmmxxxy12110 interaction（交叉）： mkjkjjkmmxxxxy1110 quadratic（完全二次）： mkjkj

27、jkmmxxxxy,1110 2021-10-22http:/ 電子發燒友34 例例3 設某商品的需求量與消費者的平均收入、商品價格的統計數 據如下，建立回歸模型，預測平均收入為1000、價格為6時 的商品需求量.需求量10075807050659010011060收入10006001200500300400130011001300300價格5766875439選擇純二次模型，即 2222211122110 xxxxy法一法一 直接用多元二項式回歸：x1=1000 600 1200 500 300 400 1300 1100 1300 300;x2=5 7 6 6 8 7 5 4 3 9;y=

28、100 75 80 70 50 65 90 100 110 60;x=x1 x2; rstool(x,y,purequadratic)2021-10-22http:/ 電子發燒友35 在畫面左下方的下拉式菜單中選”all”, 則beta、rmse和residuals都傳送到matlab工作區中.在左邊圖形下方的方框中輸入1000，右邊圖形下方的方框中輸入6。 則畫面左邊的“predicted y”下方的數據變為88.47981，即預測出平均收入為1000、價格為6時的商品需求量為88.4791.2021-10-22http:/ 電子發燒友36在matlab工作區中輸入命令： beta, rms

29、e得結果：beta = 110.5313 0.1464 -26.5709 -0.0001 1.8475 rmse = 4.5362故回歸模型為：2221218475. 10001. 05709.261464. 05313.110 xxxxy剩余標準差為 4.5362, 說明此回歸模型的顯著性較好.to matlab(liti31)2021-10-22http:/ 電子發燒友37x=ones(10,1) x1 x2 (x1.2) (x2.2);b,bint,r,rint,stats=regress(y,x);b,stats結果為: b = 110.5313 0.1464 -26.5709 -0.

30、0001 1.8475 stats = 0.9702 40.6656 0.0005法二法二to matlab(liti32)返回返回 2222211122110 xxxxy將 化為多元線性回歸：2021-10-22http:/ 電子發燒友38非線性回非線性回 歸歸 （1）確定回歸系數的命令： beta，r，j=nlinfit（x，y，model, beta0）（2）非線性回歸命令：nlintool（x，y，model, beta0，alpha）1、回歸：、回歸：殘差jacobian矩陣回歸系數的初值是事先用m-文件定義的非線性函數估計出的回歸系數輸入數據x、y分別為 矩陣和n維列向量，對一元非

31、線性回歸，x為n維列向量。mn2、預測和預測誤差估計：、預測和預測誤差估計：y，delta=nlpredci（model, x，beta，r，j）求nlinfit 或nlintool所得的回歸函數在x處的預測值y及預測值的顯著性為1-alpha的置信區間y delta.2021-10-22http:/ 電子發燒友39例例 4 對第一節例2，求解如下：1、對將要擬合的非線性模型 y=axbe/，建立 m-文件 volum.m 如下： function yhat=volum(beta,x) yhat=beta(1)*exp(beta(2)./x);2、輸入數據： x=2:16; y=6.42 8.

32、20 9.58 9.5 9.7 10 9.93 9.99 10.49 10.59 10.60 10.80 10.60 10.90 10.76; beta0=8 2;3、求回歸系數： beta,r ,j=nlinfit(x,y,volum,beta0)； beta得結果：beta = 11.6036 -1.0641即得回歸模型為：xey10641. 16036.11to matlab(liti41)題目2021-10-22http:/ 電子發燒友404、預測及作圖： yy,delta=nlpredci(volum,x,beta,r ,j)； plot(x,y,k+,x,yy,r)to matla

33、b(liti42)2021-10-22http:/ 電子發燒友41例例5 財政收入預測問題：財政收入與國民收入、工業總產值、農業總產值、總人口、就業人口、固定資產投資等因素有關。下表列出了1952-1981年的原始數據，試構造預測模型。 解解 設國民收入、工業總產值、農業總產值、總人口、就業人口、固定資產投資分別為x1、x2、x3、x4、x5、x6，財政收入為y，設變量之間的關系為：y= ax1+bx2+cx3+dx4+ex5+fx6使用非線性回歸方法求解。2021-10-22http:/ 電子發燒友421 對回歸模型建立對回歸模型建立m文件文件model.m如下如下: function yy

34、=model(beta0,x) a=beta0(1); b=beta0(2); c=beta0(3); d=beta0(4); e=beta0(5); f=beta0(6); x1=x(:,1); x2=x(:,2); x3=x(:,3); x4=x(:,4); x5=x(:,5); x6=x(:,6); yy=a*x1+b*x2+c*x3+d*x4+e*x5+f*x6; 2021-10-22http:/ 電子發燒友432. 主程序主程序liti6.m如下如下:x=598.00 349.00 461.00 57482.00 20729.00 44.00 . 2927.00 6862.00 12

35、73.00 100072.0 43280.00 496.00;y=184.00 216.00 248.00 254.00 268.00 286.00 357.00 444.00 506.00 . 271.00 230.00 266.00 323.00 393.00 466.00 352.00 303.00 447.00 . 564.00 638.00 658.00 691.00 655.00 692.00 657.00 723.00 922.00 . 890.00 826.00 810.0;beta0=0.50 -0.03 -0.60 0.01 -0.02 0.35;betafit = nli

36、nfit(x,y,model,beta0)to matlab(liti6）2021-10-22http:/ 電子發燒友44 betafit = 0.5243 -0.0294 -0.6304 0.0112 -0.0230 0.3658即y= 0.5243x1-0.0294x2-0.6304x3+0.0112x4-0.0230 x5+0.3658x6結果為結果為:返返 回回2021-10-22http:/ 電子發燒友45逐逐 步步 回回 歸歸逐步回歸的命令是： stepwise（x，y，inmodel，alpha） 運行stepwise命令時產生三個圖形窗口：stepwise plot，stepw

37、ise table，stepwise history. 在stepwise plot窗口，顯示出各項的回歸系數及其置信區間. stepwise table 窗口中列出了一個統計表，包括回歸系數及其置信區間，以及模型的統計量剩余標準差（rmse）、相關系數（r-square）、f值、與f對應的概率p.矩陣的列數的指標，給出初始模型中包括的子集（缺省時設定為全部自變量）顯著性水平（缺省時為0.5）自變量數據, 階矩陣mn因變量數據， 階矩陣1n2021-10-22http:/ 電子發燒友46例例6 水泥凝固時放出的熱量y與水泥中4種化學成分x1、x2、x3、 x4 有關，今測得一組數據如下，試用逐

38、步回歸法確定一個 線性模 型. 序號12345678910111213x17111117113122111110 x226295631525571315447406668x3615886917221842398x46052204733226442226341212y78.574.3104.387.695.9109.2102.772.593.1115.983.8113.3109.41、數據輸入：、數據輸入：x1=7 1 11 11 7 11 3 1 2 21 1 11 10;x2=26 29 56 31 52 55 71 31 54 47 40 66 68;x3=6 15 8 8 6 9 17

39、22 18 4 23 9 8;x4=60 52 20 47 33 22 6 44 22 26 34 12 12;y=78.5 74.3 104.3 87.6 95.9 109.2 102.7 72.5 93.1 115.9 83.8 113.3 109.4;x=x1 x2 x3 x4;2021-10-22http:/ 電子發燒友472、逐步回歸：、逐步回歸：（1）先在初始模型中取全部自變量：）先在初始模型中取全部自變量： stepwise(x,y)得圖stepwise plot 和表stepwise table圖圖stepwise plot中四條直線都是虛中四條直線都是虛線，說明模型的顯著性不好線，說明模型的顯著性不好從表從表stepwi