第五章回歸分析方法第五章回歸分析方法1§5－1一元線性回歸一、什么叫回歸分析（一）兩種不同類型的變量關系、函數與相關 簡單的說，回歸分析就是一種處理變量與變量之間關系的數學方法。例：自由落體運動中，物體下落的舉例S與所需時間t之間，有如下關系§5－1一元線性回歸一、什么叫回歸分析2

變量S的值隨t而定，這就是說，如果t去了固定值，那么S的值就完全確定了 這種關系就是所謂的函數關系或確定性關系 回歸分析方法是處理變量之間相關關系的有力工具，它不僅提供建立變量間關系的數學表達式——經驗公式，而且利用概率統計知識進行了分析討論，從而判斷經驗公式的正確性 變量S的值隨t而定，這就是說，如果t去了固定值，那么S的值3二、回歸分析所能解決的問題回歸分析主要解決以下幾方面的問題：（1）確定幾個特定變量之間是否存在相關關系，如果存在的話，找出她們之間合適的數學表達式（2）根據一個或幾個變量的值，預報或控制另一個變量的取值，并且要知道這種預報或控制的精確度（3）進行因素分析，確定因素的主次以及因素之間的相互關系等等二、回歸分析所能解決的問題4一元線性回歸分析，只要解決：（1）求變量x與y之間的回歸直線方程（2）判斷變量x和y之間是否確為線性關系（3）根據一個變量的值，預測或控制另一變量的取值一元線性回歸分析，只要解決：5二、一元線性回歸方程的確定二、一元線性回歸方程的確定6回歸分析方法課件7回歸分析方法課件8回歸分析方法課件9回歸分析方法課件10回歸分析方法課件11三、回歸方程檢驗方法（一）方差分析法 回顧方差分析的基本特點： 把所給數據的總波動分解為兩部分，一部分反映水平變化引起的波動，另一部分反映由于存在試驗誤差而引起的波動。然后把各因素水平變化引起的波動與試驗誤差引起的波動大小進行比較，而達到檢驗因素顯著性的目的.三、回歸方程檢驗方法12回歸分析方法課件13回歸分析方法課件14回歸分析方法課件15回歸分析方法課件16（二）相關系數檢驗法（二）相關系數檢驗法17回歸分析方法課件18回歸分析方法課件19回歸分析方法課件20回歸分析方法課件21回歸分析方法課件22回歸分析方法課件23n-2123456789100.050.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.050.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537n-2212223242526272829300.050.010.4130.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相關系數臨界值表n-210.050.010.9971.000n-224四、預報與控制 當我們求得變量x、y之間的回歸直線方程后，往往通過回歸方程回答這樣兩方面的問題：（1）對任何一個給定的觀測點x0，推斷y0大致落的范圍（2）若要求觀測值y在一定的范圍y1<y<y2內取值，應將變量控制在什么地方 前者就是所謂的預報問題，后者稱為控制問題。四、預報與控制25回歸分析方法課件26回歸分析方法課件27回歸分析方法課件28回歸分析方法課件29回歸分析方法課件30五、應用舉例 例6－1在某產品表明腐蝕刻線，下表是試驗活得的腐蝕時間（x）與腐蝕深度（y）間的一組數據。試研究兩變量（x，y）之間的關系。腐蝕時間x（秒）腐蝕深度y（μ）5510203040506065901204681316171925252946五、應用舉例腐蝕時間x（秒）腐蝕深度y（μ）55103140302010yx10203040506070809010011012040yx102030405032回歸分析方法課件33序號12345678910115510203040506065901204954681316171925252946208252510040090016002500360042258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755序歸分析方法課件35回歸分析方法課件36回歸分析方法課件37回歸分析方法課件38§5－2多元回歸分析方法一、多元回歸分析概述上節討論的只是兩個變量的回歸問題，其中因變量只與一個自變量相關。但這只是最簡單的情況，在大多數的實際問題中，影響因變量的因素不是一個而是多個，我們稱這類回問題為多元回歸分析。我們這里著重討論簡單而又最一般的線性回歸問題，這是因為許多非線性的情形可以化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全相同，但在計算上卻要復雜得多。不過，應用計算機多元回歸的計算量是很小的，一般的計算機都有多元回歸（以及逐步回歸方法）的專門程序。§5－2多元回歸分析方法一、多元回歸分析概述39回歸分析方法課件40回歸分析方法課件41回歸分析方法課件42回歸分析方法課件43回歸分析方法課件44回歸分析方法課件45回歸分析方法課件46多元線性回歸方差分析表多元線性回歸方差分析表474．偏回歸平方和與因素主次的差別前面講的有關多元線性回歸的內容，純屬一元情形的推廣，只是形式上復雜一些而已，而偏回歸平方和與因素主次的差別則是多元回歸問題所特有的。先從判別因素的主次說起。在實際工作中,我們還關心Y對x1,x2,···xk的線性回歸中,哪些因素(即自變量)更重要些,哪些不重要,怎欄來衡量某個特定因素（ｉ＝１，２，…ｋ）的影響呢?我們知道,回歸平方和U這個量,刻劃了全體自變量x1,x2,···xk對于Y總的線性影響,為了研究xk的作用,可以這樣來考慮:從原來的ｋ個自變量中扣除xk,我們知道這ｋ－１個自變量x1,x2,···xk-1對于Y的總的線性影響也是一個回歸平方和,記作U(k)；我們稱Pk=U-U(k)

4．偏回歸平方和與因素主次的差別48

為x1,x2,···xk中xk的偏回歸平方和。這個偏回歸平方和也可看作xk產生的作用,類似地,可定義為U(i).一般地,稱

Pi=U-U(i)

為x1,x2,···xk中ｘi的偏回歸平方和。用它來衡量ｘi在Y對x1,x2,···xk的線性回歸中的作用的大小。為x1,x2,···xk中xk的偏回歸平方和。這個偏49

50

從偏回歸平方和的意義可以看出,凡是對Y作用顯著的因素一般具有較大的Ｐi值。Ｐi愈大,該因素對Y的作用也就愈大,這樣通過比較各個因素的Pｉ值就可以大致看出各個因素對因素變量作用的重要性。在實用上,在計算了偏回歸平方和后,對各因素的分析可以按下面步驟進行:①凡是偏回歸平方和大的,也就是顯著性的那些因素,一定是對Y有重要影響的因素。至于偏回歸平方和大到什么程度才算顯著,要對它作檢驗,檢驗的方法與本節中對總回歸的檢驗法類似。為此,我們要先計算從偏回歸平方和的意義可以看出,凡51

其中S２即是方差分析計算中的剩余方差,Fｉ自由度為（１，Ｎ－ｋ－１）,于是在給定的顯著性水平α，按前面的F檢驗法,檢驗該因素的偏回歸平和的顯著性。②凡是偏回歸平方和小的,即不顯著的變量;則可肯定偏回歸平方和最小的那個因素必然是在這些因素中對Y作用最小的一個,此時應該從回歸方程中將變量剔除。剔除一個變量后,各因素的偏回歸平方和的大小一般的都會有所改變,這時應該對它們重新作出檢驗。另外需要說明一下就是,在通常情況下,各因素的偏回歸平方和相加并不等于回歸平方和。只有當正規方程的系數矩陣為對角型其中S２即是方差分析計算中的剩余方差,52回歸分析方法課件53第五章回歸分析方法第五章回歸分析方法54§5－1一元線性回歸一、什么叫回歸分析（一）兩種不同類型的變量關系、函數與相關 簡單的說，回歸分析就是一種處理變量與變量之間關系的數學方法。例：自由落體運動中，物體下落的舉例S與所需時間t之間，有如下關系§5－1一元線性回歸一、什么叫回歸分析55

變量S的值隨t而定，這就是說，如果t去了固定值，那么S的值就完全確定了 這種關系就是所謂的函數關系或確定性關系 回歸分析方法是處理變量之間相關關系的有力工具，它不僅提供建立變量間關系的數學表達式——經驗公式，而且利用概率統計知識進行了分析討論，從而判斷經驗公式的正確性 變量S的值隨t而定，這就是說，如果t去了固定值，那么S的值56二、回歸分析所能解決的問題回歸分析主要解決以下幾方面的問題：（1）確定幾個特定變量之間是否存在相關關系，如果存在的話，找出她們之間合適的數學表達式（2）根據一個或幾個變量的值，預報或控制另一個變量的取值，并且要知道這種預報或控制的精確度（3）進行因素分析，確定因素的主次以及因素之間的相互關系等等二、回歸分析所能解決的問題57一元線性回歸分析，只要解決：（1）求變量x與y之間的回歸直線方程（2）判斷變量x和y之間是否確為線性關系（3）根據一個變量的值，預測或控制另一變量的取值一元線性回歸分析，只要解決：58二、一元線性回歸方程的確定二、一元線性回歸方程的確定59回歸分析方法課件60回歸分析方法課件61回歸分析方法課件62回歸分析方法課件63回歸分析方法課件64三、回歸方程檢驗方法（一）方差分析法 回顧方差分析的基本特點： 把所給數據的總波動分解為兩部分，一部分反映水平變化引起的波動，另一部分反映由于存在試驗誤差而引起的波動。然后把各因素水平變化引起的波動與試驗誤差引起的波動大小進行比較，而達到檢驗因素顯著性的目的.三、回歸方程檢驗方法65回歸分析方法課件66回歸分析方法課件67回歸分析方法課件68回歸分析方法課件69（二）相關系數檢驗法（二）相關系數檢驗法70回歸分析方法課件71回歸分析方法課件72回歸分析方法課件73回歸分析方法課件74回歸分析方法課件75回歸分析方法課件76n-2123456789100.050.010.9970.9500.8780.8110.7540.7070.6660.6320.6020.5761.0000.9900.9590.9170.8740.8340.7980.7650.7350.708n-2111213141516171819200.050.010.5530.5320.5140.4790.4820.4680.4560.4440.4330.4130.6840.6610.6410.6230.6060.5900.5750.5610.5490.537n-2212223242526272829300.050.010.4130.4040.3960.3880.3810.3740.3670.3640.3550.3490.5260.5150.5050.4960.4870.4780.4700.4630.4560.449相關系數臨界值表n-210.050.010.9971.000n-277四、預報與控制 當我們求得變量x、y之間的回歸直線方程后，往往通過回歸方程回答這樣兩方面的問題：（1）對任何一個給定的觀測點x0，推斷y0大致落的范圍（2）若要求觀測值y在一定的范圍y1<y<y2內取值，應將變量控制在什么地方 前者就是所謂的預報問題，后者稱為控制問題。四、預報與控制78回歸分析方法課件79回歸分析方法課件80回歸分析方法課件81回歸分析方法課件82回歸分析方法課件83五、應用舉例 例6－1在某產品表明腐蝕刻線，下表是試驗活得的腐蝕時間（x）與腐蝕深度（y）間的一組數據。試研究兩變量（x，y）之間的關系。腐蝕時間x（秒）腐蝕深度y（μ）5510203040506065901204681316171925252946五、應用舉例腐蝕時間x（秒）腐蝕深度y（μ）55108440302010yx10203040506070809010011012040yx102030405085回歸分析方法課件86序號12345678910115510203040506065901204954681316171925252946208252510040090016002500360042258100144003587516366416925628936162562584121165398203080260480680950150016252610552013755序歸分析方法課件88回歸分析方法課件89回歸分析方法課件90回歸分析方法課件91§5－2多元回歸分析方法一、多元回歸分析概述上節討論的只是兩個變量的回歸問題，其中因變量只與一個自變量相關。但這只是最簡單的情況，在大多數的實際問題中，影響因變量的因素不是一個而是多個，我們稱這類回問題為多元回歸分析。我們這里著重討論簡單而又最一般的線性回歸問題，這是因為許多非線性的情形可以化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全相同，但在計算上卻要復雜得多。不過，應用計算機多元回歸的計算量是很小的，一般的計算機都有多元回歸（以及逐步回歸方法）的專門程序。§5－2多元回歸分析方法一、多元回歸分析概述92回歸分析方法課件93回歸分析方法課件94回歸分析方法課件95回歸分析方法課件96回歸分析方法課件97回歸分析方法課件98回歸分析方法課件99多元線性回歸方差分析表多元線性回歸方差分析表1004．偏回歸平方和與因素主次的差別前面講的有關多元線性回歸的內容，純屬一元情形的推廣，只是形式上復雜一些而已，而偏回歸平方和與因素主次的差別則是多元回歸問題所特有的。先從判別因素的主次說起。在實際工作中,我們還關心Y對x1,x2,···xk的線性回歸中,哪些因素(即自變量)更重要些,哪些不重要,怎欄來衡量某個特定因素（ｉ＝１，２，…ｋ）的影響呢?我們知道,回歸平方和U這個量,刻劃了全體自變量x1,x2,···xk對于Y總的線性影響,為了研究xk的作用,可以這樣來考慮:從原來的ｋ個自變量中扣除xk,我們知道這ｋ－１個自變量x1,x2,···xk-1對于Y的總的線性影響也是一個回歸平方和,記作U(k)；我們稱Pk=U-U(k)

4．偏回歸平方和與因素主次的差別101

為x1,x2,···xk中xk的偏回歸平方和。這個偏回歸平方和也可看作xk產生的作用,類似地,可定義為U(i).一般地,稱