1、管理工程學院管理統計學管理統計學1統計學統計學管理統計學管理工程學院管理統計學管理統計學2第第11章章 一元線性回歸一元線性回歸管理工程學院管理統計學管理統計學3第第11章章 一元線性回歸一元線性回歸11.1 變量間關系的度量變量間關系的度量 11.2 一元線性回歸一元線性回歸11.3 利用回歸方程進行估計和預測利用回歸方程進行估計和預測11.4 殘差分析殘差分析管理工程學院管理統計學管理統計學4學習目標學習目標1. 相關關系的分析方法相關關系的分析方法一元線性回歸的基本原理和參數的最小一元線性回歸的基本原理和參數的最小二乘估計二乘估計回歸直線的擬合優度回歸直線的擬合優度回歸方程的顯著性檢驗回

2、歸方程的顯著性檢驗利用回歸方程進行估計和預測利用回歸方程進行估計和預測2. 用用 Excel 進行回歸進行回歸管理工程學院管理統計學管理統計學511.1 變量間關系的度量變量間關系的度量11.1.1 變量間的關系變量間的關系11.1.2 相關關系的描述與測度相關關系的描述與測度11.1.3 相關系數的顯著性檢驗相關系數的顯著性檢驗管理工程學院管理統計學管理統計學6變量間的關系變量間的關系管理工程學院管理統計學管理統計學7函數關系函數關系是一一對應的確定關系設有兩個變量 x 和 y ，變量 y 隨變量 x 一起變化，并完全依賴于 x ，當變量 x 取某個數值時， y 依確定的關系取相應的值，則稱

3、 y 是 x 的函數，記為 y = f (x)，其中 x 稱為自變量，y 稱為因變量各觀測點落在一條線上 管理工程學院管理統計學管理統計學8函數關系函數關系(幾個例子幾個例子)管理工程學院管理統計學管理統計學9相關關系相關關系(correlation)變量間關系不能用函數關系精確表達一個變量的取值不能由另一個變量唯一確定當變量 x 取某個值時，變量 y 的取值可能有幾個各觀測點分布在直線周圍 管理工程學院管理統計學管理統計學10相關關系相關關系(幾個例子幾個例子)管理工程學院管理統計學管理統計學11相關關系相關關系(類型類型)正正 相相 關關 負負 相相 關關線線 性性 相相 關關 非非 線線

4、 性性 相相 關關正正 相相 關關 負負 相相 關關完完 全全 相相 關關 不不 相相 關關相相 關關 關關 系系管理工程學院管理統計學管理統計學12散點圖散點圖(scatter diagram)管理工程學院管理統計學管理統計學13相關關系的描述與測度相關關系的描述與測度(散點圖散點圖)管理工程學院管理統計學管理統計學14相關分析及其假定相關分析及其假定相關分析要解決的問題變量之間是否存在關系？如果存在關系，它們之間是什么樣的關系？變量之間的關系強度如何？樣本所反映的變量之間的關系能否代表總體變量之間的關系？為解決這些問題，在進行相關分析時，對總體有以下兩個主要假定兩個變量之間是線性關系兩個變

5、量都是隨機變量管理工程學院管理統計學管理統計學15散點圖散點圖(例題分析例題分析)【例例】一家大型商業銀行在多個地區設有分行，其業務主要是進行基礎設施建設、國家重點項目建設、固定資產投資等項目的貸款。近年來，該銀行的貸款額平穩增長，但不良貸款額也有較大比例的增長，這給銀行業務的發展帶來較大壓力。為弄清楚不良貸款形成的原因，管理者希望利用銀行業務的有關數據做些定量分析，以便找出控制不良貸款的辦法。下面是該銀行所屬的25家分行當年的有關業務數據 管理工程學院管理統計學管理統計學16散點圖散點圖(例題分析例題分析)管理工程學院管理統計學管理統計學17散點圖散點圖(不良貸款對其他變量的散點圖不良貸款對

6、其他變量的散點圖)管理工程學院管理統計學管理統計學18相關關系的描述與測度相關關系的描述與測度(相關系數相關系數)管理工程學院管理統計學管理統計學19相關系數相關系數(correlation coefficient)度量變量之間關系強度的一個統計量對兩個變量之間線性相關強度的度量稱為簡單相關系數若相關系數是根據總體全部數據計算的，稱為總體相關系數，記為 若是根據樣本數據計算的，則稱為樣本相關系數，簡稱為相關系數，記為 r也稱為線性相關系數(linear correlation coefficient) 或稱為Pearson相關系數 (Pearsons correlation coefficie

7、nt) 管理工程學院管理統計學管理統計學20相關系數相關系數 (計算公式計算公式) 樣本相關系數的計算公式22)()()(yyxxyyxxr2222yynxxnyxxynr管理工程學院管理統計學管理統計學21相關系數的性質相關系數的性質性質性質1：r 的取值范圍是 -1,1 |r|=1，為完全相關r =1，為完全正相關r =-1，為完全負正相關 r = 0，不存在線性線性相關關系 -1r0，為負相關0r1，為正相關|r|越趨于1表示關系越強；|r|越趨于0表示關系越弱管理工程學院管理統計學管理統計學22相關系數的性質相關系數的性質性質性質2：r具有對稱性。即x與y之間的相關系數和y與x之間的相

8、關系數相等，即rxy= ryx性質性質3：r數值大小與x和y原點及尺度無關，即改變x和y的數據原點及計量尺度，并不改變r數值大小性質性質4：僅僅是x與y之間線性關系的一個度量，它不能用于描述非線性關系。這意為著， r=0只表示兩個變 量之間不存在線性相關關系，并不說明變量之間沒 有任何關系性質性質5：r雖然是兩個變量之間線性關系的一個度量，卻不一定意味著x與y一定有因果關系管理工程學院管理統計學管理統計學23相關系數的經驗解釋相關系數的經驗解釋 |r|0.8時，可視為兩個變量之間高度相關0.5|r|0.8時，可視為中度相關0.3|r|0.5時，視為低度相關|r|0.3時，說明兩個變量之間的相關

9、程度極弱，可視為不相關上述解釋必須建立在對相關系數的顯著性進行檢驗的基礎之上管理工程學院管理統計學管理統計學24相關系數相關系數(例題分析例題分析) 用用Excel計算相關系數計算相關系數管理工程學院管理統計學管理統計學25相關系數的顯著性檢驗相關系數的顯著性檢驗管理工程學院管理統計學管理統計學26相關系數的顯著性檢驗相關系數的顯著性檢驗(檢驗的步驟檢驗的步驟)1. 檢驗兩個變量之間是否存在線性相關關系等價于對回歸系數 b1的檢驗采用R.A.Fisher提出的 t 檢驗檢驗的步驟為2. 提出假設：H0： ；H1： 0)2(122ntrnrt管理工程學院管理統計學管理統計學27相關系數的顯著性檢

10、驗相關系數的顯著性檢驗(例題分析例題分析) 對不良貸款與貸款余額之間的相關系數進行顯著性檢驗(0.05)提出假設：H0： ；H1： 01.計算檢驗的統計量5344. 78436. 012258436. 02t管理工程學院管理統計學管理統計學28相關系數的顯著性檢驗相關系數的顯著性檢驗(例題分析例題分析) 各相關系數檢驗的統計量各相關系數檢驗的統計量管理工程學院管理統計學管理統計學2911.2 一元線性回歸一元線性回歸11.2.1 一元線性回歸模型一元線性回歸模型11.2.2 參數的最小二乘估計參數的最小二乘估計11.2.3 回歸直線的擬合優度回歸直線的擬合優度11.2.4 顯著性檢驗顯著性檢驗

11、管理工程學院管理統計學管理統計學30什么是回歸分析？什么是回歸分析？(Regression)從一組樣本數據出發，確定變量之間的數學關系式對這些關系式的可信程度進行各種統計檢驗，并從影響某一特定變量的諸多變量中找出哪些變量的影響顯著，哪些不顯著利用所求的關系式，根據一個或幾個變量的取值來預測或控制另一個特定變量的取值，并給出這種預測或控制的精確程度管理工程學院管理統計學管理統計學31回歸模型的類型回歸模型的類型線線 性性 回回 歸歸非非 線線 性性 回回 歸歸一一 元元 回回 歸歸線線 性性 回回 歸歸非非 線線 性性 回回 歸歸多多 元元 回回 歸歸回回 歸歸 模模 型型管理工程學院管理統計學

12、管理統計學32一元線性回歸模型一元線性回歸模型管理工程學院管理統計學管理統計學33一元線性回歸一元線性回歸涉及一個自變量的回歸因變量y與自變量x之間為線性關系被 預 測 或 被 解 釋 的 變 量 稱 為 因 變 量(dependent variable)，用y表示用來預測或用來解釋因變量的一個或多個變量稱為自變量(independent variable)，用x表示 因變量與自變量之間的關系用一個線性方程來表示管理工程學院管理統計學管理統計學34回歸模型回歸模型(regression model)回答“變量之間是什么樣的關系？”方程中運用1 個數值型因變量(響應變量)被預測的變量1 個或多個

13、數值型或分類型自變量 (解釋變量)用于預測的變量3.主要用于預測和估計管理工程學院管理統計學管理統計學35一元線性回歸模型一元線性回歸模型描述因變量 y 如何依賴于自變量 x 和誤差項 的方程稱為回歸模型回歸模型一元線性回歸模型可表示為 y = b b + + b b1 1 x + + y 是 x 的線性函數(部分)加上誤差項線性部分反映了由于 x 的變化而引起的 y 的變化誤差項 是隨機變量反映了除 x 和 y 之間的線性關系之外的隨機因素對 y 的影響是不能由 x 和 y 之間的線性關系所解釋的變異性b0 和 b1 稱為模型的參數管理工程學院管理統計學管理統計學36一元線性回歸模型一元線性

14、回歸模型(基本假定基本假定) 因變量x與自變量y之間具有線性關系在重復抽樣中，自變量x的取值是固定的，即假定x是非隨機的誤差項是一個期望值為0的隨機變量，即E()=0。對于一個給定的 x 值，y 的期望值為E ( y ) =b b 0+ b b 1 x對于所有的 x 值，的方差2 都相同誤差項是一個服從正態分布的隨機變量，且相互獨立。即N(0 ,2 )獨立性意味著對于一個特定的 x 值，它所對應的與其他 x 值所對應的不相關對于一個特定的 x 值，它所對應的 y 值與其他 x 所對應的 y 值也不相關管理工程學院管理統計學管理統計學37一元線性回歸模型一元線性回歸模型(基本假定基本假定) y管

15、理工程學院管理統計學管理統計學38回歸方程回歸方程 (regression equation)描述 y 的平均值或期望值如何依賴于 x 的方程稱為回歸方程回歸方程一元線性回歸方程的形式如下 E( y ) = b b0+ b b1 x管理工程學院管理統計學管理統計學39估計的回歸方程估計的回歸方程(estimated regression equation)0b1b0b1b0b1bxy10bb+0b1by 管理工程學院管理統計學管理統計學40參數的最小二乘估計參數的最小二乘估計管理工程學院管理統計學管理統計學41最小二乘估計最小二乘估計(method of least squares )最小ni

16、iiniixyyy121012)() (bb 0b1b管理工程學院管理統計學管理統計學42Karl Gauss的最小化圖xy10bb+管理工程學院管理統計學管理統計學43最小二乘法最小二乘法 ( 和和 的計算公式的計算公式)xyxxnyxyxnniniiiniiniiniii1012121111bbb1b0b0b1b0)(20)(212101121001100niiiiniiixyxQxyQbbbbbbbbbb管理工程學院管理統計學管理統計學44估計方程的求法估計方程的求法(例題分析例題分析)【例例】求不良貸款對貸款余額的回歸方程8295. 0268.120037895. 0728. 3037

17、895. 07 .300637.516543252 .937 .300614.1708025021bb1b管理工程學院管理統計學管理統計學45估計方程的求法估計方程的求法(例題分析例題分析)不良貸款對貸款余額回歸方程的圖示不良貸款對貸款余額的回歸直線不良貸款對貸款余額的回歸直線-2024681012140100200300400貸款余額不良貸款管理工程學院管理統計學管理統計學46用用Excel進行回歸分析進行回歸分析第第1步：步：選擇【工具工具】下拉菜單第第2步：步：選擇【數據分析數據分析】選項第第3步：步：在分析工具中選擇【回歸回歸】 ，選擇【確定確定】第第4步：步：當對話框出現時 在【Y值

18、輸入區域值輸入區域】設置框內鍵入Y的數據區域 在【X值輸入區域值輸入區域】設置框內鍵入X的數據區域 在【置信度置信度】選項中給出所需的數值 在【輸出選項輸出選項】中選擇輸出區域 在【殘差殘差】分析選項中選擇所需的選項管理工程學院管理統計學管理統計學47回歸直線的擬合優度回歸直線的擬合優度管理工程學院管理統計學管理統計學48變差變差因變量 y 的取值是不同的，y 取值的這種波動稱為變差。變差來源于兩個方面由于自變量 x 的取值不同造成的除 x 以外的其他因素(如x對y的非線性影響、測量誤差等)的影響對一個具體的觀測值來說，變差的大小可以通過該實際觀測值與其均值之差 來表示yy管理工程學院管理統計

19、學管理統計學49誤差的分解誤差的分解(圖示圖示) yxy10bb+yyyyyy),(iiyx管理工程學院管理統計學管理統計學50誤差平方和的分解誤差平方和的分解 (三個平方和的關系三個平方和的關系) +niiniiniiyyyyyy121212管理工程學院管理統計學管理統計學51誤差平方和的分解誤差平方和的分解 (三個平方和的意義三個平方和的意義)總平方和總平方和(SSTtotal sum of squares)反映因變量的 n 個觀察值與其均值的總誤差回歸平方和回歸平方和(SSRsum of squares of regression)反映自變量 x 的變化對因變量 y 取值變化的影響，或者

20、說，是由于 x 與 y 之間的線性關系引起的 y 的取值變化，也稱為可解釋的平方和殘差平方和殘差平方和(SSEsum of squares of error)反映除 x 以外的其他因素對 y 取值的影響，也稱為不可解釋的平方和或剩余平方和管理工程學院管理統計學管理統計學52判定系數判定系數R2 (coefficient of determination)回歸平方和占總誤差平方和的比例niiniiniiniiyyyyyyyySSTSSRR1212121221管理工程學院管理統計學管理統計學53判定系數判定系數 (例題分析例題分析)【例例】計算不良貸款對貸款余額回歸的判定系數，并解釋其意義 判定系

21、數的實際意義是：判定系數的實際意義是：在不良貸款取值的變差中，有71.16%可以由不良貸款與貸款余額之間的線性關系來解釋，或者說，在不良貸款取值的變動中，有71.16%是由貸款余額所決定的。也就是說，不良貸款取值的差異有2/3以上是由貸款余額決定的。可見不良貸款與貸款余額之間有較強的線性關系 %16.717116. 06504.3124860.2222SSTSSRR管理工程學院管理統計學管理統計學54估計標準誤差估計標準誤差(standard error of estimate)實際觀察值與回歸估計值誤差平方和的均方根反映實際觀察值在回歸直線周圍的分散狀況對誤差項的標準差的估計，是在排除了x對

22、y的線性影響后，y隨機波動大小的一個估計量反映用估計的回歸方程預測y時預測誤差的大小 計算公式為MSEnSSEnyysniiie2212管理工程學院管理統計學管理統計學55顯著性檢驗顯著性檢驗管理工程學院管理統計學管理統計學56線性關系的檢驗線性關系的檢驗檢驗自變量與因變量之間的線性關系是否顯著將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著回歸均方：回歸平方和SSR除以相應的自由度(自變量的個數k) 殘差均方：殘差平方和SSE除以相應的自由度(n-k-1)管理工程學院管理統計學管理統計學57線性關系的檢驗線性關系的檢驗 (檢驗的步驟檢驗的步驟) 提出假

23、設H0：b1=0 線性關系不顯著)2,1 ()2(1nFMSEMSRnSSESSRF管理工程學院管理統計學管理統計學58線性關系的檢驗線性關系的檢驗 (例題分析例題分析) 提出假設H0：b1=0 不良貸款與貸款余額之間的線性關系不顯著計算檢驗統計量F753844.56)225(164421.90148598.222)2(1nSSESSRF管理工程學院管理統計學管理統計學59線性關系的檢驗線性關系的檢驗 (方差分析表方差分析表) 管理工程學院管理統計學管理統計學60回歸系數的檢驗回歸系數的檢驗1b管理工程學院管理統計學管理統計學61回歸系數的檢驗回歸系數的檢驗 (檢驗步驟檢驗步驟) 提出假設H0

24、: b1 = 0 (沒有線性關系) H1: b1 0 (有線性關系) 計算檢驗的統計量) 2(11ntstbb管理工程學院管理統計學管理統計學62回歸系數的檢驗回歸系數的檢驗 (例題分析例題分析)對例題的回歸系數進行顯著性檢驗(0.05)提出假設H0：b1 = 0 H1：b1 0 1.計算檢驗的統計量533515. 7005030. 0037895. 0t管理工程學院管理統計學管理統計學63回歸系數的檢驗回歸系數的檢驗 (例題分析例題分析)P 值的應用值的應用管理工程學院管理統計學管理統計學64回歸分析結果的評價回歸分析結果的評價l建立的模型是否合適？或者說，這個擬合的模型有多“好”？要回答這

25、些問題，可以從以下幾個方面入手所估計的回歸系數 的符號是否與理論或事先預期相一致在不良貸款與貸款余額的回歸中，可以預期貸款余額越多，不良貸款也可能會越多，也就是說，回歸系數的值應該是正的，在上面建立的回歸方程中，我們得到的回歸系數 為正值，如果理論上認為x與y之間的關系不僅是正的，而且是統計上顯著的，那么所建立的回歸方程也應該如此在不良貸款與貸款余額的回歸中，二者之間為正的線性關系，而且，對回歸系數的t檢驗結果表明而這之間的線性關系是統計上顯著的1b037895. 01b管理工程學院管理統計學管理統計學65回歸模型在多大程度上解釋了因變量y取值的差異？可以用判定系數R2來回答這一問題在不良貸款

26、與貸款余額的回歸中，得到的R2=71.16%，解釋了不良貸款變差的2/3以上，說明擬合的效果還算不錯考察關于誤差項的正態性假定是否成立。因為我們在對線性關系進行F檢驗和回歸系數進行t檢驗時，都要求誤差項服從正態分布，否則，我們所用的檢驗程序將是無效的。正態性的簡單方法是畫出殘差的直方圖或正態概率圖回歸分析結果的評價回歸分析結果的評價管理工程學院管理統計學管理統計學66Excel輸出的部分回歸結果輸出的部分回歸結果名稱名稱計算公式計算公式Adjusted R SquareIntercept的抽樣標準誤差Intercept95%的置信區間斜率95%的置信區間11)1 (122knnRRa+niie

27、xxxnss12)()(10b+niiexxxnsnt1220)()(1)2(bniiexxsnt1221)()2(b管理工程學院管理統計學管理統計學6711.3 利用回歸方程進行估計和預測利用回歸方程進行估計和預測11.3.1 點估計點估計11.3.2 區間估計區間估計管理工程學院管理統計學管理統計學68利用回歸方程進行估計和預測利用回歸方程進行估計和預測根據自變量 x 的取值估計或預測因變量 y的取值估計或預測的類型點估計y 的平均值的點估計y 的個別值的點估計區間估計y 的平均值的置信區間置信區間估計y 的個別值的預測區間預測區間估計管理工程學院管理統計學管理統計學69點估計點估計管理工

28、程學院管理統計學管理統計學70點估計點估計0 y管理工程學院管理統計學管理統計學71 y 的平均值的點估計的平均值的點估計n 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的一個估計值E(y0) ，就是平均值的點估計在前面的例子中，假如我們要估計貸款余額為100億元時，所有分行不良貸款的平均值，就是平均值的點估計 。根據估計的回歸方程得)(96. 2100037895. 08295. 0)(0億元+yE管理工程學院管理統計學管理統計學72y 的個別值的點估計的個別值的點估計0 y 利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一

29、個個別值的估計值 ，就是個別值的點估計 例如，如果我們只是想知道貸款余額為72.8億元的那個分行(這里是編號為10的那個分行)的不良貸款是多少，則屬于個別值的點估計 。根據估計的回歸方程得)(93. 18 .72037895. 08295. 00億元+y管理工程學院管理統計學管理統計學73區間估計區間估計管理工程學院管理統計學管理統計學74區間估計區間估計點估計不能給出估計的精度，點估計值與實際值之間是有誤差的，因此需要進行區間估計對于自變量 x 的一個給定值 x0，根據回歸方程得到因變量 y 的一個估計區間區間估計有兩種類型置信區間估計(confidence interval estimat

30、e)預測區間估計(prediction interval estimate)管理工程學院管理統計學管理統計學75置信區間估計置信區間估計利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的平均值的估計區間 ，這一估計區間稱為置信區間置信區間(confidence interval) E(y0) 在1-置信水平下的置信區間為+niiexxxxnsnty1220201)2(管理工程學院管理統計學管理統計學76置信區間估計置信區間估計(例題分析例題分析) 【例例】求出貸款余額為100億元時，不良貸款95%置信水平下的置信區間 解：根據前面的計算結果，已知n=25， se=1.

31、9799，t(25-2)=2.069 置信區間為96. 20y5744.154933)268.120100(2519799. 1069. 296. 22+8059. 3)(1141. 20yE管理工程學院管理統計學管理統計學77預測區間估計預測區間估計利用估計的回歸方程，對于自變量 x 的一個給定值 x0 ，求出因變量 y 的一個個別值的估計區間，這一區間稱為預測區間預測區間(prediction interval) y0在1-置信水平下的預測區間為+niiexxxxnSnty12202011)2(管理工程學院管理統計學管理統計學78預測區間估計預測區間估計(例題分析例題分析)【例例】求出貸款余額為72.8億元的那個分行，不良貸款95%的預測區間 解：根據前面的計算結果，已知n=25， se=1.9799，t(25-2)=2.069 預測區間為93. 10y5744.154933)268.1208 .72(25119799. 10687. 296. 22+1366. 62766. 2