第07章回歸分析回歸分析與相關分析的區(qū)別回歸分析中，變量Y稱為因變量，處于被解釋的地位。而在相關分析中，X與Y處于平等地位；相關分析中，X和Y全是隨機變量，而在回歸分析中，因變量Y是隨機變量，自變量X可以是隨機變量，也可以是非隨機的。通常回歸模型中假定X是非隨機的精確變量；相關分析的研究是為了刻畫兩變量間線性相關的密切程度。而回歸分析不僅可以揭示X對Y的影響大小，還可以由回歸方程進行預測和控制。2Outline第一節(jié)回歸分析的基本原理第二節(jié)一元線性回歸分析第三節(jié)多元線性回歸分析第四節(jié)路徑分析31.相關和回歸

1.1散點圖scatterdiagram451.2平方和、積矩和、協(xié)方差

sumofsquaressumofproductscovariance6第一節(jié)回歸分析的基本原理一、回歸分析的意義二、回歸分析的基本原理三、回歸分析的主要內容一、回歸分析的意義

regressionanalysis回歸分析：確定變量之間數(shù)量關系的可能形式，并用一個數(shù)學模型來表示這種關系形式它可以從一個變量的變化來預測或估計另一個變量的變化只有一個自變量的線性回歸叫一元線性回歸或簡單線性回歸尋找一條最佳擬合直線best-fittingline，使得預測值predictedvalue和觀測值observedvalue之間的誤差最小8二、回歸分析的基本思想（一）回歸分析的數(shù)學模型（二）最佳擬合

回歸線theregressionline10最佳擬合直線

best-fittingline11第二節(jié)一元線性回歸分析一、一元線性回歸的模型及性質二、一元線性回歸方程的建立三、一元線性回歸方程的有效性檢驗四、回歸方程有效性的指標五、一元線性回歸分析的估計與預測二、一元線性回歸的數(shù)學模型從X預測Y

Y=0+1X+ Y=a+bX+eY與X的關系分為兩部分0+1X是由于X的變化引起線性變化的部分;是全體一切隨機因素造成的部分

~N(0,s2)13一元線性回歸的基本假設X與Y在總體上具有線性關系變量X沒有測量誤差（看成精確變量）(Xi,Yi)和(Xj,Yj)彼此獨立；與某一個Xi值對應的Y值構成變量Y上一個子總體，這樣的子總體服從正態(tài)分布，且它們的方差相等?i

是Xi對應Y的子總體的平均數(shù)的無偏估計14小結15尋找一條最佳擬合直線用方差分析檢驗回歸方程有效性有效性高低指標：決定系數(shù)r2回歸估計的標準誤SY·X回歸線的求解16正規(guī)方程組normalequationsQ17對回歸系數(shù)的解釋182.4從給定的X來估計對應的Y無窮大的樣本取給定X對應的所有Y的均值作為估計值對應于某個X的所有Y稱為Y的條件分布conditionaldistribution有限樣本

19五、一元線性回歸的估計與預測（一）估計因變量主值和主值區(qū)間（二）單個因變量實測值的預測五、預測的準確性如果需要你去猜測某個班的每個學生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？標準差作為誤差的度量21估計的標準誤

standarderrorofestimate22三、回歸有效性的檢驗（一）誤差平方和（二）因變量變異的分解誤差平方和相關越高，誤差越小相關越高，從X預測Y就越準確，誤差就越小24因變量變異的分解25對r的顯著性的檢驗26對回歸的有效性檢驗27對r的顯著性檢驗28四、回歸有效性的指標-

-決定系數(shù)（測定系數(shù)）r2coefficientofdetermination衡量回歸方程有效性高低的指標回歸平方和在總離差平方和中所占的比例因變量的變異中可以從自變量的變異來解釋的比例29五、一元線性回歸的估計與預測（一）估計因變量主值和主值區(qū)間（二）單個因變量實測值的預測五、預測的準確性如果需要你去猜測某個班的每個學生的某次考試的成績，而只告訴你該班的平均分，怎樣猜才能誤差最小？標準差作為誤差的度量31估計的標準誤

standarderrorofestimate32六、可化為線性回歸的一元曲線回歸第三節(jié)多元線性回歸分析一、多元線性回歸分析的意義二、多元線性回歸方程的建立三、多元線性回歸方程解題步驟四、多元線性回歸方程的有效性檢驗五、自變量顯著性檢驗六、逐步回歸法多元線性回歸的數(shù)學模型從X1,X2,

…,Xk（憑經(jīng)驗選取）預測Y

Y=0+1X1+2X2+…+kXk+

~N(0,s2)根據(jù)樣本數(shù)據(jù)建立的回歸方程

?=b0+b1X1+b2X2+…+bkXkbi稱為（偏）回歸系數(shù)偏回歸系數(shù)表示其它自變量假設不變時，某一個自變量變化而引起因變量變化的比率35標準回歸方程、標準偏回歸系數(shù)把所有原始數(shù)據(jù)轉換成標準分數(shù)，以標準分數(shù)建立的回歸方程為標準回歸方程

?Y=1Z1+2Z2+…+kZk

標準回歸方程的回歸系數(shù)稱為標準(偏)回歸系數(shù)，其大小可直接反映對應的變量在預測時做的貢獻bi=i·SY/SXi36偏回歸系數(shù)的計算基本原理最小二乘法：預測值和觀測值的誤差平方和最小一般借助于計算機ExcelSPSSSASMinitab37多元測(決)定系數(shù)r2其中r稱為復相關系數(shù)multiplecorrelationcoefficientr

實際上就是預測值?和觀測值Y之間的相關系數(shù)38多元線性回歸方程的檢驗方差分析39偏回歸系數(shù)的顯著性檢驗回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個偏回歸系數(shù)不顯著意味著對應的自變量在回歸方程中沒什么貢獻可以去掉該變量，重新建立回歸方程檢驗方法40選擇有效自變量的方法逐步回歸stepwiseregression對不顯著變量，只剔除對回歸貢獻最小的那個變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻最小的那個變量，重新建立新的回歸方程，直至所有變量都顯著前進法forwardregression逐步加入自變量，檢驗顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量41工具-數(shù)據(jù)分析-回歸42Excel的多元回歸結果43應用多元回歸的注意事項多重共線性Multi-collinearityX1,X2,…,Xk之間存在密切的線性關系，稱它們之間存在著多重共線性。此時對回歸系數(shù)的估計不穩(wěn)定因果關系回歸分析能表現(xiàn)出變量彼此關聯(lián)或有聯(lián)系，但不能證明其因果關系回歸系數(shù)的大小計量單位相同或數(shù)據(jù)標準化時才能直接比較樣本容量r2受n對于自變量個數(shù)k的影響。一般觀測數(shù)n至少等于自變量個數(shù)k的10－15倍。44第四節(jié)路徑分析一、基本原理二、案例分析2.7樣本回歸線和總體回歸線根據(jù)樣本數(shù)據(jù)的回歸分析結果為樣本回歸線?=a+bX不同的樣本對應于不同的樣本回歸線所有樣本回歸線都是總體回歸線

?=a+bX的一個估計所有樣本回歸線會在總體回歸線附近波動對給定X，對應的總體回歸線的?也稱為主值，而某條樣本回歸線對應的?i只是?的一個點估計所有?i的平均值將為?4647??iX2.8回歸分析的應用預測已知X0，預測總體回歸線對應的?0（主值）已知X0，預測新的觀測值Y0控制已知Y的范圍，控制X的范圍483.3偏回歸系數(shù)的計算基本原理最小二乘法：預測值和觀測值的誤差平方和最小一般借助于計算機ExcelSPSSSASMinitab493.4多元測(決)定系數(shù)r2其中r稱為復相關系數(shù)multiplecorrelationcoefficientr

實際上就是預測值?和觀測值Y之間的相關系數(shù)503.5多元線性回歸方程的檢驗方差分析513.6偏回歸系數(shù)的顯著性檢驗回歸方程顯著并不意味著所有的回歸系數(shù)都顯著某個偏回歸系數(shù)不顯著意味著對應的自變量在回歸方程中沒什么貢獻可以去掉該變量，重新建立回歸方程檢驗方法523.7選擇有效自變量的方法逐步回歸stepwiseregression對不顯著變量，只剔除對回歸貢獻最小的那個變量；然后重新建立新的回歸方程，如仍有不顯著變量，仍僅剔除對回歸貢獻最小的那個變量，重新建立新的回歸方程，直至所有變量都顯著前進法forwardregression逐步加入自變量，檢驗顯著就保留后退法backwardregression將所有自變量引入回歸方程，逐漸剔除那些對回歸方程作用不大的自變量533.8Excel：工具-數(shù)據(jù)分析-回歸54Excel的多元回歸結果553.9應用多元回歸的注意事項多重共線性Multi-collinearityX1,X2,…,Xk之