一、一元線性回歸二、一元線性回歸方程三、回歸關系的顯著性檢驗四、置信區間五、多元線性回歸六、回歸診斷用SPSS作線性回歸分析

生產實踐中，常常能找到一個變量與另外一個變量之間的關系：小麥的施肥量與產量、水稻的株高和穗長、冬天的溫度與來年病蟲害的發生程度等等。回歸分析就是找出合適的回歸方程，從而用一個變量來預測另一個變量。一元線性回歸：最簡單的回歸關系，即一個變量y在一個變量x上的回歸關系，稱x為自變量，y為因變量（或稱響應變量、依賴變量）第一節一元線性回歸如果兩個變量x，y之間存在線性回歸關系，則有回歸模型：總體：yi＝+xi+i

a

稱為回歸截距

b

稱為回歸系數i

稱為隨機誤差樣本：yi

＝a+bxi+i回歸方程：

＝a+bx第一節一元線性回歸

回歸參數的計算——最小二乘法期望擬合的線性回歸方程與試驗資料的誤差最小，擬合的誤差也稱作離回歸平方和或殘差，可以利用數學中求極值的方法解出a

和b

而使得誤差平方和為最小。

誤差平方和：第二節線性回歸方程分別求Q

對a

和b

的偏導數，令其等于0：

整理得正規方程組：第二節線性回歸方程解正規方程組：(3)式各項乘：(1)式除以

n

得：(2)-(5)式得：即：于是：于是：線性回歸方程便已求出為：第二節線性回歸方程對此統計假設有兩種檢驗方法：檢驗線性回歸關系是否存在，就是檢驗建立回歸模型的樣本是否來自存在回歸關系的總體，即

H0：

＝0vsHA：

≠0

只有在此檢驗結果為顯著時，用

a

估計

，用

b估計

，用估計

y

才是有意義的。F檢驗法

和t

檢驗法注：df1=1，df2=n-2的一尾F值等于df=n-2的兩尾t值的平方第三節回歸關系的顯著性檢驗

如果在模型

yi＝

+

xi+i中，

＝

0，這就意味著不管

xi為什么值，

yi都不發生實質性變化；換言之，x和

y

之間沒有顯著的回歸關系。1.F檢驗法利用下圖說明F檢驗法的基本原理。

當自變量為，對應的因變量的實測值為，因變量的預測值為。于是的離均差可分解為兩個部分：離均差

隨機誤差回歸引起的偏差第三節回歸關系的顯著性檢驗對數據資料所有點的求和得：

對于任一個點有：

兩邊平方得：

證明：上式右邊的中間項為0：即

即第三節回歸關系的顯著性檢驗誤差平方和回歸平方和的總平方和于是：

的總平方和便分解為兩個部分：第三節回歸關系的顯著性檢驗對所有點求和得：

變異來源自由度平方和均方Ｆ值回歸誤差１n-2UQ

總變異n-1T檢驗結論：若F>F0.05，則存在顯著的線性回歸關系。利用方差分析表第三節回歸關系的顯著性檢驗2.t檢驗法其中回歸系數其標準誤:

第三節回歸關系的顯著性檢驗H0:＝0vsHA：≠0選擇t

統計量:

研究光照強度與凈光合強度的關系光照

強度X凈光合

強度Y一級計算：30070010001500220030004000500060007000140260300380410492580690740830實例：回歸系數b

:回歸截距a:

實例：變異來源自由度平方和均方Ｆ值回歸誤差１84447841081044478413513295.3211.26總變異9455595F檢驗結論：回歸關系達極顯著，可得線性回歸方程

用光照強度估測凈光合強度是合理的。1、F檢驗法實例：P161實例：P1612、t

檢驗結論：回歸關系極顯著，可得線性回歸方程用光照強度來預測凈光合強度是合理的。實例：t檢驗第四節預測值的置信區間因此由x預測y時，y的95%置信區間為：由x預測y時，y有一定的誤差，其標準誤差為：實例：由x預測y的預測區間第一步：計算當x=2500時，

y

的點估計值：第二步：求y的標準誤差：實例：由X預測Y的預測區間第三步：求y的置信區間：第四步：結論有95％的把握預測當樹冠的光照強度為2500時，凈光合作用的強度在338.95到517.30之間。第五節多元線性回歸分析一、多元線性回歸分析概述上面討論的只是兩個變量的回歸問題，其中因變量只與一個自變量相關。但在大多數的實際問題中，影響因變量的因素不是一個而是多個，我們稱這類多自變量的回歸問題為多元回歸分析。這里著重討論簡單而又最一般的線性回歸問題，這是因為許多非線性的情形可以化為線性回歸來做。多元線性回歸分析的原理與一元線性回歸分析完全相同，但在計算上卻要復雜得多。一、多元線性回歸分析概述多元線性回歸模型多元線性回歸方程第五節多元線性回歸分析式中β0β1β2

…βm為（偏）回歸系數式中b0

b1

b2

…

bm為（偏）回歸系數的估計值根據最小二乘法原理，的估計值應該使

二、參數估計方法——最小二乘準則由求極值的必要條件得：第五節多元線性回歸分析采用矩陣形式：

Y=XB+E二、參數估計方法——最小二乘準則解得：第五節多元線性回歸分析1、回歸方程的假設檢驗三、假設檢驗原假設H0：β1＝β2＝…＝βm＝0F統計量為：回歸平方和：自由度：m誤差平方和：自由度：n-m-1第五節多元線性回歸分析2、回歸系數的假設檢驗統計量為t：其中： C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素

Q

為誤差平方和，自由度：df=n-m-1第五節多元線性回歸分析原假設H0

：βi＝01）t檢驗2、回歸系數的假設檢驗統計量為：其中：Ui為xi對y的回歸平方和，Q

為誤差平方和C(i+1)(i+1)為矩陣(X’X)-1的(i+1)(i+1)元素自由度：df1

=1

df2=n-m-1第五節多元線性回歸分析原假設H0

：βi＝02）F檢驗四、回歸模型的選擇由于自變量較多時，不是每一個自變量的回歸關系都顯著，對回歸不顯著的自變量不能簡單的進行剔除。尤其時自變量之間存在嚴重的線性關系時，自變量之間相互影響，很難對自變量的去留做出抉擇。為了獲得最優回歸方程，就需要對自變量進行篩選。第五節多元線性回歸分析常用的自變量的篩選方法：第五節多元線性回歸分析1、向前引入法（Forward）按顯著性程度，逐個將回歸模型外自變量引入回歸模型，直到沒有顯著的自變量引入為止。2、向后剔除法（Backward）對全回歸模型中不顯著的自變量依次剔除，直到回歸模型中剩余自變量都顯著為止。3、逐步篩選法（Stepwise）逐個引入最顯著的自變量，同時對模型中不顯著的自變量進行剔除，直到沒有引入和剔除為止。五、回歸模型的判別準則1.R2決定系數

AdjR2矯正的決定系數

n為觀測數，p為含截距的參數個數，i為截距數決定系數的值越大，越接近于1模型擬合越好。第五節多元線性回歸分析五、回歸模型的判別準則2.PRESS統計量——預測殘差平方和其中ri

為殘差，hi

為杠桿率PERSS統計量用來比較不同方法所建立的回歸模型的優劣，PRESS的值越小，模型越好。第五節多元線性回歸分析五、回歸模型的判別準則3.Cp統計量其中k

為參數個數，n

為觀測數

ESS(k)為含k個參數的誤差平方和

ESS(T)為全回歸的誤差平方和Cp統計量的值越小，回歸模型越好。第五節多元線性回歸分析一、殘差（Residual）分析殘差：指實測值和預測值之間的差。第六節回歸診斷標準化殘差：學生化殘差：學生化殘差使殘差具有優良的可比性殘差圖：以觀測值(x或y)為橫坐標，殘差為縱坐標第六節回歸診斷方差非齊性時，可用加權最小二乘法回歸，或者對因變量的數據進行適當的變換，如：第六節回歸診斷觀測值不獨立時（共線性）：說明自變量之間存在著一定的相關性。可能遺漏了某些重要的自變量；可用逐步回歸、偏最小二乘法回歸或嶺回歸等進行分析。第六節回歸診斷異常點的識別：1.杠桿率hi刻劃第i各觀測值到中心的遠近。2.一般把標準化殘差的絕對值≥2的點認為是可疑點，絕對值≥3的點認為是異常點。考慮是否作為例外值加以剔除或做其它處理。杠桿率較大的數據點可以判別為可疑點。第六節回歸診斷二、貢獻分析貢獻分析：從研究觀測點對回歸結果的影響入手，找出對回歸結果影響比較大的觀測點。若存在對回歸結果影響比較大的觀測點時，得到的回歸模型無法保證其穩定性和應用效果。我們希望每個觀測點對回歸結果都產生一定的影響，個別觀測的改變不會對回歸模型產生較大的影響。對強影響點的值進行復驗，或增大樣本容量。1、DFFITS統計量此統計量衡量一個觀測排除與否對預測值的影響第六節回歸診斷一般當時，該觀測值應作為強影響點加以關注。2、CooksD統計量此統計量衡量一個觀測排除與否對回歸系數的影響一般當|Di|>4/n

時，該觀測值應作為強影響點加以關注。第六節回歸診斷第六節回歸診斷三、共線性診斷共線性：擬合多元線性回歸時，自變量之間存在線性或近似線性的關系。共線性存在時，可能會隱藏某些自變量的顯著性，增加擬合模型的方差，產生很不穩定的回歸模型。進行共線性診斷的方法是基于對自變量的觀測數據構成的矩陣進行分析，常用的統計量有：方差膨脹因子（容許度）和條件指數。1、方差膨脹因子（VIF）VIF是指回歸系數的估計量由于自變量的共線性使得方差增加的一個相對度量。一般若VIF>10表明存在很強的共線性。容許度（Tol）：Tol=1/VIF是自變量xi對模型中其余自變量線性回歸模型的決定系數R2第六節回歸診斷若矩陣X’X特征值為，則d1/dj，j＝1,2,…,k就稱為條件指數2、條件指數判別存在強共線性時，dj對應的特征向量的變量間存在近似線性關系，根據方差貢獻大于0.5找出有共線性的變量集。條件指數在10～30間為弱相關；在30～100間為中等相關；大于100表明存在強相關。第六節回歸診斷第七節

SPSS的線性回歸操作一元回歸：自變量強行

進入的回歸使用SPSS的“Analyze→Regression→linear”模塊分析數據文件：例11.6.sav研究假設：各項貸款余額x是影響不良貸款y的關鍵因素

因變量被解釋變量Y自變量解釋變量X解釋變量的篩選策略Enter所選變量強行進入回歸方程；Stepwise逐步回歸策略；Remove從回歸方程中剔除所選變量；Backward向后篩選策略；Forward向前篩選策略；輸出回歸系數、回歸系數標準誤差、標準化回歸系數、回歸系數顯著性檢驗一元回歸的擬合優度R2一元回歸只需要看此項即可擬合優度為0.712，模型的總體擬合情況較好SSTSSESSRSig值小于顯著性水平，拒絕回歸方程顯著性檢驗的零假設，認為各回歸系數不同時為零。非標準化的回歸系數回歸系數的標準誤差標準化回歸系數解釋變量“各項貸款余額”的sig值小于顯著性水平a，表明該解釋變量的回歸系數與零有顯