第十一章多元線性回歸與多元逐步回歸

(MultipleLinearRegression

andMultipleStepwiseRegression)

華中科技大學同濟醫學院尹平例子一個應變量與多個自變量間的關系兒童身高與年齡、性別的關系肺活量與年齡、性別、身高、體重以及胸圍的呼吸差等因素的關系多元線性回歸如構成線性依存關系第一節多元線性回歸

第二節多元逐步回歸

第三節多元線性回歸的注意事項第一節多元線性回歸

（multiplelinearregression

）多元線性回歸的數據格式一、多元線性回歸方程

(multiplelinearregressionequation)

常數項，表示當所有自變量為0時應變量Y的總體平均值的估計值

表示除以外的其它自變量固定不變的情況下，每改變一個測量單位時所引起的應變量Y的平均改變量bj為偏回歸系數（partialregressioncoefficient)兩個自變量與應變量的散點圖兩個自變量與應變量的擬合面bj為xj方向的斜率1.求偏回歸系數bj及b0根據最小二乘法(methodofleastsquare)原理求出bj,即得到bj

2.例子

例11.120名糖尿病人的血糖、胰島素及生長素的測定值列于下表中，試建立血糖對于胰島素及生長素的二元線性回歸方程。

對于本例有:采用最小二乘法即可求出常數項b0和偏回歸系數b1、b2。

其中

對表11-2的數據資料由SAS統計軟件可得到如下

表11-3的主要結果。

由此得到回歸方程為二、回歸方程的假設檢驗1.模型檢驗其中：自由度為

總＝n－1，

回歸＝k，

剩余＝n－k－1

X2X1YModelSSTotalSSResidualSS

由表11-4可知，F＝21.54，P<0.05。從而，拒絕H0，可以認為β１和β２不全為0，即所求回歸方程有統計學意義。對于例11.1的模型檢驗H0：β１＝β２＝０H1：β１和β２不全為0

＝0.05對表11-3的數據資料，由SAS統計軟件可得到如下表11-4的模型檢驗結果。

２．偏回歸系數的檢驗

（1）F檢驗j=1,2,…,k之中，U為Xj的偏回歸平方和,即U=SS回歸－SS回歸(-j)

Fj服從F

(1,n-k-1)分布表11-5例11.1數據的偏回歸系數F檢驗表方程內自變量平方和FPSS回歸SS回歸-SS回歸(-j)

SS殘差X1,X2116.6２６46.025X266.27550.35218.598<0.0５X1114.7031.9240.710>0.05

在

＝0.05水平上，可以認為胰島素對血糖的線性回歸關系有統計學意義，而生長素對血糖的線性回歸關系無統計學意義。所以應剔除X2，只建立X1與Y的線性回歸方程。

(2)t檢驗j=1,2,…,k，P=0.0005；

在α＝0.05水平下，認為血糖與胰島素的線性回歸關系有統計學意義，而與生長素的線性回歸關系無統計學意義。

結論與F檢驗一致。，P=0.4110。三、標準化回歸系數

（standardizedpartialregressioncoefficient)

式中，Sj及Sy分別為自變量Xj

及因變量Y的標準差。可以利用標準化偏回歸系數的大小來反映各自變量的貢獻大小。

１．復相關系數（multiplecorrelation

coefficient）

又稱多元相關系數或全相關系數，表示回歸方程中的全部自變量X共同對應變量Y的相關密切程度。復相關系數取值總為正值，在0與1之間，簡記為R。如果只有一個自變量，此時

四、復相關系數與決定系數2．決定系數(coefficientofdetermination）

復相關系數的平方又稱決定系數，記為，用以反映線性回歸方程能在多大程度上解釋應變量Y的變異性。回歸方程的擬合程度越好，殘差平方和就越小，決定系數越接近1，決定系數越接近1第二節多元逐步回歸

（multiplestepwiseregression）

1.多元逐步回歸的基本思想多元逐步回歸（multiplestepwiseregression）有三種篩選自變量的方法：1．向后法（Backwardselection）先建立一個全因素的回歸方程，然后每次剔除一個偏回歸平方和最小且無統計學意義的自變量，直到不能剔除時為止，此法的計算量大，有時不能實現。2．向前法（forwardselection）方程由一個自變量開始，每次引入一個偏回歸平方和最大，且具有統計學意義的自變量，由少到多，直到無具有統計意義的因素可以引入為止。用此法建立的方程有時不夠精煉。3.逐步法（stepwiseselecfion）取上述兩種方法的優點，在向前引入每一個新自變量之后都要重新對前已選入的自變量進行檢查，以評價其有無繼續保留在方程中的價值。為此引入和剔除交替進行，直到無具有統計學意義的新變量可以引入也無失去其統計學意義的自變量可以剔除時為止。2.多元逐步回歸的基本原理

每一步只引入或剔除一個自變量。自變量是否被引入或剔除則取決于其偏回歸平方和的F檢驗或校正決定系數。如方程中已引入了(m-1)個自變量，在此基礎上考慮再引入變量Xj。記引入Xj

后方程（即含m個自變量）的回歸平方和為SS回歸，殘差為SS殘差；之前含(m-1)個自變量（不包含Xj）方程的回歸平方和為SS回歸(-j)，則Xj

的偏回歸平方和為U