多元相關與回歸分析第一頁，共八十二頁，2022年，8月28日學習目標1. 回歸模型、回歸方程、估計的回歸方程2. 回歸方程的擬合優(yōu)度回歸方程的顯著性檢驗利用回歸方程進行估計和預測非線性回歸用SPSS進行回歸分析第二頁，共八十二頁，2022年，8月28日10.1多元線性回歸模型10.1.1多元回歸模型與回歸方程10.1.2估計的多元回歸方程10.1.3參數(shù)的最小二乘估計第三頁，共八十二頁，2022年，8月28日多元回歸模型與回歸方程第四頁，共八十二頁，2022年，8月28日多元回歸模型

(multipleregressionmodel)一個因變量與兩個及兩個以上自變量的回歸描述因變量y如何依賴于自變量x1

，x2

，…，

xk

和誤差項

的方程，稱為多元回歸模型涉及k個自變量的多元回歸模型可表示為

b0

，b1，b2

，，bk是參數(shù)

是被稱為誤差項的隨機變量y是x1,，x2

，，xk

的線性函數(shù)加上誤差項

包含在y里面但不能被k個自變量的線性關系所解釋的變異性第五頁，共八十二頁，2022年，8月28日多元回歸模型

(基本假定)誤差項ε是一個期望值為0的隨機變量，即E()=0對于自變量x1，x2，…，xk的所有值，的方差2都相同誤差項ε是一個服從正態(tài)分布的隨機變量，即ε~N(0,2)，且相互獨立第六頁，共八十二頁，2022年，8月28日多元回歸方程

(multipleregressionequation)描述因變量y的平均值或期望值如何依賴于自變量x1，x2

，…，xk的方程多元線性回歸方程的形式為

E(y)=0+1x1

+2x2

+…+

k

xkb1，b2，，bk稱為偏回歸系數(shù)

bi

表示假定其他變量不變，當xi

每變動一個單位時，y的平均變動值第七頁，共八十二頁，2022年，8月28日二元回歸方程的直觀解釋二元線性回歸模型(觀察到的y)回歸面0ix1yx2(x1,x2)}第八頁，共八十二頁，2022年，8月28日估計的多元回歸方程第九頁，共八十二頁，2022年，8月28日估計的多元回歸的方程

(estimatedmultipleregressionequation)用樣本統(tǒng)計量估計回歸方程中的參數(shù)

時得到的方程由最小二乘法求得一般形式為是的估計值

是y的估計值

第十頁，共八十二頁，2022年，8月28日參數(shù)的最小二乘估計第十一頁，共八十二頁，2022年，8月28日參數(shù)的最小二乘法求解各回歸參數(shù)的標準方程如下使因變量的觀察值與估計值之間的離差平方和達到最小來求得

。即第十二頁，共八十二頁，2022年，8月28日參數(shù)的最小二乘法

(例題分析)【例】一家大型商業(yè)銀行在多個地區(qū)設有分行，為弄清楚不良貸款形成的原因，抽取了該銀行所屬的25家分行2002年的有關業(yè)務數(shù)據(jù)。試建立不良貸款y與貸款余額x1、累計應收貸款x2、貸款項目個數(shù)x3和固定資產(chǎn)投資額x4的線性回歸方程，并解釋各回歸系數(shù)的含義第十三頁，共八十二頁，2022年，8月28日10.2回歸方程的擬合優(yōu)度10.2.1多重判定系數(shù)10.2.2估計標準誤差第十四頁，共八十二頁，2022年，8月28日多重判定系數(shù)第十五頁，共八十二頁，2022年，8月28日多重判定系數(shù)

(multiplecoefficientofdetermination)回歸平方和占總平方和的比例計算公式為因變量取值的變差中，能被估計的多元回歸方程所解釋的比例第十六頁，共八十二頁，2022年，8月28日在樣本容量一定的條件下，不斷向模型中增加自變量，即使新增的變量與Y不相關，模型的R2也可能上升，至少不會下降。在實際應用中，研究人員更歡迎簡單的模型，這樣的模型更簡單和易于解釋。如果根據(jù)R2來選擇模型，顯然會傾向于復雜的模型。更常用的指標是“修正后的Ra2”。修正的判定系數(shù)第十七頁，共八十二頁，2022年，8月28日修正多重判定系數(shù)

(adjustedmultiplecoefficientofdetermination)

用樣本量n和自變量的個數(shù)k去修正R2得到計算公式為避免增加自變量而高估R2意義與R2類似數(shù)值小于R2第十八頁，共八十二頁，2022年，8月28日估計標準誤差Se對誤差項的標準差的一個估計值衡量多元回歸方程的擬合優(yōu)度計算公式為第十九頁，共八十二頁，2022年，8月28日12.3顯著性檢驗12.3.1線性關系檢驗12.3.2回歸系數(shù)檢驗和推斷第二十頁，共八十二頁，2022年，8月28日線性關系檢驗第二十一頁，共八十二頁，2022年，8月28日線性關系檢驗檢驗因變量與所有自變量之間的線性關系是否顯著也被稱為總體的顯著性檢驗檢驗方法是將回歸均方(MSR)同殘差均方(MSE)加以比較，應用F檢驗來分析二者之間的差別是否顯著如果是顯著的，因變量與自變量之間存在線性關系如果不顯著，因變量與自變量之間不存在線性關系第二十二頁，共八十二頁，2022年，8月28日線性關系檢驗提出假設H0：12k=0線性關系不顯著H1：1，2，k至少有一個不等于02.計算檢驗統(tǒng)計量F確定顯著性水平和分子自由度k、分母自由度n-k-1找出臨界值F

4.作出決策：若F>F

，拒絕H0第二十三頁，共八十二頁，2022年，8月28日回歸系數(shù)檢驗和推斷第二十四頁，共八十二頁，2022年，8月28日回歸系數(shù)檢驗和推斷回歸方程顯著，并不意味著每個解釋變量對因變量Y的影響都重要,因此需要進行檢驗：回歸系數(shù)檢驗的必要性回歸方程顯著每個回歸系數(shù)都顯著第二十五頁，共八十二頁，2022年，8月28日回歸系數(shù)的檢驗(步驟)提出假設H0：bi=0(自變量xi

與

因變量y沒有線性關系)H1：bi

0(自變量xi

與

因變量y有線性關系)計算檢驗的統(tǒng)計量t確定顯著性水平，并進行決策t>t，拒絕H0；t<t，不拒絕H0第二十六頁，共八十二頁，2022年，8月28日回歸系數(shù)的推斷

(置信區(qū)間)回歸系數(shù)在(1-)%置信水平下的置信區(qū)間為

回歸系數(shù)的抽樣標準差第二十七頁，共八十二頁，2022年，8月28日10.4多重共線性10.4.1多重共線性及其所產(chǎn)生的問題10.4.2多重共線性的判別10.4.3多重共線性問題的處理第二十八頁，共八十二頁，2022年，8月28日多重共線性及其產(chǎn)生的問題第二十九頁，共八十二頁，2022年，8月28日多重共線性回歸模型中兩個或兩個以上的自變量彼此相關多重共線性帶來的問題有t檢驗值會減小、系數(shù)的顯著性下降。對于一組存在高度多重共線性的自變量，很難對單個系數(shù)進行解釋。有可能導致各回歸系數(shù)的符號同我們的預期相反。第三十頁，共八十二頁，2022年，8月28日多重共線性的識別第三十一頁，共八十二頁，2022年，8月28日多重共線性的識別檢測多重共線性的最簡單的一種辦法是計算模型中各對自變量之間的相關系數(shù)，并對各相關系數(shù)進行顯著性檢驗若有一個或多個相關系數(shù)顯著，就表示模型中所用的自變量之間相關，存在著多重共線性如果出現(xiàn)下列情況，暗示存在多重共線性模型中各對自變量之間顯著相關當模型的線性關系檢驗(F檢驗)顯著時，幾乎所有回歸系數(shù)的t檢驗卻不顯著回歸系數(shù)的正負號與預期的相反第三十二頁，共八十二頁，2022年，8月28日多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性貸款余額、應收貸款、貸款項目、固定資產(chǎn)投資額之間的相關矩陣第三十三頁，共八十二頁，2022年，8月28日多重共線性

(例題分析)【例】判別各自變量之間是否存在多重共線性相關系數(shù)的檢驗統(tǒng)計量第三十四頁，共八十二頁，2022年，8月28日多重共線性

(例題分析)

t(25-2)=2.0687，所有統(tǒng)計量t>t(25-2)=2.0687，所以均拒絕原假設，說明這4個自變量兩兩之間都有顯著的相關關系由表中的結(jié)果可知，回歸模型的線性關系顯著(Significance-F＝1.03539E-06<=0.05)。而回歸系數(shù)檢驗時卻有3個沒有通過t檢驗(P-Value=0.074935，0.862853，0.067030>=0.05)。這也暗示了模型中存在多重共線性固定資產(chǎn)投資額的回歸系數(shù)為負號(-0.029193)，與預期的不一致第三十五頁，共八十二頁，2022年，8月28日多重共線性問題的處理第三十六頁，共八十二頁，2022年，8月28日多重共線性

(問題的處理)將一個或多個相關的自變量從模型中剔除，使保留的自變量盡可能不相關如果要在模型中保留所有的自變量，則應避免根據(jù)t統(tǒng)計量對單個參數(shù)進行檢驗對因變量值的推斷(估計或預測)的限定在自變量樣本值的范圍內(nèi)第三十七頁，共八十二頁，2022年，8月28日多元回歸中的變量篩選在多元回歸中，預先選定的自變量不一定都對Y有顯著的影響。有一些統(tǒng)計方法可以幫助我們從眾多可能的自變量中篩選出重要的自變量。SPSS軟件提供了多種篩選自變量的方法：“向前引入法（Forward）”

“向后剔除法（Backward）”

“逐步引入—剔除法（Stepwise）”第三十八頁，共八十二頁，2022年，8月28日變量選擇過程在建立回歸模型時，對自變量進行篩選選擇自變量的原則是對統(tǒng)計量進行顯著性檢驗將一個或一個以上的自變量引入到回歸模型中時，是否使得殘差平方和(SSE)有顯著的減少。如果增加一個自變量使SSE的減少是顯著的，則說明有必要將這個自變量引入回歸模型，否則，就沒有必要將這個自變量引入回歸模型確定引入自變量是否使SSE有顯著減少的方法，就是使用F統(tǒng)計量的值作為一個標準，以此來確定是在模型中增加一個自變量，還是從模型中剔除一個自變量變量選擇的方法主要有：逐步回歸、向前選擇、向后剔除第三十九頁，共八十二頁，2022年，8月28日向前選擇

(forwardselection)從模型中沒有自變量開始對k個自變量分別擬合對因變量的一元線性回歸模型，共有k個，然后找出F統(tǒng)計量的值最高的模型及其自變量，并將其首先引入模型分別擬合引入模型外的k-1個自變量的線性回歸模型如此反復進行，直至模型外的自變量均無統(tǒng)計顯著性為止第四十頁，共八十二頁，2022年，8月28日向后剔除

(backwardelimination)先對因變量擬合包括所有k個自變量的回歸模型。然后考察p(p<k)個去掉一個自變量的模型(這些模型中每一個都有的k-1個自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除考察p-1個再去掉一個自變量的模型(這些模型中在每一個都有k-2個的自變量)，使模型的SSE值減小最少的自變量被挑選出來并從模型中剔除如此反復進行，一直將自變量從模型中剔除，直至剔除一個自變量不會使SSE顯著減小為止第四十一頁，共八十二頁，2022年，8月28日逐步回歸的思想將變量逐一引入回歸方程，先建立與y相關最密切的一元線性回歸方程，然后再找出第二個變量，建立二元線性回歸方程，…。在每一步中都要對引入變量的顯著性作檢驗，僅當其顯著時才引入，而每引入一個新變量后，對前面已引進的變量又要逐一檢驗，一旦發(fā)現(xiàn)某變量變得不顯著了，就要將它剔除。這些步驟反復進行，直到引入的變量都是顯著的而沒有引入的變量都是不顯著的時，就結(jié)束挑選變量的工作。可以設定引入和刪除變量的條件。第四十二頁，共八十二頁，2022年，8月28日

10.5啞變量回歸10.5.1在模型中引進啞變量10.5.2含有一個啞變量的回歸第四十三頁，共八十二頁，2022年，8月28日10.5.1在模型中引進啞變量第四十四頁，共八十二頁，2022年，8月28日啞變量

(dummyvariable)也稱虛擬變量。用數(shù)字代碼表示的定性自變量啞變量可有不同的水平只有兩個水平的啞變量比如，性別(男，女)有兩個以上水平的啞變量貸款企業(yè)的類型(家電，醫(yī)藥，其他)啞變量的取值為0，1第四十五頁，共八十二頁，2022年，8月28日在回歸中引進啞變量回歸模型中使用啞變量時，稱為啞變量回歸當定性變量只有兩個水平時，可在回歸中引入一個啞變量比如，性別(男，女)一般而言，如果定性自變量有k個水平，需要在回歸中模型中引進k-1個啞變量第四十六頁，共八十二頁，2022年，8月28日在回歸中引進啞變量

(例題分析)例為研究考試成績與性別之間的關系，從某大學商學院隨機抽取男女學生各8名，得到他們的市場營銷學課程的考試成績?nèi)缬冶淼谒氖唔摚舶耸摚?022年，8月28日10.5.2含有一個啞變量的回歸第四十八頁，共八十二頁，2022年，8月28日在回歸中引進啞變量

(例題分析)【例】建立考試分數(shù)與性別之間的線性回歸方程，并解釋回歸系數(shù)的含義第四十九頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析)引進啞變量時，回歸方程表示為E(y)=0+1x男(x=0)：E(y)=0—男學生考試成績的期望值女(x=1)：E(y)=0+1—女學生考試成績的期望值注意：當指定啞變量0，1時0總是代表與啞變量值0所對應的那個分類變量水平的平均值1總是代表與啞變量值1所對應的那個分類變量水平的平均值與啞變量值0所對應的那個分類變量水平的平均值的差值，即平均值的差值=(0+1)-0=1第五十頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析)考試成績與性別的回歸男學生考試分數(shù)的平均值女學生與男學生平均考試分數(shù)的差值第五十一頁，共八十二頁，2022年，8月28日用SPSS進行啞變量回歸

(有一個啞變量和有一個數(shù)值變量)第1步：選擇【Analyze】，并選擇【GeneralLinearModel-Univaiate】進入主對話框第2步：將因變量(考試成績)選入【DependentVariable】，將自變量(性別)選入【FixedFactor(s)】(模型中還含有一個數(shù)值自變量時，將數(shù)值自變量選入【Covariate(s)】)第3步：點擊【Model】，并點擊【Custom】；將性別[F]選入【Model】(若模型中還含有工作年限自變量時，將工作年限[C]也選入【Model】；在【BuildTerm(s)】下選擇【Maineffects】。點擊【Continue】回到主對話框。點擊【Options】，在【Display】下選中【Parameterestimates】(估計模型中的參數(shù))。點擊【Continue】回到主對話框。點擊【OK】SPSS第五十二頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析—只含一個啞變量)SPSS的輸出結(jié)果方差分析表：F=5.326，Sig.=0.037，回歸模型顯著男=1，女=0。女學生考試成績的期望值=81.75分；男學生比女學生平均低14.875分第五十三頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析)【例】為研究工資水平與工作年限和性別之間的關系，在某行業(yè)中隨機抽取10名職工，所得數(shù)據(jù)如右表第五十四頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析—Excel)

Excel輸出的結(jié)果第五十五頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析—SPSS)

SPSS第五十六頁，共八十二頁，2022年，8月28日啞變量回歸

(例題分析—SPSS)

SPSS用工作年限和性別預測的月工資水平及其殘差

第五十七頁，共八十二頁，2022年，8月28日啞變量回歸(例題分析)引進啞變量時，回歸方程寫為

E(y)=0+1x1+2x2女(x2=0)：E(y|女性)=0+1x1男(x2=1)：E(y|男性)=(0+2)+1x10的含義表示：女性職工的期望月工資收入(x1=0時)(0+2)的含義表示：男性職工的期望月工資收入(x1=0時)1含義表示：工作年限每增加1年，男性或女性工資的平均增加值2含義表示：男性職工的期望月工資收入與女性職工的期望月工資收入之間的差值(0+2)-0=2第五十八頁，共八十二頁，2022年，8月28日例題分析【例】某經(jīng)濟學家想調(diào)查文化程度對家庭儲蓄的影響，在一個中等收入的樣本框中，隨機調(diào)查了13戶高等學歷家庭與14戶中低學歷的家庭。因變量y為上一年家庭儲蓄增加額，自變量為上一年家庭總收入，自變量表示家庭學歷。高學歷家庭，低學歷家庭，調(diào)查數(shù)據(jù)見下表。第五十九頁，共八十二頁，2022年，8月28日序號(元)(萬元)1234567891011121314152353463654686588671085123612381345236523653256325632562.33.22.83.52.63.22.63.42.22.82.33.74.02.93.8010101010101101－588－220－2371－1246－1313301－886－9679723091542－115－371137403455－2372－1047－3229－101－1851326－21351784－672585－1985－20741517－1412第六十頁，共八十二頁，2022年，8月28日序號(元)

(萬元)161718192021222324252627326535673658458864369047798589509865986610235101404.64.23.73.54.85.04.23.94.84.64.84.2111011000000－2658－8261178－827－2521593－1082005－524243－1542047－4023－2416－692891－1505453200239471924257822944157第六十一頁，共八十二頁，2022年，8月28日建立對的線性回歸，并計算殘差第六十二頁，共八十二頁，2022年，8月28日兩個自變量與的系數(shù)都是顯著的，多重判定系數(shù)，回歸方程為該結(jié)果表明，中等收入的家庭每增加1萬元收入，平均拿出3826元作為儲蓄。高學歷家庭每年的平均儲蓄額少于低學歷的家庭，平均少3701元。第六十三頁，共八十二頁，2022年，8月28日如果不引入學歷定性變量，用對家庭年收入作一元線性回歸，得說明擬合效果不好。對的一元回歸殘差見表中。第六十四頁，共八十二頁，2022年，8月28日如果不考慮家庭年收入，13戶高學歷家庭的平均年儲蓄增加額為3008.62元，14戶低學歷家庭的平均年儲蓄增加額為5059.36元，高學歷家庭每年的儲蓄額比低學歷的家庭平均少5059.36－3008.62＝2050.74元，而用前面的回歸法算出的值是3701元，兩者并不相等。3701元是在假設兩者的家庭年收入相等的基礎上的儲蓄差值，反映了學歷高低對儲蓄額的真實差異。第六十五頁，共八十二頁，2022年，8月28日10.6非線性回歸10.6.1雙曲線10.6.2冪函數(shù)曲線10.6.3對數(shù)曲線第六十六頁，共八十二頁，2022年，8月28日非線性回歸1. 因變量y與x之間不是線性關系2. 可通過變量代換轉(zhuǎn)換成線性關系用最小二乘法求出參數(shù)的估計值并非所有的非線性模型都可以化為線性模型第六十七頁，共八十二頁，2022年，8月28日雙曲線<0>0基本形式：