建模講座相關與回歸分析第一頁，共八十二頁，編輯于2023年，星期六第一節變量間的相關關系

一、變量相關的概念第二頁，共八十二頁，編輯于2023年，星期六變量之間的關系

１．確定性關系函數關系，例如商品銷售額與銷售量２．非確定性關系相關關系，例如商品需求量與價格第三頁，共八十二頁，編輯于2023年，星期六變量之間相關關系的示意圖相關關系線性相關非線性相關正相關負相關第四頁，共八十二頁，編輯于2023年，星期六二、相關系數及其計算１．變量之間線性相關關系的密切程度的度量２．兩個變量之間線性相關程度的度量，也稱簡單相關系數３．根據總體全部數據計算而得的相關系數，稱總體相關系數，記為ρ４．根據樣本數據計算而的得相關系數，稱為樣本相關系數，記為r第五頁，共八十二頁，編輯于2023年，星期六樣本相關系數(1)其中(2)(3)x和y的樣本相關系數為第六頁，共八十二頁，編輯于2023年，星期六相關系數的取值范圍及意義１．r的取值范圍為［－1，1］２．，稱完全相關，既存在線性函數關系

r＝1，稱完全正相關

r＝－1，稱完全負相關３．r＝0，稱零相關，既不存在相關關系４．r＜0，稱負相關５．r＞0，稱正相關６．愈大，表示相關關系愈密切第七頁，共八十二頁，編輯于2023年，星期六例1在研究我國人均消費水平的問題中，把人均消費金額記為y；把人均國民收入記為x。我們收集到1981－1993年13年的樣本數據。數據見表1。年份人均國民收入人均消費金額年份人均國民收入人均消費金額1981393.8024919881068.86431982419.1426719891169.26991983460.8628919901250.77131984544.1132919911429.58031985668.2940619921725.99471986737.7345119932099.511481987859.97513表1我國人均國民收入與人均消費金額數據

第八頁，共八十二頁，編輯于2023年，星期六解：根據樣本數據得得人均消費金額y與人均國民收入x的樣本相關系數為第九頁，共八十二頁，編輯于2023年，星期六相關系數的顯著性檢驗１．檢驗兩個變量之間是否存在線性關系２．檢驗步驟⑴．⑵．在成立條件下，則⑶．對規定的顯著性水平，若則拒絕，接受。否則接受。第十頁，共八十二頁，編輯于2023年，星期六例1的相關系數檢驗１．２．根據和，查表得３．由于因此，拒絕，認為x和y的相關系數，即人均消費金額y與人均國民收入x之間的相關關系顯著。第十一頁，共八十二頁，編輯于2023年，星期六第二節一元線性回歸１．一元線性回歸模型２．回歸參數的最小二乘估計３．回歸方程的顯著性檢驗４．預測第十二頁，共八十二頁，編輯于2023年，星期六回歸分析與相關分析的區別１．相關分析中x和y都處于相同地位，而回歸分析中，y稱因變量，x稱自變量。２．相關分析中x和y都是隨機變量，而在回歸分析中，因變量y是隨機變量，自變量x則可以是隨機變量，也可以是非隨機變量。３．相關分析主要是描述變量之間的相關關系，而回歸分析主要是確定變量之間的內在聯系。第十三頁，共八十二頁，編輯于2023年，星期六回歸模型的類型示意圖回歸模型一元回歸多元回歸線性回歸非線性回歸線性回歸非線性回歸第十四頁，共八十二頁，編輯于2023年，星期六一、一元線性回歸模型稱為一元線性回歸模型１．一元線性回歸模型只含有一個自變量x２．誤差項為隨機變量３．描述因變量y與自變量x和誤差項的關系４．和稱為模型的參數(10.4)第十五頁，共八十二頁，編輯于2023年，星期六一元線性回歸模型的基本假定１．x為確定性變量２．誤差項滿足３.．(10.5)區間估計和假設檢驗時，還進一步假定服從正態分布即當時，而則是x變動一個單位時，的相應變化量第十六頁，共八十二頁，編輯于2023年，星期六樣本回歸方程１．

和

是未知參數，可以根據樣本數據作估計２．

和

的估計記為和，則稱為樣本回歸方程３．是樣本回歸方程的斜率，表示x每變動一個單位時，的相應變化量。而則是樣本回歸方程的截距。即x＝0時，４．設已取得樣本量為n的隨機樣本，則(10.6)(10.11)第十七頁，共八十二頁，編輯于2023年，星期六二、參數β0，β1的最小二乘估計

１．最小二乘法是使因變量的觀察值與估計值之間的離差平方和達到最小來求和的估計和的方法，即使達到最小，稱和為和的最小二乘估計。(10.12)第十八頁，共八十二頁，編輯于2023年，星期六２．根據微積分中求極值的原理，和應滿足下列方程組得正規方程組解正規方程組得(10.16)(10.17)第十九頁，共八十二頁，編輯于2023年，星期六例根據例10.1的數據，建立人均消費金額y對人均國民收入的回歸方程。已求得按(10.17)式，得從而樣本回歸方程為因此當人均國民收入增長1元時，則人均消費金額增長約0.5元。第二十頁，共八十二頁，編輯于2023年，星期六三、回歸方程的顯著性檢驗

㈠、F檢驗

１．平方和分解

用SST表示因變量的總離差平方和，反映y全部數據的離散程度，即并可分解成如下形式(10.21)(10.20)第二十一頁，共八十二頁，編輯于2023年，星期六續而根據(10.16)式于是(10.22)其中稱為殘差平方和，是由隨機因素和其他未加控制的因素引起的，反映除x以外的其他因素對y

的影響大小。而稱為回歸平方和，是由x

和y的線性關系引起的y的取值變化，反映x對y的影響大小。第二十二頁，共八十二頁，編輯于2023年，星期六２．計算平均平方

三個平方和的自由度⑴．SST的自由度為n－1⑵．SSR的自由度為1⑶．SSE的自由度為n－2關于自由度存在如下的關系式

n－1=(n－2)+1第二十三頁，共八十二頁，編輯于2023年，星期六則SSE的平均平方為

SSE/(n－2)且(10.23)而SSR的平均平方為

SSR/1且回歸方程的顯著性檢驗是用回歸的平均平方與殘差的平均平方作比較，判斷因變量與自變量是否存在線性關系。續(10.24)第二十四頁，共八十二頁，編輯于2023年，星期六３．方差分析表

一元線性回歸方程的假設檢驗是當為真時，則(10.26)前面的這些計算可以列成表格的形式，稱為方差分析表。第二十五頁，共八十二頁，編輯于2023年，星期六方差來源平方和自由度均方F統計量顯著性水平回歸SSR1SSR殘差SSEn－2SSE/(n-2)－－總和SSTn－1－－－方差分析表表10－2第二十六頁，共八十二頁，編輯于2023年，星期六一元線性回歸方程的顯著性檢驗步驟

１．提出原假設２．計算檢驗統計量３．對規定的顯著性水平，若則拒絕，認為，稱回歸方程顯著。否則，接受，認為，稱回歸方程不顯著。第二十七頁，共八十二頁，編輯于2023年，星期六例對于例10.1的方差分析已知由于得

SSR＝0.52638×1798122.644＝946495.8從而

SSE＝SST－SSR＝2453.3方差分析表見表10－3第二十八頁，共八十二頁，編輯于2023年，星期六方差來源平方和自由度均方F值回歸946495.81946495.84244.4F0.05(1,11)=4.84殘差2453.311223.0－總和948949.112－－方差分析表表10－3從而拒絕，即回歸方程顯著。第二十九頁，共八十二頁，編輯于2023年，星期六㈡、樣本決定系數

１．表示回歸平方和占總離差平方和的比例(10.27)

２．反映樣本回歸方程的擬合優度３．取值范圍為[0，1]４．r2愈大，說明回歸方程擬合得愈好５．樣本決定系數為樣本相關系數r的平方第三十頁，共八十二頁，編輯于2023年，星期六例例10.1的樣本決定系數即回歸平方和占總離差平方和的99.74%第三十一頁，共八十二頁，編輯于2023年，星期六相關系數與回歸系數之間的數量關系(10.28)這就是說與的正負號必定相同第三十二頁，共八十二頁，編輯于2023年，星期六四、預測及應用１．根據自變量x的取值預測y的取值２．預測可分兩種類型⑴．點預測⑵．區間預測第三十三頁，共八十二頁，編輯于2023年，星期六㈠、點預測對于自變量x的一個取值，根據樣本回歸方程用作為的估計，稱為點預測對于例10.1，設，則(10.29)第三十四頁，共八十二頁，編輯于2023年，星期六㈡、區間預測１．對于自變量x的一個取值，根據樣本回歸方程給出的一個估計區間，稱為區間預測。２．在置信度時的預測區間為(10.30)對于例10.1，根據方差分析表得其中第三十五頁，共八十二頁，編輯于2023年，星期六影響Δ的因素１．隨的增大而增大２．隨n的增大而減少３．隨的增大而增大第三十六頁，共八十二頁，編輯于2023年，星期六近似區間預測當n較大，且時，則從而１．，由于，得則0.95的近似預測區間為第三十七頁，共八十二頁，編輯于2023年，星期六２．，由于，得則0.99的近似預測區間為續第三十八頁，共八十二頁，編輯于2023年，星期六例對于例10.1，試求人均國民收入為2300時，人均消費金額的0.95預測區間。解：已知所以人均消費金額的0.95預測區間為（1223.51，1306.27）查表得從而第三十九頁，共八十二頁，編輯于2023年，星期六第三節多元線性回歸

一、多元線性回歸模型

㈠、多元線性回歸模型的一般形式稱為多元線性回歸模型１．多元線性回歸模型包含一個因變量與兩個或兩個以上自變量２．誤差項為隨機變量３．描述因變量y與自變量和誤差項ε的關系４．為模型的參數，稱偏回歸系數(10.31)第四十頁，共八十二頁，編輯于2023年，星期六續５．設已取得樣本量為n的隨機樣本。則多元線性回歸模型可以表示為(10.33)第四十一頁，共八十二頁，編輯于2023年，星期六多元線性回歸模型的矩陣形式(10.33)其中第四十二頁，共八十二頁，編輯于2023年，星期六㈡、多元線性回歸模型的基本假定１．自變量是確定性變量，且２．誤差項ε滿足３．誤差項服從正態分布從而(10.35)即(10.36)(10.37)第四十三頁，共八十二頁，編輯于2023年，星期六㈢、多元線性回歸方程的直觀解釋１．(10.38)(10.39)２．表示保持不變時，每變動一個單位時的相應變化量３．表示保持不變時，每變動一個單位時的相應變化量例：用y表示空調機的銷售量，表示空調機的平均價格，表示消費者收入，則可建立二元線性回歸模型。第四十四頁，共八十二頁，編輯于2023年，星期六二、回歸參數的估計樣本回歸方程１．是未知參數，可以根據樣本數據作估計２．的估計記為，則稱為樣本回歸方程第四十五頁，共八十二頁，編輯于2023年，星期六參數的最小二乘估計

１．使因變量的觀察值y與估計值之間的離差平方和達到最小來求，即使達到最小。稱為的最小二乘估計第四十六頁，共八十二頁，編輯于2023年，星期六２．根據微積分中求極值的原理應是下列正規方程組的解整理得第四十七頁，共八十二頁，編輯于2023年，星期六３．正規方程組的矩陣形式為當的逆矩陣存在時，則有就是的最小二乘估計，并且(10.43)(10.44)第四十八頁，共八十二頁，編輯于2023年，星期六三、回歸方程的顯著性檢驗

㈠、擬合優度檢驗

１．平方和分解由于從而(10.46)第四十九頁，共八十二頁，編輯于2023年，星期六續其中稱回歸平方和，是由自變量和y的線性關系引起的y的取值變化，反映對y的影響大小，而稱殘差平方和，是由隨機因素和其他未加控制的因素引起的，反映了除以外的其他因素對y的影響大小。第五十頁，共八十二頁，編輯于2023年，星期六２．樣本決定系數反映樣本回歸方程的擬合好壞程度，R２愈大，說明樣本回歸方程擬合得愈好。顯然，。而稱y關于的樣本復相關系數，R的大小可以反映作為一個整體的與y的線性相關的密切程度。

擬合優度的檢驗可看成是回歸方程的檢驗。(10.47)(10.48)第五十一頁，共八十二頁，編輯于2023年，星期六３．調整的樣本決定系數由于樣本決定系數的分母SST對給定的樣本數據是不變的，而SSR與引進回歸方程的自變量個數有關。因此，應對R２作調整，調整的樣本決定系數為第五十二頁，共八十二頁，編輯于2023年，星期六㈡、F檢驗

１．計算平均平方

三個平方和的自由度⑴．SST的自由度為n－1⑵．SSR的自由度為p⑶．SSE的自由度為n－p－1關于自由度存在如下的關系式

n－1=p＋(n－p－1)第五十三頁，共八十二頁，編輯于2023年，星期六２．方差分析表

多元線性回歸方程的顯著性檢驗是檢驗當為真時，則(10.49)前面的這些計算結果可以列成表格的形式，稱為方差分析表。(10.50)第五十四頁，共八十二頁，編輯于2023年，星期六方差來源平方和自由度均方F值回歸SSRpSSR/p殘差SSEn-p-1SSE/(n-p-1)總和SSTn-1－方差分析表表10－5第五十五頁，共八十二頁，編輯于2023年，星期六多元線性回歸方程的顯著性檢驗步驟

１．提出原假設和備擇假設３．對規定的顯著性水平，若則拒絕，認為y對存在線性關系，稱回歸方程顯著。否則，認為y對之間不存在線性關系，稱回歸方程不顯著。２．計算檢驗統計量至少有一個不為0第五十六頁，共八十二頁，編輯于2023年，星期六四、回歸系數的顯著性檢驗

１．當回歸方程顯著時，僅表示中至少有一個不為0，即這時并不表示每一個自變量對因變量的影響都是顯著的２．回歸系數的顯著性則是對每一個自變量都要檢驗，從而確定每一個自變量對因變量的影響是否顯著３．采用t檢驗４．對于多元線性回歸，回歸系數的顯著性檢驗與回歸方程的顯著性檢驗是兩種不同的檢驗方法第五十七頁，共八十二頁，編輯于2023年，星期六

１．提出原假設和備擇假設回歸系數的顯著性檢驗步驟２．計算檢驗統計量其中而是對角線上第j個元素(10.53)第五十八頁，共八十二頁，編輯于2023年，星期六續３．對規定的顯著性水平，若則拒絕，稱對y的影響顯著，即認為。否則接受，稱對y的影響不顯著，即認為。第五十九頁，共八十二頁，編輯于2023年，星期六五、多元線性回歸的預測

㈠、點預測對自變量的一組取值根據樣本回歸方程用作為的估計，稱為點預測(10.54)第六十頁，共八十二頁，編輯于2023年，星期六㈡、區間預測１．對于自變量的一組取值根據樣本回歸方程給出的一個估計區間，稱為區間預測。２．在置信度時的預測區間為其中第六十一頁，共八十二頁，編輯于2023年，星期六近似區間預測當n較大時，且時，則從而１．，由于，得則0.95的近似預測區間為２．，由于，得則0.99的近似預測區間為第六十二頁，共八十二頁，編輯于2023年，星期六例10.2中國民航客運量的回歸模型。為了研究我國民航客運量的變化趨勢及其成因，我們以民航客運量作為因變量y，以國民收入、消費額、鐵路客運量、民航航線里程、來華旅游入境人數為影響民航客運量的主要因素。y為民航客運量（萬人），x1為國民收入（億元），x2為消費額（億元），x3為鐵路客運量（萬人），x4為民航航線里程（萬公里），x5為來華旅游入境人數（萬人）。根據《1994年統計摘要》獲得1978－1993年統計數據，見表10－6。第六十三頁，共八十二頁，編輯于2023年，星期六表10－6年份yx1x2x3x4x51978231301018888149114.89180.921979298335021958638916.00420.391980343368825319220419.53570.251981401394127999530021.82776.711982445425830549992223.27792.4319833914736335810604422.91947.701984554565239051135326.021285.2219857447020487911211027.721783.3019869977859555210857932.432281.95198713109313638611242938.912690.231988144211738803812264537.383169.481989128313176900511380747.192450.14199016601438496639571250.682746.201991217816557109699508155.913335.651992288620223129859969383.663311.5019933383248821594910545896.084152.70我國民航客運量的有關數據第六十四頁，共八十二頁，編輯于2023年，星期六１．求回歸系數的估計值得樣本回歸方程第六十五頁，共八十二頁，編輯于2023年，星期六２．樣本決定系數而樣本復相關系數第六十六頁，共八十二頁，編輯于2023年，星期六方差來源自由度平方和均方F值回歸5137911002758219527.6242殘差1052276.25227.62－總和1513843370－－表10－7民航客運量回歸的方差分析表３．方差分析方差分析表明回歸方程顯著第六十七頁，共八十二頁，編輯于2023年，星期六４．回歸系數的顯著性檢驗查表得由于所以x3對y無顯著影響，而其余各自變量均有顯著影響第六十八頁，共八十二頁，編輯于2023年，星期六５．剔除x3，重新建立樣本回歸方程求得，方差分析見表10－8，并且回歸系數的顯著性檢驗表明，所有的自變量都有顯著影響。第六十九頁，共八十二頁，編輯于2023年，星期六方差來源自由度平方和均方F值回歸4137887203447180693.832殘差1154651.544968.32－總和1513843370－－民航客運量回歸的方差分析表表10－9方差分析表明回歸方程顯著第七十頁，共八十二頁，編輯于2023年，星期六６．預測即預定