《多重回歸》PPT課件《多重回歸》PPT課件1多重回歸(multiplelinearregression)與多重相關(multiplecorrelation)是研究一個因變量和多個自變量之間線性關系的統計學分析方法。

多重回歸(multiplelinearregressio2第一節多重線性回歸的概念及其統計描述

例13-1為了研究空氣中一氧化氮（NO）的濃度與汽車流量等因素的關系，有人測定了某城市交通點在單位時間內過往的汽車數、氣溫、空氣濕度、風速以及空氣中的NO的濃度，數據如表13-1所示。第一節多重線性回歸的概念及其統計描述例13-1為了3《多重回歸》課件講課稿4

bj為自變量Xj

的偏回歸系數（partialregressioncoefficient），是βj的估計值，表示當方程中其他自變量保持常量時，自變量Xj變化一個計量單位,反應變量Y的平均值變化的單位數。bj為自變量Xj的偏回歸系數（partialreg5

標準化偏回歸系數（standardizedpartialregressioncoefficient），又稱為通徑系數（pathcoefficient）。標準化偏回歸系數b’j較大的自變量在數值上對反應變量Y的作用較大。

標準化偏回歸系數（standardizedpartia6回歸參數的估計：

前提條件：LINE。最小二乘法(leastsquaremethod)。基本原理是：利用觀察或收集到的因變量和自變量的一組數據建立一個因變量關于自變量的線性函數模型，使得這個模型的理論值和觀察值之間的殘差平方和盡可能地小。回歸參數的估計：前提條件：LINE。7《多重回歸》課件講課稿8第二節多重線性回歸的假設檢驗

第二節多重線性回歸的假設檢驗9

表13-2顯示，P<0.0001,拒絕H0。說明從整體上而言，用這四個自變量構成的回歸方程解釋空氣中NO濃度的變化是有統計學意義的。

表13-2顯示，P<0.0001,拒絕H0。說明從整體10偏回歸系數的t檢驗

偏回歸系數的t檢驗是在回歸方程具有統計學意義的情況下，檢驗某個總體偏回歸系數等于零的假設,以判斷是否相應的那個自變量對回歸確有貢獻。

H0:βi=0

H1:βi≠0偏回歸系數的t檢驗偏回歸系數的t檢驗是在回歸方11《多重回歸》課件講課稿12第三節復相關系數與偏相關系數

復相關系數的平方稱為確定系數（coefficientofdetermination）,或決定系數，記為R2，用以反映線性回歸模型能在多大程度上解釋反應變量Y的變異性。其定義為復相關系數第三節復相關系數與偏相關系數復相關系數13《多重回歸》課件講課稿14復相關系數(multiplecorrelationcoefficient)R定義為確定系數的算術平方根，表示變量Y與k個自變量（X1,X2,…Xk）線性相關的密切程度。

復相關系數(multiplecorrelati15調整的R2(AdjustedR-Square)：當回歸方程中包含有很多自變量，即使其中有一些自變量（如本例中的X3）對解釋反應變量變異的貢獻極小，隨著回歸方程的自變量的增加，R2值表現為只增不減，這是復相關系數R2的缺點。調整的R2記為,定義為

調整的R2(AdjustedR-Square)：當回歸方程16《多重回歸》課件講課稿17偏相關系數

暑假期間雙胞胎兄弟大明和小明參加勤工儉學，大明在超級市場幫助賣冷飲，小明在游泳池收門票。每天晚上，二人閑聊。昨天大明冷飲賣得多，小明門票也收得多，今天，大明賣得少，小明門票也收得少。一個月下來，他們發現，超級市場冷飲銷售量和游泳人數呈正相關。是不是愛吃冷飲的人想游泳？或愛游泳的人喜歡冷飲？

偏相關系數暑假期間雙胞胎兄弟大明和小明參加勤工儉學，大明在18《多重回歸》課件講課稿19r0.05=0.602r0.05=0.60220原來冷飲銷售量和氣溫正相關，游泳人數和氣溫也正相關，冷飲銷售量和游泳人數的正相關是氣溫造成的假象，扣除氣溫的影響之后兩者就不相關了。

一般地，扣除其他變量的影響后，變量Y與X的相關，稱為Y與X的偏相關系數。原來冷飲銷售量和氣溫正相關，一般地，扣除其他變量的影響后，變21偏相關系數

偏相關系數22第四節自變量篩選

為確保回歸方程包含所有對反應變量有較大影響的自變量，而把對反應變量作用不大或可有可無的自變量排除在方程之外，這一統計過程稱為自變量的選擇。

第四節自變量篩選為確保回歸方程包含所有對反應變量有較大23一、自變量篩選的標準與原則

1.殘差平方和（SSE）縮小與確定系數（R2）增大；

一、自變量篩選的標準與原則1.殘差平方和（SSE）縮小與242.殘差均方（MSE）縮小與調整確定系數（Ra2）增大2.殘差均方（MSE）縮小與調整確定系數（Ra2）增大253.統計量:

3.統計量:26二、自變量篩選的常用方法

1.所有可能自變量子集選擇(allpossiblesubsetsselection)，又稱全局擇優法；2.前向選擇（forwardselection）；3.后向選擇（backwardselection）；4.逐步選擇（stepwiseselection）。二、自變量篩選的常用方法1.所有可能自變量子集選擇271.全局擇優法根據某種變量的選擇準則，通過比較各子集符合準則的程度，從中選擇出一個或幾個最優的回歸，稱為“最優子集回歸”。1.全局擇優法根據某種變量的選擇準則，通過比282.前向選擇（forwardselection）

2.前向選擇（forwardselection）293.后向選擇

(backwardselection)

3.后向選擇(backwardselection)304.逐步選擇（stepwiseselection）

4.逐步選擇（stepwiseselection）31第五節多元線性回歸的應用及其注意事項第五節多元線性回歸的應用及其注意事項32一、應用影響因素分析，控制混雜因素預測：由自變量值推出應變量Y的值控制：指定應變量Y的值查看自變量的改變量一、應用影響因素分析，控制混雜因素33二、應用條件二、應用條件34應用的注意事項應用的注意事項35樣本含量觀察個體數n與變量個數m的比例一般至少應為：n:m＝5～10樣本含量觀察個體數n與變量個數m的比例一般至少應為：36統計“最優”與專業的“最優”不同準則、方法得出的“最優”方程不同；不同的引入、剔除標準獲得的“最優”方程不同；方程還受數據的正確性、共線性影響統計“最優”與專業的“最優”不同準則、方法得出的“最優”方程37多重共線性自變量間存在著線性關系，使一個或幾個自變量可以由另外的自變量線性表示時，稱為該變量與另外的自變量間存在有共線性(collinearity)。回歸系數的符號與由專業知識不符變量的重要性與專業不符多重共線性自變量間存在著線性關系，使一個或幾個自變量38多重共線性的識別與解決辦法整個方程決定系數R2高，但各自變量對應的回歸系數均不顯著。解決共線性的主要方法：篩選自變量用主成分回歸嶺回歸。多重共線性的識別與解決辦法整個方程決定系數R2高，但39交互作用

當某一自變量對應變量的作用大小與另一個自變量的取值有關時，則表示兩個變量有交互作用（interaction）。檢驗兩變量間有無交互作用，普遍的做法是在方程中加入它們的乘積項再做檢驗。如考察X1、X2間的交互作用，可在模型中加入X1X2項。交互作用當某一自變量對應變量的作用大小與另一個40幾個相關系數的區別幾個相關系數的區別41小結1.多重線性回歸是簡單線性回歸的擴展，模型的前提假設、最小二乘原則都與簡單線性回歸分析相同。2.偏回歸系數與標準偏回歸系數；3.復相關系數、偏相關系數；4.確定系數和調整的確定系數；5.模型自變量的篩選方法和準則。小結1.多重線性回歸是簡單線性回歸的擴展，模型的前42結束結束43《多重回歸》PPT課件《多重回歸》PPT課件44多重回歸(multiplelinearregression)與多重相關(multiplecorrelation)是研究一個因變量和多個自變量之間線性關系的統計學分析方法。

多重回歸(multiplelinearregressio45第一節多重線性回歸的概念及其統計描述

例13-1為了研究空氣中一氧化氮（NO）的濃度與汽車流量等因素的關系，有人測定了某城市交通點在單位時間內過往的汽車數、氣溫、空氣濕度、風速以及空氣中的NO的濃度，數據如表13-1所示。第一節多重線性回歸的概念及其統計描述例13-1為了46《多重回歸》課件講課稿47

bj為自變量Xj

的偏回歸系數（partialregressioncoefficient），是βj的估計值，表示當方程中其他自變量保持常量時，自變量Xj變化一個計量單位,反應變量Y的平均值變化的單位數。bj為自變量Xj的偏回歸系數（partialreg48

標準化偏回歸系數（standardizedpartialregressioncoefficient），又稱為通徑系數（pathcoefficient）。標準化偏回歸系數b’j較大的自變量在數值上對反應變量Y的作用較大。

標準化偏回歸系數（standardizedpartia49回歸參數的估計：

前提條件：LINE。最小二乘法(leastsquaremethod)。基本原理是：利用觀察或收集到的因變量和自變量的一組數據建立一個因變量關于自變量的線性函數模型，使得這個模型的理論值和觀察值之間的殘差平方和盡可能地小。回歸參數的估計：前提條件：LINE。50《多重回歸》課件講課稿51第二節多重線性回歸的假設檢驗

第二節多重線性回歸的假設檢驗52

表13-2顯示，P<0.0001,拒絕H0。說明從整體上而言，用這四個自變量構成的回歸方程解釋空氣中NO濃度的變化是有統計學意義的。

表13-2顯示，P<0.0001,拒絕H0。說明從整體53偏回歸系數的t檢驗

偏回歸系數的t檢驗是在回歸方程具有統計學意義的情況下，檢驗某個總體偏回歸系數等于零的假設,以判斷是否相應的那個自變量對回歸確有貢獻。

H0:βi=0

H1:βi≠0偏回歸系數的t檢驗偏回歸系數的t檢驗是在回歸方54《多重回歸》課件講課稿55第三節復相關系數與偏相關系數

復相關系數的平方稱為確定系數（coefficientofdetermination）,或決定系數，記為R2，用以反映線性回歸模型能在多大程度上解釋反應變量Y的變異性。其定義為復相關系數第三節復相關系數與偏相關系數復相關系數56《多重回歸》課件講課稿57復相關系數(multiplecorrelationcoefficient)R定義為確定系數的算術平方根，表示變量Y與k個自變量（X1,X2,…Xk）線性相關的密切程度。

復相關系數(multiplecorrelati58調整的R2(AdjustedR-Square)：當回歸方程中包含有很多自變量，即使其中有一些自變量（如本例中的X3）對解釋反應變量變異的貢獻極小，隨著回歸方程的自變量的增加，R2值表現為只增不減，這是復相關系數R2的缺點。調整的R2記為,定義為

調整的R2(AdjustedR-Square)：當回歸方程59《多重回歸》課件講課稿60偏相關系數

暑假期間雙胞胎兄弟大明和小明參加勤工儉學，大明在超級市場幫助賣冷飲，小明在游泳池收門票。每天晚上，二人閑聊。昨天大明冷飲賣得多，小明門票也收得多，今天，大明賣得少，小明門票也收得少。一個月下來，他們發現，超級市場冷飲銷售量和游泳人數呈正相關。是不是愛吃冷飲的人想游泳？或愛游泳的人喜歡冷飲？

偏相關系數暑假期間雙胞胎兄弟大明和小明參加勤工儉學，大明在61《多重回歸》課件講課稿62r0.05=0.602r0.05=0.60263原來冷飲銷售量和氣溫正相關，游泳人數和氣溫也正相關，冷飲銷售量和游泳人數的正相關是氣溫造成的假象，扣除氣溫的影響之后兩者就不相關了。

一般地，扣除其他變量的影響后，變量Y與X的相關，稱為Y與X的偏相關系數。原來冷飲銷售量和氣溫正相關，一般地，扣除其他變量的影響后，變64偏相關系數

偏相關系數65第四節自變量篩選

為確保回歸方程包含所有對反應變量有較大影響的自變量，而把對反應變量作用不大或可有可無的自變量排除在方程之外，這一統計過程稱為自變量的選擇。

第四節自變量篩選為確保回歸方程包含所有對反應變量有較大66一、自變量篩選的標準與原則

1.殘差平方和（SSE）縮小與確定系數（R2）增大；

一、自變量篩選的標準與原則1.殘差平方和（SSE）縮小與672.殘差均方（MSE）縮小與調整確定系數（Ra2）增大2.殘差均方（MSE）縮小與調整確定系數（Ra2）增大683.統計量:

3.統計量:69二、自變量篩選的常用方法

1.所有可能自變量子集選擇(allpossiblesubsetsselection)，又稱全局擇優法；2.前向選擇（forwardselection）；3.后向選擇（backwardselection）；4.逐步選擇（stepwiseselection）。二、自變量篩選的常用方法1.所有可能自變量子集選擇701.全局擇優法根據某種變量的選擇準則，通過比較各子集符合準則的程度，從中選擇出一個或幾個最優的回歸，稱為“最優子集回歸”。1.全局擇優法根據某種變量的選擇準則，通過比712.前向選擇（forwardselection）

2.前向選擇（forwardselection）723.后向選擇

(backwardselection)

3.后向選擇(backwardselection)734.逐步選擇（stepwiseselection）

4.逐步選擇（stepwiseselection）74第五節多元線性回歸的應用及其注意事項第五節多元線性回歸的應用及其注意事項75一、應用影響因素分析，控制混雜因素預測：由自變量值推出應變量Y的值控制：指定應變量Y的值查看自變量的改變量一、應用影響因素分析，控制混雜因素76二、應用條件二、應用條件77應用的注意事項應用的注意事項78樣本含量觀察個體數n與變量個數m的比例一般至少應為：n:m＝5