統計學費宇，石磊主編高等教育出版社7/31/20231《統計學》第3章參數估計統計學費宇，石磊主編7/31/20231《統計學》第3章參第6章回歸分析6.1相關分析6.2一元線性回歸6.3多元線性回歸6.4虛擬變量回歸6.5Logistic回歸6.6回歸分析的擴展6.7可化為線性情形的非線性回歸7/31/20232《統計學》第3章參數估計第6章回歸分析6.1相關分析7/31/20232《統【引例6.0】（數據文件為example6.0）某公司經理想研究公司員工的年薪問題，根據初步分析，他認為員工的當前年薪y(元)與員工的開始年薪x1(元)、在公司的工作時間x2(月)、先前的工作經驗x3(月)和受教育年限x4(年)有關系，他隨機抽樣調查了36個員工，收集到以下數據：7/31/20233《統計學》第3章參數估計【引例6.0】（數據文件為example6.0）某公司經理7/31/20234《統計學》第3章參數估計7/31/20234《統計學》第3章參數估計問題經理想根據以上樣本數據，構建一個模型來反映y與x1、x2、x3和x4之間關系，并希望利用該模型在給定一個員工的x2、x3和x4的條件下，預測該員工的當前年薪y。此外，經理認為，公司男女員工的薪水結構不同，他想在建立模型的時候能把性別因素考慮進來，這是否可行？7/31/20235《統計學》第3章參數估計問題經理想根據以上樣本數據，構建一個模型來反映y與x1、x26.1相關分析6.1.1相關的概念1.人的身高與體重有相關關系。2.居民可支配收入與支出有相關關系。3.糧食產量與施肥量有相關關系。7/31/20236《統計學》第3章參數估計6.1相關分析6.1.1相關的概念7/31/2026.1.2相關的種類1.按相關程度劃分:分為完全相關、不完全相關和不相關；如圖6.1所示。2.按相關方向劃分:分為正相關和負相關。如圖6.2所示。3.按相關形式劃分:分為線性相關和非線性相關；如圖6.3所示。4.按變量多少劃分:分為簡單相關和復相關。7/31/20237《統計學》第3章參數估計6.1.2相關的種類1.按相關程度劃分:分為完全相關6.1.3相關關系的度量1.簡單線性相關系數7/31/20238《統計學》第3章參數估計6.1.3相關關系的度量1.簡單線性相關系數7/317/31/20239《統計學》第3章參數估計7/31/20239《統計學》第3章參數估計7/31/202310《統計學》第3章參數估計7/31/202310《統計學》第3章參數估計2.偏相關系數7/31/202311《統計學》第3章參數估計2.偏相關系數7/31/202311《統計學》第3章參數估【例6.1】7/31/202312《統計學》第3章參數估計【例6.1】7/31/202312《統計學》第3章參數估計7/31/202313《統計學》第3章參數估計7/31/202313《統計學》第3章參數估計7/31/202314《統計學》第3章參數估計7/31/202314《統計學》第3章參數估計6.2一元線性回歸6.2.1回歸的含義回歸（regression）一詞最早由英國生物學家兼統計學家高爾頓（F.Galton）于1886年在論文“Regressiontowardsmediocrityinhereditarystature”中正式提出。回歸分析（regressionanalysis）是通過建立回歸模型來研究相關變量的關系并作出相應估計和預測的一種統計方法，7/31/202315《統計學》第3章參數估計6.2一元線性回歸6.2.1回歸的含義7/31/206.2.2一元線性回歸7/31/202316《統計學》第3章參數估計6.2.2一元線性回歸7/31/202316《統計學》第7/31/202317《統計學》第3章參數估計7/31/202317《統計學》第3章參數估計6.2.3最小二乘估計圖6.4x和y的散點圖7/31/202318《統計學》第3章參數估計6.2.3最小二乘估計圖6.4x和y的散點圖7/317/31/202319《統計學》第3章參數估計7/31/202319《統計學》第3章參數估計7/31/202320《統計學》第3章參數估計7/31/202320《統計學》第3章參數估計7/31/202321《統計學》第3章參數估計7/31/202321《統計學》第3章參數估計7/31/202322《統計學》第3章參數估計7/31/202322《統計學》第3章參數估計7/31/202323《統計學》第3章參數估計7/31/202323《統計學》第3章參數估計【例6.2】(數據文件為example6.2)已知我國2007年31個地區城鎮居民年人均可支配收入和年人均消費性支出數據如下表（單位：元），試分析城鎮居民年人均可支配收入和年人均消費性支出之間的關系，如果有線性相關關系，試建立一元線性回歸模型。7/31/202324《統計學》第3章參數估計【例6.2】(數據文件為example6.2)已知我國27/31/202325《統計學》第3章參數估計7/31/202325《統計學》第3章參數估計圖6.5人均可支配收入x和人均消費性支出y散點圖

7/31/202326《統計學》第3章參數估計圖6.5人均可支配收入x和人均消費性支出y散點圖7/31/7/31/202327《統計學》第3章參數估計7/31/202327《統計學》第3章參數估計7/31/202328《統計學》第3章參數估計7/31/202328《統計學》第3章參數估計7/31/202329《統計學》第3章參數估計7/31/202329《統計學》第3章參數估計6.2.4回歸方程的檢驗7/31/202330《統計學》第3章參數估計6.2.4回歸方程的檢驗7/31/202330《統計學1.F檢驗7/31/202331《統計學》第3章參數估計1.F檢驗7/31/202331《統計學》第3章參數估計7/31/202332《統計學》第3章參數估計7/31/202332《統計學》第3章參數估計7/31/202333《統計學》第3章參數估計7/31/202333《統計學》第3章參數估計7/31/202334《統計學》第3章參數估計7/31/202334《統計學》第3章參數估計2.t檢驗7/31/202335《統計學》第3章參數估計2.t檢驗7/31/202335《統計學》第3章參數估計3.r檢驗7/31/202336《統計學》第3章參數估計3.r檢驗7/31/202336《統計學》第3章參數估計7/31/202337《統計學》第3章參數估計7/31/202337《統計學》第3章參數估計【例6.3】給定顯著水平，對例6.2的回歸方程進行檢驗。7/31/202338《統計學》第3章參數估計【例6.3】給定顯著水平，對例6.2的回歸方程進行檢驗。7/7/31/202339《統計學》第3章參數估計7/31/202339《統計學》第3章參數估計7/31/202340《統計學》第3章參數估計7/31/202340《統計學》第3章參數估計6.2.5估計與預測7/31/202341《統計學》第3章參數估計6.2.5估計與預測7/31/202341《統計學》第37/31/202342《統計學》第3章參數估計7/31/202342《統計學》第3章參數估計圖6.6回歸預測的預測區間7/31/202343《統計學》第3章參數估計圖6.6回歸預測的預測區間7/31/202343《統計學》6.3多元線性回歸6.3.1多元線性回歸模型7/31/202344《統計學》第3章參數估計6.3多元線性回歸6.3.1多元線性回歸模型7/31引入矩陣符號

7/31/202345《統計學》第3章參數估計引入矩陣符號7/31/202345《統計學》第3章參數估計7/31/202346《統計學》第3章參數估計7/31/202346《統計學》第3章參數估計7/31/202347《統計學》第3章參數估計7/31/202347《統計學》第3章參數估計6.3.2多元線性回歸方程的檢驗7/31/202348《統計學》第3章參數估計6.3.2多元線性回歸方程的檢驗7/31/202348《7/31/202349《統計學》第3章參數估計7/31/202349《統計學》第3章參數估計2.方程顯著性檢驗7/31/202350《統計學》第3章參數估計2.方程顯著性檢驗7/31/202350《統計學》第3章參7/31/202351《統計學》第3章參數估計7/31/202351《統計學》第3章參數估計表6.11多元回歸方程顯著性檢驗的方差分析表7/31/202352《統計學》第3章參數估計表6.11多元回歸方程顯著性檢驗的方差分析表7/31/203.回歸系數顯著性檢驗7/31/202353《統計學》第3章參數估計3.回歸系數顯著性檢驗7/31/202353《統計學》第3【例6.5】(數據文件為example6.0)沿用本章引例中的資料，建立多元線性回歸方程并對回歸方程進行檢驗（給定顯著水平=0.05）。解：1.先點散點圖，用SPSS打開數據文件example6.0，選擇Graphs→LegacyDialogs→Scatter/Dot...→SimpleScatter，點Define，將兩個變量開始年薪x和當前年薪y分別選入XAxis和YAxis，點OK。7/31/202354《統計學》第3章參數估計【例6.5】(數據文件為example6.0)沿用本章引圖6.7當前年薪對開始年薪的散點圖7/31/202355《統計學》第3章參數估計圖6.7當前年薪對開始年薪的散點圖7/31/2023552．做多元線性回歸：選擇Analyze→Regression→Linear，將自變量開始年薪、工作時間、先前工作經驗和受教育年限選入Independent，再將因變量當前年薪y選入Dependent中，然后選擇Method為默認值Enter，點OK即可得3個主要表格：表6.12至6.14。7/31/202356《統計學》第3章參數估計2．做多元線性回歸：選擇Analyze→Regressio表6.12員工年薪問題的回歸方程的可決系數7/31/202357《統計學》第3章參數估計表6.12員工年薪問題的回歸方程的可決系數7/31/202表6.13員工年薪問題的方差分析表7/31/202358《統計學》第3章參數估計表6.13員工年薪問題的方差分析表7/31/202358《表6.14員工年薪問題的多元回歸方程回歸系數表7/31/202359《統計學》第3章參數估計表6.14員工年薪問題的多元回歸方程回歸系數表7/31/2于是可得如下回歸方程：從回歸方程可以看出：當前年薪y與開始年薪x1和受教育年限x4正相關（回歸系數為正），這是合理的；但與工作時間x2和先前工作經驗x3負相關（回歸系數為負），這是不合理的，為什么？7/31/202360《統計學》第3章參數估計于是可得如下回歸方程：從回歸方程可以看出：當前年薪y與開始年3．對回歸方程進行檢驗。7/31/202361《統計學》第3章參數估計3．對回歸方程進行檢驗。7/31/202361《統計學》第36.3.3估計與預測1.均值E(y0)的估計7/31/202362《統計學》第3章參數估計6.3.3估計與預測1.均值E(y0)的估計7/31/2.個值

y0的預測7/31/202363《統計學》第3章參數估計2.個值y0的預測7/31/202363《統計學》第3章6.4虛擬變量回歸7/31/202364《統計學》第3章參數估計6.4虛擬變量回歸7/31/202364《統計學》第3章【例6.6】在例6.5中，將性別作為虛擬變量引入回歸方程，建立當前年薪y關于受教育年限和性別虛擬變量的線性回歸模型。解：性別x5是虛擬變量，所以這是虛擬變量回歸問題；將性別變量“量化”，x5=0表示男性，x5=1表示女性，統計模型設定為7/31/202365《統計學》第3章參數估計【例6.6】在例6.5中，將性別作為虛擬變量引入回歸方程，用SPSS打開數據文件example6.0，選擇Analyze→GeneralLinearModel→Univariate，將因變量當前年薪y選入DependentVariable中，把定量自變量受教育年限x4選入Covariate中，把虛擬變量性別x5選入FixedFactor中，在Options中選擇ParameterEstimates，點擊Model，在SpecifyModel中選Custom，再把定量自變量x4和虛擬變量x5選入右邊，在BuildingTerm中選Maineffect，然后點Continue回到主對話框，在Options中的Display中選擇Parameterestimates，點Continue→OK即可得參數估計值表表6.15。7/31/202366《統計學》第3章參數估計用SPSS打開數據文件example6.0，選擇Analy表6.15引入性別虛擬變量的線性回歸模型回歸系數表7/31/202367《統計學》第3章參數估計表6.15引入性別虛擬變量的線性回歸模型回歸系數表7/31由表6.15容易得如下回歸方程顯然，這兩條線是截距不同的兩條平行線，截距的差異表示男女職工年薪的差別。7/31/202368《統計學》第3章參數估計由表6.15容易得如下回歸方程顯然，這兩條線是截距不同的兩條6.5Logistic回歸本節討論因變量是二值定性變量的回歸，即Logistic回歸。7/31/202369《統計學》第3章參數估計6.5Logistic回歸本節討論因變量是二值定性變量的【例6.7】為了研究家庭年收入與是否有私家車的關系，隨機調查了50個家庭的情況得結果如表6.16，以是否有私家車為因變量（它是一個二值定性變量），年收入為自變量建立回歸方程，并估計年收入為12萬元的家庭有私家車的可能性。7/31/202370《統計學》第3章參數估計【例6.7】為了研究家庭年收入與是否有私家車的關系，隨機調表6.15抽樣調查得到的50個家庭的數據資料7/31/202371《統計學》第3章參數估計表6.15抽樣調查得到的50個家庭的數據資料7/31/207/31/202372《統計學》第3章參數估計7/31/202372《統計學》第3章參數估計7/31/202373《統計學》第3章參數估計7/31/202373《統計學》第3章參數估計利用SPSS軟件實現Logistic回歸具體操作如下：打開數據文件example6.6，選擇Analyze→Regression→BinaryLogistic，將因變量y選入Dependent中，把自變量x選入Covariate中，點OK即可得參數估計表表6.17。7/31/202374《統計學》第3章參數估計利用SPSS軟件實現Logistic回歸具體操作如下：7/3表6.17Logistic回歸方程回歸系數表7/31/202375《統計學》第3章參數估計表6.17Logistic回歸方程回歸系數表7/31/20如果要估計年收入為12萬元的家庭有私家車的可能性，可以打開數據文件example6.6，在x變量末尾增加一個值12，選擇Analyze→Regression→BinaryLogistic，將因變量y選入Dependent中，把自變量x選入Covariate中，點Save在PredictedValues里選Probabilities，返回主對話框，點OK，在原數據文件里就會得到一列預測值（PRE_1），對應于x=12的PRE值為0.18237，這就是年收入為12萬元的家庭有私家車的可能性的估計值。7/31/202376《統計學》第3章參數估計如果要估計年收入為12萬元的家庭有私家車的可能性，可以打開數6.6回歸分析的擴展6.6.1異方差1.異方差的概念7/31/202377《統計學》第3章參數估計6.6回歸分析的擴展6.6.1異方差7/31/202異方差的三種類型(1)單調遞增型：隨的增大而增大；(2)單調遞減型：隨的增大而減小；(3)復雜型：隨的的變化呈復雜形式變化。7/31/202378《統計學》第3章參數估計異方差的三種類型(1)單調遞增型：隨的增大而增大；7/31圖6.8異方差的類型7/31/202379《統計學》第3章參數估計圖6.8異方差的類型7/31/202379《統計學》第3章2.異方差的修正7/31/202380《統計學》第3章參數估計2.異方差的修正7/31/202380《統計學》第3章參數加權最小二乘（WLS）估計7/31/202381《統計學》第3章參數估計加權最小二乘（WLS）估計7/31/202381《統計學》7/31/202382《統計學》第3章參數估計7/31/202382《統計學》第3章參數估計【例6.8】在例6.5中，求當前年薪y

(元)關于開始年薪x1(元)的線性回歸方程。7/31/202383《統計學》第3章參數估計【例6.8】在例6.5中，求當前年薪y(元)關于開始年薪解：用SPSS打開數據文件example6.0，做的散點圖圖6.7，容易看出模型存在異方差性，因此先用OLS法求的估計，選擇Analyze→Regression→Linear，將自變量開始年薪x1選入Independent，再將因變量當前年薪y選入Dependent中，然后選擇Method為默認值Enter，點Save，在Residuals中選Unstandardized(將回歸殘差保存到原數據文件中)，點Continue→OK即可得3個主要表格：表6.18，6.19和6.20。7/31/202384《統計學》第3章參數估計解：用SPSS打開數據文件example6.0，做的散點表6.18普通最小二乘回歸方程的可決系數7/31/202385《統計學》第3章參數估計表6.18普通最小二乘回歸方程的可決系數7/31/2023表6.19普通最小二乘回歸方程的方差分析表

7/31/202386《統計學》第3章參數估計表6.19普通最小二乘回歸方程的方差分析表7/31/202表6.20普通最小二乘回歸方程的回歸系數表7/31/202387《統計學》第3章參數估計表6.20普通最小二乘回歸方程的回歸系數表7/31/2023加權最小二乘回歸

選擇Transform→Compute，在TargetVariable中輸入目標變量名ei，在NumericExpression中輸入表達式ABS(RES_1)求得殘差向量的絕對值ei，類似再計算殘差向量的絕對值ei的倒數inei：Transform→Compute，在TargetVariable中輸入目標變量名inei，在NumericExpression中輸入表達式1/ei，回到數據窗口可見已經產生了兩列新數據：殘差向量的絕對值ei和它的倒數inei，最后進行加權最小二乘回歸：Analyze→Regression→Linear，將自變量開始年薪x1選入Independent，將因變量當前年薪y選入Dependent中，將權向量inei選入WLSWeight中，然后選擇Method為默認值Enter，點OK即可得3個主要表格：表6.21，6.22和6.23。7/31/202388《統計學》第3章參數估計加權最小二乘回歸選擇Transform→Compute，在表6.21加權最小二乘回歸方程可決系數

7/31/202389《統計學》第3章參數估計表6.21加權最小二乘回歸方程可決系數7/31/20238表6.22加權最小二乘回歸方程的方差分析表7/31/202390《統計學》第3章參數估計表6.22加權最小二乘回歸方程的方差分析表7/31/2023表6.23加權最小二乘回歸方程的回歸系數表7/31/202391《統計學》第3章參數估計表6.23加權最小二乘回歸方程的回歸系數表7/31/20236.6.2多重共線多元回歸模型(6.34)的基本假定之一是自變量是互不相關的，如果其中兩個或多個自變量之間出現了相關性，則稱為存在多重共線性。7/31/202392《統計學》第3章參數估計6.6.2多重共線多元回歸模型(6.34)的基本假定之一7/31/202393《統計學》第3章參數估計7/31/202393《統計學》第3章參數估計7/31/202394《統計學》第3章參數估計7/31/202394《統計學》第3章參數估計7/31/202395《統計學》第3章參數估計7/31/202395《統計學》第3章參數估計【例6.5(續)】試建立當前年薪y關于開始年薪x1，工作時間x2，先前工作經驗x3和受教育年限x4的多元線性回歸模型。7/31/202396《統計學》第3章參數估計【例6.5(續)】試建立當前年薪y關于開始年薪x1，工作時Analyze→Regression→Linear，將自變量開始年薪x1，工作時間x2，先前工作經驗x3和受教育年限x4選入Independent，再將因變量當前年薪y選入Dependent中，然后選擇Method為默認值Enter(全變量回歸)，點OK即可得表6.12，6.13和6.14。從方差分析表表6.13可以看出，對應的p值，所以回歸方程顯著；但從回歸系數表表6.14可知回歸系數對應的t統計量的p值分別為0.793，0.353和0.150，都大于0.05，所以這三個回歸系數都不顯著，因此估計存在多重共線性。解：1.全變量回歸，7/31/202397《統計學》第3章參數估計Analyze→Regression→Linear，將自變量2.逐步回歸，Analyze→Regression→Linear，將自變量開始年薪x1，工作時間x2，先前工作經驗x3和受教育年限x4選入Independent，再將因變量當前年薪y選入Dependent中，然后選擇Method為Stepwise(逐步回歸法)，點OK即可得以下回歸系數表表6.24。7/31/202398《統計學》第3章參數估計2.逐步回歸，Analyze→Regression→Lin表6.24逐步回歸方程回歸系數表7/31/202399《統計學》第3章參數估計表6.24逐步回歸方程回歸系數表7/31/202399《統計6.7可化為線性情形的非線性回歸7/31/2023100《統計學》第3章參數估計6.7可化為線性情形的非線性回歸7/31/20231007/31/2023101《統計學》第3章參數估計7/31/2023101《統計學》第3章參數估計7/31/2023102《統計學》第3章參數估計7/31/2023102《統計學》第3章參數估計7/31/2023103《統計學》第3章參數估計7/31/2023103《統計學》第3章參數估計【例6.9】(數據文件為example6.8)表6.25給出了1990-2002年某市人均消費性支出x和教育支出y的數據，試建立y關于x的回歸模型。7/31/2023104《統計學》第3章參數估計【例6.9】(數據文件為example6.8)表6.25表6.25人均消費性支出和人均教育支出數據7/31/2023105《統計學》第3章參數估計表6.25人均消費性支出和人均教育支出數據7/31/2023解：1.先點散點圖，圖6.9人均消費性支出x對人均教育支出y的散點圖7/31/2023106《統計學》第3章參數估計解：1.先點散點圖，圖6.9人均消費性支出x對人均教育支2.再嘗試采用二次、三次曲線、冪函數曲線和指數函數曲線擬合數據：Analyze→Regression→CurveEstimation，將自變量人均消費性支出x選入Independent，再將因變量人均教育支出y選入Dependent中，在Models中選Linear(線性函數，形如)，Quadratic(二次曲線，形如)，Cubic(三次曲線，形如)，Power(冪函數，形如(6.75)式)和Compound(指數函數，形如(6.79)式)，點OK可得如下擬合結果。7/31/2023107《統計學》第3章參數估計2.再嘗試采用二次、三