線性回歸分析

雙變量模型1線性回歸分析

雙變量模型1回歸分析的含義

回歸分析是研究一個叫做因變量的變量對另一個或多個叫做解釋變量的變量的統計依賴關系。其用意在于，通過解釋變量的已知值或給定值去估計或預測因變量的總體均值。

雙變量回歸分析：只考慮一個解釋變量。（一元回歸分析，簡單回歸分析）復回歸分析：考慮兩個以上解釋變量。（多元回歸分析）2回歸分析的含義回歸分析是研究一個叫做因變量的變量對另術語與符號自變量(independentvariable)解釋變量(explanatoryvariable)控制變量(controlvariable)預測變量(predictorvariable)回歸元(regressor)因變量(dependentvariable)被解釋變量(explainedvariable)響應變量(responsevariable)被預測變量(predictedvariable)回歸子(regressand)XY3術語與符號自變量因變量XY3統計關系與確定性關系

統計（依賴）關系：非確定性的關系。在統計依賴關系中，主要處理的是隨機變量，也就是有著概率分布的變量。特別地，因變量的內在隨機性是注定存在的。例如：農作物收成對氣溫、降雨、陽光以及施肥的依賴關系便是統計性質的。

這些解釋變量固然重要，但是并不能使我們準確地預測農作物的收成。

確定性關系：函數關系。例如物理學中的各種定律。4統計關系與確定性關系統計（依賴）關系：非確定性的關系回歸與因果關系回歸分析研究因變量對于解釋變量的統計依賴關系，但并不一定意味著因果關系。一個統計關系式，不管多強和多么具有啟發性，都永遠不能確立因果聯系。因果關系的確立必須來自于統計關系以外，最終來自于這種或那種理論（先驗的或是理論上的）。5回歸與因果關系回歸分析研究因變量對于解釋變量的統計依賴關系，回歸分析與相關分析（一）相關分析：用相關系數測度變量之間的線性關聯程度。例如：測度統計學成績和高等數學成績的的相關系數。假設測得0.90，說明兩者存在較強的線性相關。回歸分析：感興趣的是，如何從給定的解釋變量去預測因變量的平均取值。例如：給定一個學生的高數成績為80分，他的統計學成績平均來說應該是多少分。6回歸分析與相關分析（一）相關分析：用相關系數測度變量之間的線回歸分析與相關分析（二）在相關分析中，對稱地對待任何兩個變量，沒有因變量和解釋變量的區分。而且，兩個變量都被當作隨機變量來處理。在回歸分析中，因變量和解釋變量的處理方法是不對稱的。因變量被當作是統計的，隨機的。而解釋變量被當作是（在重復抽樣中）取固定的數值，是非隨機的。

（把解釋變量假定為非隨機，主要是為了研究的便利，在高級計量經濟學中，一般不需要這個假定。）7回歸分析與相關分析（二）在相關分析中，對稱地對待任何兩個變量雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（一元線性回歸模型）8雙變量回歸模型

（最簡單的回歸模型）模型特點因變量（Y）僅依賴于唯一的一個解釋變量(X)。回歸分析的內容與目的1、通過樣本數據去估計出因變量與解釋變量的統計依賴關系式（總體回歸函數）；2、給定解釋變量的取值，去估計因變量的均值；3、假設檢驗；4、根據樣本外解釋變量的取值，預測因變量的均值。9雙變量回歸模型

（最簡單的回歸模型）模型特點9總體回歸函數

(Populationregressionfunction,PRF)

以函數形式（方程、模型）揭示出來的因變量與解釋變量的統計依賴關系式。回歸分析的最終目的估計出總體回歸函數10總體回歸函數

(Populationregression估計總體回歸函數的首要任務設定總體回歸函數的合理形式11估計總體回歸函數的首要任務設定總體回歸函數的合理形式11假想例子對每周博彩支出和每周個人可支配收入作回歸分析。

因變量：每周博彩支出解釋變量：每周個人可支配收入12假想例子對每周博彩支出和每周個人可支配收入作回歸分析

在一個假想的經濟社會中，共有100個人參與博彩。個人可支配收入分為10檔，每檔收入對應的博彩支出有10種情況。例子說明13在一個假想的經濟社會中，共有100個人參與博彩。個人可支1414****************************************************************************************************150175200225250275300325350375每周個人可支配收入（X）總體回歸曲線每周個人博彩支出Y條件均值15150175200225250“線性”一詞的含義線性的含義對變量為線性對參數為線性

從現在起，線性回歸總是指對參數為線性的一種回歸，也即參數總是以它的一次方出現。對于解釋變量以什么方式進入模型則沒有特別限制。16“線性”一詞的含義線性的含義從現在起，線性回歸總是指對********************（線性）總體回歸函數（曲線）XY相同的X對應著不同的Y。Y的所有條件期望落在一條曲線上。該形式的總體回歸函數體現了因變量的條件均值與解釋變量的固定取值之間的確定關系。********************************************************************************17（線性）總體回歸函數（曲線）XY相同的X對應著不同的Y。17總體回歸函數斜率度量了解釋變量X每變動一個單位，因變量Y的條件均值變化多少個單位。

截距項度量了解釋變量為零時因變量的條件均值。一般來說，不解釋其經濟意義。該形式的總體回歸函數稱為

確定（非隨機）總體回歸函數18總體回歸函數斜率度量了解釋變量X每變動一個單位，因變量Y的條********************XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對應著不同的Y。總體回歸函數的確定形式不能完全體現因變量的個別值與解釋變量的固定值之間的統計依賴關系。********************************************************************************19XY雖然Y的所有條件期望都落在一條直線上，但是相同的X卻對應每周個人可支配收入（X）總體回歸函數(PRF)的隨機設定每周個人博彩支出收入Y隨機干擾項

(隨機誤差項)20每周個人可支配收入（X）總體回歸函數(PRF)的隨機設定每總體回歸模型的隨機形式隨機總體回歸函數21總體回歸模型的隨機形式隨機總體回歸函數21引入隨機干擾項的意義1、理論的不完全性

與因變量相關的因素很多，隨機干擾項替代了未納入模型的全部變量。2、人類行為的內在隨機性

隨機因素永遠存在3、節省原則模型是現實的簡化，若無充分理由，寧簡勿繁。4、度量誤差22引入隨機干擾項的意義1、理論的不完全性22總體回歸函數23總體回歸函數23總體回歸函數的參數通常是永遠不得而知的。

一則，實踐中不能獲得整個總體數據；

二則，收集所有總體數據會浪費大量人力、財力，不經濟。

通常，我們僅有來自總體的一個或少數幾個樣本。因此，總體回歸函數必須從已掌握的樣本數據去估計。24總體回歸函數的參數通常是永遠不得而知的。

一樣本回歸函數（曲線）假設僅從總體中得到兩組樣本，樣本容量均為10，對應每個X值均僅隨機抽取一個Y值。SRF1SRF2樣本1樣本2YX25樣本回歸函數（曲線）假設僅從總體中得到兩組樣本，樣本樣本回歸函數的特點由于抽樣的隨機性，樣本回歸函數與總體回歸函數總是不可避免存在差異。因此，樣本回歸函數過高或者過低估計總體回歸函數自然是不可避免的。可以說，任何SRF都僅僅是PRF的近似或者是估計。26樣本回歸函數的特點由于抽樣的隨機性，樣本回歸函數與總體回歸函樣本和總體回歸曲線（函數）YX27樣本和總體回歸曲線（函數）YX27

既然樣本回歸函數只是總體回歸函數的一個近似，那么能不能設計一種規則或方法去構造SRF，以使得這種近似是一種盡可能“接近”的近似呢？28既然樣本回歸函數只是總體回歸函數的一個近似，那么能不能設設定樣本回歸函數的形式樣本回歸函數的形式應該與總體回歸函數一致。原因很簡單，構造樣本回歸函數是為了估計總體回歸函數，所以形式上應該一致。對應于總體回歸函數的兩種形式，樣本回歸函數也應該有兩種形式。

1、確定樣本回歸函數

樣本回歸函數的非隨機形式

2、隨機樣本回歸函數

樣本回歸函數的隨機形式29設定樣本回歸函數的形式樣本回歸函數的形式應該與總體回歸函數一樣本回歸函數的非隨機形式30樣本回歸函數的非隨機形式30樣本回歸函數的隨機形式31樣本回歸函數的隨機形式31樣本和總體回歸曲線（函數）YX32樣本和總體回歸曲線（函數）YX32樣本回歸函數形式

也就是說，如何構造SRF以使得盡可能接近真實的，盡可能接近真實的？

如何確定樣本回歸函數的參數？33樣本回歸函數形式也就是說，如何構造SRF以使得普通最小二乘法

Methodofordinaryleastsquares

(OLS)34普通最小二乘法

Methodofordinarylea樣本YX35樣本YX35樣本YX最小二乘原理：構造合適的估計量，使得殘差平方和（residualsumofsquares,RSS）最小。36樣本YX最小二乘原理：構造合適的估計量，使得殘差平方和（re樣本YX37樣本YX37最小二乘估計量的推導一階條件38最小二乘估計量的推導一階條件38解方程正規方程組慣例：小寫字母表示對均值的離差39解方程正規方程組慣例：小寫字母表示對均值的離差39最小二乘估計量的特點OLS估計量是可觀測樣本值的函數，因而容易計算。OLS估計量是點估計量。對于給定的樣本，只能獲得總體參數的一個估計值。一旦計算出OLS估計值，便容易畫出樣本回歸線。40最小二乘估計量的特點OLS估計量是可觀測樣本值的函數，因而容最小二乘估計量的數值性質1、樣本回歸曲線經過Y和X的樣本均值所決定的點。2、估計的Y的均值等于實測的Y的均值。3、殘差均值等于零。4、殘差和樣本X不相關。5、殘差和預測的Y值不相關。41最小二乘估計量的數值性質1、樣本回歸曲線經過Y和X的樣本均值單純的最小二乘估計量只能提供總體參數的一個點估計值，卻不能對總體參數做出任何統計推斷。要對總體參數從而對因變量做統計推斷，還需要對回歸模型進行一系列詳細的假定。42單純的最小二乘估計量只能提供總體參數的一個點估43434444經典線性回歸模型基本假定45經典線性回歸模型基本假定45經典線性回歸模型的基本假定

(又稱“古典、高斯或標準線性回歸模型”)

Classicallinearregressionmodel,CLRM46經典線性回歸模型的基本假定

(又稱“古典、高斯或標準線性回歸此假定意味著，我們所進行的回歸分析是條件回歸分析！47此假定意味著，我們所進行的回歸分析是條件回歸分析！4748484949505051515252535354545555假定的總結假定的真實性假定的意義假定的檢驗56假定的總結假定的真實性56經典線性回歸模型基本假定之下

最小二乘估計量的統計性質57經典線性回歸模型基本假定之下

最小二乘估計量的統計性質57最小二乘估計量的精度（標準差）58最小二乘估計量的精度（標準差）58影響回歸系數估計精度的因素（一）59影響回歸系數估計精度的因素（一）59影響回歸系數估計精度的因素（二）60影響回歸系數估計精度的因素（二）60最小二乘估計量的優良性質高斯—馬爾可夫定理

在經典線性回歸模型的假定條件下，最小二乘估計量，在所有無偏線性估計量中，具有最小方差，也就是說，它們是BLUE。最優線性無偏估計量Bestlinearunbiasedestimator(BLUE)

同時滿足“線性”、“無偏”、“方差最小”三個優良性質的估計量

61最小二乘估計量的優良性質高斯—馬爾可夫定理最優線性無偏估計量一、線性62一、線性626363二、無偏性64二、無偏性646565三、最小方差性66三、最小方差性66四、一致性一致性的一個充分條件：估計量無偏，而且隨著樣本容量趨于無窮，其方差趨于零。67四、一致性一致性的一個充分條件：67至此，雖然已經在經典線性回歸模型的基本假定之下推導出了最小二乘估計量的若干統計性質，但疑問仍然存在！68至此，雖然已經在經典線性回歸模型的基本假定之下推導出了最小二6969經典正態線性回歸模型在經典線性回歸模型基本假定的基礎上增補正態假定隨機干擾項正態性假定的依據？

中心極限定理

獨立隨機變量，隨著變量個數的無限增加，其和的分布一般來說近似服從正態分布。70經典正態線性回歸模型在經典線性回歸模型基本假定的基礎上增正態性假定下OLS估計量的概率分布71正態性假定下OLS估計量的概率分布7172727373自由度(df)

degreesoffreedom自由度取值的一般規律74自由度(df)

degreesoffreedom自由度取75757676知道了統計量的概率分布，從而可以很方便地進行區間估計和假設檢驗。77知道了統計量的概率分布，從而可以很方便地進行區間估計和假回歸系數顯著性檢驗（t檢驗）一、設計檢驗方案78回歸系數顯著性檢驗（t檢驗）一、設計檢驗方案787979二、構造檢驗統計量（隨機變量）80二、構造檢驗統計量（隨機變量）80三、計算檢驗統計值81三、計算檢驗統計值81四、選擇一定的顯著性水平，根據檢驗方案確定拒絕域和非拒絕域。五、察看檢驗統計值落入哪個區域。如果落入拒絕域，那么表明在該顯著性水平下，檢驗是統計上顯著的，說明總體參數顯著異于假設值。六、也可以根據檢驗方案直接計算出獲得該統計值的單側或雙側P值。如果該P值小于給定的顯著性水平，那么拒絕原假設。陳述同上。82四、選擇一定的顯著性水平，根據檢驗方案確定拒絕域和非拒絕域。例題做鐘表年代對鐘表價格的回歸分析，檢驗鐘表年代對鐘表價格是否存在顯著影響。回歸結果如下：83例題做鐘表年代對鐘表價格的回歸分析，檢驗鐘表年代對鐘表價檢驗方案原假設：鐘表價格的總體回歸系數等于零（表明鐘表年代不影響鐘表價格）備選假設：鐘表價格的總體回歸系數不等于零（表明鐘表年代影響鐘表價格）84檢驗方案84VariableCoefficientStd.Errort-StatisticProb.AGE10.485621.7937295.8457110.0000C-191.6662264.4393-0.7248020.474285VariableCoefficientStd.Errort86860P值檢驗870P值檢驗8788888989統計顯著統計不顯著90統計顯著統計不顯著90檢驗結果陳述在0.01的顯