統計思維回歸的直觀理解與原理:一元線性回歸

一元線性回歸原理（一）問題的提出例1

假定需要研究化肥施用量與糧食產量的關系，以便準確地定出化肥施用量的單位變化如何影響糧食產量的平均單位變化，進而確定合理的化肥施用量。表1化肥施用量與糧食產量化肥施用量x(萬噸)4541.053637.872287.493056.894883.73779.34021.09糧食產量y(萬噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬噸)2989.063021.93953.973212.133804.761598.281998.56糧食產量y(萬噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬噸)3710.563269.031017.121864.232797.241034.09

糧食產量y(萬噸)46598.0444020.9234866.9137184.1441864.7733717.78

一元線性回歸原理圖1化肥施用量與糧食產量的散點圖一元線性回歸原理上述變量間關系的特點：變量間關系不能用函數關系精確表達一個變量的取值不能由另一個變量唯一確定當變量x取某個值時，變量y的取值可能有幾個各觀測點分布在直線周圍xy一元線性回歸原理問題兩個變量之間有著密切的關系，但它們之間密切的程度并不能由一個變量唯一確定另一個變量，即它們間的關系是一種非確定性的關系。它們之間到底有什么樣的關系呢?例1中由20組數據，糧食產量與化肥施用量的關系式

是如何得到的？一元線性回歸原理解決方案運用模型來擬合這些數據點。觀測值分解成兩部分：y

=b0+b1x

+e一元線性回歸模型xy觀測項=+結構項隨機項

=+一元線性回歸原理（二）一元線性回歸模型描述因變量y如何依賴于自變量x和誤差項

的方程稱為回歸模型一元線性回歸模型可表示為

y

=b0+b1x

+ey是x的線性函數(部分)加上誤差項線性部分反映了由于x的變化而引起的y的變化誤差項

是隨機變量反映了除x和y之間的線性關系之外的隨機因素對y的影響是不能由x和y之間的線性關系所解釋的變異性0和1稱為模型的參數xy一元線性回歸原理一元線性回歸模型(基本假定)因變量x與自變量y之間具有線性關系在重復抽樣中，自變量x的取值是固定的，即假定x是非隨機的誤差項ε是一個期望值為0的隨機變量，即E(ε)=0。對于一個給定的x值，y的期望值為E(y)=0+

1x對于所有的x值，ε的方差σ2都相同誤差項ε是一個服從正態分布的隨機變量，且相互獨立。即ε~N(0,σ2)獨立性意味著對于一個特定的x值，它所對應的ε與其他x值所對應的ε不相關對于一個特定的x值，它所對應的y值與其他x所對應的y值也不相關一元線性回歸原理回歸方程(regressionequation)描述y的平均值或期望值如何依賴于x的方程稱為回歸方程一元線性回歸方程的形式如下

E(y)=0+1x方程的圖示是一條直線，也稱為直線回歸方程0是回歸直線在y軸上的截距，是當x=0時y的期望值1是直線的斜率，稱為回歸系數，表示當x每變動一個單位時，y的平均變動值xy一元線性回歸原理xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)問題：回歸直線如何確定？一元線性回歸原理KarlGauss的最小化圖xy(xn,yn)(x1,y1)(x2,y2)(xi,yi)ei=yi-yi＾目標：找一條直線盡可能的擬合這n個樣本點。一元線性回歸原理（三）最小二乘估計

(least-squaresestimation)德國科學家KarlGauss(1777—1855)提出用最小化圖中垂直方向的誤差平方和來估計參數使因變量的觀察值與估計值之間的誤差平方和達到最小來求得和的方法。即用最小二乘法擬合的直線來代表x與y之間的關系與實際數據的誤差比其他任何直線都小一元線性回歸原理問題如何估計使得最小一元線性回歸原理解決方法根據微積分法求極值的原理，通過求偏導數并命其為0而得到：

這組方程稱為正規方程組經過整理，可得？一元線性回歸原理其中，記可以簡寫為經過整理，可得一元線性回歸原理例1

假定需要研究化肥施用量與糧食產量的關系，以便準確地定出化肥施用量的單位變化如何影響糧食產量的平均單位變化，進而確定合理的化肥施用量。表1糧食產量與化肥施用量化肥施用量x(萬噸)4541.053637.872287.493056.894883.73779.34021.09糧食產量y(萬噸)48526.6945110.8740753.7943824.5850890.1146370.8846577.91化肥施用量x(萬噸)2989.063021.93953.973212.133804.761598.281998.56糧食產量y(萬噸)42947.4441673.2147244.3443061.5347336.7837127.8939515.07化肥施用量x(萬噸)3710.563269.031017.121864.232797.241034.09

糧食產量y(萬噸)46598.0444020.9234866.9137184.1441864.7733717.78

最小二乘法求解回歸方程實例一元線性回歸原理解：

一元線性回歸原理回歸方程為：一元線性回歸原理直觀來看，回歸直線與20個樣本數據點都很接近，說明回歸直線對數據的擬合效果是好的。

圖1化肥施用量與糧食產量的散點圖一元線性回歸原理最小二乘估計的軟件實現、輸出結果回歸方程為：一元線性回歸原理小結：估計的回歸方程一元線性回歸中估計的回歸方程為用樣本統計量和代替回歸方程中的未知參數和，就得到了估計的回歸方程總體回歸參數和

是未知的，必須利用樣本數據去估計其中：是估計的回歸直線在y

軸上的截距，是直線的斜率，它表示對于一個給定的x

的值，是y

的估計值，也表示x

每變動一個單位時，y的平均變動值

.一元線性回歸原理“回歸”名稱的由來十九世紀，英國生物學家兼統計學家高爾頓研究父母身高與其子女身高的遺傳問題時，觀察了1078對夫婦，