8.2.2一元線性回歸模型參數的最小二乘估計

第二課時(最小二乘估計的應用)一、知識回顧

將

稱為Y關于x的經驗回歸方程，也稱經驗回歸函數或經驗回歸公式,其圖形稱為經驗回歸直線.這種求經驗回歸方程的方法叫做最小二乘法,求得的

叫做b、a的最小二乘估計.其中問題

人們常將男子短跑100m的高水平運動員稱為“百米飛人”.

下表給出了1968年之前男子短跑100m世界紀錄產生的年份和

世界紀錄的數據.試依據這些成對數據，建立男子短跑100m

世界紀錄關于紀錄產生年份的經驗回歸方程.二、探究新知編號12345678年份18961912192119301936195619601968紀錄/s11.8010.6010.4010.3010.2010.1010.009.95

以成對數據中的世界紀錄產生年份為橫坐標,世界紀錄為縱坐標作散點圖,得到下圖.

散點看上去大致分布在一條直線附近,似乎可用一元線性回歸模型建立經驗回歸方程.二、探究新知

將經驗回歸直線疊加到散點圖,得到下圖.

用Y表示男子短跑100m的世界紀錄，t表示紀錄產生的年份，利用一元線性回歸模型來刻畫世界紀錄和世界紀錄產生年份之間的關系.根據最小二乘法,由表中的數據得到經驗回歸方程為=0.02033743t+49.76913031

①二、探究新知

以經驗回歸直線為參照,可以發現經驗回歸方程的不足之處,以及散點的更為精細的分布特征.例如,第一個世界紀錄所對應的散點遠離經驗回歸直線,并且前后兩時間段中的散點都在經驗回歸直線的上方,中間時間段的散點都在經驗回歸直線的下方.這說明散點并不是隨機分布在經驗回歸直線的周圍,而是圍繞著經驗回歸直線有一定的變化規律,即成對樣本數據呈現出明顯的非線性相關的特征.

從上圖中可以看到,經驗回歸方程

較好地刻畫了散點的變化趨勢.請再仔細觀察圖形,你能看出其中存在的問題嗎?=0.02033743t+49.76913031

二、探究新知

你能對模型進行修改，以使其更好地反映散點的分布特征嗎?

仔細觀察上圖，可以發現散點更趨向于落在中間下凸且遞減的某條曲線附近.回顧已有的函數知識,可以發現函數的圖象具有類似的形狀特征.注意到短跑的第一個世界紀錄產生于1896年,因此可以認為散點是集中在曲線的周圍，其中c1和c2為未知的參數,且c2<0.二、探究新知

為了利用一元線性回歸模型估計參數c1和c2，我們引進一個中間變量x，令x=In(t-1895)．通過x=ln(t-1895)，將年份變量數據進行變換，得到新的成對數據(精確到0.01)，如下表所示.

用上述函數刻畫數據變化的趨勢，這是一個非線性經驗回歸函數，其中c1、c2是待定參數現在問題轉化為如何利用成對數據估計參數c1和c2.

如果上表對應的散點圖呈現出很強的線性相關特征,我們就可以借助一元線性回歸模型和新的成對數據，對參數c1和c2作出估計，進而可以得到Y關于t的非線性經驗回歸方程.二、探究新知

在直角坐標系中畫出上表中成對數據的散點圖，如下圖所示，散點的分布呈現出很強的線性相關特征.擬合上表中的成對數據，得到經驗回歸方程

因此,用一元線性回歸模型=0.4264398x+11.8012653

二、探究新知再畫出上式所對應的經驗回歸直線，得到下圖.=0.4264398x+11.8012653

=0.02033743t+49.76913031

上圖表明，經驗回歸方程

對于上表中的成對數據具有非常好的擬合精度.將上圖與下圖進行對比，可以發現x和Y之間的線性相關程度比原始樣本數據的線性相關程度強得多.=0.4264398x+11.8012653

二、探究新知

將x=In(t-1895)代入

，得到由創紀錄年份預報世界紀錄的經驗回歸方程=0.4264398x+11.8012653=0.4264398In(t-1895)+11.8012653

②

在同一坐標系中畫出成對數據散點圖、非線性經驗回歸方程②的圖象(藍色)以及經驗回歸方程①的圖象(紅色)，如下圖所示.我們發現，散點圖中各散點都非常靠近②的圖象，表明非線性經驗回歸方程②對于原始數據的擬合效果遠遠好于經驗回歸方程①.二、探究新知

下面通過殘差來比較這兩個經驗回歸方程對數據刻畫的好壞.在下表中，用ti表示編號為i的年份數據，用yi表示編號為i的紀錄數據，則經驗回歸方程①和②的殘差計算公式分別為=yi+0.02033743ti-49.76913031(i=1，2，…，8)=yi+0.4264398ln(ti-1895)-11.8012653(i=1，2，…，8)

兩個經驗回歸方程的殘差(精確到0.001)如下表所示．觀察各項殘差的絕對值，發現經驗回歸方程②遠遠小于①，即經驗回歸方程②的擬合效果要遠遠好于①.

在一般情況下，直接比較兩個模型的殘差比較困難，因為在某些散點上一個模型的殘差的絕對值比另一個模型的小，而另一些散點的情況則相反.可以通過比較殘差的平方和來比較兩個模型的效果.二、探究新知

由

可知Q2小于Q1．因此在殘差平方和最小的標準下，非線性回歸模型的擬合效果要優于一元線性回歸模型的擬合效果.

也可以用決定系數R2來比較兩個模型的擬合效果，R2的計算公式為

在R2表達式中，

與經驗回歸方程無關,殘差平方和

與經驗回歸方程有關．因此R越大，表示殘差平方和越小，即模型的擬合效果越好;R2越小，表示殘差平方和越大，即模型的擬合效果越差.三、最小二乘法

由下表容易算出經驗回歸方程①和②的R2分別約為0.7325和0.9983，因此經驗回歸方程②的刻畫效果比經驗回歸方程①的好很多.

另外，我們還可以用新的觀測數據來檢驗模型的擬合效果，事實上，我們還有1968年之后的男子短跑100m世界紀錄數據，如表所示.三、最小二乘法

把上表中的數據繪制在前面的散點圖中(綠色)，再添加經驗回歸方程①所對應的經驗回歸直線(紅色)，以及經驗回歸方程②所對應的經驗回歸曲線(藍色)，得到下圖.顯然綠色散點分布在藍色經驗回歸曲線的附近，遠離紅色經驗回歸直線，表明經驗回歸方程②對于新數據的預報效果遠遠好于①.

在使用經驗回歸方程進行預測時，需要注意下列問題:

(1)經驗回歸方程只適用于所研究的樣本的總體.例如，根據我國父親身高與兒子身高的數據建立的經驗回歸方程，不能用來描述美國父親身高與兒子身高之間的關系.同樣，根據生長在南方多雨地區的樹高與胸徑的數據建立的經驗回歸方程，不能用來描述北方干旱地區的樹高與胸徑之間的關系.

(2)經驗回歸方程一般都有時效性.

例如，根據20世紀80年代的父親身高與兒子身高的數據建立的經驗回歸方程，不能用來描述現在的父親身高與兒子身高之間的關系.

(3)解釋變量的取值不能離樣本數據的范圍太遠.一般解釋變量的取值在樣本數據范圍內，經驗回歸方程的預報效果會比較好，超出這個范圍越遠，預報的效果越差.

(4)不能期望經驗回歸方程得到的