一元線性回歸模型參數的最小二乘估計（第二課時）

例

m處的直徑)越大，

樹就越高.由于測量樹高比測量胸徑困難，因此研究人員希望由胸徑預測樹高.在研究樹高與胸徑之間的關系時，某林場收集了某種樹的一些數據如下表，試根據這些數據建立樹高關于胸徑的經驗回歸方程.編號123456胸徑/cm18.120.122.224.426.028.3樹高/m18.819.221.021.022.122.1編號789101112胸徑/cm29.632.433.735.738.340.2樹高/m22.422.623.024.323.924.7

例

根據下面數據建立樹高關于胸徑的經驗回歸方程.編號123456胸徑/cm18.120.122.224.426.028.3樹高/m18.819.221.021.022.122.1編號789101112胸徑/cm29.632.433.735.738.340.2樹高/m22.422.623.024.323.924.7

解:

以胸徑為橫坐標，樹高為縱坐標作散點圖如下：

在右圖中，散點大致分布在一條從左下角到右上角的直線附近，表明兩個變量線性相關，并且是正相關，因此可以用一元線性回歸模型刻畫樹高與胸徑之間的關系.用d表示胸徑,h表示樹高,根據據最小二乘法,計算可得經驗回歸方程為相應的經驗回歸直線如圖所示.編號胸徑/cm樹高觀測值/m樹高預測值/m殘差/m118.118.819.4-0.6220.119.219.9-0.7322.221.020.40.6424.421.020.90.1526.022.121.30.8628.322.121.90.2729.622.422.20.2832.422.622.9-0.3933.723.023.2-0.21035.724.323.70.61138.323.924.4-0.51240.224.724.9-0.2根據經驗回歸方程，由胸徑的數據可以計算出樹高的預測值(精確到0.1)以及相應的殘差，如下表所示.以胸徑為橫坐標,殘差為縱坐標,作殘差圖,得到下圖.觀察殘差表和殘差圖，可以看到，殘差的絕對值最大是0.8，所有殘差分布在以橫軸為對稱軸、寬度小于2的帶狀區域內.可見經驗回歸方程較好地刻畫了樹高與胸徑的關系，我們可以根據經驗回歸方程由胸徑預測樹高.編號12345678年份18961912192119301936195619601968記錄/s11.8010.6010.4010.3010.2010.1010.009.95

問題

人們常將男子短跑100m的高水平運動員稱為百米飛人

.下表給出了1968年之前男子短跑100m世界紀錄產生的年份和世界紀錄的數據.試依據這些成對數據,建立男子短跑100m世界紀錄關于紀錄產生年份的經驗回歸方程.以成對數據中的世界紀錄產生年份為橫坐標,世界紀錄為縱坐標作散點圖,得到下圖.在上圖中，散點看上去大致分布在一條直線附近，似乎可用一元線性回歸模型建立經驗回歸方程.用Y表示男子短跑100m的世界紀錄,t表示紀錄產生的年份,利用一元線性回歸模型來刻畫世界紀錄和世界紀錄產生年份之間的關系.根據最小二乘法,由表中的數據得到經驗回歸方程為：將經驗回歸直線疊加到散點圖，得到下圖：

觀察:從圖中可以看到,經驗回歸方程較好地刻畫了散點的變化趨,請再仔細觀察圖形,你能看出其中存在的問題嗎?以經驗回歸直線為參照，可以發現經驗回歸方程的不足之處，以及散點的更為精細的分布特征.例如，第一個世界紀錄所對應的散點遠離經驗回歸直線，并且前后兩時間段中的散點都在經驗回歸直線的上方，中間時間段的散點都在經驗回歸直線的下方.這說明散點并不是隨機分布在經驗回歸直線的周圍，而是圍繞著經驗回歸直線有一定的變化規律，即成對樣本數據呈現出明顯的非線性相關的特征.

思考:

你能對模型進行修改,以使其更好地反映散點的分布特征嗎?仔細觀察右圖,可以發現散點更趨向于落在中間下凸且遞減的某條曲線附近.回顧已有的函數知識，可以發現函數y=-lnx的圖象具有類似的形狀特征.

注意到100m短跑的第一個世界紀錄產生于1896年,因此可以認為散點是集中在曲線y=f(t)=c1+c2ln(t-1895)的周圍，其中c1、c2為未知參數，且c2<0.散點集中在曲線y=f(t)=c1+c2ln(t-1895)的周圍，其中c1、c2為未知參數，且c2<0.用上述函數刻畫數據變化的趨勢，這是一個非線性經驗回歸函數，其中c1，c2是待定的參數

，現在問題轉化為如何利用成對數據估計參數c1和c2.為了利用一元線性回歸模型估計參數c1和c2

，我們引進一個中間變量x，令x=ln(t-1895)，通過x=ln(t-1895)

，將年份變量數據進行變換，得到新的成對數據，如下表.編號12345678年份/t18961912192119301936195619601968x0.002.833.263.563.714.114.174.29記錄/s11.8010.6010.4010.3010.2010.1010.009.95如果上表對應的散點圖呈現出很強的線性相關特征，我們就可以借助一元線性回歸模型和新的成對數據，對參數c1和c2作出估計，進而可以得到Y關于t的非線性經驗回歸方程.令x=ln(t-1895),則Y=c2x+c1

.在直角坐標系中畫出上表中成對數據的散點圖，如下圖所示，散點分布呈現出很強的線性相關特征.因此，用一元線性回歸模型擬合上表中的數據，得到經驗回歸方程在上圖中畫出經驗回歸直線，如圖所示.上圖表明,經驗回歸方程對于上表中的成對數據具有非常好的擬合精度

.將兩個回歸直線進行對比,可以發現x和Y之間的線性相關程度比原始樣本數據的線性相關程度強得多.將x=ln(t-1895)代入得到由創紀錄年份預報世界紀錄的經驗回歸方程.在同一坐標系中畫出成對數據散點圖、非線性經驗回歸方程②的圖像(藍色)以及經驗回歸方程①的圖像(紅色)，如圖所示.②我們發現，散點圖中各散點都非常靠近②的圖像,表明非線性經驗回歸方程②對于原始數據的擬合效果遠遠好于經驗回歸方程①.在一般情況下，直接比較兩個模型的殘差比較困難，因為在某些散點上一個模型的殘差的絕對值比另一個模型小，而另一些散點的情況則相反.可以通過比較殘差的平方和來比較兩個模型的效果.由可知Q2小于Q1，因此在殘差平方和最小的標準下，非線性回歸模型的擬合效果要優于一元線性回歸模型的擬合效果.決定系數R2：通過前面的討論我們知道，當殘差的平方和越小，經驗回歸模型的擬合效果就越好，故我們可以用決定系數R2來驗證模型的擬合效果.決定系數R2的計算公式為在R2表達式中，由于與經驗回歸方程無關，殘差平方和與經驗回歸方程有關，因此R2越大，表示殘差平方和越小，即模型的擬合效果越好；

R2越小，表示殘差平方和越大，即模型的擬合效果越差.R2越大，表示殘差平方和越小，即模型的擬合效果越好R2越小，表示殘差平方和越大，即模型的擬合效果越差.

因為0≤R2≤1，R2越接近1，則線性回歸刻畫的效果越好.在一元線性回歸模型中R2=r2，即決定系數R2等于響應變量與解釋變量的樣本相關系數r的平方.由上述殘差表可算出經驗回歸方程①和②的決定系數R2分別為

由于因此經驗回歸方程②的刻畫效果比經驗回歸方程①的好很多.在使用經驗回歸方程進行預測時,需注意以下問題1.回歸方程只適用于我們所研究的樣本的總體；2.我們所建立的回歸方程一般都有時間性；3.樣本采集的范圍會影響回歸方程的適用范圍；4.不能期望回歸方程得到的預報值就是預報變量的精確值.事實上,它是預報變量的可能取值的平均值.(1)確定研究對象,明確哪個變量是解釋變量,哪個變量是響應變量．(2)畫出解釋變量與響應變量的散點圖，觀察它們之間的關系(如是否存在線性關系等)．(3)由經驗確定回歸方程的類型．(4)按一定規則(如最小二乘法)估計經驗回歸方程中的參數.(5)得出結果后需進行線性回歸分析.①殘差平方和越小，模型的擬合效果越好.②決定系數R2取值越大，說明模型的擬合效果越好.建立線性回歸模型的基本步驟：建立非線性經驗回歸模型的基本步驟：1.確定研究對象，明確哪個是解釋變量，哪個是響應變量；2.由經驗確定非線性經驗回歸方程的模型；3.通過變換，將非線性經驗回歸模型轉化為線性經驗回歸模型；4.按照公式計算經驗回歸方程中的參數，得到經驗回歸方程；5.消去新元，得到非線性經驗回歸方程；6.得出結果后分析殘差圖是否有異常．全優P66右邊

題型2例2

全優P66左邊

跟蹤訓練