2022年安徽省中小學(xué)教育教學(xué)論文評(píng)選最小二乘法求回歸系數(shù)的解法探究 摘要：本文通過(guò)具體到抽象的方式探究最小二乘法求回歸系數(shù)的三類(lèi)解法（配方法、添項(xiàng)法、求導(dǎo)法）。根據(jù)殘差平方和的最小值，可以論證一元線性回歸模型的決定系數(shù)是樣本線性相關(guān)系數(shù)的平方，即Rr2。結(jié)合樣本線性相關(guān)系數(shù)公式和回歸系數(shù)公式，可以論證一元線性回歸模型滿足總偏差平方和等于回歸平方和與殘差平方和的和。關(guān)鍵詞：最小二乘法，殘差平方和，決定系數(shù)，樣本相關(guān)系數(shù)，總偏差平方和。引言：人教版《成對(duì)數(shù)據(jù)的統(tǒng)計(jì)分析》章節(jié)，包含樣本相關(guān)系數(shù)、回歸系數(shù)和決定系數(shù)，學(xué)生普遍認(rèn)為這些統(tǒng)計(jì)量的公式復(fù)雜，理解困難。挖掘這些參數(shù)間的內(nèi)在聯(lián)系，能夠幫助學(xué)生構(gòu)建更好的統(tǒng)計(jì)觀。一元線性回歸模型中根據(jù)最小二乘法求回歸系數(shù)有哪些算法？線性回歸模型的決定系數(shù)R2與樣本相關(guān)系數(shù)r有何關(guān)系呢?一、最小二乘法的歷史和教學(xué)最小二乘法最早是由法國(guó)數(shù)學(xué)家勒讓德在1805年發(fā)表的著作《計(jì)算彗星軌道的新方法》中提出的，勒讓德提出直線應(yīng)滿足各個(gè)散點(diǎn)的殘差平方和最小。高斯宣稱他在1801年計(jì)算谷神星的軌道時(shí)，已經(jīng)采用了這種方法，但是沒(méi)有即時(shí)發(fā)表[1]。兩位數(shù)學(xué)家曾經(jīng)為誰(shuí)最先提出最小二乘法，產(chǎn)生過(guò)爭(zhēng)論。高斯在1809年出版的天文著作《天體沿圓錐曲線繞日運(yùn)動(dòng)之理論》中，首次發(fā)表了他的最小二乘法。后來(lái)，高斯用最小二乘法研究誤差問(wèn)題，提出了誤差的正態(tài)分布思想[2]。在最小二乘法的教學(xué)方面，有學(xué)者限定回歸直線必過(guò)樣本中心點(diǎn)，然后求回歸系數(shù)，會(huì)使得推導(dǎo)過(guò)程簡(jiǎn)單[3]。但是，如何讓學(xué)生發(fā)現(xiàn)并論證回歸直線過(guò)樣本中心呢？由于最小二乘法有多種形式，面對(duì)不同層級(jí)的學(xué)生，可以采取不同的講授方法[4]。本文從最小二乘法思想出發(fā)，通過(guò)三個(gè)散點(diǎn)完成回歸系數(shù)的不同算法，再?gòu)木唧w到一般，推導(dǎo)回歸系數(shù)公式，并通過(guò)不同算法，證明樣本回歸系數(shù)與決定系數(shù)之間的關(guān)系。二、回歸方程的求法

1．三個(gè)具體散點(diǎn)的回歸方程【問(wèn)題1】如何確定直線l:ybxa中的參數(shù)，使得A11,1(),A2(3,2),A3(3,3)這三個(gè)散點(diǎn)的殘差平方和最小（圖1）？

12022年安徽省中小學(xué)教育教學(xué)論文評(píng)選方法一：配方法首先表示殘差平方和Q(a,b)(ba)12(2ba3)2(3ba3)2，Q(a,b)3a212ab14b214a32b193(a2b)214(a2b)2b24b193(a2b7)22(b)1222333當(dāng)且僅當(dāng)

a72b 3b100，即ab1時(shí)，Q(,)取最小值231ab.3上述方法首先將代數(shù)式全部展開(kāi)，然后合并同類(lèi)項(xiàng)，最后采取配方法，將目標(biāo)函數(shù)化簡(jiǎn)。通過(guò)這種方法，我們會(huì)發(fā)現(xiàn)ab70時(shí)，殘差平方和最小。這個(gè)等式意味著直3線l具有怎樣的特征呢？我們關(guān)注到三個(gè)散點(diǎn)的樣本中心為(,27)，直線過(guò)該樣本中心的3充要條件就是ab70。通過(guò)配方法，我們能夠發(fā)現(xiàn)針對(duì)三個(gè)具體散點(diǎn)的回歸直線是3經(jīng)過(guò)樣本中心的。因此對(duì)殘差平方和的代數(shù)式進(jìn)行變形時(shí)可以先添加代數(shù)式ab273。方法二：添項(xiàng)法Q(a,b)((a2b7)b4))2((a2b7)(2))2((a2b7)(b4))2Qa3333332,b)3(a2b722(b42b2)(a2b7)2(b4)2(b4)2(2)2(b2)3333333333(a2b7)22(b)1222333通過(guò)這種方法，我們會(huì)發(fā)現(xiàn)先配湊出代數(shù)式ab27會(huì)帶來(lái)運(yùn)算的簡(jiǎn)便。我們將該3代數(shù)式作為整體，然后將三個(gè)完全平方式進(jìn)行展開(kāi)，再次合并同類(lèi)項(xiàng)后，會(huì)發(fā)現(xiàn)該代數(shù)式的一次項(xiàng)的系數(shù)和為0。除了上述兩種方法以外，能否借助于導(dǎo)數(shù)研究上述問(wèn)題呢？方法三：求導(dǎo)法仿照一元函數(shù)由導(dǎo)數(shù)求最值的方法，對(duì)該二元函數(shù)分別求偏導(dǎo)，進(jìn)行求值。先令f(a)Q(a,b)，對(duì)a求導(dǎo)數(shù)，f'(a)2(ab)12(a2b3)2(a3b3)2(3a6b7)8)再令g(b)Q(a,b),對(duì)b求導(dǎo)數(shù)，g'(b)2(ab)12(a2b3)22(a3b3)34(3a7b

f'(a)0得3a3a6b70，解得ab

1由703

17b80g'(b)022022年安徽省中小學(xué)教育教學(xué)論文評(píng)選 上述計(jì)算的結(jié)果和前兩種方法的計(jì)算結(jié)果是一致的，從運(yùn)算量的角度看，該方法運(yùn)算量是最少的。對(duì)于一般性的三個(gè)散點(diǎn)，如何確定直線方程呢？圖1 圖22．三個(gè)任意散點(diǎn)的回歸方程【問(wèn)題2】如何確定直線l:ybxa中的參數(shù)，使得A1(x1,y1),A2(x2,y2),A3(x3,y3)這三個(gè)散點(diǎn)的殘差平方和最小？

方法一：添項(xiàng)法一般性問(wèn)題的解決方法可以仿照問(wèn)題1的方法。我們猜想直線l過(guò)樣本中心(xy),，(,(bx12[(bxay)b(x1x)(y1y)]2[(bxay)b(x2x)(y2y)]2[(bxay)b(x3x)(y3y)]23(bxay)2[2b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)](bxay)[b(x1x)(y1y)]2[b(x2x)(y2y)]2[b(x3x)(y3y)]2考慮到b(x1x)(y1y)b(x2x)(y2y)b(x3x)(y3y)b(x1x2x33x)(y1y2y33y)0Q(a,b)3(bxay)2[(x1x)2(x2x)2(x3x)2]b22[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]b(y1y)2(y2y)2(y3y)2 當(dāng)且僅當(dāng)b (x1x)(y1y)bxay0(x3x)(y3y)時(shí)，Q(a,b)取最小值.(x2x)(y2y)(x1x)2(x2x)2(x3x)2Q(a,b)最小值為(y1y)2(y2y)2(y3y)2[(x1x)(y1y)(x2x)(y2y)(x3x)(y3y)]2.(x1x)2(x2x)2(x3x)2方法二：求導(dǎo)法32022年安徽省中小學(xué)教育教學(xué)論文評(píng)選先令f(a)Q(a,b)，對(duì)a求導(dǎo)數(shù)，f'(a)2(bx1ay1)2(bx2ay2)2(bx3ay3)2)f'(a)2[(x1x2x3)b3a(y1y2y3)]2x3(bx3ay3)再令g(b)Q(a,b)，對(duì)b求導(dǎo)數(shù)，g'(b)2x1(bx1ay1)2x2(bx2ayg'(b)2[(x12x22x32)b(x1x2x3)a(x1y1x2y2x3y3)]bxay0

由f'(a)0得

(x12x22(x1x2x3)b3a(y12y3)0x3y3，解得0

by)'x1y1x2y2x3y33xyg(b)0x32)b(x1x2x3)a(x1y1x2y2x12x22x323x2通過(guò)上述兩種方法，我們可以發(fā)現(xiàn)(x2y)x3xx3y3b(x1x)(y1y)x2)(y(x)(y3y)x1y12y23xy.(x1x)2(x2x)2(x3x)2x12x2x323x22上述兩種方法解決了一般性的三個(gè)散點(diǎn)，根據(jù)殘差平方和最小原理，確定回歸直線方程中的參數(shù)，同時(shí)對(duì)于回歸系數(shù)我們得到它的兩個(gè)公式。對(duì)于一般性的n個(gè)散點(diǎn)，如何確定直線方程呢？3．n個(gè)任意散點(diǎn)的回歸方程【問(wèn)題3】如何確定直線l:ybxa中的參數(shù)，使得A1(x1,y1),A2(x2,y2),...,An(xn,yn)這n個(gè)散點(diǎn)的殘差平方和最小（圖2）？方法一：添項(xiàng)法Q(a,b)n

i1(bxiayi)2 n

i1[(bxay)b(xix)(yiy)]2yiy)n

i1(yiy)2n

i1(bxay)22(bxay)n

i1[b(xix)(yiy)]n

i1[b(xix)(yiy)]2考慮到n

i1[b(xix)(yiy)]b(n

i1xinx)(n

i1yiny)0，Q(a,b)n

i1(bxay)2n

i1[b(xix)(yiy)]2n(bxay)2b2n

i1(xix)22bn

i1(xix)(

當(dāng)且僅當(dāng)b

bxay0y)時(shí)，Q(a,b)取最小值n

i1(yiy)2ni1(xix)(yiy2n

i1)(xix)(yi)n

i1.ni1(xix)2(xix)2方法二：求導(dǎo)法42022年安徽省中小學(xué)教育教學(xué)論文評(píng)選先令f(a)Q(a,b)，對(duì)a求導(dǎo)數(shù)，f'(a)ni12(bxiayi)[2bni1xinani1yi]yi]nx再令g(b)Q(a,b)，對(duì)b求導(dǎo)數(shù)，g'(b)n

i12xi(bxiayi)[2bn

i1xi2an

i1xin

i1xi('a0

得0

bbn

i1nan

i1yi，解得

b

bxay0.所以bn

i1(xi)(y0n由f)xin

i1xiyinxyxyi)i1xiyiy.('bn

i1xin

i1xin

i1xiyin

i1g)xi)n

nx2g2a0n

i1xi2nx2(x2

i1xi2通過(guò)上述三個(gè)問(wèn)題，我們從具體到一般，通過(guò)多種方法，推導(dǎo)出基于殘差平方和最小原理，求得回歸直線方程中的斜率參數(shù)和縱截距參數(shù)，其中我們還得到斜率參數(shù)的兩個(gè)公式。下面我們聚焦殘差平方和的最小值，研究一元線性回歸模型的決定系數(shù)與樣本線性相關(guān)系數(shù)間的關(guān)系。三、統(tǒng)計(jì)量間的關(guān)系【問(wèn)題4】一元線性回歸模型的決定系數(shù)與樣本線性相關(guān)系數(shù)間有何關(guān)系呢？當(dāng)用最小二乘法求回歸方程時(shí)，根據(jù)問(wèn)題3的方法一，我們知道此時(shí)殘差平方和為n^nn(xix)(yiy)2

n

(yi^

yi)2n(xix)(yiy)2

(yy)2(yy)2i1n

i1x，所以R21i1i1r2yiii)1nnni1i1(xi)2i1(yiy)2i1(xix)2i1(yiy)2通過(guò)上述證明我們發(fā)現(xiàn)采用最小二乘法得到的一元線性回歸模型的決定系數(shù)為樣本線性相關(guān)系數(shù)的平方。樣本線性相關(guān)系數(shù)公式與回歸系數(shù)公式有很多類(lèi)似之處，如果將兩個(gè)公式進(jìn)行比較，會(huì)有什么新發(fā)現(xiàn)呢？【問(wèn)題5】樣本線性相關(guān)系數(shù)是否還有其他的算法呢？因?yàn)閞n

i1(xix)(yiy)，bn

i1(xix)(yiy)，所以rn

i1(xix)2n

i1(xix)2n

i1(yiy)2n

i1(xix)2bn

i1(yiy)252022年安徽省中小學(xué)教育教學(xué)論文評(píng)選r2n

i1(bxibx)2n

i1((bxia)(bxa))2n

i1(^yiy)2.nn(yn

i1(yiy)2

i1iy)2i1(yiy)2 通過(guò)上述論證，我們能夠發(fā)現(xiàn)樣本相關(guān)系數(shù)新的算法。我們將問(wèn)題4和問(wèn)題5的結(jié)論結(jié)合在一起，會(huì)有什么新的發(fā)現(xiàn)呢？【問(wèn)題6】在一元線性回歸模型中，總偏差平方和n

i1(yiy2)，回歸平方和n

i1(^

yiy)2，殘差平方和n

i1(yi^

yi)2三者之間有何關(guān)系呢？^

yiy)21n

i1(yi^

yi)2，因?yàn)閞2n

i1(^

yiy)2，r2R21n

i1(yi^

yi)2，所以n

i1(n

i11n

i1n

i11n(yiy)2(yiy)2(yi