12〈〈|(〈||〈iid11ijQd 2)s成s212222ijds 3) ds(1-5)QbbPbY+(1-5)2dCMPC)dCC11mmi01i1mimi212y=b+bx+…+bx+ui01i1mimi12miiCovuuijnijijjijii01ii iiCovuuijnijijijixxiii=1i=1ix122nn其中x表示x的第i次觀測值，y表示y的第i次觀測值，在直角坐標系中描述出ii其散點圖，對(3-1)作,的最小二乘估計01即設(3-2)(3-2)i01iii=1i=1令?Q=?Q=0得方程組??01(|(3-3)(|(3-3)iininii=1i=1此方程組稱正規方程組，其系數行列式為nn2xn2ii1i1解此方程組得b,b的估計量,為0101nyxnxyn(|xnxy-nxy)|xn(x-x)(y-y)ixixixyiiiiii=1yyiii=1i=1于是(3-4)式可寫成 (3-5)式中的,分別是b,b的最小二乘估計量，所以01010101010i0i000L=L例以家庭為單位，某商品的需求量y與該商品價格x之間的一組調查數據如下商品價格商品價格x(元)商品需求量y(千克)解從觀測值的散點圖(見圖3.1)上來看，一些點分布在直線附近，01將所求計算列表如下(見表3.2)xyxyyy=-1.5753x+6.4383R2=0.973922.533.565432100422ixyii2ixiyii123456789xxii=1xyiii=1yyii=1=LL=7.53=1.581xyxx4.780i01ii01i1ui01iiiiijiji01ii01iLlnL=_ln(2"裝)_1x(y__x)2ii||?bi01i?bi01i1i=1i01ii01iixLxxxLxx011n?(x-x)(x-x)b1=(xi-x)2yi-(xi-x)2yii01niiiniinii01n01i101iiiiii=1D()=D(yx)=D(y)+x2D()011n(xx)2in(xx)2i高斯——馬爾柯夫定理：為bb的最佳線性無偏估計(最佳即在一切0101nii122nniiiii=1i=1i=1i01i我們將y與其均值y之間的差稱為離差，將離差分解為iyy=(y)+(y)iiiiiiiiii=1i=1iiiiiiii=1i=1i=1又n(y)(y)=nx)?+xy)iiii01i01ii=1i=1i1i1ii11ii1ixyxx故xn(y-y)2=xn(y-)2+xn(-y)2iiiiiii=1i=1上式稱平方和分解式。該式中三個平方和的意義如下：L=xn(y-y)2yyiii是y,y,……,y這n個數據的離差平方和，它的大小描述了這n個數據的分散程2niiiii=1n-2iii1i1xxii=1111L1xxi1xx1xxiii01in2i01n01i=1ii1001i1i0011i10011i0011i1i1iiixx1xxiin-2iiy0112m12m221222mnnn2nm其中x是自變量x的第i個觀測值，y是隨機變量y的第i個觀測值，它們滿足ijjiybbxbx…bxu10111212m1m1ybbxbx…bxu20121222m2m2…………………iy1yY2:yn11XX:1xx:x…x…x:…xu1bu10buB1U2:unun像一元線性回歸一樣，我們希望由觀測值得到其回歸方程，首先用最小二乘2mi01i12i2mimi1lblb…lbllblb…lblblb…lbl2mm02………………lblb…lblniinkilln(xx)(xx)，i,j1,2,…mijjikiikjj0ikiik012m012m01122mm212yxyxy圖10001212BUBU12(221.44b+18283b=-11.64901201220(u)1(b)0(u)1(b)0x…x22m2 (un) (bm)xn (un) (bm)i01i12i2mimiii=1i=1iiiiiii1i2imL=P(y,y…y)12n(2冗)n/2(n2(2i01i12i2mimi=1=1不相關的假設IXXXXU=MU這里M==IX(XX)1X為對稱冪等陣M=MM2=MM=M所以我們將y與其均值y之間的差稱為離差，將離差分解為iiiiiiiiiiii=1iiiiiiii=1i=1i=1iiii01i01iii=1i1i1ii11ii1ixyxxxyxxiiiiiii=1i=1上式稱平方和分解式。該式中三個平方和的意義如下：TSS=xn(y一y)2=iii1L是y,y,……,y這n個數據的離差平方和，它的大小描述了這n個數據的分yy12niiiii=1就是Q，它反映了觀測值y偏離回歸直線的程度，稱剩余平方和或殘差平方和，inyyyy(y)iiiiiiiii=1=(+x+…+x)(y)y(y)01i1mimiiii=(y)+x(y)…+x(y)y(y)0ii1i1iimimiiiiiix(y)=0i1ii…x(y)=0imiiiiii=1完全擬合時r2=1時yyi1i1xxi=1i=1yyyyxx數反映了x與y的相關關系。r=rLLxyLLxxyy相關系從上式可看出，r的符號與L的符號相同，從而與回歸系數b的符號一致。xy若r=0時，則L=0，因此b=0。根據最小二乘法確定的回歸直線平行于x，說xy22r0HH:,H:0010H:,H:0010H:,H:0010H0H:,H:0010 H:,H:0010 S2yy002HH00110111Lxx裝1Lxx在H為真的條件下0xx1L對于給定的顯著性水平a，查自由度為n_2的t分布臨界值表，得臨界值a2a20a2a20a20表年年次xii15631xxxyyy1xyxx0i=1FFHbH：b才00111t=1Lf=f+fTSSESSRSSG2a0a02mma00a00ttiiiii~N(b,(2c)iiiicii0i1i0ia/2a/20iiitsbcba/2a/21ia/2biia/11ia/2bia/1001000100yy00000100000001Lxcov()=E(-b)(-b)010011xx=-L0010001