參數估計的方法矩法一、矩的概念矩(moment)分為原點矩和中心矩兩種。對于樣本八八…，,，各觀測值的k次方的平均值，稱為樣本的k階原點矩，記為"，有"=1支yk，例如，算術頃'平均數就是一階原點矩；用觀測值減去平均數得到的離均差的k次方的平均數稱為樣本的k階中心矩，記為T或.k'有L=Xyiy)k，例如，樣本方差1%(y-y)2就是二階中心矩。ni=1 '對于總體y「y2，…，y,各觀測值的k次方的平均值，稱為總體的k階原點矩，記為即)，有…'件y：；用觀測值減去平均數得到的離均差的k次方的平均數稱為總體的k階中心矩，記為初(yf)k:或日k，有E［(y-日)k:=—t(y-日)k。Ni=i'二、矩法及矩估計量所謂矩法就是利用樣本各階原點矩來估計總體相應各階原點矩的方法，即yk=—ty* — E(yk)TOC\o"1-5"\h\z(8?6) '='并且也可以用樣本各階原點矩的函數來估計總體各階原點矩同一函數，即若Q=f(E(y)，E(y2)，???，E(yk))則2 -，一 xQ=f(y，y2，—，yk)由此得到的估計量稱為矩估計量。［例8.1］現獲得正態分布N(口，。2)的隨機樣本*，，…，y，要求正態分布N(日，。2)參數H和c2的矩估計量。 12 ^(y-R)(y-R)22c2E(y)=「8yf(y)dy=j+?y? ~exp—8 —8/2兀c(此處 「(y-r)2〕表示自然對數底數e的「(y-R)21的指數式，即［-(y-R)2］)2c22c2\ exp一 、口子＜、、刀4 eUJ一 曰上、，e 2c2 /2c22c2E[(y-日)]2=J+8(y-日)2f(y)dy=J+OT(y-日)2?, exp-f f V2kg(y-Q)22(y-Q)22。2dy=b2y.-Q2最后，利用矩法，Q=y=11yn"Q=y=~1Ly.，Q.=s2=~tt(y,-y)2獲得總體平均數和方差的矩估計……:平七—y)2故總體平均數和方差的矩估計值分別為樣本平均數和樣本方差，方差的分母為n。單峰分布曲線還有二個特征數，即偏度(skewness)與峰度(kurtosis)，可分別用三階中心矩Q和四階中心矩Q來度量。但Q和Q是有單位的，為轉化成相對3 4 LL由樣本計算的偏度系數cs=1n,一、t(y-y)2ni=1 ，數以便不同分布之間的比較，可分別用偏度系數和峰度系數作測度。偏度系數(coefficientofskewness由樣本計算的偏度系數cs=1n,一、t(y-y)2ni=1 ，(8-7)峰度系數 ck=(8-8)最小二乘法從總體中抽出的樣本觀察值與總體平均數是有差異的，這種差異屬于抽樣誤差。因而，在總體平均數估計時要盡可能地降低這種誤差，使總體平均數估計值盡可能好。參數估計的最小二乘法就是基于這種考慮提出的。其基本思想是使誤差平方和最小，達到在誤差之間建立一種平衡，以防止某一極端誤差對決定參數的估計值起支配地位。這有助于揭示更接近真實的狀況。具體方法是為使誤差平方和Q為最小，可通過求Q對待估參數的偏導數，并令其等于0，以求得參數估計量。［例8.4］用最小二乘法求總體平均數q的估計量。若從平均數為q的總體中抽得樣本為y1、y2、與、???、匕，則觀察值可剖分為總體平均數q與誤差弓之和，y=Q+e總體平均數q的最小二乘估計量就是使y與q間的誤差平方和為最小，即Q="=S(y—")2

i ii=l為最小。為獲得其最小值，求。對目的導數，并令導數等于0,可得:?—=-2￡(y一口)=0即總體平均數的估計量為：IV1。=1因此，算術平均數為總體平均數的最小二乘估計。這與矩法估計是一致的。此處順便介紹估計離均差平方和q，=Z(y-5)2的數學期望：iE(Q')=E[￡(y-y)2]= -^-y+H)2]i /=E[￡(_y—目)2—2￡(y—p)(y—p)+￡(y一目)2]/ i-E\_T^(y-p)2—￡(y—|1)2]=no2-no2/ni=(〃-1)<52因而，。2估計為：畚2=.，/(〃-1)=Z(y.-yykn-1)與矩法所得不同，而與常規以自由度為除數法一致。[例8.5]求例6.13的兩向分組方差分析資料缺1個小區(表8.1)的最小二乘估計量和估計值。TOC\o"1-5"\h\z從第6章可知，這種資料模式的線性模型為：y=|Ll+T+B+￡。該模型的約束條(/■ ij〃件為：￡,=o，￡&=0和誤差項服從正態分布。按照最小二乘法的估計原理，使i Ji=i j=lQ=￡￡￡2=￡Z(y- -T-P)2為最小時可以求出效應和缺失小區匕的估計量，即7=1J=1t2(y—pi—T-p)(-1)=0L1=1J=1dQ,TOC\o"1-5"\h\z=￡2(y-|Li-T-P)(-1)=0dx=i〃 /jv1J_~ =^2(y-|Li-T-P)(-1)=0api〃 /jJ地=tt^(y—n—c-P)=oQy,=ij=iIJ 1 7、e J從而，最小二乘估計量分別為：_ 1=y=~tty?ar....〃，=ij=i- - 1 1 ?^.=y.-y=~ty..-—11y?1 1 r.i〃ar....ijJ=1 J=1P.=y.-y=-Sy?-—SJy..JJ nlJfir lJi=l 1=1y=Q+f+P=~ty+~ty-~ttye 1Jrj=i，a"Jar "缺區估計是根據線性模型，以及最小二乘法的原理得到的。不過，試驗中盡可能不要缺

區，因為缺區估計盡管可以估計缺區的值，但是誤差的自由度將減少，本試驗的誤差自由度將減少1。一般地，若m個自變數x、x、％、???、x與依變數j存在統計模型關系TOC\o"1-5"\h\z12 3 my-f(x，x，…，x；0，0，…，0)+￡ (8'9)1 2 m1 2 k其中，氣，02，x，x，…，x，1i2i mi..，0為待估參數。通過n次觀測(n>k)得到n其中，氣，02，x，x，…，x，1i2i miQ=^￡2=￡[y-f(x，x，…，x；0，0，…，0)]2 (810)i 1i 2i mi1 2 ki=1 i=1為最小的0，o'，.，o'。這種估計方法稱為參數估計的最小二乘法(leastsquares)，或最小平方法。第9章將應用最小二乘法估計線性回歸中有關參數的估計量，此處不再贅述。極大似然法極大似然法(maximumlikelihoodmethod)是參數估計的重要方法。首先，通過舉例來說明其思路。例如，有1個射手射擊3次，命中0次。試問該射手的命中概率最有可能為3個命中概率：1/5、8/15和4/5中的哪一個？回答該問題可以從兩方面來看，一方面，該射手的命中率為0,與此最接近的命中概率為1/5,即1/5最有可能；另一方面，分別假定該射手的命中率為1/5、8/15和4/5，根據二項分布原理分別計算出該射手射擊3次命中0次的概率分別為：C《)0(1—、=*，C。(旦)0(1—旦)3=K，C0(4)0(1-4)3=二35 5 3375 315 15 3375 35 5 3375因此，選擇使事件發生概率最大的可能命中概率為1/5,從而認為該射手的命中概率最有可能為1/5。這種參數估計方法稱為極大似然法。極大似然法，包括二個步驟：首先建立包括有該參數估計量的似然函數(likelihoodfunction)，然后根據實驗數據求出似然函數達極值時的參數估計量或估計值。上面根據二項分布計算概率，因而包含有待估概率的二項分布便是似然函數，它是關于待估參數的函數。由于試驗結果是由總體參數決定的，那么參數估計值就應該使參數真值與試驗結果盡可能一致，似然函數正是溝通參數與試驗結果一致性的函數。一、似然函數對于離散型隨機變量，似然函數是多個獨立事件的概率函數的乘積，該乘積是概率函數值，它是關于總體參數的函數。例如，一只大口袋里有紅、白、黑3種球，采用復置抽樣50次，得到紅、白、黑3種球的個數分別為12,24，14,那么根據多項式的理論，可以建立似然函數為：50! 12!24!14! (P「口'P「里'P3”4其中P1，P2，p3分別為口袋中紅、白、黑3種球的概率(p3=1-p1-p2)，它們是需要估計的。對于連續型隨機變量，似然函數是每個獨立隨機觀測值的概率密度函數的乘積，則似然函數為：L(0)=L(y1，y2，…，y；0)=f(y「0)f(y2；0)…f(y；0) (8*11)若y1服從正態分布n（日，c2），則°=（p,g，上式可變為:1 -(y’L1 -(y’L)2L(p，c)=—: ~e 2c22丸c1(yn-p)2

2c2-1[(y-p)2+…+(y-p)2]e2c2 1 n(8?12)二、極大似然估計所謂極大似然估計就是指使似然函數為最大以獲得總體參數估計的方法。其中，所獲得的估計總體參數的表達式稱為極大似然估計量，由該估計量獲得的總體參數的估計值稱為總體參數的極大似然估計值。為了計算上的方便，一般將似然函數取對數，稱為對數似然函數，因為取對數后似然函數由乘積變為加式，其表達式為：lnL（0）=lnL（y「y2,…’y；。）=￡lnf（y.,0） （8*13）i=1通過對數似然函數和似然函數的極大化以估計總體參數的結果是一致的，一般說來，前者在計算上要容易處理些。因此，往往利用對數似然函數極大化的方法來獲得極大似然估計。求極大似然估計量可以通過令對數似然函數對總體參數的偏導數等于0來獲得，即當0=（01，02，…，01），有lnL（y，y，…，y；0，0，…，0）Q0 12 n12 lk=t~^f（y；01，02，…，01）=0（k=1，2，…，I）（8?14）k由此獲得總體參數的極大似然估計量。三、關于三種估計方法的討論通過上述3種參數估計方法已獲得總體平均數、方差的估計量。對于總體平均數的估計量，3種估計方法都具有無偏性、有效性和相合性；對于總體方差的估計量，由離均差平方和期望值所得的是無偏的，但由矩法和極大似然法所得兩種估計量是有偏的，但都是相合的；最小二乘法無直接的總體方差估計量。本章介紹了點估計的3種常用方法，但其要求不同。極大似然法要求已知總體的分布，才能獲得估計量，另外兩種方法對分布沒有嚴格的要求。一般地，極大似然法估計結果大多具有無偏性、有效性和相合性等優良的估計量性質，因此被廣泛采用，但也并不是該法估計的結果就一定最好，例如極大似然方法估計平均數盡管是無偏估計，但其估計的方差是有偏的，在樣本容量小時不能很好地反映總體變異。最小二乘法在估計線性回歸模型參數時具有