概率論與數理統計第18講-9.18PAGEPAGE6概率論與數理統計第18講（夜大）第五章參數估計第一節點估計參數估計問題是利用對總體的抽樣得到的信息來估計總體的某些參數或者參數的某個函數，如師大學生的身高問題，可以認為服從正態分布，通過參數估計，可以得到均值和方差。在參數估計問題中，我們總是假定總體具有已知的分布形式，未知的僅僅是一個或幾個參數。而總體的真分布完全由這些參數所決定，因此通過估計參數就可以估計總體的真分布。點估計問題的一般提法如下：設總體X的分布函數的形式為已知，是待估計參數。是X的一個樣本，是相應的一個樣本值。點估計問題就是要構造一個適當的統計量，用它的觀察值作為未知參數的近似值。我們稱為的估計量，為的估計值。在不致混淆的情況下統稱估計量和估計值為估計。并都簡記為。由于估計量是樣本的函數，因此對于不同的樣本值，的估計值一般是不相同的。下面介紹兩種常用的構造估計量的方法：矩估計法和最大似然估計法。一、矩估計法設X為連續型隨機變量，其概率密度為，或X為離散型隨機變量，其分布律為，其中為待估參數，是來自X的樣本。假設總體X的前階矩；存在。一般來說，它們是的函數。基于樣本矩依概率收斂于相應的總體矩，樣本矩的連續函數依概率收斂于相應的總體矩的連續函數，我們就可以利用樣本矩作為相應的總體矩的估計量，而以樣本矩的連續函數作為相應的總體矩的連續函數的估計量。這種估計方法稱為矩估計法。其做法如下：設這是一個包含個未知參數的聯立方程組。一般來說，可以從中解出，得到以分別代替上式中的，，就以分別作為，的估計量，這種估計量稱為矩估計量。矩估計量的觀察值稱為矩估計值。例1設總體X的均值，方差都存在且未知，是來自X的一個樣本，試求，的矩估計量。解：解得分別以代替，得到，的矩估計量分別為，結果表明，總體均值與方差的矩估計量的表達式不因不同的總體分布而不同。二、最大似然估計法若總體X屬于離散型，其分布律的形式已知，為待估參數，是可能的取值范圍。設是來自X的樣本，則的聯合分布律為：。又設是相應于的一個樣本值。容易知道樣本取到觀察值的概率，即事件發生的概率為這一概率隨的取值而變化，它是的函數，稱為樣本的似然函數（注意這里是已知的樣本值，它們都是常數）。關于最大似然估計法，我們有以下想法：現在已經取到樣本值了，這表明取到這一樣本值的概率比較大。我們當然不會考慮那些不能使樣本出現的作為的估計值，再者，如果已知當時使取很大值，而中其它的值使取很小值，我們自然認為取作為參數的估計值，較為合理。由費舍引進的最大似然估計法，就是固定樣本觀察值，在取值范圍內挑選使似然函數達到最大的參數值，作為的估計值，即取使：這樣得到的與樣本值有關，常記為，稱為參數的最大似然估計值，而相應的統計量稱為參數的最大似然估計量。若總體X為連續型，概率密度為的形式已知，為待估參數，是的取值范圍。設是來自X的樣本，則的聯合概率密度為：又設是相應于的一個樣本值。則隨機點（）落在（）的鄰域（邊長分別為的維立方體）內的概率近似為：。其值隨的取值而變化。與離散型情況一樣，我們取的估計值使概率取到最大值，但考慮到不隨而變，故只需要考慮函數：，的最大值。這里稱為樣本的似然函數。若：，則稱為參數的最大似然估計值，而相應的統計量為參數的最大似然估計量。這樣，確定最大似然估計量的問題就歸結為求最大值的問題了。在很多情況下，和關于可微，這時常可從方程解得。由因為與在同一處取到極值，因此，的最大似然估計也可以從方程求得，而后一方程求解往往比較方便。這個方程稱為對數似然方程。最大似然估計法也適用于分布含有多個未知參數的情況。這時，似然函數L是這些未知參數的函數。分別令，解方程組就可以得到各個未知參數的最大似然估計值。這樣的方程稱為對數似然方程組。例3為了估計湖中有多少條魚，特從湖中捕出1000條魚，標上記號后又放回湖中，然后在捕150條魚，發現其中有10條魚帶有記號，在湖中有多少條魚，才能使150條魚中出現10條帶有記號的魚的概率最大？第二節估計量的評選標準從前面的分析可以看出，對于同一參數，用不同的估計方法求出的估計量可能不相同，此外，原則上任何統計量都可以作為未知參數的估計量。這就產生了問題，采用什么標準來評價估計量的問題。（1）無偏性設是總體X的一個樣本。是包含在總體X的分布中的待估計參數。定義：無偏性。若估計量的數學期望存在，且對于任意，有，則稱是的無偏估計量。在科學技術中，稱為以作為的估計的系統誤差。無偏估計的實際意義就是無系統誤差。如設總體X的均值為，方差均未知，由前面分析可以知道；也就是說不論總體服從什么分布，樣本均值是總體均值的無偏估計；樣本方差是總體方差的無偏估計。而估計量卻不是的無偏估計，因此我們一般取作為的估計量。（2）有效性現在來比較參數的兩個無偏估計量，如果在樣本容量相同的情況下，的觀察值較更密集在真值的附近，我們就認為較為理想。由于方差是隨機變量取值與其數學期望（這里）的偏離程度的度量，所以無偏估計以方差小者為好。這就引出了估計量有效性這一概念。定義：有效性。設與都是的無偏估計量，若對于任意，有，且至少對于某一個上式中的不等號成立，則稱較有效。盡可能接近。上面的概率表達式含義如下：若反復抽樣多次（各次得到的樣本容量都相等）。每個樣本值確定一個區間，每個這樣的區間要么包含的真值，要么不包含的真值，按照貝努力大數定律，在這樣多的區間中，包含真值的約占100（）%，不包含真值的約占。例如：若，反復抽樣1000次，則得到1000個區間中不包含真值的約僅為10個。入圖所示例1設總體為未知參數，為已知，是來自X的樣本，求參數的置信水平為的置信區間。解：已知是的無偏估計，且有，可以看出所服從的分布不依賴于任何未知參數。按標準正態分布的上分位點的定義，有即這樣我們就得到了的一個置信水平為的置信區間，這樣的置信區間常常寫成。例2從正態總體中抽取容量為的樣本，如果要求其樣本均值位于區間內的概率