1、一、先驗分布和后驗分布一、先驗分布和后驗分布二、共軛先驗分布二、共軛先驗分布三、貝葉斯風險三、貝葉斯風險第第3.2節貝葉斯估計節貝葉斯估計四、貝葉斯估計四、貝葉斯估計一、先驗分布與后驗分布一、先驗分布與后驗分布 上一章提出用風險函數衡量決策函數的好壞，但上一章提出用風險函數衡量決策函數的好壞，但是由于風險函數為二元函數，很難進行全面比較。是由于風險函數為二元函數，很難進行全面比較。貝葉斯通過引入先驗分布，給出了整體比較貝葉斯通過引入先驗分布，給出了整體比較 的指標的指標.1 1、先驗信息、先驗信息 在抽取樣本之前，人們對所要估計的未知參數在抽取樣本之前，人們對所要估計的未知參數所了解的信息，通

2、常稱為所了解的信息，通常稱為先驗信息先驗信息.例例1(p841(p84例例3.6)3.6) 某學生通過物理試驗來確定當某學生通過物理試驗來確定當地地的重力加速度，測得的數據為的重力加速度，測得的數據為(m/s):9.80, 9.79, 9.78, 6.81, 6.80試求當地的重力加速度試求當地的重力加速度.解解 用樣本均值估計其重力加速度應該是合理的，即用樣本均值估計其重力加速度應該是合理的，即8 596.X 由經驗可知，此結果是不符合事實的。在估計之前由經驗可知，此結果是不符合事實的。在估計之前我們知道，重力加速度應該在我們知道，重力加速度應該在9.80附近，即附近，即29 80 0 1(

3、 ., .)XN這個信息就是重力加速度的這個信息就是重力加速度的先驗信息先驗信息. 在統計學中，先驗信息可以更好的幫助人們解決在統計學中，先驗信息可以更好的幫助人們解決統計決策問題統計決策問題. 貝葉斯將此思想應用于統計決策中，形貝葉斯將此思想應用于統計決策中，形成了完整的貝葉斯統計方法成了完整的貝葉斯統計方法.2 2、先驗分布、先驗分布 對未知參數對未知參數 的先驗信息用一個分布形式的先驗信息用一個分布形式 ( )來來表示，此分布表示，此分布 ( )稱為稱為未知參數未知參數 的的先驗分布先驗分布.例如例如例例1中重力加速度的先驗分布為中重力加速度的先驗分布為29 80 0 1( ., .)X

4、N3 3、后驗分布、后驗分布 在抽取樣本之前，人們對未知參數有個了解，在抽取樣本之前，人們對未知參數有個了解，即先驗分布。抽取樣本之后，由于樣本中包含未知即先驗分布。抽取樣本之后，由于樣本中包含未知參數的信息，而這些關于未知參數新的信息可以幫參數的信息，而這些關于未知參數新的信息可以幫助人們修正抽樣之前的先驗信息。助人們修正抽樣之前的先驗信息。12( , ),( ),(,)TnXp xXXXX 設設總總體體 的的分分布布密密度度為為的的先先驗驗分分布布為為為為總總體體 的的樣樣本本，其其聯聯合合密密度度為為121(,)(, ), nniiq x xxp x 而樣本值是在知道而樣本值是在知道 的

5、先驗分布的前提下的先驗分布的前提下得到的，得到的，因而上述分布可以改寫為因而上述分布可以改寫為121(| )(,| )(| ), nniiq xq x xxp x x 又又由由于于 和和樣樣本本 的的聯聯合合分分布布可可以以表表示示為為( , )(| ) ( )( ) ( |)f xq xm x hx 由此可以得到由此可以得到(| )( )( |), ( )(| ) ( )d )( )q xhxm xq xm x ( |).hx則則稱稱 為為 的的后后驗驗分分布布即即加加入入新新的的信信息息以以后后，對對原原有有分分布布進進行行修修正正由由此此可可見見，后后驗驗分分布布綜綜合合用用運運了了先先

6、驗驗分分布布與與樣樣本本信信息息. .例例2(p862(p86例例3.7)3.7)為了提高某產品的質量，公司經理為了提高某產品的質量，公司經理考慮增加投資來改進生產設備，預計需投資考慮增加投資來改進生產設備，預計需投資90萬元，萬元，但從投資效果來看，顧問們提出兩種不同的意見：但從投資效果來看，顧問們提出兩種不同的意見：1：改改進進生生產產設設備備后后，高高質質量量產產品品可可占占9 90 0% %, ,2：改改進進生生產產設設備備后后，高高質質量量產產品品可可占占7 70 0% %, ,經理根據以往的經驗，兩個顧問建議可信度分別為經理根據以往的經驗，兩個顧問建議可信度分別為120 40 6(

7、).(). 這兩個概率是經理的主觀判斷（也就是先驗概率），這兩個概率是經理的主觀判斷（也就是先驗概率）， 為了得到更準確的信息，經理決定進行小規模的試驗，為了得到更準確的信息，經理決定進行小規模的試驗，實驗結果如下：實驗結果如下：A：試制：試制5個產品，全是正品，個產品，全是正品，由此可以得到條件分布：由此可以得到條件分布：55120 90 5900 70 168(|)( . ).(|).p Ap A （）由全概率公式可以得到：由全概率公式可以得到：11220 337()(|) ()(|) ().P AP AP A 其后驗概率為：其后驗概率為：1110 700(|)()(|).( )P AhA

8、P A 2220 300(|)()(|).( )P AhAP A 顯然經理對二位顧問的看法已經做了修改，為了得顯然經理對二位顧問的看法已經做了修改，為了得到更準確的信息，經理又做了一次試驗，結果為到更準確的信息，經理又做了一次試驗，結果為B：試制：試制10個產品，個產品，9個是正品，個是正品，120 70 3().(). 5110 0 90 10 387(|)( . ) ( . ).,P B 5210 0 70 30 121(|)( . ) ( . ).P B 11220 307()(|)()(|)().P BP BP B 1110 883(|)()(|).( )P BhBP B 2220 1

9、17(|)()(|).( )P BhBP B 由此可見后驗分布更能準確描述事情真相由此可見后驗分布更能準確描述事情真相.二、共軛先驗分布二、共軛先驗分布*(| ),Xp xF 設設總總體體 的的分分布布密密度度為為為為為了使得后驗分布計算簡單，為此引入共軛先驗分布為了使得后驗分布計算簡單，為此引入共軛先驗分布.定義定義3.5*( )( ),( |),(| ).FxhxFFp x 的的一一個個分分布布族族，為為 的的任任意意一一個個先先驗驗分分布布，若若對對樣樣本本的的任任意意觀觀測測值值 ， 的的后后驗驗分分布布則則稱稱是是關關于于分分布布密密度度的的共共軛軛先先驗驗分分布布族族，簡簡稱稱共共

10、軛軛分分布布族族注注共軛分布族總是針對分布中的某個參數而言的共軛分布族總是針對分布中的某個參數而言的.1 1、共軛分布族、共軛分布族2 2、后驗分布核、后驗分布核由上一小節內容可知，后驗分布為由上一小節內容可知，后驗分布為(| )( )( |), ( )( )q xhxm xm x 為為樣樣本本的的邊邊緣緣分分布布 可以看出，可以看出，m(x)不依賴于參數不依賴于參數 ,因而因而參數參數 的后驗的后驗分布可以寫為如下等價形式：分布可以寫為如下等價形式：( |)(| )( )hxq x (| )( )( |)q xhx 則則稱稱為為后后驗驗分分布布的的核核。其其中中符符號號表表示示左左右右兩兩邊

11、邊相相差差一一個個不不依依賴賴 的的常常數數因因子子. .3 3、共軛先驗分布族的構造方法、共軛先驗分布族的構造方法共軛先驗分布族共有共軛先驗分布族共有兩種兩種構造方法構造方法.第一種方法第一種方法首先計算似然函數首先計算似然函數q(x| ),根據似然根據似然函數所含函數所含 的因式情況，選取與似然函數具有相同核的因式情況，選取與似然函數具有相同核的分布作為先驗分布的分布作為先驗分布.例例3(p883(p88例例3.8)3.8)12(,)TnXXX設設是是來來自自正正態態總總體體2( ,)N 2 2的的一一個個樣樣本本，其其中中 已已知知，現現尋尋求求的的共共軛軛先先驗驗分分布布，由由于于該該

12、樣樣本本的的似似然然函函數數為為2222112211122()()(| )e() eniiixnxniq x 22112221()() eniinx 哪一個分布具有上述核？結論是倒哪一個分布具有上述核？結論是倒 分布，這是因為分布，這是因為 分布的密度函數為分布的密度函數為e 10,( ; ,)( )0,0,xxxf xx ， 1,YXY 設設則則 的的密密度度函函數數為為e 11()0,( ; ,)( )0,0,yyf yyy ， 此分布密度為倒此分布密度為倒 分布的密度函數分布的密度函數, 設設 的先驗分的先驗分布為布為倒倒 分布，即分布，即e 21221()0,()( )0,0,yy ，

13、 則則 的后驗分布為的后驗分布為222(|)(|)()hxq x 2211112221() ()eniinx 顯然此分布仍為倒顯然此分布仍為倒 分布，即先驗分布與后驗分分布，即先驗分布與后驗分布都為倒布都為倒 分布，因而分布，因而倒倒 分布是分布是 的共軛先驗分布的共軛先驗分布族族.例例3(p883(p88例例4.9)4.9)12(,)TnXXX設設是是來來自自總總體體(, )B N的的一一個個樣樣本本，現現尋尋求求 的的共共軛軛先先驗驗分分布布，由由于于該該樣樣本本的的似似然然函函數數為為11(| )()iiinxxNxNiq xC 1110 1 (), , ,nniiiixnNxixN 哪

14、一個分布具有上述核？結論是哪一個分布具有上述核？結論是 分布，這是因為分布，這是因為 分布的密度函數為分布的密度函數為111010()(), ,( ) ( )( ; ,), xxxf x 其其他他 設設 的先驗分布為的先驗分布為 分布，即分布，即 11()(1),01,( ) ( )( )0, 其其他他 則則 的后驗分布為的后驗分布為( |)(| )( )hxq x 1111101 (), nniiiixnNx 顯然此分布是顯然此分布是 分布的核，因而分布的核，因而 分布是分布是 的共軛的共軛先驗分布族先驗分布族. 經計算可知經計算可知11( |)(,)nniiiihxxnNx 第二種方法第二

15、種方法設總體設總體X的分布密度為的分布密度為p(x| ),統計量統計量12()(,)nT XT X XX 是是參參數數 的的充充分分統統計計量量，則則有有定理定理3.1( )f設設為為任任一一固固定定的的函函數數，滿滿足足條條件件10( )( ),f 20( )( | ) ( )dngtf 則則1 2( | ) ( ): , ,( | ) ( )dnfngtfDngtf 是共軛先驗分布族，其中是共軛先驗分布族，其中121(| )(| )( | ) (,)ninniq xp xgth x xx 例例4(p894(p89例例3.10)3.10)12(,)TnXXX設設是是來來自自總總體體1 ( ,

16、 )B的的一一個個樣樣本本，試試尋尋求求 的的共共軛軛先先驗驗分分布布？解解其似然函數為其似然函數為111111(| )()()nniiiiiiixnnxxxiq x 11 ()( | ) , nxn nxngt 11( | ) ()( )tn tngtf 其其中中, ,選選取取，則則1011 20 1 21 (): , , , , ()dtn tftn tDnt 顯然此共軛分布族為顯然此共軛分布族為 分布的子族，因而，兩點分布的子族，因而，兩點分布的共軛先驗分布族為分布的共軛先驗分布族為 分布分布.常見共軛先驗分布常見共軛先驗分布倒倒 分布分布方差方差 正態分布（均正態分布（均值已知）值已知

17、）正態分布正態分布N( , )均值均值 正態分布正態分布（方差已知）（方差已知） 分布分布 ()均值的倒數均值的倒數 指數分布指數分布 分布分布 ()均值均值 泊松分布泊松分布 分布分布 ( , )成功概率成功概率p二項分布二項分布共軛先驗分布共軛先驗分布參數參數總體分布總體分布三、貝葉斯風險三、貝葉斯風險( , )( ( , ()( , ( ) (| )dRdELd XLd x q xx 由第一小節內容可知，給定損失函數以后，風由第一小節內容可知，給定損失函數以后，風險函數定義為險函數定義為此積分仍為此積分仍為 的函數，在給定的函數，在給定 的先驗分布的先驗分布 ( )時，定義時，定義( )

18、( ( , )( , )( )dR dERdRd 為決策函數為決策函數d在給定先驗分布在給定先驗分布 ( )下的貝葉斯風險，簡下的貝葉斯風險，簡稱為稱為d的貝葉斯風險的貝葉斯風險.1 1、貝葉斯風險的定義、貝葉斯風險的定義2 2、貝葉斯風險的計算、貝葉斯風險的計算當當X與與 都是連續性隨機變量時，貝葉斯風險為都是連續性隨機變量時，貝葉斯風險為( )( ( , )( , )( )dR dE RdRd ( , ( ) (| )( )d dLd x q xx ( , ( ) ( |)g( )d dLd x hxxx g( )( , ( ) ( |)d dxLd x hxx 當當X與與 都是離散型隨機

19、變量時，貝葉斯風險為都是離散型隨機變量時，貝葉斯風險為( )( ( , )R dE Rd g( )( , ( ) ( |)xxLd x hx 注注由上述計算可以看出，貝葉斯風險為計算兩次由上述計算可以看出，貝葉斯風險為計算兩次期望值得到期望值得到,即即( )( ( , ()R dE ELd X 此時風險大小只與決策函數此時風險大小只與決策函數d有關，而不再依賴有關，而不再依賴參數參數 . 因此以此來衡量決策函數優良性更合理因此以此來衡量決策函數優良性更合理四四 、貝葉斯估計、貝葉斯估計*()dX則則稱稱為為參參數數 的的貝貝葉葉斯斯估估計計量量1 1、貝葉斯點估計、貝葉斯點估計定義定義3.6若

20、總體若總體X的分布函數的分布函數F(x, )中參數中參數 為隨機為隨機變量，變量， ( )為為 的先驗分布，若決策函數類的先驗分布，若決策函數類D中存在中存在一個決策函數使得對決策函數類中的任一決策函數一個決策函數使得對決策函數類中的任一決策函數均有均有*()inf( ), d DR dR ddD 注注1、貝葉斯估計是使貝葉斯風險達到最小的決策、貝葉斯估計是使貝葉斯風險達到最小的決策 函數函數.2、不同的先驗分布，對應不同的貝葉斯估計、不同的先驗分布，對應不同的貝葉斯估計2 2、貝葉斯點估計的計算、貝葉斯點估計的計算平方損失下的貝葉斯估計平方損失下的貝葉斯估計定理定理3.2設設 的先驗分布為的

21、先驗分布為 ( )和損失函數為和損失函數為2( , )()Ldd 則則 的貝葉斯估計為的貝葉斯估計為*( )( |)( |)ddxEXxhx ( |).hx其其中中為為參參數數 的的后后驗驗分分布布證證首先對貝葉斯風險做變換首先對貝葉斯風險做變換2min( )min( )( )( |)d dR dm xd xhxx 2min .( )( |)da sd xhx 又因為又因為22( )( |)d( |)( |)( )( |)dd xhxExExd xhx 222( |)( |)d ( |)( )( |)d( |) ( |)( ) ( |)dExhxExd xhxExExd x hx 又因為又因為

22、( |) ( |)( ) ( |)dExExd x hx ( |)( )( |) ( |)dExd xEx hx ( |)( |)dExhx 則則0 ( |)( ) ( |)( |)Exd xExEx 因而因而222( )( |)d( |)( |)d( |)( )( |)dd xhxExhxExd xhx *( )( |) .( ).dxExa sR d 顯顯然然，當當時時，達達到到最最小小定理定理3.3 設設 的先驗分布為的先驗分布為 ( )和損失函數為加和損失函數為加權平方損失權平方損失2( , )( )()Ldd 則則 的貝葉斯估計為的貝葉斯估計為*( ( )|)( )( ( )|)Ex

23、dxEx 證明略，此證明定理證明略，此證明定理3.2的證明類似的證明類似.定理定理3.4 設參數設參數 為隨機向量，先驗分布為為隨機向量，先驗分布為 ( )和損失函數為二次損失函數和損失函數為二次損失函數( , )()()TLddQ d 1*(|)( )( |) (|)pExdxExEx 注注其中其中Q為正定矩陣，則為正定矩陣，則 的貝葉斯估計為后驗分布的貝葉斯估計為后驗分布h( |x)的均值向量，即的均值向量，即12( ,).p 其其中中參參數數向向量量為為 定理表明，正定二次損失下，定理表明，正定二次損失下， 的貝葉斯估計的貝葉斯估計不受正定矩陣不受正定矩陣Q的選取干擾，表現出其穩健性的選

24、取干擾，表現出其穩健性.證證在二次損失下，任一個決策函數向量在二次損失下，任一個決策函數向量d(x)=12( ),( ),( )Tnd x dxdx的的后后驗驗風風險險為為()()|TE dQ dx *()()()()|TEdddQ dddx *()()()()|TTddQ ddE dQ dx 0*(|),E dx又又由由于于因因而而()()|TE dQ dx 其中第二項為常數，而第一項非負，因而只需當其中第二項為常數，而第一項非負，因而只需當*( )ddx 時時，風風險險達達到到最最小小. .定義定義3.7 設設d=d(x)為為決策函數類決策函數類D中任一決策函數，中任一決策函數，( |)

25、( , ( )R d xE Ld x 損失函數為損失函數為L( ,d(x),則則L( ,d(x),對后驗分布對后驗分布h( |x)的的數學期望稱為后驗風險數學期望稱為后驗風險，記為，記為( , ( ) ( |)d , (, ( ) (|) iiiLd x hxxLd x hx 為為連連續續型型隨隨機機變變量量，為為離離散散型型隨隨機機變變量量. .注注 如果存在一個決策函數，使得如果存在一個決策函數，使得*(|)inf( |), dR dxR d xdD 則稱此決策為后驗風險準則下的最優決策函數，或稱則稱此決策為后驗風險準則下的最優決策函數，或稱為貝葉斯（后驗型）決策函數。為貝葉斯（后驗型）決

26、策函數。定理定理3.5 對給定的統計決策問題對給定的統計決策問題(包含先驗分布給包含先驗分布給定的情形）和決策函數類定的情形）和決策函數類D,當貝葉斯風險滿足如下條當貝葉斯風險滿足如下條件：件：inf( ), BdRddD *( )( )dxdx則則貝貝葉葉斯斯決決策策函函數數與與貝貝葉葉斯斯后后驗驗型型決決策策函函數數是是等等價價的的. . 定理表明：如果決策函數使得貝葉斯風險最小，定理表明：如果決策函數使得貝葉斯風險最小，此決策函數也使得后驗風險最小，反之，也成立此決策函數也使得后驗風險最小，反之，也成立.證明從略證明從略定理定理3.6設設 的先驗分布為的先驗分布為 ( )和損失函數為和損

27、失函數為( , ) |,Ldd*( )( |)dxhx 后后驗驗分分布布的的中中位位數數證證則則 的貝葉斯估計為的貝葉斯估計為設設m為為h( |x)的中位數，又設的中位數，又設d=d(x)為為 的另一的另一估計，為確定期間，先設估計，為確定期間，先設dm,由絕對損失函數的定由絕對損失函數的定義可得義可得2, ,( ,)( , )(), , ,mdmLmLdmdmddmd 又由于又由于22()()mdmddmddm當當時時，則則, ,( ,)( , ), ,mdmLmLddmm 由于由于m是中位數，因而是中位數，因而1122|, |,Pm xPm x則有則有(|)( |)( ( ,)( , )|

28、)R m xR d xE LmLdx() |() |md Pm xdm Pm x 11022()()mddm 于是，當于是，當dm時時(|)( |)R m xR d x 同理可證，當同理可證，當dm時時(|)( |)R m xR d x 因而因而*( )( |)dxmhx 后后驗驗分分布布的的中中位位數數定理定理3.7設設 的先驗分布為的先驗分布為 ( )和損失函數為和損失函數為01() ,( , )(), ,kddLdk dd ，0*( )( |)dxhxk 1 11 1k k后后驗驗分分布布的的上上側側分分位位數數k k則則 的貝葉斯估計為的貝葉斯估計為證證首先計算任一決策函數首先計算任一

29、決策函數d(x)的后驗風險的后驗風險( |) ( , ( )( , ( ) ( |)dR d xE Ld xLd x hxx 10() ( |)d() ( |)dddk dhxxkd hxx 100()() ( |)d( |)dkkdhxxkExd 為了得到為了得到R(d|x)的極小值，關于等式兩邊求導：的極小值，關于等式兩邊求導：1000( |)()( |)d( )dR d xkkhxxkd d 即即011010( |)d( |)dddkkhxxhxxkkkk 0*( )( |)dxhxk 1 11 1k k后后驗驗分分布布的的上上側側分分位位數數k k則則例例5(p94 例例3.11)設總

30、體設總體X服從兩點分布服從兩點分布B(1,p),其中參數其中參數p未知，而未知，而p在在0,1上服從均勻分布，樣本上服從均勻分布，樣本12(,)nXXXX來來自自總總體體 ，損損失失函函數數為為平平方方損損失失，試求參數試求參數p的貝葉斯估計與貝葉斯風險的貝葉斯估計與貝葉斯風險?解解平方損失下的貝葉斯估計為：平方損失下的貝葉斯估計為：*( )(|)(|)ddxE p Xxph p xp 而而10(|)( )(|)( )(|)( )(|)( )dq x ppq x pph p xm xq x ppp 11111111101111111()()(,)()dnnnniiiiiiiinniiiixnx

31、xnxnnxnxiiiippppxnxppp 11101( ) ( ), )()d,()ababa bxxxab 其其中中（則則11111211()()(|)() ()nniiiixnxnniiiippnh p xxnx 111111()()!()!()!nniiiixnxnniiiippnxnx *( )(|)ddxph p xp 111101111()!()d()!()!nniiiixnxnniiiinpppxnx 1111112()!()!()!()!()!()!nniiiinniiiixnxnnxnx 112niixn 其貝葉斯風險為其貝葉斯風險為( )( ( , ) ( , )|(

32、)dR pERdE L p dppp 112210012() d() dniixE pppEppn 122011122() ) d()niiExnppn 2112() )niiExnp 22112 1212()() ) ()() )nniiiiExnp Exnp 又因為又因為1()( , )niixB n p 則則22111, ()()()nniiiiExnpExnppnp22112112() )()()niiExnpnppp 所以所以122011122( )()() d()R pnppppn 21441232()()nnn 162()n 11662,pXnn 而而 的的最最大大似似然然估估計

33、計為為其其貝貝葉葉斯斯風風險險為為例例6(p96 例例3.12)設總體設總體X服從正態分布服從正態分布N( ,1),其中參數其中參數 未知，而未知，而 服從標準正態布在服從標準正態布在N(0,1)，樣本，樣本12(,)nXXXX來來自自總總體體 ，損損失失函函數數為為平平方方損損失失，試求參數試求參數 的貝葉斯估計的貝葉斯估計?解解平方損失下的貝葉斯估計為：平方損失下的貝葉斯估計為：*( )(|)(|)ddxEXxhx 而而(|)( )(|)( )(|)( )(|)( )dq xq xhxm xq x 2212211111222211112222exp() exp()exp() expd()n

34、inininixx 2211221111122211112222exp()()expexp()d()ninininixnnxxnnx 22112222111122211122112exp()()expexp( ) ()()()ninininixnnxnxxnn 12211221(|)() exp() nnnxhxn 化簡得化簡得*( )(|)ddxhx 12211221()exp() dnnnxn 1111niinxxxnn 111()( )D XR xnnn 其其貝貝葉葉斯斯風風險險為為例例7(p97 例例3.13)設總體設總體X服從均勻分布服從均勻分布U(0, ),其中參數其中參數 未知，

35、而未知，而 服從服從pareto分布，其分布函數與分布，其分布函數與密度函數分別為密度函數分別為X總總體體 ，損損失失函函數數為為絕絕對對值值損損失失和和平平方方損損失失時時， 試求參數試求參數 的貝葉斯估計的貝葉斯估計?000011( )() , ( ),F 00010,( ,),Pa 其其中中和和為為已已知知，該該分分布布記記為為0121( ),(,)nEXXX 的的數數學學期期望望為為來來自自解解(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1100111110001111() (max,)1()ddnninnnixx 0111101(), ()

36、()nnnnnn 1( |)(,).hxparetoPan 顯顯然然仍仍為為分分布布 根據定理根據定理3.6可知，絕對值損失對應的貝葉斯估計為可知，絕對值損失對應的貝葉斯估計為后驗分布的中位數后驗分布的中位數,即即1112()()nBBF 則則112*( )Bndx 根據定理根據定理3.4可知，平方損失對應的貝葉斯估計為可知，平方損失對應的貝葉斯估計為后驗分布的均值后驗分布的均值,即即11011*( )max,nnndxxxnn例例8(p97 例例3.14)設總體設總體X服從伽瑪分布服從伽瑪分布 (r, ),)nXX來來自自總總體體 ，損損失失函函數數取取平平方方損損失失和和損損失失函函數數

37、試求參數試求參數 的貝葉斯估計的貝葉斯估計?12,( ,),(,rXX 其其中中參參數數 已已知知 的的先先驗驗分分布布為為221( , )()Ldd 解解1(),rE X 由由于于因因此此，人人們們更更感感興興趣趣估估計計，的的后后驗驗分分布布為為0(| )( )(| )( )( |)( )(| )( )dq xq xhxm xq x 1111101ee( )( )eed( )( )iirnxriirnxriixrxr 11110()()eedniiniixnrxnr 111()()e()niinnrixnrixnr 1則則在在平平方方損損失失下下的的貝貝葉葉斯斯估估計計為為11*( )(|

38、)dxEx 11101()()ed()niinnrixnrixnr 111111()()()()nnnriiiinnriixxnrnrnrx 1221( , )()Ldd 由由定定理理3 3. .3 3可可知知，在在下下的的貝貝葉葉斯斯估估計計為為212*(|)( )(|)ExdxEx - -1 1111102110()()()ed()()ed()niiniinnrixnrinnrixnrixnrxnr 11010()()ededniiniixnrxnr 21111121()()()()nnnriiiinnriixxnrnrnrx 11111.()niinrxnrnr 3 3、貝葉斯估計的誤差

39、、貝葉斯估計的誤差 在計算在計算 的估計時，用到了的估計時，用到了 的后驗分布，因此考的后驗分布，因此考察估計值與真實值之間的誤差時，也應考慮察估計值與真實值之間的誤差時，也應考慮 的后驗分的后驗分布，誤差定義如下：布，誤差定義如下：定義定義3.8參數參數 的后驗分布為的后驗分布為h( |x),其貝葉斯估計其貝葉斯估計2() 為為 ，則則的的后后驗驗期期望望為為22|( - )( - )xMSEE 12( |)MSEx稱稱其其為為 的的后后驗驗均均方方差差，而而其其平平方方根根|( |)xEhx稱稱為為后后驗驗標標準準誤誤差差，其其中中符符號號表表示示對對條條件件分分布布求求期期望望。( |)

40、Ex 1 1、當當時時，則則均均方方誤誤差差為為2|(|)( |)- )var( |)xMSExEExx 后驗均方差與后驗方差的關系后驗均方差與后驗方差的關系( |)( |).ExEx 2 2、當當時時，則則均均方方誤誤差差達達到到最最小小，因因而而后后驗驗均均值值是是較較好好的的貝貝葉葉斯斯估估計計 這這是是因因為為2|(|)( |)-( |)xMSExEExEx 2|( |)var( |)xEExx2( |)var( |)var( |)Exxx后驗均方差與后驗方差的優點后驗均方差與后驗方差的優點1、二者只依賴與樣本，不依賴參數、二者只依賴與樣本，不依賴參數 . 2、二者的計算不依賴與統計量的分布，即抽、二者的計算不依賴與統計量的分布，即抽樣分布樣分布 3、貝葉斯估計不考慮無偏性，因為貝葉斯估計、貝葉斯估計不考慮無偏性，因為貝葉斯估計只考慮出現的樣本，不考慮沒出現的樣本只考慮出現的樣本，不考慮沒出現的樣本. 4 4、貝葉斯區間估計、貝葉斯區間估計定義