STATISTICSPROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICSSTATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICSμ-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS貝葉斯統(tǒng)計(jì)與決策吳志雄STATISTICSPROBABILITYPROBABI

統(tǒng)計(jì)學(xué)中有二個(gè)主要學(xué)派：頻率學(xué)派和貝葉斯學(xué)派。貝葉斯學(xué)派的起點(diǎn)是貝葉斯的兩項(xiàng)工作：貝葉斯定理和貝葉斯假設(shè)，貝葉斯定理（或貝葉斯公式）在通常的概率論教科書中都有敘述，而貝葉斯假設(shè)幾乎都不提及。在統(tǒng)計(jì)推斷的基本理論和方法方面，貝葉斯學(xué)派與頻率學(xué)派之間存在著重大差異。引言引言講座內(nèi)容1貝葉斯統(tǒng)計(jì)概述2先驗(yàn)分布的確定3貝葉斯統(tǒng)計(jì)推斷4貝葉斯決策講座內(nèi)容1貝葉斯統(tǒng)計(jì)概述1貝葉斯統(tǒng)計(jì)概述

1.1全概率公式與貝葉斯公式引例有三個(gè)箱子，分別編號(hào)為1,2,3。1號(hào)箱裝有1個(gè)紅球4個(gè)白球，2號(hào)箱裝有2紅3白球，3號(hào)箱裝有3紅球.某人從三箱中任取一箱，從中任意摸出一球，（1）求取得紅球的概率。（2）已知取出的是紅球，求此球來(lái)自1號(hào)箱的概率。(1)解：記

Bi={球取自i號(hào)箱},i=1,2,3;

A

={取得紅球}B1A,B2A,B3A兩兩互斥1貝葉斯統(tǒng)計(jì)概述引例有三個(gè)箱子，分別編號(hào)為1,2將此例中所用的方法推廣到一般的情形，就得到在概率計(jì)算中常用的全概率公式。依題意，P(A|B1)=1/5,P(A|B2)=2/5,

P(A|B3)=3/3將此例中所用的方法推廣到一般的情形，就得到在概率計(jì)算中常用的(2)

解：引例有三個(gè)箱子，分別編號(hào)為1,2,3。1號(hào)箱裝有1個(gè)紅球4個(gè)白球，2號(hào)箱裝有2紅3白球，3號(hào)箱裝有3紅球.某人從三箱中任取一箱，從中任意摸出一球，（1）求取得紅球的概率。（2）已知取出的是紅球，求此球來(lái)自1號(hào)箱的概率。(2)解：引例有三個(gè)箱子，分別編號(hào)為1,2,3Bayes公式這類問(wèn)題，是“已知結(jié)果求原因”是已知某結(jié)果發(fā)生條件下，求各原因發(fā)生可能性大小。

設(shè)B1,B2,…,Bn是兩兩互斥的事件，且P(Bi)>0，i=1,2,…,n,另有一事件A，它總是與B1,B2,…,Bn之一同時(shí)發(fā)生，則Bayes公式這類問(wèn)題，是“已知結(jié)果求原因”是已知某結(jié)果發(fā)生稱P(Bi)為先驗(yàn)概率，它是由以往的經(jīng)驗(yàn)得到的，它是事件

A

的原因。稱為后驗(yàn)概率，它是得到了信息—A

發(fā)生，再對(duì)導(dǎo)致

A

發(fā)生的原因Bi發(fā)生的可能性大小重新加以修正。后來(lái)的學(xué)者依據(jù)貝葉斯公式的思想發(fā)展了一整套統(tǒng)計(jì)推斷方法，叫作“貝葉斯統(tǒng)計(jì)”。可見貝葉斯公式的影響。稱P(Bi)為先驗(yàn)概率，它是由以往的經(jīng)驗(yàn)得到的，它是

例1.1用Bayes公式分析伊索寓言《孩子與狼》中村民對(duì)小孩的信賴程度是如何下降的。解:A

：小孩說(shuō)謊；B

：小孩可信；小孩第說(shuō)一次謊后的可信度為：不妨設(shè)：P(B)=0.8；例1.1用Bayes公式分析伊索寓言《孩子與狼小孩第說(shuō)二次謊后的可信度為：小孩第說(shuō)二次謊后的可信度為：1.2貝葉斯統(tǒng)計(jì)貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是著名的貝葉斯公式，它是英國(guó)學(xué)者貝葉斯（T.R.Bayes1702~1761）在他死后二年發(fā)表的一篇論文《論有關(guān)機(jī)遇問(wèn)題的求解》中提出的。經(jīng)過(guò)二百年的研究與應(yīng)用，貝葉斯的統(tǒng)計(jì)思想得到很大的發(fā)展，目前已形成一個(gè)統(tǒng)計(jì)學(xué)派—貝葉斯學(xué)派。為了紀(jì)念他，英國(guó)歷史最悠久的統(tǒng)計(jì)雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。1.2貝葉斯統(tǒng)計(jì)貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是1.總體信息：總體分布或所屬分布族提供給我們的

信息2.樣本信息：從總體抽取的樣本提供給我們的信息

3.先驗(yàn)信息：在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息

1.2.1統(tǒng)計(jì)推斷中可用的三種信息1.總體信息：總體分布或所屬分布族提供給我們的1.2.2貝葉斯學(xué)派與頻率學(xué)派之間存在重大差異1)頻率統(tǒng)計(jì)學(xué)派與貝葉斯學(xué)派在進(jìn)行統(tǒng)計(jì)推

斷時(shí)的依據(jù)不同；2)對(duì)概率的概念的理解不同；3)兩個(gè)學(xué)派的具體統(tǒng)計(jì)推斷理念之間存在根

本差異。1.2.2貝葉斯學(xué)派與頻率學(xué)派之間存在重大差異1)頻率統(tǒng)計(jì)1)統(tǒng)計(jì)推斷時(shí)的依據(jù)不同頻率統(tǒng)計(jì)學(xué)派在進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)兩類信息：總體信息（或模型信息）和樣本信息（數(shù)據(jù)信息），而貝葉斯學(xué)派則除了以上兩種信息外，還利用另外一種信息即先驗(yàn)信息。

在概率論與數(shù)理統(tǒng)計(jì)中討論的點(diǎn)估計(jì)只使用前兩種信息，沒(méi)有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來(lái)，那對(duì)我們進(jìn)行統(tǒng)計(jì)推斷是有好處的。只用前兩種信息的統(tǒng)計(jì)學(xué)稱為經(jīng)典統(tǒng)計(jì)學(xué)，三種信息都用的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。

1)統(tǒng)計(jì)推斷時(shí)的依據(jù)不同頻率統(tǒng)計(jì)學(xué)派在進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)2)對(duì)概率的概念的理解不同頻率學(xué)派堅(jiān)持概率的頻率解釋，并在這個(gè)基礎(chǔ)上去理解一切統(tǒng)計(jì)推斷的結(jié)論；與此相反，貝葉斯學(xué)派贊成主觀概率，概率是認(rèn)識(shí)主體對(duì)事件出現(xiàn)可能性大小的相信程度，它不依賴事件能否重復(fù)；2)對(duì)概率的概念的理解不同頻率學(xué)派堅(jiān)持概率3)兩個(gè)學(xué)派統(tǒng)計(jì)推斷理念之間存在著根本差異

統(tǒng)計(jì)學(xué)奠基人費(fèi)歇爾把統(tǒng)計(jì)學(xué)的任務(wù)概括為三個(gè)問(wèn)題：選定模型、確定統(tǒng)計(jì)量和決定統(tǒng)計(jì)量的分布。根據(jù)費(fèi)歇爾的觀點(diǎn)，信息量包含在樣本中，但樣本為數(shù)眾多，因此須用少數(shù)幾個(gè)統(tǒng)計(jì)量把信息集中起來(lái)，而抽樣分布則決定了統(tǒng)計(jì)量的全部性質(zhì)；目前，頻率統(tǒng)計(jì)學(xué)派基本上是按照這種思路來(lái)處理統(tǒng)計(jì)推斷問(wèn)題的。3)兩個(gè)學(xué)派統(tǒng)計(jì)推斷理念之間存在著根本差異貝葉斯學(xué)派認(rèn)為：先驗(yàn)分布反映了試驗(yàn)前對(duì)總體參數(shù)分布的認(rèn)識(shí)，在獲得樣本信息后，對(duì)這個(gè)認(rèn)識(shí)有了改變，其結(jié)果就反映在后驗(yàn)分布中，即后驗(yàn)分布綜合了先驗(yàn)分布和樣本的信息。由此可以看出，頻率學(xué)派統(tǒng)計(jì)推斷是“從無(wú)到有”的過(guò)程——在試驗(yàn)前，關(guān)于位置參數(shù)的情況是一無(wú)所知，而試驗(yàn)后則有些了解，但了解多少？并無(wú)普遍的表述方法，在實(shí)踐中有賴于所使用的統(tǒng)計(jì)量的針對(duì)性；貝葉斯統(tǒng)計(jì)推斷則不然，它是一個(gè)“從有到有”的過(guò)程，且結(jié)果清楚自然，符合人們的思維習(xí)慣——根據(jù)所獲得的信息修正以前的看法，不一定從零開始，從本質(zhì)上說(shuō)，貝葉斯推斷理論概括了多數(shù)成年人的學(xué)習(xí)過(guò)程。貝葉斯學(xué)派認(rèn)為：先驗(yàn)分布反映了試驗(yàn)前對(duì)總體參數(shù)分但是最主要的差別，也是貝葉斯理論的一個(gè)重要特征，在于只能基于后驗(yàn)分布，也就是說(shuō)，在獲得后驗(yàn)分布后，如果把樣本、原來(lái)的統(tǒng)計(jì)模型都丟掉，一點(diǎn)也不會(huì)影響將來(lái)的推斷，凡是符合這個(gè)準(zhǔn)則的推斷就是貝葉斯推斷。據(jù)此，矩估計(jì)、顯著性統(tǒng)計(jì)檢驗(yàn)和置信區(qū)間估計(jì)都不屬于貝葉斯推斷，但最大似然估計(jì)則可視為均勻先驗(yàn)分布之下的貝葉斯推斷，因此，作為頻率學(xué)派中一個(gè)很重要的極大似然估計(jì)，其實(shí)，它只不過(guò)是在一種很特殊先驗(yàn)分布下的貝葉斯估計(jì)而已。但是最主要的差別，也是貝葉斯理論的一個(gè)重要特征，在于1.3.1貝葉斯公式的三種形式1.貝葉斯公式的事件形式：假定是互不相容的事件，它們之和包含事件B，即，則有：1.3貝葉斯公式1.3.1貝葉斯公式的三種形式1.貝葉斯公式的事件形式：1假設(shè)Ⅰ隨機(jī)變量X有一個(gè)密度函數(shù)p(x;θ)，其中θ是一個(gè)參數(shù)，不同的θ對(duì)應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看，p(x;θ)是在給定θ后的一個(gè)條件密度函數(shù)，因此記為p(x│θ)更恰當(dāng)一些。這個(gè)條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ當(dāng)給定θ后，從總體p(x│θ)中隨機(jī)抽取一個(gè)樣本X1，…，Xn，該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。2.貝葉斯公式的密度函數(shù)形式：在給出貝葉斯公式的密度函數(shù)形式之前，先介紹以下貝葉斯學(xué)派的一些具體思想或者叫著基本假設(shè)：假設(shè)Ⅰ隨機(jī)變量X有一個(gè)密度函數(shù)p(x;θ)，其中θ是一個(gè)參假設(shè)Ⅲ從貝葉斯觀點(diǎn)來(lái)看，未知參數(shù)θ是一個(gè)隨機(jī)變量。而描述這個(gè)隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來(lái)，這個(gè)分布稱為先驗(yàn)分布，其密度函數(shù)用π(θ)表示。（1）先驗(yàn)分布定義1將總體中的未知參數(shù)θ∈Θ看成一取值于Θ的隨機(jī)變量，它有一概率分布，記為π(θ)，稱為參數(shù)θ的先驗(yàn)分布。（2）后驗(yàn)分布在貝葉斯統(tǒng)計(jì)學(xué)中，把以上的三種信息歸納起來(lái)的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)：假設(shè)Ⅲ從貝葉斯觀點(diǎn)來(lái)看，未知參數(shù)θ是一個(gè)隨機(jī)變量。而描述這在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計(jì)算公式，容易獲得這個(gè)條件密度函數(shù)：這就是貝葉斯公式的密度函數(shù)形式，其中稱為θ的后驗(yàn)密度函數(shù)，或后驗(yàn)分布。而：是樣本的邊際分布，或稱樣本的無(wú)條件分布，它的積分區(qū)域就是參數(shù)θ的取值范圍，隨具體情況而定。在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本3.貝葉斯公式的離散形式：

當(dāng)是離散隨機(jī)變量時(shí)，先驗(yàn)分布可用先驗(yàn)分布列π(θi)，這時(shí)后驗(yàn)分布也是離散形式：假如總體X也是離散的，則只須將p(x|θ)換成P(X=x|θ)即可。

3.貝葉斯公式的離散形式：當(dāng)是離散隨機(jī)變量時(shí)

前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對(duì)參數(shù)θ已有一個(gè)認(rèn)識(shí)，這個(gè)認(rèn)識(shí)就是先驗(yàn)分布π(θ)。通過(guò)試驗(yàn)，獲得樣本。從而對(duì)θ的先驗(yàn)分布進(jìn)行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗(yàn)分布。后驗(yàn)分布是三種信息的綜合。獲得后驗(yàn)分布使人們對(duì)θ的認(rèn)識(shí)又前進(jìn)一步，可看出，獲得樣本的的效果是把我們對(duì)θ的認(rèn)識(shí)由π(θ)調(diào)整到。所以對(duì)θ的統(tǒng)計(jì)推斷就應(yīng)建立在后驗(yàn)分布的基礎(chǔ)上。1.3.2后驗(yàn)分布是三種信息的綜合前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對(duì)參數(shù)θ已有一例1.2設(shè)事件A的概率為，即。為了估計(jì)而作n次獨(dú)立觀察，其中事件A出現(xiàn)次數(shù)為X，則有X服從二項(xiàng)分布即解題步驟：1.作貝葉斯假設(shè)。如果此時(shí)我們對(duì)事件A的發(fā)生沒(méi)有任何了解，對(duì)的大小也沒(méi)有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為θ的先驗(yàn)分布。因?yàn)樗冢?，1）上每一點(diǎn)都是機(jī)會(huì)均等的。因此：2.計(jì)算樣本X與參數(shù)的聯(lián)合分布：此式在定義域上與二項(xiàng)分布有區(qū)別。如何求出后驗(yàn)分布？例1.2設(shè)事件A的概率為，即即：5.具體算例。拉普拉斯計(jì)算過(guò)這個(gè)概率,研究男嬰的誕生比例是否大于0.5?如抽了251527個(gè)男嬰,女嬰241945個(gè)。他選用U(0，1)作為θ的先驗(yàn)分布，于是可得θ的后驗(yàn)分布Be(x+1,n-x+1),其中n=251527+241945=493472，x=251527。由此拉普拉斯計(jì)算了“θ≤0.5”的后驗(yàn)概率：故他斷言男嬰誕生的概率大于0.5。4.利用貝葉斯公式可得的后驗(yàn)分布：3.計(jì)算X的邊際密度為:即：5.具體算例。拉普拉斯計(jì)算過(guò)這個(gè)概率,研究男嬰的誕生比注：伽瑪函數(shù)與貝塔分布簡(jiǎn)介：定義：定義在[0，1]上，且用密度函數(shù)：表示的概率分布稱為貝塔分布，記為Be(p,q)。

注：伽瑪函數(shù)與貝塔分布簡(jiǎn)介：定義：定義在[0，1]上，且用密特例：當(dāng)p=q=1時(shí)，Be(1,1)分布即為區(qū)間

[0，1]上的均勻分布；當(dāng)p=q=1/2，Be(1/2,1/2)分布稱為反正弦分布，密度函數(shù)為：設(shè)，則的密度函數(shù)為：即：特例：當(dāng)p=q=1時(shí)，Be(1,1)分布即為區(qū)間即：為什么將貝塔分布作為θ的先驗(yàn)分布族是恰當(dāng)?shù)模?1)參數(shù)θ是廢品率，它僅在（0，1）上取值。因此，必需用

區(qū)間（0，1）上的一個(gè)分布去擬合先驗(yàn)信息。β分布正是

這樣一個(gè)分布。(2)β分布含有兩個(gè)參數(shù)p與q，不同的p與q就對(duì)應(yīng)不同的先驗(yàn)

分布，因此這種分布的適應(yīng)面較大。(3)樣本X的分布為二項(xiàng)分布b(n,θ)時(shí)，假如θ的先驗(yàn)分布為β分布，則用貝葉斯估計(jì)算得的后驗(yàn)分布仍然是β分布，只是其中的參數(shù)不同。這樣的先驗(yàn)分布(β分布)稱為參數(shù)θ的共軛先驗(yàn)分布。選擇共軛先驗(yàn)分布在處理數(shù)學(xué)問(wèn)題上帶來(lái)不少方便。為什么將貝塔分布作為θ的先驗(yàn)分布族是恰當(dāng)?shù)模?1)參數(shù)θ是例1.3投資決策問(wèn)題

為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投資來(lái)改進(jìn)生產(chǎn)設(shè)備，預(yù)計(jì)需投資100萬(wàn)元，但從投資效果看，下屬部門有兩種意見：

θ1

：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占90%

θ2：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占70%問(wèn)：公司經(jīng)理怎樣決策？根據(jù)過(guò)去的經(jīng)驗(yàn)知：

θ1的可信度為40%，θ2的可信度為60%例1.3投資決策問(wèn)題為了提高某產(chǎn)品的質(zhì)量，公試驗(yàn)A，A：試制5個(gè)產(chǎn)品，全是高質(zhì)量的產(chǎn)品試驗(yàn)A，A：試制5個(gè)產(chǎn)品，全是高質(zhì)量的產(chǎn)品試驗(yàn)B，B：試制10個(gè)產(chǎn)品，9個(gè)是高質(zhì)量的產(chǎn)品試驗(yàn)B，B：試制10個(gè)產(chǎn)品，9個(gè)是高質(zhì)量的產(chǎn)品1.4共軛先驗(yàn)分布1.4.1共軛先驗(yàn)分布定義1.1設(shè)是總體分布中的參數(shù)（或參數(shù)向量），π(θ)是的先驗(yàn)密度函數(shù)，假如由抽樣信息算得的后驗(yàn)密度函數(shù)與π(θ)有相同的形式，則稱π(θ)是的（自然）共軛先驗(yàn)分布。注意：共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的。如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數(shù)及其所在的分布去談?wù)摴曹椣闰?yàn)分布是沒(méi)有意義的。

1.4共軛先驗(yàn)分布1.4.1共軛先驗(yàn)分布1.4.2樣簡(jiǎn)化后驗(yàn)分布的計(jì)算

——省略常數(shù)因子

在給定樣本分布p(x|θ)和先驗(yàn)分布π(θ)后可用貝葉斯公式計(jì)算θ的后驗(yàn)分布：π(θ)=p(x|θ)π(θ)/m(x)，由于m(x)不依賴于θ，在計(jì)算θ的后驗(yàn)分布中僅起到一個(gè)正則化因子的作用。假如把m(x)省略，把貝葉斯公式改寫成如下等價(jià)形式：其中符號(hào)“”表示兩邊僅差一個(gè)常數(shù)因子，一個(gè)不依賴于θ的常數(shù)因子。上式右端稱為后驗(yàn)分布

的核。1.4.2樣簡(jiǎn)化后驗(yàn)分布的計(jì)算——省略常數(shù)因子例1.4證明：二項(xiàng)分布的成功概率θ的共軛先驗(yàn)分布是貝塔分布。例1.4證明：二項(xiàng)分布的成功概率θ的共軛先驗(yàn)分布是貝塔分布1.4.3共軛先驗(yàn)分布的優(yōu)缺點(diǎn)共軛先驗(yàn)分布在很多場(chǎng)合被采用，因?yàn)樗袃蓚€(gè)優(yōu)點(diǎn)：（1）計(jì)算方便。（2）后驗(yàn)分布的一些參數(shù)可得到很好的解釋。

不足：怎樣找到合適的先驗(yàn)分布？1.4.3共軛先驗(yàn)分布的優(yōu)缺點(diǎn)共軛先驗(yàn)1.4.4常用的一些共軛先驗(yàn)分布共軛先驗(yàn)分布選取的一般原則：是由似然函數(shù)L(θ)=p(x|θ)中所含的因式所決定的，即選與似然函數(shù)具有相同核的分布作為先驗(yàn)分布。1.4.4常用的一些共軛先驗(yàn)分布共軛先驗(yàn)分布常用的一些共軛分布總體分布參數(shù)共軛先驗(yàn)分布后驗(yàn)分布的期望正態(tài)分布均值正態(tài)分布正態(tài)分布方差倒Γ分布IGa(a,b)二項(xiàng)分布

成功概率

β分布Poisson分布

均值

Γ分布Ga(a,b)指數(shù)分布均值的倒數(shù)Γ分布Ga(a,b)常用的一些共軛分布總體分布參數(shù)共軛先驗(yàn)分布后驗(yàn)分布的期望正態(tài)1.5超參數(shù)及其確定一、超參數(shù)的定義：先驗(yàn)分布中所含的未知參數(shù)稱為超參數(shù)二、估計(jì)方法：共軛先驗(yàn)分布是一種有信息的先驗(yàn)分布，故其中所含的超參數(shù)應(yīng)充分利用各種先驗(yàn)信息來(lái)確定它，下面用一個(gè)例子來(lái)介紹目前國(guó)內(nèi)外文獻(xiàn)中對(duì)超參數(shù)的估計(jì)方法：?jiǎn)栴}：二項(xiàng)分布中成功概率θ的共軛先驗(yàn)分布是貝塔分布Be(α,β)，怎樣確定兩個(gè)超參數(shù)α和β？1.5超參數(shù)及其確定一、超參數(shù)的1.5.1利用先驗(yàn)矩：1.5.1利用先驗(yàn)矩：1.5.2.利用先驗(yàn)分位數(shù)：假如根據(jù)先驗(yàn)信息可以確定貝塔分布的二個(gè)分位數(shù)，則可用這兩個(gè)分位數(shù)來(lái)確定α與β，譬如用兩個(gè)上、下四分位數(shù)θU與θL來(lái)確定α與β，θU與θL分別滿足如下二個(gè)方程：從這兩個(gè)方程解出α與β即可確定超參數(shù)。1.5.2.利用先驗(yàn)分位數(shù)：假如根據(jù)先驗(yàn)信息可以確定貝塔分1.5.3.利用先驗(yàn)矩和先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息可獲得先驗(yàn)均值和p分位數(shù)，則可列出下列方程：

由此可解出α與β的估計(jì)值。

1.5.4.其它方法1.5.3.利用先驗(yàn)矩和先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息2.1主觀概率1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)驗(yàn)和過(guò)去的歷史資料確定概率和先驗(yàn)分布。2.經(jīng)典統(tǒng)計(jì)確定概率的兩種方法：（1）古典方法；（2）頻率方法。3.主觀概率的定義：一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念。2先驗(yàn)分布的確定2.1主觀概率1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)2.2確定主觀概率的方法1.利用對(duì)立事件的比較確定主觀概率；2.利用專家意見確定主觀概率；3.向多位專家咨詢確定主觀概率；4.充分利用歷史資料，考慮現(xiàn)有信息加以修正,才能得到比較切合實(shí)際的主觀概率。2.2確定主觀概率的方法1.利用對(duì)立事件的比較確定主觀概45

2.3利用先驗(yàn)信息確定先驗(yàn)分布當(dāng)先驗(yàn)信息足夠多時(shí)，可用下列方法：一、直方圖法二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三、定分度法與變分度法

2.4利用邊緣分布m(x)確定先驗(yàn)密度452.3利用先驗(yàn)信息確定先驗(yàn)分布當(dāng)先驗(yàn)信息足夠多46

2.5無(wú)信息先驗(yàn)分布一、貝葉斯假設(shè)與廣義先驗(yàn)分布二、位置-尺度參數(shù)的無(wú)信息先驗(yàn)三、Jeffreys先驗(yàn)四、Reference先驗(yàn)五、概率匹配先驗(yàn)462.5無(wú)信息先驗(yàn)分布一、貝葉斯假設(shè)與廣義先驗(yàn)分布3貝葉斯統(tǒng)計(jì)推斷3.1條件方法1.后驗(yàn)分布的特點(diǎn)：未知參數(shù)的后驗(yàn)分布是集三種信息（總體、樣本和后驗(yàn)）于一身，它包含了所有可供利用的信息。故有關(guān)的參數(shù)估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都按一定方式從后驗(yàn)分布提取信息，其提取方法與經(jīng)典統(tǒng)計(jì)推斷相比要簡(jiǎn)單明確得多。2.條件方法的基本思想：基于后驗(yàn)分布的統(tǒng)計(jì)推斷實(shí)際上只考慮已出現(xiàn)的數(shù)據(jù)（樣本觀察值）而認(rèn)為未出現(xiàn)的數(shù)據(jù)與推斷無(wú)關(guān)，這一重要的觀點(diǎn)被稱為“條件觀點(diǎn)”，基于這種觀點(diǎn)提出的統(tǒng)計(jì)方法被稱為條件方法。3貝葉斯統(tǒng)計(jì)推斷3.1條件方法1.后驗(yàn)分布的特點(diǎn)：3.條件方法與頻率方法的區(qū)別：(以對(duì)估計(jì)的無(wú)偏性認(rèn)識(shí)為例)例如經(jīng)典統(tǒng)計(jì)學(xué)認(rèn)為參數(shù)的無(wú)偏估計(jì)應(yīng)滿足：其中平均是對(duì)樣本空間中所有可能出現(xiàn)的樣本而求的，可實(shí)際中樣本空間中絕大多數(shù)樣本尚為出現(xiàn)過(guò)，而多數(shù)從未出現(xiàn)的樣本也要參與平均是實(shí)際工作者難以理解的。故在貝葉斯推斷中不用無(wú)偏性，而條件方法是容易被實(shí)際工作者理解和接受的。3.條件方法與頻率方法的區(qū)別：(以對(duì)估計(jì)的無(wú)偏性認(rèn)識(shí)為例)3.2估計(jì)1.貝葉斯估計(jì)

定義3.1使后驗(yàn)密度達(dá)到最大的值稱為最大后驗(yàn)估計(jì)；后驗(yàn)分布的中位數(shù)稱為后驗(yàn)中位數(shù)估計(jì)；后驗(yàn)分布的期望值稱為的后驗(yàn)期望值估計(jì)，這三個(gè)估計(jì)都稱為貝葉斯估計(jì)，記為。3.2估計(jì)1.貝葉斯估計(jì)定義3.1使后驗(yàn)密度解題的基本步驟：2．分析后驗(yàn)分布的特征：對(duì)稱分布解題的基本步驟：2．分析后驗(yàn)分布的特征：對(duì)稱分布例3.2為估計(jì)不合格率，今從一批產(chǎn)品中隨機(jī)抽取n件，其中不合格品數(shù)X服從，一般選取為的先驗(yàn)分布，設(shè)已知，求的Bayes估計(jì)。解：由共軛先驗(yàn)分布可知，的后驗(yàn)分布為：則得：特例：選用貝葉斯假設(shè)作為先驗(yàn)分布，即則：例3.2為估計(jì)不合格率，今從一批產(chǎn)品中隨機(jī)抽取n件第一、在二項(xiàng)分布時(shí)，的最大后驗(yàn)估計(jì)就是經(jīng)典統(tǒng)計(jì)中的極大似然估計(jì)，即的極大似然估計(jì)就是取特定的先驗(yàn)分布下的貝葉斯估計(jì)。第二、的后驗(yàn)期望值估計(jì)要比最大后驗(yàn)估計(jì)更合適一些。注意:第一、在二項(xiàng)分布時(shí)，的最大后驗(yàn)估計(jì)就是經(jīng)典統(tǒng)計(jì)中的極大試驗(yàn)號(hào)樣本量n不合格數(shù)x13000.200210000.08333310.8004101010.917表3.1不合格率的二種貝葉斯估計(jì)的比較試驗(yàn)號(hào)樣本量n不合格數(shù)x13000.200210000.083.3區(qū)間估計(jì)(可信區(qū)間)一、可信區(qū)間3.3區(qū)間估計(jì)(可信區(qū)間)一、可信區(qū)間這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計(jì)中的置信水平與置信區(qū)間雖是同類的概念，但兩者還是有本質(zhì)的差別，主要表現(xiàn)在下面二點(diǎn):1.在條件方法下,對(duì)給定的樣本x和可信水平1-α，通過(guò)后驗(yàn)分布可求得具體的可信區(qū)間，譬如，θ的可信水平為0.9的可信區(qū)間是[1.5，2.6]，這時(shí)我們可以寫出2.在經(jīng)典統(tǒng)計(jì)中尋求置信區(qū)間有時(shí)是困難的，因?yàn)樗O(shè)法構(gòu)造一個(gè)樞軸量（含有被估計(jì)參數(shù)的隨機(jī)變量），使它的分布不含未知參數(shù)，這是一項(xiàng)技術(shù)性很強(qiáng)的工作。相比之下可信區(qū)間只要利用后驗(yàn)分布，不需要再去尋求另外的分布，可信區(qū)間的尋求要簡(jiǎn)單得多。這里的可信水平和可信區(qū)間與經(jīng)典統(tǒng)計(jì)中的置信水

例3.3

設(shè)是來(lái)自正態(tài)總體的一個(gè)樣本觀察值，其中已知,若正態(tài)均值的先驗(yàn)分布取為，其中與已知，則可求得的后驗(yàn)分布為，由此很容易獲得的可信區(qū)間：其中是標(biāo)準(zhǔn)正態(tài)分布1-α/2的分位數(shù)。例3.3設(shè)是來(lái)自正態(tài)總體3.4假設(shè)檢驗(yàn)

3.4.1假設(shè)檢驗(yàn)經(jīng)典統(tǒng)計(jì)中處理假設(shè)檢驗(yàn)問(wèn)題的基本步驟：1.建立原假設(shè)H0與備擇假設(shè)H1：H0：θ∈Θ0，H1：θ∈Θ1其中Θ0與Θ1是參數(shù)空間Θ中不相交的二個(gè)非空子集。2.選擇檢驗(yàn)統(tǒng)計(jì)量T=T(x)，使其在原假設(shè)H0為真時(shí)概率分布是已知的。這是在經(jīng)典方法中最困難的一步。3.對(duì)給定的顯著性水平α(0<α<1)，確定拒絕域W，使犯第Ⅰ類錯(cuò)誤（拒真錯(cuò)誤）的概率不超過(guò)α。4.當(dāng)樣本觀察值x落入拒絕域W時(shí)，就拒絕原假設(shè)H0，接受備擇假設(shè)H1；否則就保留原假設(shè)。3.4假設(shè)檢驗(yàn)3.4.1假設(shè)檢驗(yàn)

3.4.2貝葉斯統(tǒng)計(jì)中處理假設(shè)檢驗(yàn)問(wèn)題的基本思想

獲得后驗(yàn)分布π(θ|x)后，先計(jì)算二個(gè)假設(shè)H0和H1的后驗(yàn)概率：

αi=P(Θi|x)，i=0,1

然后比較α0與α1的大小：

當(dāng)后驗(yàn)概率比(或稱后驗(yàn)機(jī)會(huì)比)α0/α1>1時(shí)接受H0；

當(dāng)α0/α1<1時(shí)接受H1；

當(dāng)α0/α1≈1時(shí)，不宜做判斷，還需要進(jìn)一步抽樣或進(jìn)一步收集先驗(yàn)信息。3.4.2貝葉斯統(tǒng)計(jì)中處理假設(shè)檢驗(yàn)問(wèn)題的基本思想

59

由這兩個(gè)學(xué)派假設(shè)檢驗(yàn)的基本思想可看出貝葉斯假設(shè)檢驗(yàn)更易理解更簡(jiǎn)單：1.貝葉斯假設(shè)檢驗(yàn)無(wú)需選擇檢驗(yàn)統(tǒng)計(jì)量，確定抽樣分布；2.無(wú)需事先給出顯著性水平，確定其拒絕域；3.易推廣到多重假設(shè)檢驗(yàn)的場(chǎng)合，檢驗(yàn)的標(biāo)準(zhǔn)是：接受具有最大后驗(yàn)概率的假設(shè)。59由這兩個(gè)學(xué)派假設(shè)檢驗(yàn)的基本思想可看出貝葉4貝葉斯決策

4.1決策理論基礎(chǔ)

4.1.1決策問(wèn)題的三要素

1.狀態(tài)集,其中每個(gè)元素表示自然界(或社會(huì))可能出現(xiàn)的一種狀態(tài),所有可能狀態(tài)的全體組成狀態(tài)集.（如例2中的兩種狀態(tài)：雨水充足和雨水不充足）

2.

行動(dòng)集,其中a表示人對(duì)自然界可能采取的一個(gè)行動(dòng).注意：一般行動(dòng)集有兩個(gè)以上的行動(dòng)供選擇.若有兩個(gè)行動(dòng)無(wú)論對(duì)自然界的哪一個(gè)狀態(tài)出現(xiàn),總比收益高,則就沒(méi)有存在的必要,可把它從行動(dòng)集中去掉,使留在行動(dòng)集中的行動(dòng)總有可取之處.4貝葉斯決策

4.1決策理論基礎(chǔ)

1.狀態(tài)3.收益函數(shù)。函數(shù)值表示當(dāng)自然界處于狀態(tài),而人們選取行動(dòng)時(shí)所得到的收益大小。收益函數(shù)的值可正可負(fù)，其正表示贏利，負(fù)表示虧損，單位常用貨幣單位。收益函數(shù)的建立不是件容易的事，要對(duì)所研究的問(wèn)題有全面的了解才能建立起來(lái)。收益矩陣3.收益函數(shù)。函數(shù)值表示當(dāng)4.1.2先驗(yàn)期望準(zhǔn)則一、先驗(yàn)期望準(zhǔn)則(1)定義：對(duì)給定的決策問(wèn)題，若在狀態(tài)集Θ上有一個(gè)正常的先驗(yàn)分布π(θ)，則收益函數(shù)Q(θ,α)對(duì)π(θ)的期望與方差分別稱為先驗(yàn)期望收益和收益的先驗(yàn)方差。使先驗(yàn)平均收益達(dá)到最大的行動(dòng)a'稱為先驗(yàn)期望準(zhǔn)則下的最優(yōu)行動(dòng)。若此種最優(yōu)行動(dòng)不止一個(gè)，其中先驗(yàn)方差達(dá)到最小的行動(dòng)稱為二階矩準(zhǔn)則下的最優(yōu)行動(dòng)。4.1.2先驗(yàn)期望準(zhǔn)則一、先驗(yàn)期望準(zhǔn)則4.1.3損失函數(shù)

這里的損失函數(shù)不是負(fù)的收益，也不是虧損。例如，某商店一個(gè)月的經(jīng)營(yíng)收益為-1000元，即虧1000元。這是對(duì)成本而言。我們不稱為損失，而稱其為虧損。我們講的損失是指“該賺而沒(méi)有賺到的錢”，例如該商店本可以賺2000元，但由于某種原因虧了1000元，那我們說(shuō)該商店損失了3000元。用這種觀點(diǎn)認(rèn)識(shí)損失對(duì)提高決策意識(shí)是有好處的。

構(gòu)成決策問(wèn)題的三要素:由收益函數(shù)容易獲得損失函數(shù)

4.1.3損失函數(shù)這里的損失函數(shù)不是負(fù)的收益例4.1某公司購(gòu)進(jìn)一批貨物投放市場(chǎng),若購(gòu)進(jìn)數(shù)量低于市場(chǎng)需求量,每噸可賺15萬(wàn)元,若購(gòu)進(jìn)數(shù)量超過(guò)市場(chǎng)需求量,超過(guò)部分每噸反而要虧35萬(wàn)元.由此可寫出收益函數(shù)顯然,當(dāng)購(gòu)進(jìn)數(shù)量等于市場(chǎng)需求量時(shí),收益達(dá)到最大為15.則立即可得損失函數(shù):例4.1某公司購(gòu)進(jìn)一批貨物投放市場(chǎng),若購(gòu)進(jìn)數(shù)量低于市場(chǎng)需求4.1.4常用損失函數(shù)(1)平方損失函數(shù)

這是在統(tǒng)計(jì)決策中用得最多的損失函數(shù).(2)線性損失函數(shù)

(3)0-1損失函數(shù)(4)多元二次損失函數(shù)

4.1.4常用損失函數(shù)(1)平方損失函數(shù)這是在統(tǒng)計(jì)決策中

4.2貝葉斯決策問(wèn)題4.2.1決策問(wèn)題分類

(1)僅使用先驗(yàn)信息的決策問(wèn)題稱為無(wú)數(shù)據(jù)(或無(wú)樣本信息)的決策問(wèn)題;(2)僅使用抽樣信息的決策問(wèn)題稱為統(tǒng)計(jì)決策問(wèn)題;(3)先驗(yàn)信息和抽樣信息都使用的決策問(wèn)題稱為貝葉斯決策問(wèn)題.損失函數(shù)被稱為貝葉斯統(tǒng)計(jì)中的第四種信息.

4.2貝葉斯決策問(wèn)題4.2.1決策問(wèn)題分類

先驗(yàn)信息和抽樣信息都用的決策問(wèn)題稱為貝葉斯決策問(wèn)題。若以下條件已知，則我們認(rèn)為一個(gè)貝葉斯決策問(wèn)題給定了。(4)定義在上的二元函數(shù)稱為損失函數(shù)先驗(yàn)信息和抽樣信息都用的決策問(wèn)題稱為貝葉斯4.2.2貝葉斯決策的優(yōu)缺點(diǎn)1.優(yōu)點(diǎn)主要表現(xiàn)在:(1)貝葉斯決策充分利用各種信息,使決策結(jié)果更加科學(xué)化;(2)能對(duì)調(diào)查結(jié)果的可能性加以數(shù)量化的評(píng)價(jià);(3)貝葉斯決策巧妙地將調(diào)查結(jié)果和先驗(yàn)知識(shí)有機(jī)地結(jié)合起來(lái);(4)貝葉斯決策過(guò)程可以不斷地使用,使決策結(jié)果逐步完善.2.缺點(diǎn):(1)貝葉斯決策所需要的數(shù)據(jù)多，分析計(jì)算也比較復(fù)雜,如果解決的問(wèn)題比較復(fù)雜時(shí),這個(gè)矛盾就更加突出;(2)在決策的過(guò)程中，有些數(shù)據(jù)必須要使用主觀概率,有些人不是很相信,這也妨礙了貝葉斯決策方法的推廣和使用.O4.2.2貝葉斯決策的優(yōu)缺點(diǎn)1.優(yōu)點(diǎn)主要表現(xiàn)在:4.3后驗(yàn)風(fēng)險(xiǎn)決策1.后驗(yàn)風(fēng)險(xiǎn)函數(shù)我們把損失函數(shù)對(duì)后驗(yàn)分布的期望稱為后驗(yàn)風(fēng)險(xiǎn),記,即

后驗(yàn)風(fēng)險(xiǎn)就是用后驗(yàn)分布計(jì)算的平均損失.4.3后驗(yàn)風(fēng)險(xiǎn)決策1.后驗(yàn)風(fēng)險(xiǎn)函數(shù)我們把損失函2.決策函數(shù)定義4.1在給定的貝葉斯決策問(wèn)題中,從樣本空間到行動(dòng)集A上的一個(gè)映照稱為該決策問(wèn)題的一個(gè)決策函數(shù),表示所有從樣本空間χ到A上的決策函數(shù)組成的類,稱為決策函數(shù)類.在貝葉斯決策中我們面臨的是決策函數(shù)類D,要在D中選擇決策函數(shù),使其風(fēng)險(xiǎn)最小.2.決策函數(shù)定義4.1在給定的貝葉斯決策問(wèn)題中,從樣本3.后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義在給定的貝葉斯決策問(wèn)題中是其決策函數(shù)類,則稱為決策函數(shù)的后驗(yàn)風(fēng)險(xiǎn).假如在決策函數(shù)類中存在這樣的決策函數(shù),它在D中有最小的風(fēng)險(xiǎn),即則稱為后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù),或稱貝葉斯決策,或貝葉斯解,或貝葉斯估計(jì)。注:(1)定義中的條件:給定的貝葉斯決策問(wèn)題(2)定義中的先驗(yàn)分布允許是廣義的.3.后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則定義在給定的貝葉斯決策問(wèn)例4.2設(shè)是來(lái)自正態(tài)分布N(θ,1)的一個(gè)樣本。又設(shè)參數(shù)θ的先驗(yàn)分布為共軛先驗(yàn)分布N(0,τ2),其中τ2已知.而損失函數(shù)為0-1損失函數(shù)

試求參數(shù)θ的貝葉斯估計(jì)。解:分三步求解:(1)求參數(shù)θ的后驗(yàn)分布(2)對(duì)于任意一個(gè)決策函數(shù)計(jì)算后驗(yàn)風(fēng)險(xiǎn)函數(shù):(3)求出使得上述風(fēng)險(xiǎn)函數(shù)達(dá)到最小時(shí)的決策函數(shù):例4.2設(shè)例4.3在市場(chǎng)占有率θ的估計(jì)問(wèn)題中，已知損失函數(shù)為：

藥廠廠長(zhǎng)對(duì)市場(chǎng)占有率θ無(wú)任何先驗(yàn)信息，另外在市場(chǎng)調(diào)查中，在n個(gè)購(gòu)買止痛劑的顧客中有x人買了新藥，試在后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則

下對(duì)θ作出貝葉斯估計(jì)。例4.3在市場(chǎng)占有率θ的估計(jì)問(wèn)題中，已知損失函數(shù)為：

解:(1)θ的先驗(yàn)分布U(0,1),(2)求參數(shù)θ的后驗(yàn)分布:結(jié)果為Be(x+1,n-x+1)(3)計(jì)算后驗(yàn)風(fēng)險(xiǎn)函數(shù)(4)求最優(yōu)行動(dòng)使上述后驗(yàn)風(fēng)險(xiǎn)函數(shù)達(dá)到最小.令:

則得:(5)數(shù)值計(jì)算:設(shè)n=10,x=1,后驗(yàn)分布:結(jié)果為

解:(1)θ的先驗(yàn)分布U(0,1),4.4.1平方損失函數(shù)下的貝葉斯估計(jì)定理4.1在平方損失函數(shù)下,的貝葉斯估計(jì)為后驗(yàn)均值,即4.4常用損失函數(shù)下的貝葉斯估計(jì)4.4.1平方損失函數(shù)下的貝葉斯估計(jì)定理4.1在平方損失函定理4.2在加權(quán)平方損失函數(shù)下,θ的貝葉斯估計(jì)為:

其中λ(θ)為參數(shù)空間Θ上的正值函數(shù).

定理4.3在參數(shù)向量的場(chǎng)合下,對(duì)多元二

次損失函數(shù),Q為正定陣,

θ的貝葉斯估計(jì)為后驗(yàn)均值向量:定理4.2在加權(quán)平方損失函數(shù)例4.4設(shè)是來(lái)自泊松分布

的一個(gè)樣本.若θ的先驗(yàn)分布用其共軛先驗(yàn)分布G(α,λ),即

其中參數(shù)α與λ已知.求平方損失函數(shù)下θ的貝葉斯估計(jì).解:解題過(guò)程分為以下三步:(1)根據(jù)題意求出θ的后驗(yàn)分布(2)寫出后驗(yàn)均值(3)結(jié)論:由定理4.1知θ的貝葉斯估計(jì)為:例4.4設(shè)是來(lái)例4.5設(shè)是來(lái)自均勻分布U(0,θ)的一個(gè)樣本.

又設(shè)θ的先驗(yàn)分布為Pareto分布.在損失函數(shù)分別為

絕對(duì)值損失函數(shù)和平方損失函數(shù)下求θ的貝葉斯估計(jì).解題步驟:第一步:求θ的后驗(yàn)分布:第二步:在絕對(duì)值損失函數(shù)下θ的貝葉斯估計(jì):恰為后驗(yàn)分布的中位數(shù).第三步:平方損失函數(shù)下θ的貝葉斯估計(jì):Pareto分布的分布函數(shù):密度函數(shù)為:期望:方差:中位數(shù):例4.5設(shè)是來(lái)自4.4.2.線性損失函數(shù)下的貝葉斯估計(jì)

定理4.4在絕對(duì)值損失函數(shù)L(θ,δ)=|θ-δ|下,θ的貝葉斯估計(jì)δB(x)為后驗(yàn)分布π(θ|x)的中位數(shù).定理4.5在線性損失函數(shù):

下,θ的貝葉斯估計(jì)δn(x)為后驗(yàn)分布π(θ|x)的

分位數(shù).

4.4.2.線性損失函數(shù)下的貝葉斯估計(jì)定理4.4在絕4.5抽樣信息期望值4.5.1、基本概念1.完全信息：對(duì)需要作決策的問(wèn)題，假如決策者所獲得的信息足以肯定那一個(gè)狀態(tài)即將發(fā)生，則該信息就稱為(該狀態(tài)的)完全信息。

2.完全信息期望值(EVPI)：設(shè)某決策問(wèn)題有n種狀態(tài)θ1,θ2,…,θn,且各種狀態(tài)的先驗(yàn)概率π(θi)已知,又有m種行動(dòng)a1,a2,…,am。設(shè)Qij為出現(xiàn)θi采取行動(dòng)aj的收益，a′為使取得最大時(shí)的行動(dòng)，則稱為完全信息期望值，記為EVPI。4.5抽樣信息期望值4.5.1、基本概念3.先驗(yàn)EVPI：在一個(gè)決策問(wèn)題中π(θ)是狀態(tài)集Θ={θ}上的先驗(yàn)分布。a′是先驗(yàn)期望準(zhǔn)則下的最優(yōu)行動(dòng)，則在a′下的損失函數(shù)L(θ,a′)的先驗(yàn)期望稱為完全信息先驗(yàn)期望值，記為先驗(yàn)EVPI。4.兩者的關(guān)系:5.例題:對(duì)給定的Q或L怎樣計(jì)算EVPI和先驗(yàn)EVPI？如：3.先驗(yàn)EVPI：在一個(gè)決策問(wèn)題中π(θ)是狀態(tài)集Θ={θ}是先驗(yàn)期望準(zhǔn)則下的最優(yōu)行動(dòng)是先驗(yàn)期望準(zhǔn)則下的最優(yōu)行動(dòng)4.5.2抽樣信息期望值1.定義：在一個(gè)貝葉斯決策問(wèn)題中,a′是先驗(yàn)期望準(zhǔn)則下的最優(yōu)

行動(dòng)，是后驗(yàn)風(fēng)險(xiǎn)準(zhǔn)則下的最優(yōu)決策函數(shù)。則先驗(yàn)EVPI與后驗(yàn)EVPI期望值的差稱為抽樣信息期望值，記為：2.計(jì)算一個(gè)EVSI的基本步驟：第一步：計(jì)算先驗(yàn)EVPI；第二步：計(jì)算θ的后驗(yàn)分布；第三步：計(jì)算每個(gè)行動(dòng)的后驗(yàn)期望損失；第四步：確定最優(yōu)決策函數(shù)；第五步：計(jì)算后驗(yàn)EVPI；第六步：計(jì)算后驗(yàn)EVPI的期望值；第七步：計(jì)算抽樣信息期望值。4.5.2抽樣信息期望值1.定義：在一個(gè)貝葉斯決策問(wèn)題中,4.5.3案例分析甲廠的某一零件由乙廠生產(chǎn)，每批1000只，其次品率θ的概率分布如下表所示：甲廠在整機(jī)裝配時(shí)，如發(fā)現(xiàn)零件是次品，必須更換，每換一只，乙廠賠償2.20元的損失費(fèi)，但也可以在送裝前采取全部檢查的辦法，使每批零件的次品率降為1%，但乙廠必須支付每只0.10元的檢查費(fèi)。乙廠面臨如下兩種選擇：

a1:一批中一件都不檢查a2:一批中每件都檢查若乙廠廠長(zhǎng)想從每批中任取三只零件進(jìn)行抽查，根據(jù)不合格品個(gè)數(shù)來(lái)決定是采取行動(dòng)a1還是行動(dòng)a2，并想知道這樣能否帶來(lái)更大的收益？θ0.020.050.10π(θ)0.450.390.164.5.3案例分析甲廠的某一零件由乙廠生產(chǎn)，每一、計(jì)算先驗(yàn)EVPI：支付函數(shù)：由此的支付矩陣和損失矩陣：計(jì)算每個(gè)行動(dòng)下的先驗(yàn)期望損失：由此得在先驗(yàn)期望準(zhǔn)則下，a1是最優(yōu)行動(dòng)，則：先驗(yàn)EVPI=15.68

一、計(jì)算先驗(yàn)EVPI：2.計(jì)算的后驗(yàn)分布3.計(jì)算各行動(dòng)的后驗(yàn)期望損失x0123m(x)0.87450.11760.00760.0002x0123θ1=0.020.48430.22020.06580.0028θ2=0.050.38240.44900.36840.0190θ3=0.100.13330.33080.56580.9782x012313.063432.414855.448495.863642.364222.56369.55320.44642.計(jì)算的后驗(yàn)分布3.計(jì)算各行動(dòng)的后驗(yàn)期望損失x4.確定最優(yōu)決策函數(shù)：5.計(jì)算后驗(yàn)EVPI：x=0時(shí)，后驗(yàn)EVPI=13.0634x=1時(shí)，后驗(yàn)EVPI=22.5636x=2時(shí)，后驗(yàn)EVPI=9.5532x=3時(shí)，后驗(yàn)EVPI=0.44946.計(jì)算后驗(yàn)EVPI的期望值:7.計(jì)算抽樣信息期望值：

EVSI=15.68-14.15=1.53思考：該廠長(zhǎng)所確定的抽取三件產(chǎn)品檢查，是否是最好？4.確定最優(yōu)決策函數(shù)：5.計(jì)算后驗(yàn)EVPI：x=0時(shí)，后驗(yàn)E注：EVSI和樣本量n有關(guān)，EVSI（3）=1.53

若n=1,抽一個(gè)進(jìn)行檢查，可得

EVSI（1）=0.63注：EVSI和樣本量n有關(guān)，EVSI（3）=1.53EVSI參考書1.茆詩(shī)松，湯銀才編著，貝葉斯統(tǒng)計(jì)（第二版），中國(guó)統(tǒng)計(jì)出版社，20122.吳喜之，現(xiàn)代貝葉斯統(tǒng)計(jì)學(xué)，中國(guó)統(tǒng)計(jì)出版社，2000年10月。3.張堯庭陳漢峰編著，貝葉斯統(tǒng)計(jì)推斷，科學(xué)出版社，1991年3月。4.Berger，J.O.，StatisticaldecisiontheoryandBayesiananalysis，Secondedition，Springer-Verlag，NewYork，1985，中譯本：統(tǒng)計(jì)決策理論及貝葉斯分析，賈乃光譯，中國(guó)統(tǒng)計(jì)出版社，1998。5.James等著，貝葉斯統(tǒng)計(jì)學(xué)：原理、模型與應(yīng)用，中國(guó)統(tǒng)計(jì)出版社，1992參考書1.茆詩(shī)松，湯銀才編著，貝葉斯統(tǒng)計(jì)（第二版），中國(guó)演講完畢，謝謝觀看！演講完畢，謝謝觀看！STATISTICSPROBABILITYPROBABILITY&STATISTICSPROBABILITYSTATISTICSSTATISTICSPROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYPROBABILITY&STATISTICSμ-4-2024PROBABILITY&STATISTICSPROBABILITY&STATISTICSPROBABILITYSTATISTICS貝葉斯統(tǒng)計(jì)與決策吳志雄STATISTICSPROBABILITYPROBABI

統(tǒng)計(jì)學(xué)中有二個(gè)主要學(xué)派：頻率學(xué)派和貝葉斯學(xué)派。貝葉斯學(xué)派的起點(diǎn)是貝葉斯的兩項(xiàng)工作：貝葉斯定理和貝葉斯假設(shè)，貝葉斯定理（或貝葉斯公式）在通常的概率論教科書中都有敘述，而貝葉斯假設(shè)幾乎都不提及。在統(tǒng)計(jì)推斷的基本理論和方法方面，貝葉斯學(xué)派與頻率學(xué)派之間存在著重大差異。引言引言講座內(nèi)容1貝葉斯統(tǒng)計(jì)概述2先驗(yàn)分布的確定3貝葉斯統(tǒng)計(jì)推斷4貝葉斯決策講座內(nèi)容1貝葉斯統(tǒng)計(jì)概述1貝葉斯統(tǒng)計(jì)概述

1.1全概率公式與貝葉斯公式引例有三個(gè)箱子，分別編號(hào)為1,2,3。1號(hào)箱裝有1個(gè)紅球4個(gè)白球，2號(hào)箱裝有2紅3白球，3號(hào)箱裝有3紅球.某人從三箱中任取一箱，從中任意摸出一球，（1）求取得紅球的概率。（2）已知取出的是紅球，求此球來(lái)自1號(hào)箱的概率。(1)解：記

Bi={球取自i號(hào)箱},i=1,2,3;

A

={取得紅球}B1A,B2A,B3A兩兩互斥1貝葉斯統(tǒng)計(jì)概述引例有三個(gè)箱子，分別編號(hào)為1,2將此例中所用的方法推廣到一般的情形，就得到在概率計(jì)算中常用的全概率公式。依題意，P(A|B1)=1/5,P(A|B2)=2/5,

P(A|B3)=3/3將此例中所用的方法推廣到一般的情形，就得到在概率計(jì)算中常用的(2)

解：引例有三個(gè)箱子，分別編號(hào)為1,2,3。1號(hào)箱裝有1個(gè)紅球4個(gè)白球，2號(hào)箱裝有2紅3白球，3號(hào)箱裝有3紅球.某人從三箱中任取一箱，從中任意摸出一球，（1）求取得紅球的概率。（2）已知取出的是紅球，求此球來(lái)自1號(hào)箱的概率。(2)解：引例有三個(gè)箱子，分別編號(hào)為1,2,3Bayes公式這類問(wèn)題，是“已知結(jié)果求原因”是已知某結(jié)果發(fā)生條件下，求各原因發(fā)生可能性大小。

設(shè)B1,B2,…,Bn是兩兩互斥的事件，且P(Bi)>0，i=1,2,…,n,另有一事件A，它總是與B1,B2,…,Bn之一同時(shí)發(fā)生，則Bayes公式這類問(wèn)題，是“已知結(jié)果求原因”是已知某結(jié)果發(fā)生稱P(Bi)為先驗(yàn)概率，它是由以往的經(jīng)驗(yàn)得到的，它是事件

A

的原因。稱為后驗(yàn)概率，它是得到了信息—A

發(fā)生，再對(duì)導(dǎo)致

A

發(fā)生的原因Bi發(fā)生的可能性大小重新加以修正。后來(lái)的學(xué)者依據(jù)貝葉斯公式的思想發(fā)展了一整套統(tǒng)計(jì)推斷方法，叫作“貝葉斯統(tǒng)計(jì)”。可見貝葉斯公式的影響。稱P(Bi)為先驗(yàn)概率，它是由以往的經(jīng)驗(yàn)得到的，它是

例1.1用Bayes公式分析伊索寓言《孩子與狼》中村民對(duì)小孩的信賴程度是如何下降的。解:A

：小孩說(shuō)謊；B

：小孩可信；小孩第說(shuō)一次謊后的可信度為：不妨設(shè)：P(B)=0.8；例1.1用Bayes公式分析伊索寓言《孩子與狼小孩第說(shuō)二次謊后的可信度為：小孩第說(shuō)二次謊后的可信度為：1.2貝葉斯統(tǒng)計(jì)貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是著名的貝葉斯公式，它是英國(guó)學(xué)者貝葉斯（T.R.Bayes1702~1761）在他死后二年發(fā)表的一篇論文《論有關(guān)機(jī)遇問(wèn)題的求解》中提出的。經(jīng)過(guò)二百年的研究與應(yīng)用，貝葉斯的統(tǒng)計(jì)思想得到很大的發(fā)展，目前已形成一個(gè)統(tǒng)計(jì)學(xué)派—貝葉斯學(xué)派。為了紀(jì)念他，英國(guó)歷史最悠久的統(tǒng)計(jì)雜志《Biometrika》在1958年又全文刊登貝葉斯的這篇論文。1.2貝葉斯統(tǒng)計(jì)貝葉斯統(tǒng)計(jì)學(xué)的基礎(chǔ)是1.總體信息：總體分布或所屬分布族提供給我們的

信息2.樣本信息：從總體抽取的樣本提供給我們的信息

3.先驗(yàn)信息：在抽樣之前有關(guān)統(tǒng)計(jì)推斷的一些信息

1.2.1統(tǒng)計(jì)推斷中可用的三種信息1.總體信息：總體分布或所屬分布族提供給我們的1.2.2貝葉斯學(xué)派與頻率學(xué)派之間存在重大差異1)頻率統(tǒng)計(jì)學(xué)派與貝葉斯學(xué)派在進(jìn)行統(tǒng)計(jì)推

斷時(shí)的依據(jù)不同；2)對(duì)概率的概念的理解不同；3)兩個(gè)學(xué)派的具體統(tǒng)計(jì)推斷理念之間存在根

本差異。1.2.2貝葉斯學(xué)派與頻率學(xué)派之間存在重大差異1)頻率統(tǒng)計(jì)1)統(tǒng)計(jì)推斷時(shí)的依據(jù)不同頻率統(tǒng)計(jì)學(xué)派在進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)兩類信息：總體信息（或模型信息）和樣本信息（數(shù)據(jù)信息），而貝葉斯學(xué)派則除了以上兩種信息外，還利用另外一種信息即先驗(yàn)信息。

在概率論與數(shù)理統(tǒng)計(jì)中討論的點(diǎn)估計(jì)只使用前兩種信息，沒(méi)有使用先驗(yàn)信息。假如能把收集到的先驗(yàn)信息也利用起來(lái)，那對(duì)我們進(jìn)行統(tǒng)計(jì)推斷是有好處的。只用前兩種信息的統(tǒng)計(jì)學(xué)稱為經(jīng)典統(tǒng)計(jì)學(xué)，三種信息都用的統(tǒng)計(jì)學(xué)稱為貝葉斯統(tǒng)計(jì)學(xué)。

1)統(tǒng)計(jì)推斷時(shí)的依據(jù)不同頻率統(tǒng)計(jì)學(xué)派在進(jìn)行統(tǒng)計(jì)推斷時(shí)，依據(jù)2)對(duì)概率的概念的理解不同頻率學(xué)派堅(jiān)持概率的頻率解釋，并在這個(gè)基礎(chǔ)上去理解一切統(tǒng)計(jì)推斷的結(jié)論；與此相反，貝葉斯學(xué)派贊成主觀概率，概率是認(rèn)識(shí)主體對(duì)事件出現(xiàn)可能性大小的相信程度，它不依賴事件能否重復(fù)；2)對(duì)概率的概念的理解不同頻率學(xué)派堅(jiān)持概率3)兩個(gè)學(xué)派統(tǒng)計(jì)推斷理念之間存在著根本差異

統(tǒng)計(jì)學(xué)奠基人費(fèi)歇爾把統(tǒng)計(jì)學(xué)的任務(wù)概括為三個(gè)問(wèn)題：選定模型、確定統(tǒng)計(jì)量和決定統(tǒng)計(jì)量的分布。根據(jù)費(fèi)歇爾的觀點(diǎn)，信息量包含在樣本中，但樣本為數(shù)眾多，因此須用少數(shù)幾個(gè)統(tǒng)計(jì)量把信息集中起來(lái)，而抽樣分布則決定了統(tǒng)計(jì)量的全部性質(zhì)；目前，頻率統(tǒng)計(jì)學(xué)派基本上是按照這種思路來(lái)處理統(tǒng)計(jì)推斷問(wèn)題的。3)兩個(gè)學(xué)派統(tǒng)計(jì)推斷理念之間存在著根本差異貝葉斯學(xué)派認(rèn)為：先驗(yàn)分布反映了試驗(yàn)前對(duì)總體參數(shù)分布的認(rèn)識(shí)，在獲得樣本信息后，對(duì)這個(gè)認(rèn)識(shí)有了改變，其結(jié)果就反映在后驗(yàn)分布中，即后驗(yàn)分布綜合了先驗(yàn)分布和樣本的信息。由此可以看出，頻率學(xué)派統(tǒng)計(jì)推斷是“從無(wú)到有”的過(guò)程——在試驗(yàn)前，關(guān)于位置參數(shù)的情況是一無(wú)所知，而試驗(yàn)后則有些了解，但了解多少？并無(wú)普遍的表述方法，在實(shí)踐中有賴于所使用的統(tǒng)計(jì)量的針對(duì)性；貝葉斯統(tǒng)計(jì)推斷則不然，它是一個(gè)“從有到有”的過(guò)程，且結(jié)果清楚自然，符合人們的思維習(xí)慣——根據(jù)所獲得的信息修正以前的看法，不一定從零開始，從本質(zhì)上說(shuō)，貝葉斯推斷理論概括了多數(shù)成年人的學(xué)習(xí)過(guò)程。貝葉斯學(xué)派認(rèn)為：先驗(yàn)分布反映了試驗(yàn)前對(duì)總體參數(shù)分但是最主要的差別，也是貝葉斯理論的一個(gè)重要特征，在于只能基于后驗(yàn)分布，也就是說(shuō)，在獲得后驗(yàn)分布后，如果把樣本、原來(lái)的統(tǒng)計(jì)模型都丟掉，一點(diǎn)也不會(huì)影響將來(lái)的推斷，凡是符合這個(gè)準(zhǔn)則的推斷就是貝葉斯推斷。據(jù)此，矩估計(jì)、顯著性統(tǒng)計(jì)檢驗(yàn)和置信區(qū)間估計(jì)都不屬于貝葉斯推斷，但最大似然估計(jì)則可視為均勻先驗(yàn)分布之下的貝葉斯推斷，因此，作為頻率學(xué)派中一個(gè)很重要的極大似然估計(jì)，其實(shí)，它只不過(guò)是在一種很特殊先驗(yàn)分布下的貝葉斯估計(jì)而已。但是最主要的差別，也是貝葉斯理論的一個(gè)重要特征，在于1.3.1貝葉斯公式的三種形式1.貝葉斯公式的事件形式：假定是互不相容的事件，它們之和包含事件B，即，則有：1.3貝葉斯公式1.3.1貝葉斯公式的三種形式1.貝葉斯公式的事件形式：1假設(shè)Ⅰ隨機(jī)變量X有一個(gè)密度函數(shù)p(x;θ)，其中θ是一個(gè)參數(shù)，不同的θ對(duì)應(yīng)不同的密度函數(shù)，故從貝葉斯觀點(diǎn)看，p(x;θ)是在給定θ后的一個(gè)條件密度函數(shù)，因此記為p(x│θ)更恰當(dāng)一些。這個(gè)條件密度能提供我們的有關(guān)的θ信息就是總體信息。假設(shè)Ⅱ當(dāng)給定θ后，從總體p(x│θ)中隨機(jī)抽取一個(gè)樣本X1，…，Xn，該樣本中含有θ的有關(guān)信息。這種信息就是樣本信息。2.貝葉斯公式的密度函數(shù)形式：在給出貝葉斯公式的密度函數(shù)形式之前，先介紹以下貝葉斯學(xué)派的一些具體思想或者叫著基本假設(shè)：假設(shè)Ⅰ隨機(jī)變量X有一個(gè)密度函數(shù)p(x;θ)，其中θ是一個(gè)參假設(shè)Ⅲ從貝葉斯觀點(diǎn)來(lái)看，未知參數(shù)θ是一個(gè)隨機(jī)變量。而描述這個(gè)隨機(jī)變量的分布可從先驗(yàn)信息中歸納出來(lái)，這個(gè)分布稱為先驗(yàn)分布，其密度函數(shù)用π(θ)表示。（1）先驗(yàn)分布定義1將總體中的未知參數(shù)θ∈Θ看成一取值于Θ的隨機(jī)變量，它有一概率分布，記為π(θ)，稱為參數(shù)θ的先驗(yàn)分布。（2）后驗(yàn)分布在貝葉斯統(tǒng)計(jì)學(xué)中，把以上的三種信息歸納起來(lái)的最好形式是在總體分布基礎(chǔ)上獲得的樣本X1，…，Xn，和參數(shù)的聯(lián)合密度函數(shù)：假設(shè)Ⅲ從貝葉斯觀點(diǎn)來(lái)看，未知參數(shù)θ是一個(gè)隨機(jī)變量。而描述這在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本給定之后，未知的僅是參數(shù)θ了，我們關(guān)心的是樣本給定后，θ的條件密度函數(shù)，依據(jù)密度的計(jì)算公式，容易獲得這個(gè)條件密度函數(shù)：這就是貝葉斯公式的密度函數(shù)形式，其中稱為θ的后驗(yàn)密度函數(shù)，或后驗(yàn)分布。而：是樣本的邊際分布，或稱樣本的無(wú)條件分布，它的積分區(qū)域就是參數(shù)θ的取值范圍，隨具體情況而定。在這個(gè)聯(lián)合密度函數(shù)中。當(dāng)樣本3.貝葉斯公式的離散形式：

當(dāng)是離散隨機(jī)變量時(shí)，先驗(yàn)分布可用先驗(yàn)分布列π(θi)，這時(shí)后驗(yàn)分布也是離散形式：假如總體X也是離散的，則只須將p(x|θ)換成P(X=x|θ)即可。

3.貝葉斯公式的離散形式：當(dāng)是離散隨機(jī)變量時(shí)

前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對(duì)參數(shù)θ已有一個(gè)認(rèn)識(shí)，這個(gè)認(rèn)識(shí)就是先驗(yàn)分布π(θ)。通過(guò)試驗(yàn)，獲得樣本。從而對(duì)θ的先驗(yàn)分布進(jìn)行調(diào)整，調(diào)整的方法就是使用上面的貝葉斯公式，調(diào)整的結(jié)果就是后驗(yàn)分布。后驗(yàn)分布是三種信息的綜合。獲得后驗(yàn)分布使人們對(duì)θ的認(rèn)識(shí)又前進(jìn)一步，可看出，獲得樣本的的效果是把我們對(duì)θ的認(rèn)識(shí)由π(θ)調(diào)整到。所以對(duì)θ的統(tǒng)計(jì)推斷就應(yīng)建立在后驗(yàn)分布的基礎(chǔ)上。1.3.2后驗(yàn)分布是三種信息的綜合前面的分析總結(jié)如下：人們根據(jù)先驗(yàn)信息對(duì)參數(shù)θ已有一例1.2設(shè)事件A的概率為，即。為了估計(jì)而作n次獨(dú)立觀察，其中事件A出現(xiàn)次數(shù)為X，則有X服從二項(xiàng)分布即解題步驟：1.作貝葉斯假設(shè)。如果此時(shí)我們對(duì)事件A的發(fā)生沒(méi)有任何了解，對(duì)的大小也沒(méi)有任何信息。在這種情況下，貝葉斯建議用區(qū)間（0，1）上的均勻分布作為θ的先驗(yàn)分布。因?yàn)樗冢?，1）上每一點(diǎn)都是機(jī)會(huì)均等的。因此：2.計(jì)算樣本X與參數(shù)的聯(lián)合分布：此式在定義域上與二項(xiàng)分布有區(qū)別。如何求出后驗(yàn)分布？例1.2設(shè)事件A的概率為，即即：5.具體算例。拉普拉斯計(jì)算過(guò)這個(gè)概率,研究男嬰的誕生比例是否大于0.5?如抽了251527個(gè)男嬰,女嬰241945個(gè)。他選用U(0，1)作為θ的先驗(yàn)分布，于是可得θ的后驗(yàn)分布Be(x+1,n-x+1),其中n=251527+241945=493472，x=251527。由此拉普拉斯計(jì)算了“θ≤0.5”的后驗(yàn)概率：故他斷言男嬰誕生的概率大于0.5。4.利用貝葉斯公式可得的后驗(yàn)分布：3.計(jì)算X的邊際密度為:即：5.具體算例。拉普拉斯計(jì)算過(guò)這個(gè)概率,研究男嬰的誕生比注：伽瑪函數(shù)與貝塔分布簡(jiǎn)介：定義：定義在[0，1]上，且用密度函數(shù)：表示的概率分布稱為貝塔分布，記為Be(p,q)。

注：伽瑪函數(shù)與貝塔分布簡(jiǎn)介：定義：定義在[0，1]上，且用密特例：當(dāng)p=q=1時(shí)，Be(1,1)分布即為區(qū)間

[0，1]上的均勻分布；當(dāng)p=q=1/2，Be(1/2,1/2)分布稱為反正弦分布，密度函數(shù)為：設(shè)，則的密度函數(shù)為：即：特例：當(dāng)p=q=1時(shí)，Be(1,1)分布即為區(qū)間即：為什么將貝塔分布作為θ的先驗(yàn)分布族是恰當(dāng)?shù)模?1)參數(shù)θ是廢品率，它僅在（0，1）上取值。因此，必需用

區(qū)間（0，1）上的一個(gè)分布去擬合先驗(yàn)信息。β分布正是

這樣一個(gè)分布。(2)β分布含有兩個(gè)參數(shù)p與q，不同的p與q就對(duì)應(yīng)不同的先驗(yàn)

分布，因此這種分布的適應(yīng)面較大。(3)樣本X的分布為二項(xiàng)分布b(n,θ)時(shí)，假如θ的先驗(yàn)分布為β分布，則用貝葉斯估計(jì)算得的后驗(yàn)分布仍然是β分布，只是其中的參數(shù)不同。這樣的先驗(yàn)分布(β分布)稱為參數(shù)θ的共軛先驗(yàn)分布。選擇共軛先驗(yàn)分布在處理數(shù)學(xué)問(wèn)題上帶來(lái)不少方便。為什么將貝塔分布作為θ的先驗(yàn)分布族是恰當(dāng)?shù)模?1)參數(shù)θ是例1.3投資決策問(wèn)題

為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投資來(lái)改進(jìn)生產(chǎn)設(shè)備，預(yù)計(jì)需投資100萬(wàn)元，但從投資效果看，下屬部門有兩種意見：

θ1

：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占90%

θ2：改進(jìn)生產(chǎn)設(shè)備后，高質(zhì)量產(chǎn)品可占70%問(wèn)：公司經(jīng)理怎樣決策？根據(jù)過(guò)去的經(jīng)驗(yàn)知：

θ1的可信度為40%，θ2的可信度為60%例1.3投資決策問(wèn)題為了提高某產(chǎn)品的質(zhì)量，公試驗(yàn)A，A：試制5個(gè)產(chǎn)品，全是高質(zhì)量的產(chǎn)品試驗(yàn)A，A：試制5個(gè)產(chǎn)品，全是高質(zhì)量的產(chǎn)品試驗(yàn)B，B：試制10個(gè)產(chǎn)品，9個(gè)是高質(zhì)量的產(chǎn)品試驗(yàn)B，B：試制10個(gè)產(chǎn)品，9個(gè)是高質(zhì)量的產(chǎn)品1.4共軛先驗(yàn)分布1.4.1共軛先驗(yàn)分布定義1.1設(shè)是總體分布中的參數(shù)（或參數(shù)向量），π(θ)是的先驗(yàn)密度函數(shù)，假如由抽樣信息算得的后驗(yàn)密度函數(shù)與π(θ)有相同的形式，則稱π(θ)是的（自然）共軛先驗(yàn)分布。注意：共軛先驗(yàn)分布是對(duì)某一分布中的參數(shù)而言的。如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數(shù)及其所在的分布去談?wù)摴曹椣闰?yàn)分布是沒(méi)有意義的。

1.4共軛先驗(yàn)分布1.4.1共軛先驗(yàn)分布1.4.2樣簡(jiǎn)化后驗(yàn)分布的計(jì)算

——省略常數(shù)因子

在給定樣本分布p(x|θ)和先驗(yàn)分布π(θ)后可用貝葉斯公式計(jì)算θ的后驗(yàn)分布：π(θ)=p(x|θ)π(θ)/m(x)，由于m(x)不依賴于θ，在計(jì)算θ的后驗(yàn)分布中僅起到一個(gè)正則化因子的作用。假如把m(x)省略，把貝葉斯公式改寫成如下等價(jià)形式：其中符號(hào)“”表示兩邊僅差一個(gè)常數(shù)因子，一個(gè)不依賴于θ的常數(shù)因子。上式右端稱為后驗(yàn)分布

的核。1.4.2樣簡(jiǎn)化后驗(yàn)分布的計(jì)算——省略常數(shù)因子例1.4證明：二項(xiàng)分布的成功概率θ的共軛先驗(yàn)分布是貝塔分布。例1.4證明：二項(xiàng)分布的成功概率θ的共軛先驗(yàn)分布是貝塔分布1.4.3共軛先驗(yàn)分布的優(yōu)缺點(diǎn)共軛先驗(yàn)分布在很多場(chǎng)合被采用，因?yàn)樗袃蓚€(gè)優(yōu)點(diǎn)：（1）計(jì)算方便。（2）后驗(yàn)分布的一些參數(shù)可得到很好的解釋。

不足：怎樣找到合適的先驗(yàn)分布？1.4.3共軛先驗(yàn)分布的優(yōu)缺點(diǎn)共軛先驗(yàn)1.4.4常用的一些共軛先驗(yàn)分布共軛先驗(yàn)分布選取的一般原則：是由似然函數(shù)L(θ)=p(x|θ)中所含的因式所決定的，即選與似然函數(shù)具有相同核的分布作為先驗(yàn)分布。1.4.4常用的一些共軛先驗(yàn)分布共軛先驗(yàn)分布常用的一些共軛分布總體分布參數(shù)共軛先驗(yàn)分布后驗(yàn)分布的期望正態(tài)分布均值正態(tài)分布正態(tài)分布方差倒Γ分布IGa(a,b)二項(xiàng)分布

成功概率

β分布Poisson分布

均值

Γ分布Ga(a,b)指數(shù)分布均值的倒數(shù)Γ分布Ga(a,b)常用的一些共軛分布總體分布參數(shù)共軛先驗(yàn)分布后驗(yàn)分布的期望正態(tài)1.5超參數(shù)及其確定一、超參數(shù)的定義：先驗(yàn)分布中所含的未知參數(shù)稱為超參數(shù)二、估計(jì)方法：共軛先驗(yàn)分布是一種有信息的先驗(yàn)分布，故其中所含的超參數(shù)應(yīng)充分利用各種先驗(yàn)信息來(lái)確定它，下面用一個(gè)例子來(lái)介紹目前國(guó)內(nèi)外文獻(xiàn)中對(duì)超參數(shù)的估計(jì)方法：?jiǎn)栴}：二項(xiàng)分布中成功概率θ的共軛先驗(yàn)分布是貝塔分布Be(α,β)，怎樣確定兩個(gè)超參數(shù)α和β？1.5超參數(shù)及其確定一、超參數(shù)的1.5.1利用先驗(yàn)矩：1.5.1利用先驗(yàn)矩：1.5.2.利用先驗(yàn)分位數(shù)：假如根據(jù)先驗(yàn)信息可以確定貝塔分布的二個(gè)分位數(shù)，則可用這兩個(gè)分位數(shù)來(lái)確定α與β，譬如用兩個(gè)上、下四分位數(shù)θU與θL來(lái)確定α與β，θU與θL分別滿足如下二個(gè)方程：從這兩個(gè)方程解出α與β即可確定超參數(shù)。1.5.2.利用先驗(yàn)分位數(shù)：假如根據(jù)先驗(yàn)信息可以確定貝塔分1.5.3.利用先驗(yàn)矩和先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息可獲得先驗(yàn)均值和p分位數(shù)，則可列出下列方程：

由此可解出α與β的估計(jì)值。

1.5.4.其它方法1.5.3.利用先驗(yàn)矩和先驗(yàn)分位數(shù)假如根據(jù)先驗(yàn)信息2.1主觀概率1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)驗(yàn)和過(guò)去的歷史資料確定概率和先驗(yàn)分布。2.經(jīng)典統(tǒng)計(jì)確定概率的兩種方法：（1）古典方法；（2）頻率方法。3.主觀概率的定義：一個(gè)事件的概率是人們根據(jù)經(jīng)驗(yàn)對(duì)該事件發(fā)生可能性所給出的個(gè)人信念。2先驗(yàn)分布的確定2.1主觀概率1.貝葉斯學(xué)派要研究的問(wèn)題：如何用人們的經(jīng)2.2確定主觀概率的方法1.利用對(duì)立事件的比較確定主觀概率；2.利用專家意見確定主觀概率；3.向多位專家咨詢確定主觀概率；4.充分利用歷史資料，考慮現(xiàn)有信息加以修正,才能得到比較切合實(shí)際的主觀概率。2.2確定主觀概率的方法1.利用對(duì)立事件的比較確定主觀概135

2.3利用先驗(yàn)信息確定先驗(yàn)分布當(dāng)先驗(yàn)信息足夠多時(shí)，可用下列方法：一、直方圖法二、選定先驗(yàn)密度函數(shù)形式再估計(jì)其超參數(shù)三、定分度法與變分度法

2.4利用邊緣分布m(x)確定先驗(yàn)密度452.3利用先驗(yàn)信息確定先驗(yàn)分布當(dāng)先驗(yàn)信息足夠多136

2.5無(wú)信息先驗(yàn)分布一、貝葉斯假設(shè)與廣義先驗(yàn)分布二、位置-尺度參數(shù)的無(wú)信息先驗(yàn)三、Jeffreys先驗(yàn)四、Reference先驗(yàn)五、概率匹配先驗(yàn)462.5無(wú)信息先驗(yàn)分布一、貝葉斯假設(shè)與廣義先驗(yàn)分布3貝葉斯統(tǒng)計(jì)推斷3.1條件方法1.后驗(yàn)分布的特點(diǎn)：未知參數(shù)的后驗(yàn)分布是集三種信息（總體、樣本和后驗(yàn)）于一身，它包含了所有可供利用的信息。故有關(guān)的參數(shù)估計(jì)和假設(shè)檢驗(yàn)等統(tǒng)計(jì)推斷都按一定方式從后驗(yàn)分布提取信息，其提取方法與經(jīng)典統(tǒng)計(jì)推斷相比要簡(jiǎn)單明確得多。2.