.,貝葉斯統(tǒng)計,基本教材：茆詩松編，貝葉斯統(tǒng)計中國統(tǒng)計出版社，2012年.,.,總評成績：平時成績40%：作業(yè)+小測試期末成績60%,已修課程：概率論與數(shù)理統(tǒng)計,.,參考教材：1.貝葉斯統(tǒng)計.韋來生.高等教育出版社19982.現(xiàn)代貝葉斯統(tǒng)計KotzS,吳喜之中國統(tǒng)計出版社19993.貝葉斯統(tǒng)計推斷張堯庭、陳漢峰科學出版社1991,.,目錄,第一章先驗分布與后驗分布,第二章貝葉斯推斷,第三章先驗分布的確定,第四章決策中的收益、損失與效用,第五章貝葉斯決策,第六章統(tǒng)計決策理論,第七章貝葉斯計算,.,本書共七章，可分三部分。前三章圍繞先驗分布介紹貝葉斯推斷方法。后三章圍繞損失函數(shù)介紹貝葉斯決策方法。第七章為貝葉斯計算閱讀這些內(nèi)容僅需要概率統(tǒng)計基本知識就夠了。,Byaes統(tǒng)計學派與經(jīng)典統(tǒng)計學派雖然有很大區(qū)別，但是它們各有優(yōu)缺點，各有其適用的范圍，作為研究者一定要博采眾長，以獲得一種更適合解決實際問題的方法。而且，在不少情況下，二者得出的結(jié)論在形式上是相同的。,.,課堂上講過的習題、練習題和作業(yè)的題目都要會.,.,.,（Bayes，Thomas）(17021761)貝葉斯是英國數(shù)學家.1702年生于倫敦；1761年4月17日卒于坦布里奇韋爾斯.貝葉斯是一位自學成才的數(shù)學家.曾助理宗教事務，后來長期擔任坦布里奇韋爾斯地方教堂的牧師.1742年，貝葉斯被選為英國皇家學會會員.如今在概率、數(shù)理統(tǒng)計學中以貝葉斯姓氏命名的有貝葉斯公式、貝葉斯風險、貝葉斯決策函數(shù)、貝葉斯決策規(guī)則、貝葉斯估計量、貝葉斯方法、貝葉斯統(tǒng)計等等.,.,9,貝葉斯公式：,.,統(tǒng)計學有兩個主要學派:頻率學派與貝葉斯學派.它們之間有異同,貝葉斯統(tǒng)計是在與經(jīng)典統(tǒng)計的爭論中發(fā)展起來,主要的爭論有:1.未知參數(shù)可否作為隨機變量?2.事件的概率是否一定的頻率解釋?3.概率是否可用經(jīng)驗來確定?.,.,發(fā)展歷史,1763年，論文“機遇理論中一個問題的解”發(fā)表，首次提出貝葉斯公式。隨后，Laplace等人重新闡述了貝葉斯公式，并導出些有意義的結(jié)果。二戰(zhàn)后，wald提出統(tǒng)計決策函數(shù)論引起人們對貝葉斯方法的興趣。如今，貝葉斯學派已發(fā)展成一個有影響力的統(tǒng)計學派。,.,貝葉斯方法是基于貝葉斯定理而發(fā)展起來用于系統(tǒng)地闡述和解決統(tǒng)計問題的方法(SamuelKotz和吳喜之,2000)。貝葉斯推斷的基本方法是將關(guān)于未知參數(shù)的先驗信息與樣本信息綜合，再根據(jù)貝葉斯定理，得出后驗信息，然后根據(jù)后驗信息去推斷未知參數(shù)(茆詩松和王靜龍等,1998年)。“貝葉斯提出了一種歸納推理的理論(貝葉斯定理)，以后被一些統(tǒng)計學者發(fā)展為一種系統(tǒng)的統(tǒng)計推斷方法，稱為貝葉斯方法.”摘自中國大百科全書（數(shù)學卷）,.,13,一、統(tǒng)計推斷中可用的三種信息二、貝葉斯公式三、共軛先驗分布四、超參數(shù)及其確定五、多參數(shù)模型六、充分統(tǒng)計量,第一章先驗分布與后驗分布,.,第一章先驗分布與后驗分布,統(tǒng)計學中有兩個主要學派：頻率學派與貝葉斯學派。下面從統(tǒng)計推斷的三種信息來說明他們之間的區(qū)別與聯(lián)系。,.,經(jīng)典學派的觀點：統(tǒng)計推斷是根據(jù)樣本信息對總體分布或總體的特征數(shù)進行推斷，這里用到兩種信息：總體信息和樣本信息；貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應該使用第三種信息：先驗信息。,.,1.1三種信息,一、總體信息，即總體分布或總體所屬分布給我們的信息。例如，“總體是正態(tài)分布”就給我們帶來很多信息：它的密度函數(shù)是一條鐘形曲線；它的一切一階矩都存在；有關(guān)正態(tài)變量（服從正態(tài)分布隨機變量）的一些事件的概率可以計算；由正態(tài)分布可以導出卡方分布，t分布和F分布等重要分布，還有許多成熟的點估計、區(qū)間估計和假設檢驗方法可供我們選用。說明：總體信息是很重要的信息，為了獲取此種信息往往耗資巨大。,.,二、樣本信息，即從總體抽取的樣本給我們的信息這是最“新鮮”的信息，并且愈多愈好。人們希望通過對樣本的加工和處理對總體的某些特征做出較為精確的統(tǒng)計推斷。例：。均值、方差等沒有樣本就沒有統(tǒng)計學可言。,.,經(jīng)典統(tǒng)計學：基于以上兩種信息進行的統(tǒng)計推斷被稱為經(jīng)典統(tǒng)計學。說明：它的基本觀點是把數(shù)據(jù)（樣本）看成是來自具有一定概率分布的總體，所研究對象是這個總體而不局限于數(shù)據(jù)本身。這方面最早的工作是高斯(Gauss,C.F.17771855）和勒讓德（Legendre,A.M.17521833）的誤差分析，正態(tài)分布和最小二乘法。從十九世紀末到二十世紀上半葉，經(jīng)皮爾遜（Pearson,K.18571936）、費歇（Fisher,R.A.18901962）奈曼（Neyman.J.）等人的杰出工作創(chuàng)立了經(jīng)典統(tǒng)計學。隨著經(jīng)典統(tǒng)計學的持續(xù)發(fā)展與廣泛應用，它本身的缺陷也逐漸暴露出來了。,.,貝葉斯學派的觀點：除了上述兩種信息以外，統(tǒng)計推斷還應該使用第三種信息：先驗信息。,三、先驗信息，即是抽樣（試驗）之前有關(guān)統(tǒng)計問題的一些信息。一般說來，先驗信息來源于經(jīng)驗和歷史資料。先驗信息在日常生活和工作中是很重要的。,.,例1.1英國統(tǒng)計學家Savage曾考察如下2個統(tǒng)計實驗：A。（品茶試驗）一位常飲牛奶加茶的婦女聲稱，她能辨別先倒進杯子里的是茶還是牛奶。對此做了10次試驗，她都正確地說出了。B。一位音樂家聲稱，他能從一頁樂譜辨別出是海頓還是莫扎特的作品。在10次這樣的試驗中，他都能正確辨別。在這兩個統(tǒng)計試驗中，假如認為被試驗者是在猜測，每次成功的概率為0.5，那么10次都猜中的概率為2-10=0.0009766，這是一個很小的概率，是幾乎不可能發(fā)生的，所以“每次成功概率為0.5”的假設應該被拒絕。被試驗者每次成功的概率要比0.5大得多。這不是猜測，而是他們的經(jīng)驗在幫了他們的忙。,.,例1.2“免檢產(chǎn)品”是怎樣決定的？某廠的產(chǎn)品每天都要抽驗幾件，獲得不合格品率的估計。在經(jīng)過一段時間后就積累大量的資料，根據(jù)這些歷史資料（先驗信息的一種）對過去產(chǎn)品的不合格品率可構(gòu)造一個分布：,這個對先驗信息進行加工獲得的分布今后稱為先驗分布。這個先驗分布是綜合了該廠過去產(chǎn)品的質(zhì)量情況。如果這個分布的概率大部分集中在=0附近，那么該產(chǎn)品可認為是“信得過產(chǎn)品”。假如以后的多次抽檢結(jié)果與歷史資料提供的先驗分布是一致的。使用單位就可以對它做出“免檢產(chǎn)品”的決定，或者每月抽檢一、二次就足夠了，這就省去了大量的人力和物力。可見歷史資料在統(tǒng)計推斷中應加以利用,.,貝葉斯統(tǒng)計與經(jīng)典統(tǒng)計學的差別：是否利用先驗信息。貝葉斯統(tǒng)計在重視使用總體信息和樣本信息的同時，還注意先驗信息的收集、挖掘和加工，使它數(shù)量化，形成先驗分布，參加到統(tǒng)計推斷中來，以提高統(tǒng)計推斷的質(zhì)量。在使用樣本信息上也是有差異的.貝葉斯學派重視已出現(xiàn)的樣本觀察值,而對尚未發(fā)生的樣本觀察值不予考慮.,.,貝葉斯學派的基本觀點：任一未知量都可看作一個隨機變量，應該用一個概率分布去描述，這個分布稱為先驗分布；在獲得樣本之后，總體分布、樣本與先驗分布通過貝葉斯公式結(jié)合起來得到一個關(guān)于未知量新的分布后驗分布；任何關(guān)于的統(tǒng)計推斷都應該基于的后驗分布進行。,因為任一未知量都有不確定性，而在表述不確定性程度時，概率與概率分布是最好的語言。例1.2中產(chǎn)品的不合格品率是未知量，但每天都有一些變化，把它看做一個隨機變量是合適的，用一個概率分布去描述它也是很恰當?shù)摹?.,例1.3學生估計一新教師的年齡。依據(jù)學生們的生活經(jīng)歷，在看了新教師的照片后會立即有反應：“新教師的年齡在30歲到50歲之間，極有可能在40歲左右。”一位統(tǒng)計學家把學生們對新教師的年齡（未知量）的認識（先驗信息）可綜合為圖1.1所示的概率分布，這也是學生們對未知量（新教師的年齡）的概率表述。,.,第一，按圖1.1所示的概率分布我們可談論未知量位于某個區(qū)間的概率。例位于37到43歲間的概率為0.9?？蛇@個陳述在經(jīng)典統(tǒng)計中是不允許的。在實際中類似的說法經(jīng)常聽到。,.,第二，按圖1.1中的概率不是在大量重復試驗中獲得的，而是學生們根據(jù)自己的生活經(jīng)歷的積累對該事件發(fā)生可能性所給出的信念，這樣給出的概率在貝葉斯統(tǒng)計中是允許的，并稱為主觀概率。（它也符合概率的三條公理）。這一點頻率學派是頻率學派難以接受的，他們認為經(jīng)典統(tǒng)計學使用大量重復試驗的頻率來確定概率，是“客觀的”，因此符合科學的要求，而認為貝葉斯統(tǒng)計是“主觀的”，因而（至多）只對個人決策有用。這是當前對貝葉斯統(tǒng)計的主要批評。兩學派在一些問題上的爭論將在后面逐步介紹。,.,總結(jié)：Byaes學派與經(jīng)典統(tǒng)計學派最根本的分歧是:第一，是否利用先驗信息。由于產(chǎn)品的設計、生產(chǎn)都有一定的繼承性，這樣就存在許多相關(guān)產(chǎn)品的信息以及先驗信息可以利用，Byaes統(tǒng)計學派認為利用這些先驗信息不僅可以減少樣本容量，而且在很多情況還可以提高統(tǒng)計精度；而經(jīng)典統(tǒng)計學派忽略了這些信息。第二，是否將參數(shù)看成隨機變量。Byaes統(tǒng)計學派的最基本的觀點是:任一未知量都可以看成隨機變量，可以用一個概率分布去描述，這個分布就是先驗分布。因為任一未知量都具有不確定性，而在表述不確定性時，概率與概率分布是最好的語言；相反，經(jīng)典統(tǒng)計學派卻把未知量就簡單看成一個未知參數(shù)，來對它進行統(tǒng)計推斷。,.,經(jīng)典統(tǒng)計學派對貝葉斯統(tǒng)計的批評,貝葉斯方法受到了經(jīng)典統(tǒng)計學派中一些人的批評,批評的理由主要集中在以下三點：(1)貝葉斯方法具有很強的主觀性而研究的問題需要更客觀的工具。經(jīng)典統(tǒng)計學是“客觀的”,因此符合科學的要求。而貝葉斯統(tǒng)計學是“主觀的”，因而(至多)只對個人決策有用。(2)應用的局限性,特別是貝葉斯方法有許多封閉型的分析解法,不能廣泛地使用。(3)先驗分布的誤用。,.,總結(jié),理解貝葉斯統(tǒng)計學與經(jīng)典統(tǒng)計學的主要差別。貝葉斯統(tǒng)計學派的最基本的觀點。,.,伽瑪函數(shù),函數(shù),伽瑪函數(shù)的性質(zhì):,.,伽瑪分布,.,.,伽瑪分布的兩個特例,1.當=1時,伽瑪分布就是指數(shù)分布:,倒伽瑪分布,.,則X的密度函數(shù)為,.,貝塔函數(shù),函數(shù),貝塔函數(shù)的性質(zhì):,.,貝塔分布,.,貝塔分布的數(shù)學期望和方差,.,38,初等概率論中的貝葉斯公式是用事件的概率形式給出的?？稍谪惾~斯統(tǒng)計學中應用更多的是貝葉斯公式的密度函數(shù)形式。1.貝葉斯公式的事件形式：假定是互不相容的事件，它們之和包含事件B，即，則有：,.,1.2貝葉斯公式,一、貝葉斯公式的密度函數(shù)形式,1.總體指標X依賴于參數(shù)的概率函數(shù)記為P(x|)，它表示在隨機變量給定某個值時總體指標X的條件分布；2.根據(jù)參數(shù)的先驗信息可確定先驗分布()；3.從貝葉斯觀點看，樣本x=（x1,x2,xn）的產(chǎn)生分兩步進行:首先從先驗分布()產(chǎn)生一個樣本0，然后從P(x|0)中產(chǎn)生一個樣本x=（x1,x2,xn）。這時樣本的聯(lián)合條件密度函數(shù)為,這個分布綜合了總體信息和樣本信息，常稱為似然函數(shù)。,.,4.0是未知的，它是按先驗分布()產(chǎn)生的。為把先驗信息綜合進去，不能只考慮0，對的其它值發(fā)生的可能性也要加以考慮，故要用()進行綜合。這樣一來，樣本x=（x1,xn）和參數(shù)的聯(lián)合分布為:h(x,)=p(x)()，這個聯(lián)合分布把總體信息、樣本信息和先驗信息三種可用信息都綜合進去了。,.,5.參數(shù)的后驗分布（貝葉斯公式的密度函數(shù)形式）是x=(x1,x2,xn)的邊際概率函數(shù)，它與無關(guān)，不含的任何信息。,.,6.二、貝葉斯公式的離散形式：在是離散型隨機變量時，先驗分布可用先驗分布列(i)，i=1,2,，表示。這時后驗分布也是離散形式,假如總體X也是離散的，只要把（1.1）或（1.2）中的密度函數(shù)p(x)作為概率函數(shù)p(X=x)即可。,.,二、后驗分布是三種信息的綜合,一般說來，先驗分布()是反映人們抽樣前對的的認識，后驗分布(x)是反映人們在抽樣后對的認識。它們之間的差異是由于樣本x出現(xiàn)后人們對認識的一種調(diào)整。所以后驗分布(x)可以看做是人們用總體信息和樣本信息（綜合稱為抽樣信息）對()作調(diào)整的結(jié)果。,.,例1.2.1設某事件A在一次試驗中發(fā)生的概率為，為估計，對試驗進行了n次獨立觀測，其中事件A發(fā)生了X次，顯然Xb(n,)，假若我們在試驗前對事件A沒有什么了解，使用區(qū)間（0,1）上的均勻分布U(0,1)作為的先驗分布，求參數(shù)的后驗分布。,.,.,例Laplace在1786年研究了巴黎的男嬰出生的比率,他希望檢驗男嬰出生的概率是否大于0.5.為此,他收集到17451770年在巴黎出生的嬰兒數(shù)據(jù).其中,男嬰251527個,女嬰241945個,他選用U(0,1)作為的先驗分布,則的后驗分布服從分布:,推斷:男嬰出生的概率大于0.5,.,.,例1.2.2.為了提高某產(chǎn)品的質(zhì)量，公司經(jīng)理考慮增加投資來改進生產(chǎn)設備，預計需投資90萬元，但從投資效果看，下屬部門有2種意見：1：改進設備后，高質(zhì)量產(chǎn)品可占902：改進設備后，高質(zhì)量產(chǎn)品可占70但根據(jù)下屬兩個部門過去建議被采納的情況，經(jīng)理認為，1的可信程度只有40，2的可信程度是60。即,這都是經(jīng)理的主觀概率。經(jīng)理不想僅用過去的經(jīng)驗來決策，想慎重一些，通過小規(guī)模試驗后觀其結(jié)果再定。為此做了一項試驗，實驗結(jié)果（記為A）如下：,A：試制5個產(chǎn)品，全是高質(zhì)量產(chǎn)品,經(jīng)理希望用此試驗結(jié)果來修改他原來對1和2的看法，即要求后驗概率(1A)和(2A)。,.,所以,經(jīng)理根據(jù)試驗A的信息把對1和2的可信程度由0.4和0.6調(diào)整到0.7和0.3.后者是綜合了經(jīng)理的主觀概率和試驗結(jié)果而獲得的，要比主觀概率更貼近當今的實際，這就是貝葉斯公式的應用,.,所以,經(jīng)理看到經(jīng)過兩次試驗，1（高質(zhì)量產(chǎn)品可占90）的可信程度由0.4調(diào)整到0.883，他能以88.3的把握保證此項投資能取得較大經(jīng)濟效益。,試驗B：試制10個產(chǎn)品，有9個是高質(zhì)量產(chǎn)品,.,總結(jié),利用貝葉斯公式會由先驗分布求后驗分布。,.,1.3共軛先驗分布,一、共軛先驗分布,例1.4中Xb(n,)，先驗分布為U(0,1),即Be(1,1)后驗分布Be(x+1,n-x+1),其中x為n次獨立試驗中成功出現(xiàn)的次數(shù).,Be(,),Be(+x,+n-x),定義1.1設是總體分布中的參數(shù)（或參數(shù)向量），()是的先驗密度函數(shù)，假如由抽樣信息算得的后驗密度函數(shù)與()有相同的函數(shù)形式，則稱()是的共軛先驗分布。,注意：共軛先驗分布是對某一分布中的參數(shù)而言的。如正態(tài)均值、正態(tài)方差、泊松均值等。離開指定參數(shù)及其所在的分布去談論共軛先驗分布是沒有意義的.,.,例1.6正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布.,設x1,x2,xn是來自正態(tài)分布N(,2)的一個樣本觀察值。其中2已知。,取另一正態(tài)分布N(,2)作為正態(tài)均值的先驗分布，即,其中,2為已知。,參數(shù)的后驗分布為,.,正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布,.,.,.,二、后驗分布的計算,參數(shù)的后驗分布為,由于m(x)不依賴于，在計算的后驗分布中僅起到一個正則化因子的作用。,其中“”表示兩邊僅差一個不依賴于的常數(shù)因子。（1.9）式右端雖不是正常的密度函數(shù)，但它是后驗分布(x）的核，特別當看出(x)的核就是某常用分布的核時，不用計算m(x)就可很快恢復所缺常數(shù)因子。,注意：這在共軛先驗分布和非共軛先驗分布場合都可使用。,.,例1.6正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布.,這是參數(shù)為1,和2的正態(tài)分布的核,.,三、共軛先驗分布的優(yōu)缺點,共軛先驗分布的有兩個優(yōu)點1.計算方便。2.共軛先驗分布的一些參數(shù)可以得到很好的解釋。,例1.8“正態(tài)均值（方差已知）的共軛先驗分布是正態(tài)分布”的例子中，其后驗均值為,這表明后驗均值是在先驗均值與樣本均值間采取折衷方案。,.,在處理正態(tài)分布是，方差的倒數(shù)發(fā)揮著重要的作用，并稱其為精度。,.,注意：1.在貝葉斯統(tǒng)計中，先驗分布的選擇應以合理性作為首要原則，計算上的方便與先驗的合理性相比還是第二位的。2.在考慮到先驗的合理性之后，充分發(fā)揮共軛先驗分布是常采用的策略。,.,例1.7二項分布中的成功概率的共軛先驗分布是貝塔分布。,設總體中Xb(n,)，先驗分布Be(,)，的后驗分布,這是貝塔分布Be(+x,+n-x)的核.,的后驗分布,.,例1.9在“二項分布中的成功概率的共軛先驗分布是貝塔分布”的例1.7中，后驗分布Be(+x,+n-x)的均值與方差為,當n與x都較大，且x/n接近某個常數(shù)時，有,.,P=x/n固定，隨著樣本量增大時，后驗分布越來越向p集中，先驗信息對后驗分布的影響變小。,.,常用分布的核,（1）二項分布b(n,）的核(2)泊松分布P（）的核（3）貝塔分布Be(,)的核（4）伽瑪分布Ga(,)的核（5）倒伽瑪分布IGa(,)的核（6）正態(tài)分布N(,2)的核,熟悉后驗分布的核可以簡化后驗分布的計算。,.,四、常用的共軛先驗分布,共軛先驗分布的選取是由似然函數(shù)L()=p(x|)中所含的因式所決定的，即選與似然函數(shù)（的函數(shù))具有相同的核的分布作為先驗分布。,例1.10設x1,x2,xn是來自正態(tài)分布N(,2)的一個樣本觀察值。其中已知,求方差2的共軛先驗分布。,樣本的似然函數(shù)為：,.,設X服從伽瑪分布Ga(,)，其中0為形狀參數(shù),0為尺度參數(shù)，其密度函數(shù)為,Y=1/X的密度函數(shù)為,這個分布稱為倒伽瑪分布，記為IGa(,)。假如取倒伽瑪分布為2的先驗分布，其中參數(shù),為已知，則其密度函數(shù)為,.,2的后驗分布為,這個分布為倒伽瑪分布,.,若后驗分布(x)與()屬于同一個分布族，則稱該分布族是的共軛先驗分布(族)。二項分布b(n,)中的成功概率的共軛先驗分布是貝塔分布Be(a,b)；泊松分布P()中的均值的共軛先驗分布是伽瑪分布Ga(,)；指數(shù)分布中均值的倒數(shù)的共軛先驗分布是伽瑪分布Ga(,)；在方差已知時，正態(tài)均值的共軛先驗分布是正態(tài)分布N(,2);在均值已知時，正態(tài)方差2的共軛先驗分布是倒伽瑪分布IGa(,)。,.,.,總結(jié),1.利用貝葉斯公式會由先驗分布求后驗分布2.記住常見的共軛先驗分布,.,分位數(shù),.,1.4超參數(shù)及其確定,定義：先驗分布中所含的未知參數(shù)稱為超參數(shù)。,例成功概率的共軛先驗分布為Be(,)，它含有兩個超參數(shù).注意：一般來說，共軛先驗分布含有超參數(shù)，而無信息先驗分布一般不含超參數(shù)。,共軛先驗分布是一種有信息的先驗分布，故其中所含的超參數(shù)應充分利用各種先驗信息來確定，下面結(jié)合具體的例子介紹一些確定超參數(shù)的方法。這些方法又稱為經(jīng)驗方法。,.,例1.11在二項分布中的成功概率的共軛先驗分布是貝塔分布Be(,)，,是其兩個超參數(shù),一、利用先驗矩,利用先驗信息能獲得成功概率的若干個估計值，記為,1,2,k,一般它們是從歷史數(shù)據(jù)整理加工獲得的，由此可算得先驗均值和先驗方差S2，其中,然后令其分別等于貝塔分布Be(,)的期望與方差,.,解之，可得參數(shù)與的估計值,二、利用先驗分位數(shù),假如根據(jù)先驗信息可以確定貝塔分布的兩個分位數(shù)，則可利用這兩個分位數(shù)來確定與的估計值。例如用兩個上下四分位數(shù)U和L來確定與,從這兩個方程解出與,.,三、利用先驗矩和先驗分位數(shù),假如根據(jù)先驗信息可獲得先驗均值和p分位數(shù)p，則可列出下列方程的,解之，可得參數(shù)與的估計值,四、其它方法,假如根據(jù)先驗信息可獲得先驗均值，令,再利用其它先驗信息求出與的估計值。,.,總結(jié),1.了解超參數(shù)的確定方法2.掌握利用先驗矩的方法,練習1.13作業(yè)：1.15,.,1.5多參數(shù)模型,處理多參數(shù)的方法與處理單參數(shù)方法相似，先根據(jù)先驗信息給出參數(shù)的先驗分布，然后按貝葉斯公式算得后驗分布。,設總體只含2個參數(shù)=(1,2)，總體的密度函數(shù)為p(x|1,2),若從該總體抽取一個樣本并給出先驗密度，則的后驗密度為,在多參數(shù)問題中，人們關(guān)心的常常是其中一個或少數(shù)幾個參數(shù)，這時其余參數(shù)常被稱為討厭參數(shù)或多余參數(shù)。在處理討厭參數(shù)上，貝葉斯方法要比經(jīng)典方法方便得多。,例如討厭參數(shù)2，,.,79,例1.12試求正態(tài)均值與正態(tài)方差的（聯(lián)合）共軛先驗分布及后驗分布。（P24）,1.取先驗分布為的情形2.關(guān)于指數(shù)分布族的若干結(jié)論3.取先驗分布為共軛先驗分布的情形,.,80,1.取先驗分布為的情形,.,81,.,82,back,.,83,3.取先驗分布為共軛先驗分布的情形,(1)求的共軛先驗密度(2)求的后驗邊際密度(3)求給定后的條件后驗密度函數(shù)例題,.,84,例有一實驗站關(guān)于生長小麥的經(jīng)驗為每塊樣地的均值和標準差分別為100及10的正態(tài)分布，現(xiàn)在他們研究施加激素的影響。在12塊地施加激素后所得產(chǎn)量如下(單位：千克)：141,102,73,171,137,91,81,157,146,69,121,134關(guān)于方差的信息是均值、標準差分別約為300及160；關(guān)于均值的信息是均值約為110，約為15即相當于觀測了15個觀測值。求:(1)的共軛先驗；(2)的后驗密度函數(shù)；(3)的邊際后驗；(4)對已知情況下的條件后驗密度函數(shù)。,back,.,85,1.6充分統(tǒng)計量,一、經(jīng)典統(tǒng)計中充分統(tǒng)計量的回顧充分性是數(shù)理統(tǒng)計中最重要的概念之一，也是數(shù)理統(tǒng)計這一學科特有的基本概念之一。它是Fisher在1925年提出的。充分性的直觀定義：不損失信息的統(tǒng)計量。引例：研究某個運動員的打靶命中率，我們對該運動員進行10次測試，發(fā)現(xiàn)除第三、六次沒有命中外，其余8次都命中，這樣的結(jié)果包含了哪些信息？（1）打靶10次命中8次；（2）2次不命中分別出現(xiàn)在第3次和第6次打靶上。概率分析：,.,86,定義：設是來自分布函數(shù)F(x|)的一個樣本，T=T(x)是統(tǒng)計量，假如在給定T(x)=t的條件下，x的條件分布與無關(guān)的話，則稱該統(tǒng)計量為的充分統(tǒng)計量。充分統(tǒng)計量的一個重要特性：當?shù)玫匠浞纸y(tǒng)計量T的某個取值t之后，而失去原樣本的觀察值也沒有關(guān)系。因為我們可以根據(jù)上述的條件分布來構(gòu)造某個隨機試驗，從中獲得來自總體的一個新樣本，這個新樣本雖不能完全恢復老樣本的原狀，但它與老樣本所含的有關(guān)參數(shù)的信息是一樣的。例題1設總體為二點分布b(1,)，為樣本，令求在給定T的取值后，X的條件分布。,.,87,因子分解定理：一個統(tǒng)計量T(x)對參數(shù)是充分的充要條件是：存在一個t與的函數(shù)g(t,)和一個樣本x的函數(shù)h(x)，使得對任一樣本x和任意，樣本的聯(lián)合密度p(x|)可表示為它們的乘積，即：p(x|)=g(T(x),)h(x),這個定理表明：假如存在充分統(tǒng)計量T(x)，則樣本分布p(x|)一定可以分解為兩個因子的乘積：一個是與無關(guān)，僅與樣本x有關(guān)；另一個是可以與有關(guān)，但與樣本x的關(guān)系僅僅通過充分統(tǒng)計量T(x)表現(xiàn)出來。,.,88,二、貝葉斯統(tǒng)計中充分統(tǒng)計量的有關(guān)結(jié)論及應用,貝葉斯統(tǒng)計中充分統(tǒng)計量與經(jīng)典統(tǒng)計中充分統(tǒng)計量的概念是一致的。定理1.1設是來自密度函數(shù)p(x|)的一個樣本，T=T(x)是統(tǒng)計量，它的密度函數(shù)為p(t|),又設H=()是的某個先驗分布族，則T(x)為的充分統(tǒng)計量的充要條件是對任一先驗分布()H，有：(|T(x)=(|x)即用樣本分布p(x|)算得的后驗分布與用統(tǒng)計量T(x)算得的后驗分布是相同的。,.,1.6充分統(tǒng)計量,定義設x1,x2,xn是來自某個總體的樣本，總體分布函數(shù)為F(x|)，統(tǒng)計量T=T(x1,x2,xn)稱為的充分統(tǒng)計量，如果在給定T的取值后，x1,x2,xn的條件分布與無關(guān).,充分性原則：在統(tǒng)計學中有一個基本原則-在充分統(tǒng)計量存在的場合，任何統(tǒng)計推斷都可以基于充分統(tǒng)計量進行，這可以簡化統(tǒng)計推斷的程序。,.,因子分解定理,定理5.5.1設總體概率函數(shù)為p(x|)，X1,Xn為樣本，則T=T(X1,Xn)為充分統(tǒng)計量的充分必要條件是：存在兩個函數(shù)g(t;)和h(x1,xn)，使得對任意的和任一組觀測值x1,x2