1 2 第三章先驗分布的確定 3 1主觀概率 3 2利用先驗信息確定先驗分布 3 3利用邊緣分布m x 確定先驗密度 3 4無信息先驗分布 3 5多層先驗 3 一 主觀概率 1 貝葉斯學派要研究的問題 如何用人們的經驗和過去的歷史資料確定概率和先驗分布 2 經典統計確定概率的兩種方法 1 古典方法 2 頻率方法 3 主觀概率的定義 一個事件的概率是人們根據經驗對該事件發生可能性所給出的個人信念 3 1主觀概率 4 二 確定主觀概率的方法 1 利用對立事件的比較確定主觀概率 例3 1 2 利用專家意見確定主觀概率 例3 2 3 向多位專家咨詢確定主觀概率 例3 3 4 充分利用歷史資料 考慮現有信息加以修正 才能得到比較切合實際的主觀概率 例3 4 5 1 利用對立事件的比較確定主觀概率 6 2 利用專家意見確定主觀概率 7 3 向多位專家咨詢確定主觀概率 8 在座人員根據自己的經驗各寫了兩個數 經理在計算了兩個平均值后 稍加修改 提出自己看法 在上述兩種情況下 本公司新產品暢銷率各為0 9和0 4 這是經理在征求多位專家意見后所獲得的主觀概率 另據本公司情報部門報告 外廠正忙于另一項產品開發 很可能無暇顧及生產此新產品 經理據此認為 外廠將生產此新產品的概率為0 3 不生產此產品的概率為0 7 利用上述四個主觀概率 由全概率公式可得本公司生產此新產品獲暢銷的概率為0 9 0 7 0 4 0 3 0 75 9 4 充分利用歷史資料 考慮現有信息加以修正 10 注意事項 1 不管按照什么方法確定的主觀概率必須滿足概率的三條公理 非負性公理 對任意事件A 0 P A 1 正則性公理 必然事件的概率為1 可列可加性公理 對可列個互不相容的事件A1 A2 有 2 如果發現所確定的主觀概率與上述三個公理及其推出的性質相悖 必須立即修正 直到兩者一致為止 例3 5 11 12 3 2利用先驗信息確定先驗分布 一 直方圖法二 選定先驗密度函數形式再估計其超參數三 定分度法與變分度法 13 一 直方圖法 基本步驟 1 把參數空間分成一些小區間 2 在每個小區間上決定主觀概率或依據歷史數據確定其頻率 3 繪制頻率直方圖 4 在直方圖上作一條光滑曲線 此曲線即為先驗分布 例3 6某藥材店記錄了吉林人參的每周銷售量 現要尋求每周平均銷售量 的概率分布 14 二 選定先驗密度函數形式再估計其超參數 該方法的要點 1 根據先驗信息選定 的先驗密度函數 的形式 如選其共軛先驗分布 2 當先驗分布中含有未知參數 稱為超參數 時 譬如 給出超參數 的估計值 使 最接近先驗信息 15 16 17 說明 如果有兩個甚至多個先驗分布都滿足給定的先驗信息 則要看情況選擇 假如這兩個先驗分布差異不大 對后驗分布影響也不大 則可任選一個 如果我們面臨著兩個差異極大的先驗分布可供選擇時 一定要根據實際情況慎重選擇 18 三 定分度法與變分度法 基本概念 1 定分度法 把參數可能取值的區間逐次分為長度相等的小區間 每次在每個小區間上請專家給出主觀概率 2 變分度法 該法是把參數可能取值的區間逐次分為機會相等的兩個小區間 這里的分點由專家確定 例3 2 3 自學 19 3 3利用邊緣分布m x 確定先驗密度 一 邊緣分布m x 二 混合分布三 先驗選擇的ML II方法四 先驗選擇的矩方法 20 一 邊緣分布m x 設總體X的密度函數為p x 它含有未知參數 若 的先驗分布選用形式已知的密度函數 則可算得X的邊緣分布 即無條件分布 當先驗分布含有未知參數 譬如 那么邊緣分布m x 依賴于 可記為m x 這種邊緣分布在尋求后驗分布時常遇到 21 22 23 二 混合分布 1 混合分布的概念 設隨機變量X以概率 在總體F1中取值 以概率1 在總體F2中取值 若F x 1 和F x 2 分別是這兩個總體的分布函數 則X的分布函數為 F x F x 1 1 F x 2 或用密度函數 或概率密度 表示 p x p x 1 1 p x 2 這個分布F x 稱為F x 1 和F x 2 的混合分布 這里的 和1 可以看作一個新隨機變量 的分布 即 P 1 1 P 2 1 2 24 2 混合樣本的概念 從混合分布中抽出的樣本稱為混合樣本 注 從混合分布F x 中抽取一個樣品x1 相當于如下的二次抽樣 第一次 從 中抽取一個樣品 第二次 若 1 則從F x 1 中再抽一個樣品 這個樣品就是x1 若 2 則從F x 2 中再抽一個樣品 這個樣品就是x1 25 若從混合分布抽取一個容量為n的樣本x1 x2 xn 則約有n 1 個來自F x 1 約有n 2 個來自F x 2 3 實例分析 26 27 三 先驗選擇的ML 方法 定義 設為所考慮的先驗類 且x x1 x2 xn 是來自邊緣分布中的樣本 若存在滿足 對觀測數據x 則被稱為 型極大似然先驗 或簡稱為ML 先驗 說明 這里將m x 看成似然函數 28 29 30 四 先驗選擇的矩方法 在選擇 時 可用矩方法代替極大似然方法 矩方法應用于當 有 已知函數形式 即可利用先驗矩與邊緣分布矩之間的關系尋求超參數的估計 這種方法稱為先驗選擇的矩方法 該方法的具體步驟是 1 計算總體分布p x 的期望 和方差 2 即 Ex X 2 Ex X 2Ex 表示用 給定下的條件分布p x 求期望 31 2 計算邊緣密度m x 的期望 m 和方差 其中 32 其中 代入上式得 33 3 特殊情形 當先驗分布中僅含二個超參數時 即 可用混合樣本 計算其樣本均值和樣本方差 即 再用樣本矩代替邊際分布的矩 列出如下方程 解此方程組 可得超參數 的估計 從而獲得先驗分布 34 解 35 36 37 38 例3 14設總體X N 1 其中參數 的先驗分布取共軛先驗 試估計兩個參數的值 解 39 3 4無信息先驗分布 一 貝葉斯假設二 位置 尺度參數族的無信息先驗三 用Fisher信息陣確定無信息先驗 40 一 貝葉斯假設 1 貝葉斯假設的基本含義無信息先驗分布應選取在 同等無知 無偏愛 取值范圍內的均勻分布 即 這種看法被稱為貝葉斯假設 說明 貝葉斯假設在很多情況下都是合理的 41 2 應用貝葉斯假設時所出現的問題 1 當 的取值范圍為無限區間時 就無法在 上定義一個正常的均勻分布 定義3 1設總體X f x 若 的先驗分布 滿足下列條件 0 且 由此決定的后驗密度 x 是正常的密度函數 則稱 為 的廣義先驗密度 2 貝葉斯假設不滿足變換下的不變性 42 二 位置 尺度參數族的無信息先驗 定義 設密度函數中有兩個參數 與 且密度具有下述形式 其中f x 是一個完全確定的函數 它相應于 0 1時的密度 稱為位置參數 稱為尺度參數 這類分布族稱為位置 尺度參數族 如正態分布 指數分布 均勻分布等都屬于這一類 特別 1時稱為位置參數族 而 0時稱為尺度參數族 43 一 位置參數的無信息先驗 定理 位置參數族的先驗分布可用貝葉斯假設作為無信息先驗分布 證明 設總體X的密度具有形式p x 其樣本空間與參數空間均為實數集 對X作一個平移Y X c 則Y的密度具有形式 p y c 這相當于對參數 作一個平移 c 即Y的密度形式為p y 它仍然是位置參數族的成員 且其樣本空間與參數空間沒有發生改變 因此 與 應具有相同的無信息先驗分布 即 其中 為 的無信息先驗分布 同時 由變換 c可算得 的無信息先驗分布為比較上述兩式就可知道 的無信息先驗分布是常數 44 45 例3 18設x是從正態總體N 2 抽取的容量為1的樣本 其中 2已知 未知 但知其為正 試求參數 的估計 解 這是一種帶約束條件的估計問題 用貝葉斯方法解決這類問題比較容易 取參數 的無信息先驗分布為 0 上的均勻分布 即 I 0 由此可得后驗密度 若取后驗均值作為 的估計 則 46 47 二 尺度參數的無信息先驗 定理設總體X的密度函數具有形式 則參數 的無信息先驗分布為 1 0證明 令Y cX c 0 同時讓參數也作同比例變化 即定義 c 不難算出Y的密度函數為仍然屬于尺度參數族 且X與Y的樣本空間相同 此時 的無信息先驗 與 的無信息先驗 應相同 即 另一方面 由變換 c 可以得的無信息先驗為 48 若令 1 1 則 1 0它還是一個非正常先驗 比較上述兩式得 49 50 三 使用杰弗萊原則確定先驗分布 貝葉斯假設中的一個矛盾是 如果對參數選用均勻分布 那么當的函數作為參數時 也應該選用均勻分布作為先驗分布 然而由服從均勻分布這一前提 往往導出不是均勻分布 反之也一樣 杰弗萊為了克服這一矛盾提出了選取先驗的不變原理 并被稱為杰弗萊原則或杰弗萊準則 51 1 確定無信息先驗的更一般方法 Jeffreys 1961 設x x1 x2 xn 是來自密度函數p x 的一個樣本 為p維參數向量 則可用費希爾信息陣的平方根作為 的無信息先驗分布 2 尋求分布的一般步驟 1 寫出樣本的對數似然函數 52 2 求樣本的信息陣 特別在單參數的情形 3 的無信息先驗密度為 其中detI 表示p p階信息陣I 的行列式 53 例1設x x1 x2 xn 服從多項