1、條件均值估計和貝葉斯假設檢測摘要：貝葉斯假設檢驗要求規定代價和先驗概率。如果先驗概率不能確定，則可以采用均勻分布作為其分布。檢驗一般都用似然比檢驗。從具有指數族分布結構的條件平均概率密度函數中可以知道邊緣概率的似然比有估計器-相關器結構。文中提到了充分統計量的概念，從某種意義上來說，它包括了作判決所需要的全部信息。檢測高斯噪聲中高斯信號時，接收機把觀測結果同已知信號相關就可以產生充分統計量。關鍵詞：條件均值估計，貝葉斯假設，充分統計量Conditional Mean Estimates and Bayesian Hypothesis TestingAbstract：Bayesian hypot

2、hesis testing requires known price and the prior probability density functions (pdf). Uniform distribution can replace it if the prior pdf is unknown. The likelihood ratio testing is commonly used to test. Conditional pdfs drawn from the exponential family demonstrate that likelihood ratios involvin

3、g these marginals have the estimator-correlator structure. Sufficient statistic is mentioned in the paper, which, in a sense, includes all the information of decisions. When a Gaussian signal in Gaussian noise is tested, the receiver associates the observing result with the known signal, which, can

4、bring about sufficient statistics.Key words: CME, Bayesian hypothesis, sufficient statistic一、引言1、 估計理論估計問題是進一步對信號的一個或多個隨機參數進行估計，使估計的參數盡可能與真實的參數一致，或誤差最小。估計有參數估計和非參數估計。（1）參數估計就是最佳地找出一個物理系統的不同參數。如果總體分布函數的形式已知，只是分布中的一些參量未知，要估這些參量的真值。（2）非參數估計：如果總體分布函數的形式未知，但想估計總體分布的某些數字特征，如均值、方差。2、 檢測檢測就是根據有限的觀測，在某種準則下，最

5、佳地區分一個物理系統的不同狀態。檢測問題是研究在背景噪聲下，確認信號有無、或是什么形式的方法。檢測理論就研究了如何更有效地從接受信號中提取有用信號和如何采取有效的方法實現它，檢測理論在很多應用領域中被證明是很有用的。3、 檢測與估計的對比檢測與估計是有區別的。檢測的時候，信號狀態是有限的或假設是有限的；它的判決結果可以與原來的假設完全相同；另外，檢測時，代價函數的取值是有限的；而且可以有單次、多次測量，序貫之分。而對于估計，信號參量是連續變化的；而且估值不能做到與原來的參量完全相符，只能盡量接近；此外，因為參量有無窮多個估計結果，代價函數是連續的；而估值一定是多次測量，估值結果多為取樣均形式。

6、它們也有相似之處，都要用到了信源和信道的統計特性，都可以利用后驗概率或似然函數作為工具。4、 假設檢驗假設檢驗理論是用來檢測信號是否存在的統計判決理論。假設可視為關于可能判決或檢驗的陳述，那么源就是產生這些陳述的機構。考慮兩種可能的假設，假定H0為不存在，H1為存在，在觀測空間z的取值范圍內，根據對隨機變量測量的結果z來判斷哪個假設正確，此為二元檢測問題。我們把判決公式寫作，定義為似然比，為門限，則似然比檢驗公式為。二、貝葉斯理論的基本觀點貝葉斯統計是貝葉斯理論和方法的應用之一，其基本思想是:假定對所研究的對象在抽樣前已有一定的認識，常用先驗分布來描述這種認識，然后基于抽取的樣本再對先驗認識作

7、修正，得到后驗分布，而各種統計推斷都基于后驗分布進行。經典統計學的出發點是根據樣本，在一定的統計模型下做出統計推斷。在取得樣本觀測值X之前，往往對參數統計模型中的參數有某些先驗知識，關于的先驗知識的數學描述就是先驗分布。貝葉斯統計的主要特點是使用先驗分布，而在得到樣本觀測值X=(x1, x2, , xn )T后，由X與先驗分布提供的信息，經過計算和處理，組成較完整的后驗信息1,2。貝葉斯的兩項工作是貝葉斯定理和貝葉斯假設。貝葉斯定理將事件的先驗概率與后驗概率聯系起來。假定隨機向量x, 的聯合分布密度是p(x, )，它們的邊緣密度分別為p(x), p()。一般情況下設x是觀測向量，是未知參數向量

8、，通過觀測向量獲得未知參數向量的估計，貝葉斯定理記作： （()是的先驗分布）從上式我們可以看出，對未知參數向量的估計綜合了它的先驗信息和樣本信息。貝葉斯方法對未知參數向量估計的一般過程為：1將未知參數看成是隨機向量。2根據以往對參數的知識，確定先驗分布()。3計算后驗分布密度，做出對未知參數的推斷。在第二步，如果沒有任何以往的知識來幫助確定()，貝葉斯提出可以采用均勻分布作為其分布，即參數在它的變化范圍內，取到各個值的機會是相同的，稱這個假定為貝葉斯假設。貝葉斯假設在直覺上易于被人們所接受，然而它在處理無信息先驗分布，尤其是未知參數無界的情況卻遇到了困難。經驗貝葉斯估計把經典的方法和貝葉斯方法

9、結合在一起，經典的方法獲得樣本的邊緣密度p(x)，然后通過下式來確定先驗分布()3：在貝葉斯理論學習中，先驗知識的形式可以是:(1)每個候選假設的先驗概率。(2)每個可能假設在可觀察數據上的概率分布。貝葉斯方法可允許假設做出不確定性的預測。新的樣本分類可由多個假設一起作出預測，以它們的概率為權重。4三、基本概念1、 概率先驗概率是由源或發信機構決定，表達式為P(H0),P(H1), P(H0)+ P(H1)=1。后驗概率是由源與觀測值之間的聯系決定，表達式為。2、 充分統計量a、充分統計量的涵義統計量是數據的函數，也就是子樣的函數。所以，統計量中所含有的一些的信息，一般都會比整個樣本函數所包含

10、的信息要少。統計量把子樣中所包含的有關我們需要研究的一些對象的信息集中起來后作為進行統計推斷的依據。但是統計量是非常多的，那么我們就需要找到一個最佳的統計量。所謂最佳的統計量也就是指我們不僅要提供子樣所包含的全部信息，同時又要盡可能地使之簡單。下面我們就通過全部信息來引伸出充分統計量。在數理統計學中1 ，2， 3 ，給我們提供了母體的信息。如果母體的概率函數依賴于參數，子樣當然也包含的信息，但是依賴于子樣的統計量卻不一定包含全部信息。例如在一般情形下，子樣的聯合概率函數（即似然函數）能分解成h（x1,x2,.xn）是條件 =y下的條件概率函數，它一般是依賴于的函數，如果未知h（x1,x2,.x

11、n ; )也就不可能知道，這時統計量 并沒有反映子樣所含有的 “全部信息”，只有在不依賴于時 ,統計量才反映了子樣的“全部信息” 。正因為這一點，費歇命名這種反映“全部信息”的統計量為充分統計量。4所以我們可以這樣認為，不含于統計量的那些樣本函數中的信息與我們所需要研究的問題不相干。那么除了這些信息以外其余的信息，就是統計量所包含的那些能夠充分反映所要研究的問題特性的信息，不比原來的樣本函數的信息少，那么就可以稱之為充分統計量。充分統計量就是“不損失信息”的統計量.也就是說，充分統計量能夠完全捕捉到一個隨機變量分布中參數所包含的關于分布的信息，那么這個隨機變量關于它的分布就取決于充分統計量的值

12、，而不取決于原來的參數值。例如正態分布的均值和方差包含的信息少于樣本，但是總體條件分布不依賴于其他參數值，而是依賴于給定的均值和方差的值，它們就是充分統計量。b、充分統計量的定義設總體X 服從某個分布P (x)，為了對參數作統計推斷，需要從該總體中抽取一個樣本X = (X1,X n) ，樣本X 中含有的信息。顯然，對樣本X 加工不可能增加信息，不減少的信息就是最好的了。 由樣本X 可算出統計量T，假如能由統計量T 的值恢復樣本, 那么這種統計量就不會損失有關的信息。 要做到這一點，關鍵要在給定T = t 下，樣本X 的條件分布不依賴于，即有P0(X=x |T=t) = P (X=x |T=t)

13、。由以上分析知, 在對樣本的加工過程中, 一個統計量“不損失信息”的數學描述是“在T 取任一個值時, 樣本的條件分布不依賴于未知參數”, 但允許T的一個零測集有例外, 由此可給出充分統計量的一般定義：設(X,B, P ) 是一個統計結構, 又設T = T(X) 是(X , B) 到(J, b) 的一個統計量, PT是T的誘導分布, 假如在PT的零測集外,T取任一個值t時, 樣本X =(X1, Xn) 的條件分布都不依賴于, 即對任意的和B B , 有P(B/t) = P(B/t) , a·s·PT ，則稱T為該分布族(或參數)的充分統計量。53、 指數分布族在解決檢測一類的

14、問題時，通常用指數族函數來描述其條件概率密度：其中，h(y)是相關的密度函數；為自然參數, 它是一個列向量；t(y) 是一維充分統計量，它也是一個列向量；k是一個常量；b()是標準化了的常量，它是表示條件概率密度函數所必須要有的一個常量。指數分布族分布族包括正態分布族，二項分布族，單參數分布族等許多常見的重要分布族，而且以后還會見到它們所含的參數具有充分統計量。因此在許多近代數理統計理論中起著重要作用。我們所常見的伯努利過程和泊松過程也都能用指數函數族來表示。在這里我們只介紹單參數情形 分布族，=，其中r和是常數，叫做單參數指數族分布。如果存在定義在上的實值函數c()、d()和定義在空間a&l

15、t;x<b上的實值函數T(x)、S(x)使得這里為概率函數。需要注意的是，這里T(x)和S(x)可以不唯一，但要強調的是a和b不能依賴于參數。若隨機變量具有單參數指數族分布。，為取自母體的一個子樣，則統計量是參數的充分統計量。4 4、 條件均值估計a、條件均值的意義在初等概念中,條件均值是通過事件定義的,現把這一概念推廣到一般的情況。為了方便起見，我們討論兩個隨機變量與的場合，假定它們具有密度函數p(x，y)，并假設在= x的條件下，的條件概率密度函數為p(yx)，p(x) 記的概率密度函數為p(x)。在= x 的條件下，的條件均值定義為E= x =y p(yx) dy條件均值在近代概率

16、論中有著基本重要的作用，在實際問題中也有很大用處。在兩個互有影響的隨機變量中，如果已知其中一個隨機變量的取值，要據此去估計或預測另一個隨機變量的取值，人們稱這樣的問題為“預測問題”。由上述討論可知，條件均值E= x 是在已知= x發生的條件下，對的一個頗為“合理”的預測。b、條件均值估計推導在估計問題中，對指定非負代價，一般定義為：其中，為估計誤差。對于隨機參數的統計，若有先驗概率，并假定其已知，則定義平均風險為：條件風險為 ，我們可以從最小平均風險推得最小條件風險，那么使條件風險最小的估計值就是最佳估計。若定義均方估計為，且條件風險為，則令，得，則為條件均值，即最小均方估計是條件均值估計。5

17、、 貝葉斯準則Cij 定義為假設Hj為真時作出判決Di的代價。將不同的代價賦予不同判決結果的聯合概率P(Di，Hj)，可得到平均代價為：如果給定P(Hj)，由條件概率公式得那么貝葉斯準則就是在給定Cij 和P(Hj)條件下，平均代價最小的判決準則。似然比為，判決門限為。判決公式為或者是，即為貝葉斯準則下的似然比檢驗。四、條件均值和貝葉斯假設檢驗的研究1、一維我們假設一個單參數指數族分布的概率密度函數為 （1）其中，是定義在自然參數區間的變量，它的范圍為。，它是關于的一個函數。b()是一個嚴格的凸函數，而且在自然參數區間內它是有限的。那么對于式（1）中的隨機變量y，很容易得到 （2） （3）這種

18、指數族分布函數廣泛地應用于通信研究領域，這種函數被稱為Koopman-Pitman-Darmois 族，用于解決信號的可靠性、估計以及假設檢驗的問題。它廣泛應用的一個明顯的原因就是存在的充分統計量。2、k維假設y1，y2，yk 是獨立同分布的隨機變量，由單參數概率密度函數式（1）可以推得k維的概率密度函數表達式為 （4）其中，根據因子分解定理可以知道，t(y)是一維充分統計量，則t(y)的條件概率密度函數存在，且可表示為 （5）假設隨機變量的前驗概率密度函數與勒貝格測度有關，為（），那么邊緣概率密度函數為 （6）用表示后驗概率密度函數，根據貝葉斯定理，可推得 （7）在這里，我們定義 （8） （

19、9）將式(1)和式(7)進行比較，可以看出后驗概率密度函數也具有指數族函數的形式，后驗概率中的s(t)相當于中的b()，所以s(t)在其自然參數區間V中與b( )有著相同的特性：它是個凸函數，同時又是可微的。s(t)的自然參數區間為所以，可得出的條件平均估計（CME）為： （10）從此式的結構看我們可知它是邊緣概率密度函數。的條件均方誤差函數 (CMSE)為：6 （11）這里主要運用了充分統計量的可微性。求的導數，并代入式（10），整理得 （12）可以求得此方程的唯一解，為 （13）其中，c為標準化常量， s(t)是條件平均估計的不定積分，即可得出，邊緣概率密度由條件平均估計決定。3、應用 從

20、邊緣概率密度函數的表達式結構清楚地表明了指數族變量的假設檢驗和估計問題之間的關系。利用不依賴于參數值的貝葉斯方法來解決復合假設檢測的問題就需要用到似然比，它就是一個相應的邊緣概率密度函數的比值。令K=p1(L01-L11)/p0(L10-L00)，則根據貝葉斯準則可知其似然比為 （14）其中， （15） （16）因此，估測關聯器就可以被認為是具有條件概率密度函數為指數分布族的的檢測器。估測關聯器這一概念源于對用于識別高斯噪聲中高斯信號的檢測器的一種解釋，它適用于有關離散時間和連續時間問題的各種不同情形，式（16）就表明了這一解釋對高斯噪聲中的任意離散信號都適用。事實上，對于所有檢測問題中的噪聲

21、都是指數式的統計。類似的檢驗結果有，在已知統計信息條件下，H0假設為獨立噪聲，其似然比是已知參數似然比的平均值，有時稱之為平均似然比，即8 （17）具有理想觀測值的檢測器需要一定的檢測條件，為了敘述的方便，令在任一假設中，條件概率密度函數均相同，且已知H0和0，由式（7）和式（13）可得 （18）容易看出，檢測器有兩部分因素決定。第一部分為CME誤差的積分，顯然是由數據所決定的。第二部分完全由先驗信息決定。7在實際應用中，先驗信息經常是不完整的，所以利用CME的特性可以評估這兩部分在接收機中所起的作用。例如，假設CME為一個獨立于先驗特性的有效估計量，現只需要先驗特性的部分信息，就可有效地確定它們兩者的范圍和做出有效判決前所需要的采樣數。五、結論條件平均概率密度函數可以用指數族來表示，它表示邊緣概率密度函數完全是由后驗條件平均估計（CME）決定的。在高斯白噪聲中檢測高斯信號時，接收機把觀測結果同信號的估計量相關就可以產生充分統計量，它其實是估計器-相關器結構，采用的估計量是最小均方估計量，即條件均值估計。參考文獻1 樊建聰.使用貝葉斯