1、概率論備要與隨機數報告人：*2011年11月28日內容提要:1隨機事件,隨機事件的概率,隨機變量,隨機變量的分布函數,隨機變量的期望和方差,隨機變量的矩母函數和特征函數,隨機向量,隨機變量的獨立性2極限定理3隨機數4Gauss系一 概率論備要(一)概率公理系統一次隨機試驗可能出現的一個結果，稱為一個基本事件，或樣本點，記為。全體基本事件的集合記為，稱為必然事件，或樣本空間。對的某些子集組成的類F,如果它滿足下列條件：(1) (2) (3) 則稱為一個事件體，或代數。中的集合稱為隨機事件。直觀上可以理解為可以描述其概率的事情。它實際上包含了所有我們“感興趣”的集合。概率理論就是在這個基礎上展開的

2、。由的定義可以推出: 中元素的有限交,任兩個元素的差,對稱差,交均在中。在上定義的非負集函數,稱為概率，如果滿足下列條件：（1）（2），只要，就有，其中示沒有基本事件的空集。值得注意的是，當樣本空間與事件體都確定以后，Kolmogorov公理系統仍舊容納不止一個取概率運算。也就是說在同一個樣本空間與同一個事件體上，可以存在不同的取概率運算。下面舉一個著名的貝郎特(Bertrand)奇論來說明。問題是:在半徑為1的圓內隨機地取一條弦,問其長超過的概率等于多少?解法1 任何弦交圓周兩點,不失一般性,先固定其中一點于圓周上,以此點為頂點作一等邊三角形,只有落入此三角形內的弦才滿足要求,這種弦的另一端

3、跑過的弧長為整個圓周的1/3,故概率為1/3.如圖(a)解法2 弦長只跟它與圓心的距離有關,而與方向無關,因此可以假定它垂直于某一直徑.當且僅當它與圓心的距離小于1/2時,其長才大于,因此所求概率為1/2.如圖（b）解法3 弦被其中點唯一確定, 當且僅當其中點屬于半徑為1/2的同心圓內時,弦長才大于,此小圓面積為大圓面積的1/4,所以概率為1/4.如圖（c）同一問題有三種不同的答案,細究其原因,發現是在取弦時采用了不同的等可能假設.解法1假定端點在圓周上均勻分布,解法2假設弦的中點在直徑上均勻分布,解法3認為弦的中點在圓內均勻分布.這三種答案是針對三種不同的隨機試驗,對于各自的隨機試驗而言,它

4、們都是正確的。概率空間：給定樣本空間及上的一個域,以及上面提到的上的集函數(概率)，則稱三元組為概率空間。此時稱為可測空間。Borel集與Borel函數樣本空間的子集族F，滿足：非空則稱F是一個域。由測度論知識可以知道，對樣本空間的任意子集族F，都存在包含F的最小域。R中包含所有開區間的最小域，稱為Borel集,記為B。值得一提的是，B和包含所有形如的最小域是一樣的。中包含所有開矩形的最小域，稱為d維Borel集，記為。由實變函數知識，Borel集中的元素都是Lebesgue可測的，但，他們之間相差一個Lebesgue零測集。可測空間到可測空間的可測映射，即滿足的函數：，稱為Borel可測函數

5、，簡稱Borel函數。（二）隨機變量一個隨機地取實數值的量稱為隨機變量，如果對于任意實數，樣本點的集合都是一個隨機事件。用測度論的觀點來看，隨機變量就是概率空間到可測空間的一個可測映射。可見隨機變量的定義依賴于給定的事件體。實值函數就是隨機變量的分布函數。前面已經舉例說明一個可測空間可以定義不同的概率，下面舉例說明一個概率空間也可以定義無窮多個隨機變量,而且可以不相關。設，對任意，定義。對每一個正整數n，定義映射：，容易驗證是隨機變量，而且是線性無關的。隨機過程：設為概率空間，為實的參數集（可以是離散的，也可以是連續的），定義在和上的二元函數：,如果對任意固定的,是上的隨機變量，則稱為該概率空

6、間上的隨機過程。一般而言，根據隨機變量取值的類型，把隨機變量分為離散型隨機變量和連續型隨機變量。對于前者，常用概率函數來描述，對于實值函數，隨機變量的期望為：。對于后者，常用分布密度描述，對Borel可測函數，隨機變量的期望為：。期望實際上就是一種平均，它是刻畫隨機變量的一個重要指標。在概率論中具有相當重要的角色。下面的例子說明了期望的不足：（圣.彼得堡悖論）傳說在圣.彼得堡街頭曾流行過一種賭博，參見者實現墊付一筆錢，比如100個盧布，然后開始連續擲一枚均勻的硬幣，直至首次出現人像朝上。若記首次出現人像朝上時投擲次數為n,則賭博者可得到個盧布，這時的決策問題是：參見賭博和不參加賭博哪個結果更合

7、算？用變量X表示某人參與賭博的凈回報，即,則可以計算出,也就是說贏的期望為無窮大，但贏的概率卻很小。正是所謂的”辜負了期望”。可見僅有期望，對于隨機變量的刻畫是不夠的。方差定義為：,可見，方差實際上也是一種期望，是用來刻畫隨機變量波動程度的量。下面介紹概率論中兩個重要的函數：矩母函數和特征函數。矩母函數定義為，當然前提是存在且有限。它包含了任意階矩的信息，進一步地，的分布也可由矩母函數唯一確定。離散的情形很好理解，對于連續的情況，矩母函數的可以看成密度函數的“拉普拉斯變換”，做“拉普拉斯逆變換”可得密度函數，這里用“”號是因為存在一點非本質的細節差別。實際上矩母函數就是拉普拉斯在19世紀引進的

8、，它是概率論中第一個被系統地應用的變換法，對后來在概率論中引進其他更有用的變換-如馬上要介紹的特征函數-有啟發作用。矩母函數還有一個非常重要的性質就是獨立隨機變量和的母函數等于各自母函數的乘積。在概率論發展史上具有重大意義的是特征函數的引進。隨機變量的特征函數定義為：特征函數克服了矩母函數有可能不存在的不足，對每一個隨機變量，都存在一個唯一的特征函數與之對應，這是由Lebesgue控制收斂定理所保證。反過來，對每一個特征函數，如果是絕對可積的，則存在唯一的密度函數與之對應，這里的唯一性是在忽略一個Lebesgue零測集意義下的唯一性。實際上特征函數可以看成密度函數的Fourier變換，上面介紹

9、的對應關系可以用Fourier變換和Fourier逆變換的觀點來看。和矩母函數一樣，獨立隨機變量和的特征函數等于各自特征函數的乘積，正是這個性質，在證明中心極限定理時顯示出了非凡的威力。（三）隨機向量直觀的看，隨機變量放在一起就是隨機向量。這里有一個前提，就是這些隨機變量有相同的概率空間。考慮d維隨機向量，其分布函數為,其期望是,協方差矩陣是: ,稱為隨機變量與的協方差, 是相關系數。需要指出的是，若兩個隨機變量成正相關，即為1，但這兩個隨機變量變換后的隨機變量卻可能有很弱的相關性，即。比如。就的線性相關性就低。類似的可以定義的距母函數:特征函數。隨機變量的獨立性：隨機變量組稱為獨立，如果它們

10、滿足條件：。兩個隨機變量獨立，則它們是不相關的，反之不成立。概率論中有一個重要的不等式，即Chebyshev不等式：，它在證明弱大數定理時起到關鍵作用。（四） 極限定理極限定理通常包括大數定律和中心極限定理。大數定律:若是隨機變量列,如果存在一個常數列,對,有,則稱隨機變量概率為1地收斂，也稱為幾乎處處收斂強大數定律：Bore大數定律:Bernoullli試驗Kolmogorov大數定律：相互獨立隨機變量序列滿足列服從大數定律或大數法則。均方收斂：弱大數定律:Bernoulli大數定律：Bernoullli試驗Chebyshev大數定律：兩兩不相關隨機變量列，每一隨機變量有有限方差，且方差有公

11、共上界Khintchine大數定律：獨立同分布隨機變量列，且有有限的期望Markov大數定律：依概率收斂：中心極限定理：為標準正態隨機變量棣莫弗-拉普拉斯中心極限定理：是獨立同分布的Bernoullli試驗,林德貝格-萊維中心極限定理:獨立同分布隨機變量序列,期望方差均存在而且有限依分布收斂：二 隨機數與隨機模擬生成隨機數有兩大類方法，逆函數方法和Von-Neumann取舍原則。（一） 生成隨機數的逆函數方法若隨機變量X的分布函數為或密度函數，則X的一個樣本值稱為F-隨機數或f-隨機數。特別的若,則X的樣本值就是均勻隨機數。命題：若分布函數嚴格單調，是一個均勻隨機數，則是一個F-隨機數。證明：

12、設U是0,1上的均勻隨機變量，那么故逆函數方法的關鍵一步是生成均勻隨機數，而后面講到的Von-Neumann取舍原則也是以均勻隨機數為基礎，因此下面簡要談談均勻隨機數的生成方法。產生均勻隨機數的方法很多，這里只介紹幾種用計算機產生隨機數的方法。物理方法。在計算機上安裝一臺物理隨機數發生器，把具有隨機性質的物理過程變換為隨機數，這樣就可以得到隨機性和均勻性都很好的真正隨機數。但此方法有一些缺點，其中最重要的是我們不能產生與原來完全相同的隨機數，對計算結果不能進行復算檢查；加上物理隨機數發生器的穩定性經常需進行檢查和維修。因此大大降低了這種方法的使用價值。北師大校物理系李曉文副教授與馬里蘭大學同事

13、合作，最近在物理隨機數發生器設計方面取得了突破性進展。她們設計了一個多通道、互相獨立的、高速物理隨機數發生器，利用超發光二極管放大自發輻射的寬頻光學噪聲，通過兩個透過率互不重疊的光學濾波器分出兩路信號，每個通道的比特率可以達到10G/s。利用這種并行隨機比特的方法同時產生多個比特，極大地提高了隨機數發生器的產生速率及升級能力。李曉文等第一次證明，從單個光噪聲源，不需外部光學放大及增益，即可同時得到多個獨立的比特流。這是迄今為止第一個并行輸出的物理真隨機數系統，向基于芯片的超快并行物理隨機數發生器邁出了重要一步。另外，通過使用更多的濾波器，并行輸出的通道數目最多可以達到20個，累計比特率可以達到

14、200G/s。數學方法，這樣產生的隨機數并不是真正的隨機數，故稱偽隨機數，但由于它占用內存少，速度快又便于復算，因此這是目前使用最廣，發展最快的一類方法。這里介紹其中兩種的設計思想。線性同余發生器：就是所得（偽）隨機數，之所以選擇上面的參數，是出于以下考慮：讓序列達到滿周期；產生的隨機數，均值接近，方差接近；一階自相關系數接近0。反饋位移寄存器法大量使用過程發現，線性同余法產生均勻隨機數作為維隨機向量時相關性大，其次是線性同余法得到的均勻隨機數列的周期與計算機的字長有關。在整數的尾數字長為L的計算機上，不可能得到周期的均勻隨機數列。反饋位移寄存器法產生均勻隨機數的方法是：給定初值，迭代產生0-

15、1序列，截取序列中連續的L位構成一個L位二進制整數，即：令即得均勻隨機數列。之所以叫做反饋位移寄存器，是因為這種算法在計算機上實現時，在寄存器里面用了大量的移位運算。（二） 生成隨機數的Von-Neumann原則給定分布密度，用逆函數法往往需要很大的計算量，而取舍原則提供了生成f-隨機數的簡捷方法。做法是：取一個參考分布密度函數，滿足：-隨機數容易生成與的取值范圍差不多（不必相同），且存在C,使得命題：設隨機變量Y具有密度函數，而隨機變量,且與Y獨立，則證明： 這樣,取舍原則的具體做法是:獨立的生成一個-隨機數和均勻隨機數若，則就是一個-隨機數。重復進行可得-隨機數列。假設一個-隨機數在取舍原

16、則中“被選用”的概率為：所以C越小，取舍的效率越高。可見，為了得到一個-隨機數，平均需要C個-隨機數。三 Gauss分布與Gauss過程（一）方差有限的隨機變量全體組成的Hilbert空間概率空間上有方差（存在且有限）的全體隨機變量的集合記為，它是Euclid空間，即它是線性空間。但是無窮維的。定義內積：,則在這個內積意義下成為完備的內積空間，即Hilbert空間。這個空間的收斂就是均方收斂。即：(二)高斯分布定義：如果存在m個獨立的標準正態隨機變量，以及常數與，使得：，其中則稱d維隨機向量服從d維Gauss分布，也稱作高斯隨機向量。的期望向量和協方差矩陣分別是：服從d維Gauss分布記為。當

17、可逆時的Gauss分布，稱為d維正態分布。正態分布就是不退化的高斯分布，只有當可逆時才存在分布密度，不可逆時可能只分布在一個低維超平面上。比如：,則只分布在一條直線上。由定義可以看出，高斯隨機向量的任意多個分量也是高斯隨機向量或者高斯隨機變量。除此而外，高斯分布還有以下性質：高斯隨機向量的依概率極限也是高斯隨機向量。即服從高斯分布，若（指所有分量都依概率收斂），則服從高斯分布。對于高斯隨機向量而言，依概率收斂與均方收斂是等價的。高斯隨機向量對依分布收斂的封閉性，即，且（等價的，對應的特征函數收斂），則，且服從d維Gauss分布對任意實數，線性組合服從一維Gauss分布（是常數，或者是正態分布）。的特征函數形如，其中是實對稱半正定矩陣。的矩母函數形如。 (三)與Gauss系與Gauss過程相關的基本概念Gauss系:隨機變量族稱為Gauss系,如果對任意及任意，隨機向量服從Gauss分布。高斯過程：若指標集,則稱為高斯過程。例如，Wiener過程就是Gauss過程。Gauss過程的概率特性完全由其均值函數和協方差函數所決定