概率論與數理統計教程(華東師范大學)匯報人：AA2024-01-20CATALOGUE目錄概率論基本概念隨機變量及其分布多維隨機變量及其分布數理統計基本概念和方法方差分析和回歸分析初步隨機過程簡介概率論基本概念01不可能事件空集?，不包含任何樣本點。必然事件包含樣本空間中所有樣本點的事件，即S本身。基本事件只包含一個樣本點的事件。樣本空間所有可能結果的集合，常用大寫字母S表示。事件樣本空間的子集，即某些可能結果的集合，常用大寫字母A、B等表示。樣本空間與事件概率定義事件A發生的可能性大小的數值度量，記為P(A)。非負性P(A)≥0；規范性P(S)=1；可列可加性對于兩兩互斥的事件Ai（i=1,2,3,...），有P(∪Ai)=∑P(Ai)。概率定義及性質條件概率與獨立性條件概率在事件B發生的條件下，事件A發生的概率，記為P(A|B)。計算公式為P(A|B)=P(AB)/P(B)，其中P(AB)表示事件A和事件B同時發生的概率。事件的獨立性如果事件A的發生與否對事件B的發生概率沒有影響，即P(AB)=P(A)P(B)，則稱事件A與事件B相互獨立。全概率公式與貝葉斯公式如果事件B1,B2,...,Bn構成一個完備事件組，即它們兩兩互斥且其和為全集，則對任一事件A，有P(A)=∑P(Bi)P(A|Bi)。全概率公式在全概率公式的條件下，可以進一步求得事件Bi已發生的條件下事件A發生的概率，即P(Bi|A)=P(ABi)/P(A)=P(Bi)P(A|Bi)/∑P(Bj)P(A|Bj)。貝葉斯公式隨機變量及其分布02設隨機試驗的樣本空間為S={e}，X=X(e)是定義在樣本空間S上的實值單值函數。稱X=X(e)為隨機變量。隨機變量分為離散型隨機變量和連續型隨機變量。隨機變量定義及分類分類定義0-1分布隨機變量X只可能取0和1兩個值，且P{X=1}=p,P{X=0}=1-p,其中0<p<1。二項分布在n次獨立重復的伯努利試驗中，設每次試驗中事件A發生的概率為p。用X表示n重伯努利試驗中事件A發生的次數，則X的可能取值為0，1，…，n,且對每一個k（0≤k≤n）,事件{X=k}即為“n次試驗中事件A恰好發生k次”，隨機變量X的離散概率分布即為二項分布。泊松分布泊松分布適合于描述單位時間內隨機事件發生的次數。如某一服務設施在一定時間內到達的人數，電話交換機接到呼叫的次數，汽車站臺的候客人數，機器出現的故障數，自然災害發生的次數等等。離散型隨機變量分布律要點三均勻分布在概率論和統計學中，均勻分布也叫矩形分布，它是對稱概率分布，在相同長度間隔的分布概率是等可能的。均勻分布由兩個參數a和b定義，它們是數軸上的最小值和最大值，通常縮寫為U(a,b)。要點一要點二指數分布在概率理論和統計學中，指數分布（也稱為負指數分布）是描述泊松過程中的事件之間的時間的概率分布，即事件以恒定平均速率連續且獨立地發生的過程。正態分布正態分布（Normaldistribution），也稱“常態分布”，又名高斯分布（Gaussiandistribution），最早由A.棣莫弗在求二項分布的漸近公式中得到。C.F.高斯在研究測量誤差時從另一個角度導出了它。P.S.拉普拉斯和高斯研究了它的性質。是一個在數學、物理及工程等領域都非常重要的概率分布，在統計學的許多方面有著重大的影響力。要點三連續型隨機變量概率密度函數離散型隨機變量的函數分布若離散型隨機變量X的分布律為P{X=xk}=pk,k=1,2,…。若Y=g(X)為X的函數，則當X取值xk時，Y取值為yk=g(xk),k=1,2,…。此時Y的取值情況可能有以下三種情況：若g(xk)均不相等，則可按下列步驟求出Y的分布律：計算P{Y=yk}=P{g(X)=yk}=P{X=g-1(yk)}，yk是g(x)的值域中的任一元素；求出Y的全部可能取值并確定各取值的概率，即得Y的分布律。要點一要點二連續型隨機變量的函數分布設連續型隨機變量X的概率密度為fX(x)，若Y=g(X)處處可導且恒有g′(x)>0（或恒有g′(x)<0），則Y為連續型隨機變量，其概率密度為fY(y)=fX[h(y)]?|h′(y)|，其中h(y)是g(x)的反函數，y∈g(D)，D是隨機變量X的取值范圍。隨機變量函數分布多維隨機變量及其分布03二維隨機變量聯合分布律/密度函數聯合分布律定義：對于二維隨機變量(X,Y)，其聯合分布律描述了X和Y同時取值的概率，即P{X=xi,Y=yj}。02聯合密度函數定義：對于連續型二維隨機變量(X,Y)，其聯合密度函數f(x,y)描述了(X,Y)在點(x,y)處的概率密度。03聯合分布律/密度函數的性質：非負性、規范性、可加性。01邊緣密度函數定義對于連續型二維隨機變量(X,Y)，其邊緣密度函數fx(x)和fy(y)分別描述了X和Y的概率密度。邊緣分布律/密度函數的計算通過聯合分布律/密度函數對另一變量進行求和或積分得到。邊緣分布律定義對于二維隨機變量(X,Y)，其邊緣分布律描述了X或Y單獨取值的概率，即P{X=xi}和P{Y=yj}。邊緣分布律/密度函數條件分布律定義對于二維隨機變量(X,Y)，在已知X=xi的條件下，Y的條件分布律描述了Y取值的概率，即P{Y=yj|X=xi}。條件密度函數定義對于連續型二維隨機變量(X,Y)，在已知X=x的條件下，Y的條件密度函數fy|x(y|x)描述了Y的概率密度。條件分布律/密度函數的計算通過聯合分布律/密度函數和邊緣分布律/密度函數計算得到。010203條件分布律/密度函數VS如果二維隨機變量(X,Y)的聯合分布律/密度函數可以表示為兩個邊緣分布律/密度函數的乘積，即P{X=xi,Y=yj}=P{X=xi}P{Y=yj}或f(x,y)=fx(x)fy(y)，則稱X和Y是相互獨立的。相互獨立的性質如果X和Y是相互獨立的，那么它們的任何函數也是相互獨立的。此外，如果X和Y是相互獨立的，且它們分別與其他隨機變量相互獨立，那么它們的聯合分布也是相互獨立的。相互獨立的定義相互獨立隨機變量數理統計基本概念和方法04總體研究對象的全體個體組成的集合，具有共同的性質和特征。樣本從總體中隨機抽取的一部分個體組成的集合，用于推斷總體的性質。統計量根據樣本數據計算出來的用于描述樣本特征的量，如樣本均值、樣本方差等。總體、樣本和統計量用樣本矩作為總體矩的估計量，適用于總體分布形式未知的情況。矩估計法根據樣本觀測值出現的概率最大原則，選擇使得似然函數達到最大的參數值作為估計量。最大似然估計法點估計方法根據樣本數據構造的總體參數的估計區間，該區間以一定的置信水平包含了總體參數的真值。通過構造包含未知參數的樞軸量，并根據樞軸量的分布性質確定置信區間的方法。置信區間樞軸量法區間估計方法假設檢驗方法第一類錯誤是原假設為真時拒絕原假設的錯誤，第二類錯誤是原假設為假時接受原假設的錯誤。第一類錯誤與第二類錯誤原假設是研究者想要拒絕的假設，備擇假設是研究者想要接受的假設。原假設與備擇假設檢驗統計量是根據樣本數據計算出來的用于判斷原假設是否成立的量，拒絕域是檢驗統計量取值的范圍，當檢驗統計量落入拒絕域時，拒絕原假設。檢驗統計量與拒絕域方差分析和回歸分析初步05方差分析的基本思想通過比較不同水平下觀測數據的波動情況，推斷因素對觀測結果是否有顯著影響。建立假設、構造檢驗統計量、確定拒絕域、作出決策。用于展示方差分析的計算過程和結果，包括來源、平方和、自由度、均方、F值等。單因素方差分析的基本步驟方差分析表單因素方差分析雙因素方差分析的基本思想同時考慮兩個因素對觀測結果的影響，通過比較不同水平組合下觀測數據的波動情況，推斷因素對觀測結果是否有顯著影響。無交互作用的雙因素方差分析當兩個因素之間不存在交互作用時，可以分別對每個因素進行單因素方差分析。有交互作用的雙因素方差分析當兩個因素之間存在交互作用時，需要構造包含交互作用的檢驗統計量，并進行相應的假設檢驗。雙因素方差分析一元線性回歸模型描述一個因變量與一個自變量之間的線性關系，通過最小二乘法進行參數估計。回歸方程的顯著性檢驗用于檢驗自變量對因變量是否有顯著影響，通過構造F檢驗統計量并查表得到對應的p值進行判斷。回歸系數的顯著性檢驗用于檢驗自變量對因變量的影響程度是否顯著，通過構造t檢驗統計量并查表得到對應的p值進行判斷。一元線性回歸分析多元線性回歸分析初步多重共線性問題當自變量之間存在高度相關時，會導致回歸系數估計不準確，可以通過逐步回歸、嶺回歸等方法進行處理。多元線性回歸模型描述一個因變量與多個自變量之間的線性關系，通過最小二乘法進行參數估計。模型選擇與評估在構建多元線性回歸模型時，需要選擇合適的自變量并評估模型的擬合優度、預測精度等指標。常見的評估指標包括決定系數R^2、調整后的決定系數R^2_adj、均方誤差MSE等。隨機過程簡介06隨機過程的定義隨機過程是一族隨時間變化的隨機變量，用于描述隨機現象隨時間的演變。隨機過程的分類根據隨機變量的取值空間和性質，隨機過程可分為離散時間離散狀態、離散時間連續狀態、連續時間離散狀態和連續時間連續狀態四類。隨機過程的數字特征包括均值函數、方差函數、自相關函數和協方差函數等，用于描述隨機過程的統計特性。隨機過程基本概念03馬爾可夫鏈的遍歷性與平穩分布遍歷性是指無論初始狀態如何，經過足夠長的時間后，馬爾可夫鏈的狀態分布將趨于穩定，即達到平穩分布。01馬爾可夫鏈的定義馬爾可夫鏈是一種時間和狀態都離散的隨機過程，具有無后效性，即未來狀態只與當前狀態有關，與過去狀態無關。02馬爾可夫鏈的轉移概率描述從一個狀態轉移到另一個狀態的概率，可通過轉移概率矩陣表示。馬爾可夫鏈簡介平穩過程是一種統計特性不隨時間變化的隨機過程，即其均值、方差和相關函數等數字特征不隨時間變化。平穩過程的定義嚴平穩要求隨機過程的任何有限維分布都不隨時間變化，而寬平穩只要求均值和相關函數不隨時間變化。嚴平穩與