第一章準(zhǔn)備知識(shí)★數(shù)學(xué)公式★矩陣代數(shù)★概率統(tǒng)計(jì)4/22/20251★數(shù)學(xué)公式4/22/20252數(shù)學(xué)公式(一)階乘：對(duì)于正整數(shù)n，有指數(shù)函數(shù)：斯特林公式：Gamma函數(shù)：特別地遞推關(guān)系n為整數(shù)時(shí)4/22/20253數(shù)學(xué)公式(二)二項(xiàng)式系數(shù)：對(duì)于非負(fù)整數(shù)n和r，，有二項(xiàng)式展開(kāi)：對(duì)于實(shí)數(shù)x，y及非負(fù)整數(shù)n4/22/20254數(shù)學(xué)公式(三)單變量泰勒序列：二階向量泰勒展開(kāi)：對(duì)于轉(zhuǎn)置4/22/20255★矩陣代數(shù)4/22/20256基本概念矩陣(matrix)：向量(Vector)：數(shù)量(Scalar)：數(shù)量指的是單個(gè)數(shù)，表示為4/22/20257矩陣的向量表示4/22/20258矩陣轉(zhuǎn)置對(duì)稱(chēng)陣對(duì)角陣，上三角陣，下三角陣n=k時(shí)稱(chēng)為方陣4/22/20259矩陣相乘4/22/202510單位陣和正交陣若，則稱(chēng)兩個(gè)向量正交。對(duì)于矩陣，k<n，若，則稱(chēng)矩陣的列是正交的。若是方陣，則稱(chēng)其為正交陣。4/22/202511矩陣跡定義性質(zhì)4/22/202512矩陣逆滿秩，若存在單一矩陣，使得，則稱(chēng)是的逆，記為。性質(zhì)4/22/202513矩陣的行列式方陣特別地性質(zhì)4/22/202514特征根和特征向量方陣的特征方程若是的特征根，則是奇異陣，因此存在非零向量，使得稱(chēng)為特征向量4/22/202515特征根和特征向量(續(xù))矩陣譜分解4/22/202516冪等(Idempotent)矩陣為方陣若還是對(duì)稱(chēng)陣，則其所有的特征根為0或1且有4/22/202517投影(Projection)矩陣令是矩陣，投影矩陣驗(yàn)證：投影矩陣是冪等陣和對(duì)稱(chēng)陣4/22/202518投影矩陣性質(zhì)的譜分解4/22/202519向量(vec)算子4/22/202520克羅內(nèi)克(Kronecker)積定義性質(zhì)4/22/202521矩陣微積分4/22/202522矩陣微積分(續(xù))4/22/202523例4/22/202524★概率統(tǒng)計(jì)4/22/202525隨機(jī)變量隨機(jī)變量(randomvariable)——指一個(gè)具有數(shù)值特征并由一個(gè)實(shí)驗(yàn)(experiment)來(lái)決定其結(jié)果值隨機(jī)變量用大寫(xiě)字母表示，隨機(jī)變量的取值用小寫(xiě)字母表示。隨機(jī)變量的類(lèi)型分為離散型連續(xù)型4/22/202526概率分布概率分布(probabilitydistribution)連續(xù)型——常用概率密度函數(shù)(probabilitydensityfunction)f(x)表示，也可以用累積分布函數(shù)(cumulativedistributionfunction)F(x)表示離散型——概率質(zhì)量函數(shù)(probabilitymassfunction)、累積函數(shù)(cumulativefunction)為階梯函數(shù)4/22/202527數(shù)學(xué)期望期望(expectation)——指對(duì)隨機(jī)變量X的所有可能值的一個(gè)加權(quán)平均。★★4/22/202528矩(中心矩)對(duì)于m>0，定義X的m階矩為m階中心矩為4/22/202529期望性質(zhì)如果c為常量或非隨機(jī)變量，則E(c)=c如果c為常量或非隨機(jī)變量，則E[cg(X)]=cE[g(X)]★★★★4/22/202530方差(variance)和標(biāo)準(zhǔn)差其算術(shù)根稱(chēng)為標(biāo)準(zhǔn)差4/22/202531方差性質(zhì)★★均為常數(shù)4/22/202532獨(dú)立離散型連續(xù)型4/22/202533條件概率

(conditionalprobability)離散型連續(xù)型4/22/202534條件均值(條件期望)

conditionalmean(expectation)性質(zhì)4/22/202535常用分布伯努里分布二項(xiàng)分布幾何分布泊松分布均勻分布貝塔分布正態(tài)分布卡方分布t分布F分布伽瑪分布柯西分布指數(shù)分布對(duì)數(shù)正態(tài)帕累托分布威布爾分布4/22/202536伯努里分布4/22/202537二項(xiàng)分布4/22/202538幾何分布4/22/202539泊松分布4/22/202540均勻分布4/22/202541指數(shù)分布無(wú)記憶！4/22/202542伽瑪分布n個(gè)服從指數(shù)分布的獨(dú)立隨機(jī)變量的和服從Gamma分布4/22/202543貝塔分布4/22/202544柯西分布4/22/202545對(duì)數(shù)正態(tài)4/22/202546帕累托分布4/22/202547威布爾分布4/22/202548正態(tài)分布時(shí)，稱(chēng)為標(biāo)準(zhǔn)正態(tài)分布4/22/202549卡方分布4/22/202550t分布n為正整數(shù)4/22/202551F分布4/22/202552變換(transformation)連續(xù)型隨機(jī)變量，一一對(duì)應(yīng)，可微是的逆函數(shù)雅克比行列式4/22/202553單變量情形的變換增函數(shù)減函數(shù)例如4/22/202554相關(guān)系數(shù)

(correlationcoefficient)4/22/202555樣本統(tǒng)計(jì)樣本均值樣本方差4/22/202556協(xié)方差

(covariance)顯然4/22/202557大數(shù)定律

(lawoflargenumbers)設(shè)是均值為方差為的獨(dú)立同分布(independent,identically

distributed,iid)隨機(jī)變量，則弱大數(shù)定律強(qiáng)大數(shù)定律4/22/202558中心極限定理

(centrallimittheorem)如果隨機(jī)變量

具有均值和方差，則隨著n增大，的抽樣分布越來(lái)越接近于均值為方差為的正態(tài)分布4/22/202559參數(shù)估計(jì)方法矩方法最小二乘法最大似然法4/22/202560估計(jì)量的性質(zhì)無(wú)偏性有效性一致性4/2