離散均勻概率規則（DiscreteUniformProbability樣本空間包含n個可能結果，并且所有結果發生的可能性均相同，則A的概率為nP(A)=numberofelementsofn概率規則的屬性（PropertiesofProbability若A,B,CA?B→P(A)≤P(A∪B)=P(A)+P(B)?P(A∩P(A∪B)≤P(A)+P(A∪B∪C)=P(A)+P(Ac∩B)+P(Ac∩Bc∩P(B)=P(A)+P(Ac∩B)≥P(A∪B)=P(A)+P(Ac∩P(B)=P(A∩B)+P(Ac∩P(A)=P(A∩B)+P(A∩C)+P(A∩Bc∩Cc)+P(A∩B∩P((A∩Bc)∪(Ac∩B))=P(A)+P(B)?2P(A∩P(A∩B)≥P(A)+P(B)? （Bonferroni's若互 S1,S2,…,Sn構成樣本空間的一個分劃，則iP(A)= P(A∩Si條件概率（Conditional給定B，并知P(B)>

，則A的條件概率P(A|B)定義為P(A|B)

P(AB)P(A)P(B)P(A∪C|B)≤P(A|B)+乘則（Multiplication假設所有的條件的概率均為正，則有nini

Ai)=

1)P(A

3|A1∩

2)

|?n?1A全概率定理（TotalProbability若互 A1,…,An構成樣本空間的一個分劃（partition）（即任何一個可能的結果都唯一地屬A1,…An中的一 ），并且假設?i,P(Ai)>。則對于任 B，有P(B)=P(A1∪B)+?+P(An∪=P(A1)P(B|A1)+?+P(An)P(B|An貝葉斯法則（Bayes' A1,…An構成樣本空間的一個排列，并且假設?i,P(Ai)>。則對于任意滿足P(B)>0的 B，有：i|B)=P(Ai)P(B|A=

P(Ai)P(B|AP(A1)P(B|A1)+?+P(An)P(B|A稱P(Ai)是先驗概率，而稱P(Ai|B) B發生后的后驗概獨立性兩個的獨立若P(ABP(A)P(B)P(A|B)=P(A)P(A∩B)=

則 A B獨立如果額外地有P(B)>0，則 A,B獨立， Bc,A也獨已 C滿足P(C)>0，若P(A∩B|C)= ，則稱A,B C下相獨立如果額外地有P(BC)0，則P(A|BC)多個間的獨立若P(?i∈SAi)=∏i∈SP(A foreverysubsetSof{1,2,…,數數n個對象的排列n個對象中選出k個的排列（K-n個對象中k個對象對象的組合(n) n個對象分劃（Partition）為r組，第組有ni個對象(n,n ) 2,…,n n1!nProbabilityNotes2離散隨2014-04-離散隨量（DiscreteRandom隨量（Random隨量（RandomVariable）是實驗中結果的一個實值函數一個隨量可以獨立于其他或其他隨離散隨量（DiscreteRandom離散隨量（DiscreteRandomVariable）是實驗結果的一個實值函數，并且函數的取值是有限或可離散隨量有概率質量函數（ProbabilityMassFunction,PMF），函數描述了隨量每個可能取概率質量函數（ProbabilityMassX是一個離散隨{X=x}表示該離散 量取值為x （實驗中所有導致X取值為x的結果的集合P({X=x})表示上述發生的概對于特定的x,pX(xP({Xx})是取值x的概率質量（ProbabilitypX(x)是離散 量X的概率質量函概率質量函數的計算（CalculationPMFofaRandomVariable對于離散 量X的所有可能取值找到所有屬于{X=x}的結將這些結果的概率相加獲得pX離散隨量舉伯努利隨量（BernoulliRandomVariable）P(head)=P(tail)=1?：X={1ifahead0ifap(k)={ ifk= 1? ifk=二項隨量（BinomialRandomVariable）實驗：扔n次硬幣結果：共有2n種可能結果，每個結果都是一個長度為n的正面朝上 概率規則：設某一結果ai中出現i次正面朝上，出現n?i 朝上，P(a)=pi×(1?：{X=

扔n次硬幣，其中出現k次正面朝 n)

k=0,1,…,X(k)=P(X=k)=(k)=(1?二項 n k=0X(k)=P(X=k)=(k)(1? =幾何隨量（GeometricRandomVariable）：{X=

扔n次硬幣，在第k次時首次出現正面pX(k)=(1? k=1,2,…,泊松隨量（PoissonRandomVariable）p(k)=e?λλk k=0,1,2,…, ∑∞∑

e?λλk=離散均勻隨量（DiscreteUniformRandomX～unif[a,pX(k)={1/b?a+ ifk=a,a+1,…, 離散隨量的函數（FunctionofDiscreteRandom設X是一個離散隨量，考慮X的函數：Y=g(X)，則Y也是一個離散 若已知X的概率質量函數pX(x)，則可以獲得YpY(y)= 離散隨量的期望（ExpectationofDiscreteRandom定義離散隨量X的期望為E[X]=∑x

所有可能取值的平均離散隨量的函數的期望法則（ExpectedValueRuleforFunctionsofDiscreteRandomVariables）X是離散隨量，令g(X)是X的一個函數，則隨量g(X)的期望為E[g(X)]=∑xg(x)pX矩定義離散隨量X的n次矩為 E[Xn]=∑xnp 方差定義離散 量X的方差為 量(X?E[X])2的期望，即var(X)=E[(X?E[X]) =∑(x?E[X])2p =E[X2]?標準差（Standard定義離散隨量X的標準差為X=期望與方差的屬性（PropertiesofMeanandX為隨量，Y=aX+bE[YaE[X]bvar(Y)=

常見離散隨量的期望與方差舉隨E[X]=pE[X2]=離散均勻隨2E[X]=2var(X)=泊松隨E[X]=var(X)=多個離散隨量的聯合概率質量函數（JointPMFofMultipleDiscreteRandomX和Y為與同一個實驗相關的兩個隨量，則X與Y的聯合概率質量函數pX,Y定義為pX,Y(x,y)=P({X=x}∩{Y=y})=P(X=x,Y=可以由聯合概率質量函數獲得邊際概率質量函數（marginalpX(x)=∑ypX,Y(x,pY(y)=∑xpX,Y(x,X與Y的函數g(X,Y)定義了一個隨量，有E[g(X,Y)]=∑x∑yg(x,y)pX,Y(x,如果g是線性函數，并有形式：aXbYcE[aX+bY+c]=aE[X]+bE[Y]+條件于的離散隨量（ConditioningaDiscreteRandomVariableonan給定A，且知P(A)>0，離散隨量X的條件概率質量函數為

(x)=P(X=x|A)=P(A)=∑xP({X=x}∩∑xpX|A(x)= A1,A1…,An是獨 ，構成樣本空間的一個劃分，且知?i,P(Ai)>0，則pX(x)= P(A

i這是全概率定理的一個特例，若進一步知?B,?i,P(AiB)，則有pX|B(x)=

條件于隨量的離散隨量（ConditioningoneDiscreteRandomVariableonAnother）X,Y是兩個離散隨量，給定Y=y則，聯合概率質量函數為pX,Y(x,y)=pY(y)pX|YpX(x)=∑ypY(y)pX|Y

離散隨量的條件期望（ConditionalExpectationsofDiscreteRandom給 A,P(A)>0，離散 量X的條件期望定義為E[X|A]=∑xxpX|A給 A,P(A)>0，離散 量X的函數g(X)的條件期望定義為E[g(X)|A]=∑xg(x)pX|A A1,A1…,An是獨 ，構成樣本空間的一個劃分，且知?i,P(Ai)>0，則EX=∑nP(A)E[X|A 給定離散 量Y取值為y，則離散 量E[X|Y=y]=∑xpX|Y若進一步知?B,?i,P(AiB)，則有

E[X|B]=

i∩E[X]=∑ypY(y)E[X|Y=離散隨量的獨立性（IndependenceofDiscreteRandomX和Y為與同一個實驗相關的兩個隨量，A滿足P(A)>0，則： pX|A(x)=pXx則稱X獨立于 若?x, pX,Y(x,y)=pX(x)pYX,Y是兩個隨量，g(X)和h(Y)分別是X和Y的函數，則E[XY]=E[X]E[YE[g(X)h(Y)]=E[g(X)]E[h(Yvar(X+Y)=var(X)+var(Y附：常見離散隨量小pX(k)={1/b?a+ ifk=a,a+1,…, 2E[X]=2var(X)=隨量，參數p（扔一次硬幣出現正面朝上）p(k)={ ifk= 1? ifk=E[X]=二項，參數p,n（扔n次硬幣，出現正面朝上的次數 n)

k=0,1,…,X(k)=P(X=k)=(k)=(1?E[X]=var(X)=np(1? 量，參數p（連續扔硬幣直至第一次出現正面朝上）pX(k)=(1? k=1,2,…,pE[X]=pvar(X)= 量，參數λ（在n大，p小時用于近似二項隨 p(k)=e?λλk k=0,1,2,…, E[X]=var(X)=ProbabilityNotes3一般隨2014-04-一般隨量（GeneralRandom連續隨量與概率密度函數（ContinuousRandomVariableandProbabilityDensityFunction)稱一個 量X為連續 量，則存在一個非負函數fX即概率密度函數（PDFforshort），該數對于任意實數軸（realline）上的子集BP(X∈B)=BfX若B[a,b]，上式即可寫作P(a≤X≤b)=∫b

a概率密度函數的屬性（Propertiesof令X 續 量，fX是其概率密度函fX(x)≥0forall∫+∞fX(x)dx=對于非常小的P([x,x+δ])≈fX(x)?P(X∈B)=BfX連續隨量的期望（ExpectationofaContinuousRandom連續 量X，其概率密度函數為fX，其期望定義為

連續隨量的期望法則（ExpectedValueRuleforFunctionsofRandomX是連續 量，令g(X)是X的一個函數，則g(X)的期望為E[g(X)]=∫+∞

連續 量的方差（VarianceofContinuousRandom連續 量X的方差定義為Xvar(X)=E[(X?E[X])2]=∫+∞(x?X

0≤var(X)=E[X2]?期望與方差的屬性（PropertiesofMeanandX為隨量，Y=aX+ 是X的一個線性函數，a,b均為標量，則E[Y]=aE[X]+var(Y)=累積分布函數（CumulativeDistribution 量X的累積分布函數FX定義為FX(x)=P(X≤x),forall累積分布函數的屬性（Propertiesof累積分布函數是單調非減函數（monotonicallynon-ifx≤y,limx→+∞FX(x)=

FX(x)≤FX若X為離散隨 量，則其概率質量函數FX(x)是x的分段常數函數（piecewiseconstant若X為連續 量，則其概率密度函數FX(x)是x的連續函若X為離散隨量，并且X取值為整數值，則其概率質量函數與累積分布函數可以相互推導XFX(k)=X

pX(k)=P(X≤k)?P(X≤k?1)=FX(k)?FX(k?若X為連續隨量，則其概率密度函數與累積分布函數可以相互推導XFX(x)=∫xX

fX(x)

dFX多個連續隨量的聯合概率密度函數(JointPDFsofMultipleContinuousRandomVariable)連續 量X,Y具有聯合概率密度函數fX,Y可以用來計 B的概率P((X,Y)∈B)=?(x,y)∈fX,(x,可以從聯合概率密度函數獲得X或YfX(x)=∫+∞

(x,fY(y)=∫+∞

(x, 連續 量X,Y的聯合累積分布函數定義為FX,Y(x,y)=P(X≤x,Y≤連續隨量X,Y的聯合累積分布函數可以通過聯合概率密度函數獲得fX,Y(x,y)

(x,令g是連續隨量X與Y的一個函數，則g(X,Y)也是續隨量，其期望為E[g(X,Y)]=

g(x,

(x,若g是線性函數，具有形式aXbYcE[aXbYc]aE[X]bE[Y

條件于的連續隨量（ConditioningaContinuousRandomVariableonanEvent）給定A，且知P(A)>0，連續隨量X的條件概率密度函數滿足P(X∈B|A)=BfX|A(x)若A是實數軸的一個子集，并且P(XA)0(x)

fX

ifx∈fX|{X∈A}(x)= A1,A1…,An是獨 ，構成樣本空間的一個劃分，且知?i,P(Ai)>0，則fX(x)=

i條件于隨量的連續隨量（ConditioningaContinuousRandomVariableonanRandomVariable）X,Y是兩個連續隨量，給定Y=y則，聯合概率密度函數為fX,Y(x,y)=fY(y)fX|Y

YfX(x)=∫+∞fyfYP(X∈A|Y=y)=AfX|Y連續隨量的條件期望（ConditionalExpectationofContinuousRandom給定A,P(A)>0，連續 量X的條件期望定義為E[X|A]=∫+∞

給定 量Y取值y，則連續 量E[X|Y=y]=∫+∞xf

給 A,P(A)>0，連續 量X的函數g(X)的條件期望定義為E[g(X)|A]=∫+∞

給定 量Y取值y，連續 量X的函數g(X)的條件期望定義為E[g(X)|Y=y]=∫+∞

全期望定理（Totalexpectation A1,A1…,An是獨 ，構成樣本空間的一個劃分，且知?i,P(Ai)>0，則E[X]=∑nP(A)E[X|A E[X]=∫+∞E[X|Y=

E[g(X,Y)|Y=y]=∫g(x,y)fX|YE[g(X,Y)]=∫E[g(x,y)|Y=y]fY連續隨量的獨立性（IndependenceofContinuousRandom令X與Y是兩個連續隨量，稱X與Y獨立，需要fX,Y(x,y)=fX(x)fY forallx,若兩個連續隨量E[XY]=E[X]E[Y

與Y相互獨立，則E[g(X)h(Y)]=E[g(X)]E[h(Yvar(XY)=var(X)+var(Y連續隨量的法則（Bayes'RuleforContinuousRandom令Y是續隨若X是續隨量，則fY(y)fX|Y(x|y)=fX(x)fY|X因而有如下法

(x|y)=fX(x)fY|XfffX(x)fY|X=

fX(t)fY|X若N是一個離散 fY(y)P(N=n|Y=y)=pN(n)fY|N因而有如下法則fP(N=n|Y=y)=pN(n)fY|NfYpN(n)fY|N=∑ipN(i)fY|NfY

(y|n)=fY(y)P(N=n|Ypp=fY(y)P(N=n|Y=∫+∞fY(t)P(N=n|Y類似地P(A|Y=y)和fY|A(y)也有相應法附：常見連續隨量小連續均勻 量，區間[a,fX(x)=1,ifa≤x≤fX(x)= 2E[X]=2var(X)

f X(x)= ,iff fX(x)= FX(x)=1

,ifx≥FX(x)= *E[X]=*2var(X)=2*正態 量，參數μ,fX(x)

1

E[X]=var(X)=ProbabilityNotes4隨量隨量話題（FurtherTopicsonRandom分布的推導（DerivedX是連續隨機函數，Y是X的函數Yg(X)，若要計算Y計算Y的累積分布函數FY(y)=P(g(X)≤y)={x|g(x)≤yfX

fY(y)

dFY若Y=g(X)是線性函數，具有形式Y=aX+b ，其中a,b為標量且a≠0，則fY(y)=1 X( 若Yg(X)是連續隨機函數X的嚴格單調函數，則必然有反函數h滿足x假設h是可微的，則fY(y)=fX(h(y))|dh協方差 量X與Y的協方差定義為cov(X,Y)=E[(X?E[X])(Y?E[Y=E[XY]?E[X]E[Y若cov(XY0，則X與Y是不相關的若X與Y相互獨立，則cov(X,Yvar(X+Y)=var(X)+var(Y)+2cov(X,Y相關性系數（Correlation 量X與Y的相關性系數定義為ρ(X,Y) cov(X,Y√var(X)var(Y?1≤ρ(X,Y)≤條件期望和方差的屬性（PropertiesoftheConditionalExpectationandE[X|Yy]是一個取值依賴于y的E[X|Y]是隨量Y的一個函數，因此也是一個隨量，在Y取值為y時，其值為E[X|Y=迭代期望定律（Lawof tedE[E[X|Y]]=var(X|Y)是隨量Y的一個函數，因此也是一個隨量，在Y取值為y時，其值var(X|Y=全方差定律（LawofTotalvar(X)=E[var(X|Y)]+var(E[X|YE[X|Yy]可以被視為在給定Yy情況下，X取值的一個估計值E[X|Y]?X是估計誤差，該誤差是一個期望為0，且與E[X|Y]獨立的隨ProbabilityNotes52014-04-極限定理（Limit馬爾可夫不等式（Markov設隨量X只可取非負值，則P(X≥a)≤ ,foralla>契比雪夫不等式（Chebyshev 量X期望為，方差為σ2，則P(|X?μ|≥c)≤ c弱大數定律（WeakLawofLargeNumbers,設X1,X2,…,Xn是獨立同步分布（independentidenticallydistributed,i.i.d.）的隨 ，對于任意?0

n?μ|≥?)=

X1+X2+?+Xn

—μ|≥?)→ asn→概率收斂（Convergencein設Y1,Y2…Yn是 量的一個數列（sequence），且a為常數。若對于任意?>0均有limn→∞P(|Yn?a|≥?)=則稱數列Yn依概率收斂于極限定理（CentralLimit設X1,X2,…,Xn是獨立同步分布的 量，共同的期望為，方差為σ2，定義標準值Zn為Zn

X1+X2+?+Xn則Znlimn→∞P(Zn≤z)=Φ(z),for Φ(z) ?∞

2德莫佛-拉斯二項分布近似（DeMoivre-LaceApproximationtothe設Sn是二項 量，其參數為n和p，n較大且k,為非負整數時有P(k≤S≤l)≈

l+2?np)?

k?2?np 強大數定律（StrongLawofLargen設X1,X2,…,Xn是獨立同步分布的 量，共同的期望為，則n

X1+X2+?+X =μ)=依概率1收設Y1,Y2…Yn是 量的一個數列（sequence），且c為常數。若P(limn→∞Yn=c)=則稱數列Yn依概率1收斂于ProbabilityNotes6過程和泊松過6過程和泊松過程（BernoulliProcessesandPoisson6.1過程（Bernoulli 量X1,X2,…的一個序列， 量Xi滿足P(Xi=1)=P(successattheithtrail)=pP(Xi=0)=P(failureattheithtrail)=1?p6.2與過程有關的隨二項 量（參數n和p），描述n次試驗中成功的次數S的概率 n S(k)=(k)(1? k=0,1,…,E[S]=var(S)=np(1?p 幾何隨量（參數p），描述直至Tp T(t)=(1?p p,t=1,2,…E[T]=p1var(T)=6.3過程的獨立性屬X1,X2,…是一 過程，給定時間n，則該過程的未來（隨量序列Xn+1,Xn+2也是一 X1,X2,…是一個 量X1,…,Xn獨立

，則Tn滿足6.4過程的另一種描 量序列T1,T2,…開始，將這些隨 在T1,T1+T2,T1+T2+T 第k次成功時第k次試驗成功的時刻Yk等于前kYk=T1+T2+?+ 量Yk的分布成為k階帕斯卡（Pascal）分布，其概率質量函數為p(t)=(t?1

t=k,k+ k?

)(1?pkpkE[Yk]=

1]+?+

]=var(Yk)=

1)+?+var(T

)二項分布的泊松近似（PoissonApproximationtothe)參數為的泊松隨量Z的概率質量函數為p(k)=e?λλk k=0,1, E[Z]=var(Z)=n給定一個非負整數k，令p=λ，則在n→∞時二項 量概率質量函nS(k) pk(1S(k)

收斂于pZ一般地，n較大且p較小的情況下，泊松隨量的概率質量函數是二項隨量概率質量函數的一個很泊松過一個到達過程（arrivalprocess）對于任意長度為的時間區間，發生k次到達的概率P(k,τ)在limτ→0時，P(k,τ)足P(0,τ)=1?λτ+P(1,τ)=λτ+P(k,τ)= fork=2,其中lim(τ→

k(為的函數并且滿足：ok()τ=與柏松過程有關的隨 λ，生的次數Nττ概率質量函數pN(kP(kττ

k=0,期望E[Nτ方差var(Nτ，概率密度函數fT(t)λ?λ,t0*期望E[T]**方差var(T1*柏松過程的獨立對于一 過程，給定時刻t>0，則t之后的過程也是一個過程，并且獨立于時刻之前的過

是時刻t之后第一次到達的時刻，則T—t滿足參數為的指數分布，并且獨立過程的另一種描T1,T2,…,是相互獨立且為具有共同參數的指數 量序列，T1,T2,…表示各次到達之間到達發生在時刻T1T1T2T1T2T3第k次成功時 量（Erlangoforderk），描述第k次到達時間Yk，Yk等于前k次到達之間的時間間隔*kYk=T1+T2+?+*kE[Yk]=

1]+…

]=2var(Yk)=var(T1)+?+var(TK)=2f(y)=λky (k?1)!,y≥隨機個隨量之和的屬N,X1,X2,…是相互獨立的隨 Xi為參數為p的

取值為非負整數，令YX1X2XN為參數為m,q的二項隨量Y為參數為m,pq的二項隨 Xi為參數為p的 N為參數為的隨量Y為參數為λ的 Xi為參數為p的幾何隨 N為參數為q的幾何 Y為參數為pq的幾何 Xi為參數為的指數隨N為參數為q的幾何 Y為參數為λ的指數隨ProbabilityNotes7馬爾可夫鏈（Markov馬爾可夫模型（Markov可能的轉變的集合（setofpossibletransitions），集合的元素是滿足pij0的狀態對(i,pij上述馬爾可夫鏈模型所定義的馬爾可夫鏈是隨量X0,X1,X2,…,的序列，變量從狀態集合S中取值，并且滿足，對于任何時間n、任意狀態i,和任意可能的序列i0,…,in?1有：P(Xn+1=j|Xn=i,Xn?1=in?1,…,Xo=i0)=n步轉變概率：察普曼-科莫高方程式（Chapman-KolmogorovEquationforthen-StepTransitionProbabilities）經過n次轉變后進入某一狀態的概率可以用如下遞 進行計算rij(n)=

(n?

forn>1,andalli,n1時,rij(1)馬爾可夫鏈的分解（Markov 一個馬爾可夫鏈可以被分解成為一個或多個循環類（recurrentclasses）（transient周期性考慮一個循環類R如果類中的狀態可以被劃分為d1個互斥子集S1Sd，使得Sk中所有的轉變都指向Sk+1（果kd則指向S1），當且僅當存在一個時刻n，使得rij(n)0,foralli,j，R穩態收斂定理（Steady-StateConvergence考慮一個包含了一個具有周期性的循環類的馬爾可夫鏈，則狀態j所有的穩態概率j具有如下屬對于任意狀態j，有 foralljπ=π=

j=1,2,…,m1=∑k=1穩態概率和期望狀態頻率（Steady-StateProbabilitiesasExpectedStatejπ= 其中vij(n)是在從狀態開始的前n次轉變中狀態j出現次特定轉變的期望頻率（ExpectedFrequencyofaParticular qjk(n)= j吸收概率方程（AbsorptionProbabilityas=si= forallabsorbingi≠ai= pa foralltransientj=1ij吸收時間期望方程（EquationsfortheExpectedTimeto到達吸收的時間的期望值μ1m是下面方程i= forallrecurrentstatesμ=1+ p

foralltransientstates j=1ij首次通過和再次出現時間平均值的方程（EquationsforMeanFirstPassageandRecurrenceTimes）考慮一個只包含一個循環類的馬爾可夫鏈，令s是一個特定的循環從狀態i開始，首次轉變至狀態s所需時間titi=1+ pt foralli≠

ij?t?=1+∑m pts j=1sjj

ProbabilityNotes8統計推斷（BayesianStatistical2014-04-8統計推斷（BayesianStatistical8.1重要概統計（BayesianStatistics）將一個未知的參數當作一個已知先驗分布（priordistribution）的在參數估計（parameterestimation）在假說檢驗（hypothesistesting）中，未知的參數可以取有限種可能值，每個取值對應于一種假說，主要推斷方法（PrincipalBayesianInference后驗概率最則 umaPosterioriProbabilityRule,MAP最小均方估計（LeastMeanSquares 線性最小均方估計（LinearLeastMeanSquaresEstimation,L 8.2推斷（BayesianInference）對觀測X（向量）建模pX|Θ或fX|Θ在獲得具體的觀測值x后，通過合適的法則構建的后驗分8.3法離散,X離散

pΘ(離散,X連續

x|連續,X離散

連續,X連續

∫fΘ(θ)fX|Θ(x|后驗概率最給定觀測值x，后驗概率最則在中選擇一個可使后驗分布pΘ|X(θ|fΘ|X(θ|)大的等價于：選擇使得如下量離散,X離散離散,X連續連續,X離散連續,X連續如果只可在有限個值中選擇，則后驗概率最則使得選擇錯誤假說的概率最點估計值（Point 量，其形式為Θ=選擇不同的函數g，即是在選擇不同的

，是X估計值（Esitmate）是估計量的一個具體值，是根據獲得的X的觀測值x給定

的一個具體觀測值x，后驗概率最大估計量將選擇估計值使得后驗概率分布最大的一個具體觀測值x，條件期望估計量將選擇估計值為E[Θ|X=x]假說檢驗的后驗概率最則（TheMAPRuleforHypothesis

的一個具體觀測值x，后驗概率最則選擇一個假說Hi使得后驗概率P(Θ=i|X=x)p()pXΘ(x|ip()fX|Θ(x| 則使得在給定觀測x的情況下，選擇錯誤假說的概率最低最小均方估在沒有任何觀測的情況下，選擇θ=E[Θ]可使的E[(Θ?2最小E[(Θ?E[Θ])2]≤E[(Θ?)2], forall給定一個觀測值x，選擇θE[Θ|Xx]可使的E[(Θθ)2|Xx最小E[(Θ?E[Θ]|X=x)2|X=x]≤E[(Θ?θ)2|X= forall在所有對于的估計量g(X)中，選擇g(X)=E[Θ|X]可使均方估計誤差E[(Θ?g(X))2最小E[(Θ?E[Θ|X])2]≤E[(Θ?g(X))2],forallestimators估計誤差的屬估計誤差Θ是無偏倚的（unbiased），即Θ= E[Θ|X=x= forall估計誤差Θ與估計值Θ是不相關的var(Θvar(Θvar(Θ)=E[