第一章多元正態分布及其參數估計,多元正態分布的重要性：（1）多元統計分析中很多重要的理論和方法都是直接或間接地建立在正態分布基礎上的，許多統計量的極限分布往往和正態分布有關。（2）許多實際問題涉及的隨機向量服從多元正態分布或近似服從正態分布。因此多元正態分布是多元統計分析的基礎。,一、多元正態分布的定義定義1：若p維隨機向量的密度函數為：其中，是p維向量是p階正定矩陣，則稱X服從p維正態分布，記為,定義2：獨立標準正態變量的有限線性組合,稱為m維正態隨機變量，記為其中但是的分解一般不是唯一的。定義3：若隨機向量X的特征函數為：其中t為實向量，則稱X服從p元正態分布。特征函數定義的優點在于可以包含的情況。,二元正態分布曲面(11=1,22=1,12=0),二元正態分布曲面(11=2,22=4,12=0.75),二、多元正態分布的性質性質1：若，是對角矩陣，則相互獨立。性質2：若則,性質3：若，將作剖分：則,特別地，二元正態分布：,的邊緣密度函數為：,當時X1與X2不相關，對于正態分布來說不相關和獨立等價。因為：,為X1和X2的相關系數。,三、正態分布數據的變換,若一批多元數據不滿足正態分布時，一般要對數據進行正態變換。一般來說常采用冪變換，如果想使值變小可以采用變換：,如果想使值變大，則采用變換：,不管使用哪種冪變換，還應該對變換后的數據的正態性做檢驗（如Q-Q圖方法）,2多元正態分布的參數估計一、多元樣本及其樣本數字特征多元樣本記,2、多元樣本的數字特征樣本均值,樣本離差陣,樣本協方差矩陣或,二、多元正態總體的最大似然估計及其性質利用最大似然法求出和的最大似然估計為：,求解過程似然函數為：,對數似然函數為：,（引理：設A為p階正定矩陣，則當A=I等號成立。,最大似然估計的性質，即是的無偏估計。，即不是的無偏估計。，即是無偏估計。分別是的最小方差無偏估量。3.分別是的一致估計。,維斯特（Wishart）分布-一元分布的推廣,定義：設個隨機向量獨立同分布于，則隨機矩陣服從自由度為n的非中心維斯特分布，記為,三、正態總體下的抽樣分布,隨機矩陣的分布：,將該矩陣的列向量（或行向量）連接起來組成的長向量稱為拉直向量，拉直向量的分布定義為該矩陣的分布，如果是對稱矩陣則只取其下三角的部分拉直即可。,性質：,（1）若W1和W2獨立，其分布分別和，則分布為，即維斯特(Wishart)分布有可加性。,（2），C為mp階的矩陣，則的分布為分布。,定理：設分別是來自正態總體的樣本均值和離差陣，則(1)(2)相互獨立。S為正定矩陣的充分必要條件是np。,11,一元正態總體：,為來自一元正態總體的一組樣本,定理：,證明：構造正交矩陣,做變換,第三章多元正態總體參數的假設檢驗,HotellingT2分布一元t分布的推廣,定義設，且X與S相互獨立，則稱統計量的分布為非中心的HotellingT分布，記為，當時稱為中心的HotellingT2分布。記為,一元t分布：,設總體是一組樣本,則統計量,其中,與類似,并且,基本性質:,定理：設且X與S相互獨立，令,則,一、多元正態總體均值向量的假設檢驗,1.單個正態總體,(1)協方差矩陣已知時均值向量的檢驗,檢驗統計量,設水平為，查表確定，使得,（當H0成立時）,拒絕域為：,當原假設成立時,(2)協方差矩陣未知時均值向量的檢驗,檢驗統計量,拒絕域為：,2.協方差陣相等時，兩個正態總體均值向量的檢驗,3.協方差陣不相等時，兩個正態總體均值向量的檢驗,一元方差分析,一、方差分析的概念及有關術語方差分析研究的是分類型自變量對數值型因變量的影響，包括它們之間有沒有關系、關系的強度如何等，所采用的方法就是檢驗各個總體的均值是否相等來判斷分類型自變量對數值型因變量是否有顯著影響。,例子：為了對幾個行業的服務質量進行評價，消費者協會在零售業、旅游業、航空公司、家電制造業分別抽取了不同的企業作為樣本。每個行業中所抽取的樣本在服務對象、服務內容、企業規模等基本上是相同的，統計出消費者對23家企業的投訴次數，現判斷幾個行業的服務質量是否有差別。投訴次數如下表：,4.多個正態總體均值向量的檢驗（多元方差分析）,要分析4個行業的服務質量是否有顯著差異，實際上就是判斷“行業”對投訴次數是否有顯著影響，做出這種判斷最終歸結為檢驗4個行業被投訴次數的均值是否相等。如果相等則認為行業因素對投訴次數是沒有影響的，如果均值不全相等，則意味著行業因素對服務質量有影響。方差分析主要用來對多個總體均值是否相等作出假設檢驗。,相關術語,因素（因子）：在方差分析中，所要檢驗的對象稱為因素或因子。例子中的“行業”水平：因素中的不同表現成為水平。例子中的零售業、旅游業、航空公司、家電制造業是“行業”因素的具體表現，即水平。,單因素方差分析：只針對一個因素進行分析；多因素方差分析：同時針對多個因素進行分析。,（1）每個總體的相應變量（因素的各個水平）服從正態分布。也就是說，對于因素的每個水平，其觀測值是來自正態總體的簡單隨機樣本上例中每個行業的投訴次數應服從正態分布。（2）所有總體的方差相等2。也就是說，各組觀測數據來自相同方差的正態總體。上例中4個行業被投訴次數的方差相同。（3）不同觀察值相互獨立。（每個樣本點的取值不影響其他樣本點的取值）上例中，每個企業被投訴的次數與其他企業被投訴的次數是相互獨立的。,方差分析的三個基本假定,問題的一般提法,設因素有k個水平，每個水平的均值分別為，要檢驗k個水平（總體）的均值是否相等，提出如下假設：,與原來兩兩總體的假設檢驗方法相比，方差分析不僅可以提高檢驗的效率，同時由于它是將所有的樣本信息結合在一起，因此增加了分析的可靠性。，上例中如果用一般的假設檢驗方法，需要兩兩組合作6次檢驗。,某因素不同水平的影響（系統性影響）,其他隨機因素的影響（隨機性影響）,水平間方差（組間方差）,某因素不同水平的影響（系統性影響）,方差分析的思想：,組內離差平方和：衡量因素的同一水平下（同一總體）樣本數據的誤差。（隨機誤差）組間離差平方和：衡量因素的不同水平下（不同總體）樣本數據的誤差。（系統性誤差）總的離差平方和：組內+組間,如果原假設成立：說明某因素不同水平的影響不顯著（無系統性影響），只剩下隨機性影響，因此組間方差與組內方差差別不大，它們的比接近于1。如果原假設不成立：說明某因素不同水平的影響顯著（存在系統性影響），組間方差與組內方差差別較大，它們的比遠超出1構造統計量：,一、單因素方差分析（一）離差平方和的計算方差分析需考察某因素的影響是否具有系統性，因此，需要將樣本總體離差分解為兩部分：（1）反映系統性影響（因素水平影響）的組間離差（2）反映隨機性影響（其他隨機因素影響）的組內離差。,為全體樣本合并的大樣本的樣本均值,為第j個總體的樣本均值,xij=第j個子樣本中第i個觀測值；nj=第j個子樣本的樣本容量,其中，n=n1+n2+nkk為總體的個數,于是，大樣本的總離差平方和(SumofSquaresforTotal，SST)為：,設,可以證明：,第一項是各子樣本均值與合并的大樣本的公共均值的離差平方和，它反映了因素（變量）不同水平對總離差平方和的影響（系統性影響），稱為組間離差平方和（SumofSquaresforFactorA,SSA)；第二項是各子樣本內部離差平方和之和，反映了隨機性因素的影響(誤差性影響），稱為組內離差平方和(SumofSquaresforError，SSE）。,各誤差平方和的大小與觀測值的多少有關，為了消除觀測值多少對誤差平方和大小的影響，用各個平方和除以自由度即得到平均平方(MeanSquare)：,即SST=SSA+SSE總離差平方和=組間離差平方和+組內離差平方和,構造F統計量：,原假設成立,根據給定的顯著性水平，查表得到拒絕域：,上例中，經計算,說明不同行業被投訴次數的均值有顯著差異，這意味著行業（自變量）與投訴次數（因變量）之間的關系是顯著的。,關系強度的測量,上述F統計量只能表明自變量和因變量之間是否有關系，不能表明關系的強弱，為了度量相關強度定義判定系數：,R2越大說明關系越強，越小關系越弱。類似于相關系數。,上例中，R2=0.349759。這表明行業對投訴次數的影響效應占總效應的34.9759%，而殘差效應則占65.0241%。,方差分析中的多重比較,上面的分析得出的結論是不同行業被投訴次數的均值是不全相同的，但是究竟哪些均值不相等呢，也就是這種差異究竟出現在哪些行業之間呢？則需要對總體均值進行兩兩比較。多重比較的方法有很多，我們簡單介紹一下由Fisher提出的最小顯著差異方法（LSD方法）。檢驗步驟為：,第一步：提出原假設：,第二步：計算檢驗統計量：,第三步：計算LSD，公式為：,第四步：根據顯著性水平做出決策：如果則拒絕原假設，否則接受原假設。,例：對4個行業的均值作多重比較,第一步：提出假設,第二步：計算檢驗統計量,第三步：計算LSD,第四步：做出決策,不能拒絕原假設，說明零售業和旅游業之間的投訴次數沒有顯著差異。,.,雙因素方差分析,單因素方差分析只是考慮一個分類型自變量對數值型因變量的影響。如果同時需考慮兩個因素A與B的影響，則可進行雙因素方差分析。,例：分析影響彩電銷售量的因素，需要考察品牌、銷售地區等因素的影響。現有4種品牌的彩電在5各地區進行銷售，為分析彩電的“品牌”因素和“地區”因素對銷售量是否有影響，調查數據如下：,在雙因素方差分析中如果兩個因素，例如“品牌”和“銷售地區”兩個因素對銷售量的影響是相互獨立的，我們分別判斷兩個因素對銷售量的影響，稱為無交互作用的雙因素方差分析。如果除了兩個因素的單獨影響外，兩個因素的搭配還會對銷售量產生新的影響效應，稱為有交互作用的雙因素方差分析。,無交互作用的數據結構,無交互作用的雙因素方差分析,為了檢驗兩個因素的影響，需要分別對兩個因素提出假設。,對行因素提出的假設為：,對列因素提出的假設為：,地區對銷售量沒有顯著影響,品牌對銷售量沒有顯著影響,離差平方和的分解,其中:,可以證明:,分別構造統計量,關系強度的測量,有交互作用的方差分析,例：分別在兩個路段和高峰期及非高峰期進行駕車實驗，得到20個駕車時間的數據：,Wilks分布,在一元統計中，方差是刻畫隨機變量分散程度的一個重要特征，而在多元情況下方差變為協防差矩陣。如何用一個數量指標來反映協方差矩陣所體現的分散程度呢？有的用行列式，有的用跡，目前使用較多的是行列式。,定義1：若,定義2：若,的分布為Wilk